What Are They Filtering Out? An Experimental Benchmark of Filtering Strategies for Harm Reduction in Pretraining Datasets
यह शोध पत्र एक बेंचमार्क अध्ययन प्रस्तुत करता है जो यह प्रकट करता है कि हालांकि डेटा फ़िल्टरिंग रणनीतियाँ लार्ज लैंग्वेज मॉडल्स के प्रीट्रेनिंग डेटासेट में हानिकारक सामग्री को प्रभावी ढंग से कम करती हैं, वे अनजाने में कमजोर समूहों के अल्प-प्रतिनिधित्व को बढ़ा देती हैं, जिससे भेदभाव और अधिक बढ़ जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया के सबसे बुद्धिमान लाइब्रेरियन (पुस्तकालयाध्यक्ष) को बनाने की कोशिश कर रहे हैं। इस लाइब्रेरियन (एक AI) को यह सीखने के लिए लाखों किताबें, वेबसाइटें और लेख पढ़ने की आवश्यकता है कि इंसान की तरह कैसे बोला और सोचा जाए। लेकिन, इंटरनेट एक बहुत ही अव्यवस्थित जगह है। यह बेहतरीन कहानियों से भरा है, लेकिन यह नफरत भरे भाषणों, हिंसा और भयानक रूढ़ियों से भी भरा हुआ है।
यह सुनिश्चित करने के लिए कि यह लाइब्रेरियन बुरी आदतें न सीख ले, निर्माता लाइब्रेरियन को देने से पहले किताबों को "फ़िल्टर" करने की कोशिश करते हैं। वे "बुरी" किताबों को फेंक देना चाहते हैं।
यह पेपर एक जांच रिपोर्ट की तरह है जो यह जांचती है कि जब हम लाइब्रेरी को साफ करने की कोशिश करते हैं तो क्या होता है। शोधकर्ताओं ने दो बड़े सवाल पूछे:
- लोग वर्तमान में लाइब्रेरी को साफ करने के लिए कैसे प्रयास कर रहे हैं?
- बद चीजें हटाने के प्रयास में गलती से लाइब्रेरी से बाहर किसे निकाला जा रहा है?
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें सरल उपमाओं (analogies) का उपयोग किया गया है:
1. "सफाई दल" (रणनीतियाँ)
शोधकर्ताओं ने इन AI लाइब्रेरियन को बनाने वाली कंपनियों के 55 अलग-अलग मैनुअलों का अध्ययन किया। उन्होंने पाया कि हर कोई अलग-अलग सफाई के औजारों का उपयोग करता है, लेकिन वे जनता को ठीक से नहीं बताते कि वे उनका उपयोग कैसे करते हैं।
इन सफाई के औजारों को अलग-अलग प्रकार के झाडूओं की तरह समझें:
- "बुरे शब्द" वाला झाडू (नियम-आधारित): यह झाडू किसी भी ऐसी चीज़ को साफ कर देता है जिस पर विशिष्ट "गंदे" शब्द (जैसे अपशब्द या जातिसूचक शब्द) लिखे हों।
- "गंध परीक्षण" वाला झाडू (टॉक्सिसिटी क्लासिफायर): यह एक रोबोटिक नाक है जो एक पन्ने को सूंघती है। यदि इसे "विषाक्त" (toxic) की गंध आती है, तो यह उस पन्ने को फेंक देती है।
- "गुणवत्ता" वाला झाडू (डॉक्यूमेंट सिमिलरिटी): यह झाडू एक पन्ने की तुलना एक "परफेक्ट" पन्ने (जैसे विकिपीडिया का लेख) से करता है। यदि वह नया पन्ना परफेक्ट वाले के समान नहीं दिखता, तो उसे फेंक दिया जाता है।
- "ब्लैकलिस्ट" वाला झाडू: यह उन पूरी वेबसाइटों को ब्लॉक कर देता है जिन्हें समस्या माना जाता है।
समस्या: शोधकर्ताओं ने पाया कि अधिकांश कंपनियां बहुत गुप्त रख रही हैं। वे कहते हैं, "हमने इसे साफ कर दिया!" लेकिन वे अपना काम नहीं दिखाते हैं। यह एक शेफ की तरह है जो कहता है, "यह सूप खाने के लिए सुरक्षित है," लेकिन आपको रेसिपी या सामग्री दिखाने से मना कर देता है।
2. सबसे बड़ा आश्चर्य: "कोलेटरल डैमेज" (आनुषंगिक क्षति)
सबसे महत्वपूर्ण हिस्सा प्रयोग है। शोधकर्ताओं ने इंटरनेट के विशाल टेक्स्ट को इन विभिन्न "झाडूओं" से गुजारा ताकि यह देखा जा सके कि क्या फेंका गया।
उन्होंने एक डरावना दुष्प्रभाव खोजा: "बुरी" चीजों को हटाने के प्रयास में, सफाई दल अनजाने में कमजोर लोगों, विशेष रूपकर महिलाओं की कहानियों को भी बाहर फेंक रहा है।
यहाँ उपमा है:
कल्पना कीजिए कि आप खरपतवार (हानिकारक सामग्री) हटाने के लिए एक बगीचे की सफाई कर रहे हैं।
- लक्ष्य: जहरीली खरपतवार को हटाना।
- गलती: "क्वालिटी" वाला झाडू इतना आक्रामक है कि वह किसी भी ऐसे फूल को खरपतवार समझ लेता है जो एक "परफेक्ट" गुलाब से थोड़ा अलग दिखता है।
- परिणाम: आप एक ऐसा बगीचा पाते हैं जो मजबूत, मानक दिखने वाले पौधों (जो अक्सर पुरुषों या पश्चिमी दृष्टिकोणों का प्रतिनिधित्व करते हैं) से भरा है, लेकिन आपने अनजाने में लगभग उन सभी दुर्लभ, सुंदर फूलों को उखाड़ दिया है जो महिलाओं और उत्तर-औपनिवेशिक पृष्ठभूमि के लोगों का प्रतिनिधित्व करते हैं।
3. उन्होंने विशेष रूप से क्या पाया?
- महिलाओं को सबसे अधिक फ़िल्टर किया जाता है: जब AI "बुरे शब्द" वाले फिल्टर या "गंध परीक्षण" वाले रोबोट का उपयोग करता है, तो पुरुषों के उल्लेख की तुलना में महिलाओं के उल्लेख डेटा से बहुत तेजी से गायब हो जाते हैं।
- अलग-अलग झाडू अलग-अलग चीजें पकड़ते हैं:
- एक झाडू अश्लील शब्दों को पकड़ता है।
- दूसरा नस्लवादी शब्दों को पकड़ता है।
- तीसरा "निम्न गुणवत्ता" के लेखन को पकड़ता है।
- सबक: यदि आप एक झाडू चुनते हैं, तो आप केवल एक प्रकार की बुरी चीज़ को पकड़ते हैं, लेकिन आप अन्य प्रकार की बुरी चीज़ों को मिस कर सकते हैं, या आप अनजाने में अच्छी चीजों को भी फेंक सकते हैं जो बुरी चीजों जैसी दिखती हैं।
- "क्वालिटी" का जाल: शोधकर्ताओं ने पाया कि "क्वालिटी" वाला झाडू (जो विकिपीडिया से तुलना करता है) वास्तव में नफरत भरे भाषण (hate speech) को खोजने में बहुत बुरा है। यह बहुत सारी विषाक्त सामग्री को रखता है लेकिन बहुत सी अनूठी आवाजों को फेंक देता है। यह किसी किताब के कवर को देखकर उसे खारिज करने जैसा है क्योंकि उसका फॉन्ट अजीब दिखता है।
4. "व्यवसाय" का सुराग
शोधकर्ताओं ने यह देखा कि क्या फेंका जा रहा था।
- जब उन्होंने "बुरे" कंटेंट के लिए फिल्टर किया, तो उन्होंने पाया कि महिलाओं के अभिनेता (actors) या पोर्नोग्राफिक अभिनेताओं के रूप में उल्लेख किए जाने की दर बहुत अधिक थी।
- पुरुषों के राजनेताओं या लेखकों के रूप में काम करने के उल्लेखों को बहुत अधिक बार रखा गया।
- इसका मतलब है कि AI दुनिया का एक विकृत दृश्य सीख रहा है जहाँ महिलाओं को ज्यादातर यौनिक या हटाए गए संदर्भों में देखा जाता है, जबकि पुरुषों को नेताओं और रचनाकारों के रूप में देखा जाता है।
निचोड़ (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि हम AI को ठीक करने की कोशिश कर रहे हैं, लेकिन हम संतुलन बिगाड़ रहे हैं।
हानिकारक सामग्री को फ़िल्टर करके AI को "सुरक्षित" बनाने के प्रयास में, हम अनजाने में इसे वास्तविक जीवन का कम प्रतिनिधि (less representative) बना रहे हैं। हम एक ऐसी डिजिटल दुनिया बना रहे हैं जहाँ महिलाएं और अल्पसंख्यक अदृश्य हैं क्योंकि "सुरक्षा फिल्टर" बहुत ही भद्दे और अनगढ़ (blunt) हैं।
सीख: हम इंटरनेट को साफ करने के लिए केवल हथौड़े का उपयोग नहीं कर सकते। हमें एक बहुत अधिक सूक्ष्म, सर्जिकल दृष्टिकोण की आवश्यकता है जो एक "खरपतवार" (नफरत भरे भाषण) और एक "दुर्लभ फूल" (एक कमजोर समूह का अनूठा दृष्टिकोण) के बीच अंतर जानता हो। यदि हम इसे ठीक नहीं करते हैं, तो हमारे AI लाइब्रेरियन केवल दुनिया के आधे हिस्से के बारे में ही बात करना जान पाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।