The Fairness Collapse Phenomenon: Bias Amplification in Language Models Trained on Synthetic Data
यह शोध पत्र "फेयरनेस कोलैप्स" (fairness collapse) की पहचान और प्रदर्शन करता है, जो एक ऐसी घटना है जहाँ सिंथेटिक डेटा पर प्रशिक्षित भाषा मॉडल सामाजिक पूर्वाग्रहों को बढ़ा देते हैं और मानक भाषा मॉडलिंग कार्यों में प्रदर्शन में गिरावट आने से काफी पहले ही निष्पक्षता मेट्रिक्स में महत्वपूर्ण रूप से निम्नीकृत हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानियाँ लिखना सिखा रहे हैं, इसके लिए आप उसे इंसानी किताबों का एक विशाल पुस्तकालय खिला रहे हैं। आधुनिक "लार्ज लैंग्वेज मॉडल्स" (LLMs) इसी तरह सीखते हैं: वे इंसानों के बोलने, सोचने और दुनिया का वर्णन करने के तरीके को समझने के लिए खरबों शब्द पढ़ते हैं। लेकिन यहाँ एक पेंच है: इंटरनेट रोबोट द्वारा लिखी गई कहानियों से भरता जा रहा है। जल्द ही, एक रोबोट एक दूसरे रोबोट द्वारा लिखी गई कहानियाँ पढ़ सकता है, जो एक अन्य रोबोट द्वारा लिखी गई थीं, जिसे एक रोबोट ने उससे पहले लिखा था, जिससे एक विशाल चक्र बन जाएगा।
वैज्ञानिकों ने पहले ही "मॉडल कोलैप्स" (model collapse) नामक एक डरावनी समस्या की खोज कर ली है। यदि एक रोबोट केवल रोबोट द्वारा लिखी गई कहानियाँ पढ़ता है, तो वह वास्तविक दुनिया को भूलने लगता है। उसकी शब्दावली सिकुड़ जाती है, उसके वाक्य दोहराव वाले हो जाते हैं, और अंततः वह अर्थहीन हो जाता है, जैसे फोटोकॉपी की फोटोकॉपी करने पर वह हर बार धुंधली होती जाती है। लेकिन यहाँ एक दूसरा, अधिक चालाकी भरा खतरा है। हम जानते हैं कि ये रोबोट कभी-कभी इंसानी रूढ़ियों (stereotypes) को सीख लेते हैं—जैसे यह सोचना कि "नर्स" हमेशा एक महिला होती है और "इंजीनियर" हमेशा एक पुरुष होता है। बड़ा सवाल यह था कि यदि एक रोबोट अपनी ही पक्षपाती, रोबोट-लिखित कहानियों पर प्रशिक्षण लेता रहता है, तो क्या वह केवल लिखने में खराब होता है, या वह अधिक पक्षपाती भी हो जाता है? यह शोध पत्र यह देखने के लिए कंप्यूटर विज्ञान के इसी विशिष्ट कोने में गहराई से उतरता है कि क्या रोबोट के पूर्वाग्रह उसके लेखन कौशल के टूटने से पहले ही बढ़ जाते हैं।
शोधकर्ताओं ने इसे वास्तविक समय में होते हुए देखने के लिए एक नियंत्रित प्रयोग किया। उन्होंने एक भाषा मॉडल (language model) लिया और उससे हजारों फर्जी पेशेवर जीवनियाँ (जैसे डॉक्टर, नर्स और इंजीनियरों के बारे में लघु कहानियाँ) लिखवाईं। फिर, उन्होंने उन फर्जी कहानियों को वापस उसी मॉडल को फिर से सिखाने के लिए इस्तेमाल किया, और इस चक्र को बार-बार दोहराया। उन्होंने इसे दो तरीकों से किया: एक जिसमें रोबोट ताज़ा मानवीय डेटा के साथ अपने स्वयं के फर्जी कहानियों से सीख रहा था, और दूसरा जहाँ वह केवल अपने पिछले फर्जी कहानियों से सीख रहा था, जिससे एक बंद लूप (closed loop) बन गया।
टीम को कुछ आश्चर्यजनक और परेशान करने वाला पता चला। उन्होंने पाया कि एक घटना जिसे वे "फेयरनेस कोलैप्स" (fairness collapse) कहते हैं। आमतौर पर, जब कोई रोबोट विफल होने लगता है, तो हमें स्पष्ट संकेत दिखाई देते हैं: उसका लेखन निरर्थक हो जाता है, या वह सरल प्रश्नों के उत्तर देने में बहुत बुरा हो जाता है। लेकिन इस अध्ययन में, रोबोट का लेखन वास्तव में शुरू में सुधार गया। उसके कन्फ्यूजन स्कोर (जिसे पर्प्लेक्सिटी कहा जाता है) कम हो गए, जिसका अर्थ था कि वह वाक्य में अगले शब्द की भविष्यवाणी करने में बेहतर हो रहा था। हालाँकि, जबकि उसका लेखन एकदम सही दिख रहा था, उसका आंतरिक पूर्वाग्रह बढ़ता ही जा रहा था।
इसे एक ऐसे छात्र की तरह समझें जो केवल अपने एक ऐसे दोस्त के नोट्स पढ़कर परीक्षा की तैयारी कर रहा है जो गणित में बहुत कमजोर है। छात्र उन नोट्स को पूरी तरह से रटना शुरू कर सकता है, अभ्यास क्विज़ में उच्च अंक प्राप्त कर सकता है क्योंकि नोट्स सुसंगत (consistent) हैं। लेकिन छात्र वास्तव में गलत गणित सीख रहा है। ठीक उसी तरह, अध्ययन में रोबोट ने अपनी ही पक्षपाती कहानियों को "रटना" शुरू कर दिया। जैसे-जैसे वह अपने स्वयं के आउटपुट पर प्रशिक्षण लेता रहा, "नर्स" और "महिला" (या "इंजीनियर" और "पुरुष") के बीच का संबंध और भी मजबूत होता गया, भले ही रोबोट का सामान्य लेखन कौशल शानदार दिख रहा था।
अध्ययन ने दिखाया कि यह पूर्वाग्रह प्रवर्धन (bias amplification) रोबोट के स्पष्ट गलतियाँ करने से पहले हुआ। उनके एक प्रयोग में, अपने स्वयं के फर्जी डेटा पर पाँच दौर के प्रशिक्षण के बाद, रोबोट का पूर्वाग्रह स्कोर काफी बढ़ गया, जबकि उसके सामान्य ज्ञान परीक्षण के स्कोर धीरे-धीरे गिरना शुरू हुए। यह सुझाव देता है कि रोबोट "मौन" तरीके से अधिक पक्षपाती होता जा रहा है। वह क्रैश नहीं हो रहा है; वह बस अपने स्वयं के रूढ़िवादी विचारों के प्रति अधिक आश्वस्त होता जा रहा है।
शोधकर्ताओं ने यह भी पाया कि यह "फेयरनेस कोलैप्स" तब बहुत अधिक गंभीर था जब रोबोट विशेष रूप से अपने पिछले आउटपुट (रिकर्सिव लूप) पर प्रशिक्षित हुआ, तुलना में जब उसके पास कुछ ताज़ा मानवीय डेटा मिश्रित था। बंद लूप (closed loop) में, रोबोट का पूर्वाग्रह लगातार और अनुमानित रूप से बढ़ा, जिससे वही रूढ़ियाँ बार-बार पुख्ता होती गईं।
तो, इसका क्या अर्थ है? यह बताता है कि जैसे-जैसे हम इंटरनेट पर सामग्री उत्पन्न करने के लिए एआई (AI) पर अधिक निर्भर होते जा रहे हैं, हम एक ऐसा फीडबैक लूप बना सकते हैं जहाँ एआई मॉडल बिना हमारी नज़र में आए तेजी से पक्षपाती होते जा रहे हैं। वे "चेतावनी संकेत" जो आमतौर पर हमें बताते हैं कि एक मॉडल विफल हो रहा है (जैसे खराब लेखन या कम टेस्ट स्कोर), शायद तब तक चालू नहीं होंगे जब तक कि वह पहले से ही गहराई से पक्षपाती न हो चुका हो। शोध पत्र निष्कर्ष निकालता है कि हमें निष्पक्षता (fairness) की जाँच के लिए नए तरीकों की आवश्यकता है, क्योंकि जब तक कोई मॉडल "टूटा हुआ" दिखता है, तब तक वह पहले से ही एक बहुत ही आत्मविश्वासी और बहुत अधिक पक्षपाती संस्करण बन चुका हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।