To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias
यह शोध पत्र एक एकीकृत ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि जहाँ पृथक मूल्यांकन पूर्वाग्रहों को सीमित कर सकते हैं, वहीं तुलनात्मक मूल्यांकन परिवेश बड़े भाषा मॉडलों (Large Language Models) में अंतर्निहित सामाजिक पूर्वाग्रहों को व्यवस्थित रूप से बढ़ा देते हैं—एक ऐसी घटना जिसे चेन-ऑफ-थॉट (Chain-of-Thought) तर्क और मॉडल के पैमाने द्वारा और अधिक बढ़ा दिया जाता है—जिससे छिपे हुए पूर्वाग्रहों के ऑडिटिंग के लिए तुलनात्मक विधियों का उपयोग करने बनाम अस्पष्ट वास्तविक दुनिया के अनुप्रयोगों में उनसे बचने के बीच एक महत्वपूर्ण अंतर स्पष्ट करना आवश्यक हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "To Compare, or Not to Compare" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य विचार: "सोलो" (Solo) बनाम "फेस-ऑफ" (Face-Off) टेस्ट
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या छात्रों के एक समूह में किसी विशिष्ट विषय, जैसे गणित, के प्रति कोई छिपा हुआ पूर्वाग्रह (bias) है। आपके पास इसे परखने के दो तरीके हैं:
- सोलो टेस्ट (अलग-थलग): आप प्रत्येक छात्र से व्यक्तिगत रूप से पूछते हैं, "क्या एक महिला गणित में अच्छी है?" वे "हाँ" या "नहीं" में उत्तर देते हैं।
- फेस-ऑफ टेस्ट (तुलनात्मक): आप दो छात्रों को एक रिंग में खड़ा करते हैं और पूछते हैं, "कौन बेहतर है: एक पुरुष या एक महिला?" उन्हें एक को चुनना ही होगा।
पेपर की मुख्य खोज चौंकाने वाली है: जब आप सोलो टेस्ट का उपयोग करते हैं, तो छात्र (AI मॉडल) पूरी तरह से निष्पक्ष और तटस्थ दिखाई देते हैं। वे बिना किसी झंझट के "हाँ" या "नहीं" कहते हैं। लेकिन जैसे ही आप फेस-ऑफ टेस्ट पर स्विच करते हैं, वही छात्र अचानक रूढ़िवादी उत्तर (जैसे, "पुरुष") को अत्यधिक आत्मविश्वास के साथ चुनने लगते हैं।
लेखक इसे एक "पैराडाइम गैप" (paradigm gap) कहते हैं। यह पता चला है कि समूहों के बीच तुलना करने के लिए मजबूर करना एक "प्रेशर कुकर" की तरह काम करता है, जो उन छिपे हुए पूर्वाग्रहों को बाहर ले आता है जो समूहों को अकेले टेस्ट करने पर अदृश्य थे।
"कॉन्टेक्स्ट वैक्यूम" (संदर्भ शून्य) की उपमा
ऐसा क्यों होता है? पेपर का तर्क है कि ऐसा इसलिए है क्योंकि प्रश्न अक्सर एक "कॉन्टेक्स्ट वैक्यूम" (संदर्भ की कमी) में पूछे जाते हैं।
कल्पना कीजिए कि आप पूछ रहे हैं, "कौन गणित में बेहतर है?" बिना किसी विवरण के कि वे विशिष्ट लोग कौन हैं। यह एक जज से सबूत पढ़े बिना केस का फैसला करने को कहने जैसा है। क्योंकि AI के पास तार्किक निर्णय लेने के लिए पर्याप्त तथ्य नहीं हैं, वह अपने "ट्रेनिंग डेटा" पर निर्भर हो जाता है—यानी उन रूढ़ियों (stereotypes) पर जिन्हें उसने इंटरनेट से सोखा है।
- सोलो टेस्ट में: AI "हाँ" या "नहीं" कह सकता है और महसूस कर सकता है कि वह बस एक सामान्य प्रश्न का उत्तर दे रहा है। उसे किसी "विजेता" को चुनने के लिए मजबूर नहीं किया जाता।
- फेस-ऑफ टेस्ट में: AI को एक विजेता चुनने के लिए मजबूर किया जाता है। चूंकि उसके पास कोई तथ्य नहीं हैं, वह खाली स्थान को भरने के लिए निकटतम रूढ़ि (सबसे "आसान" उत्तर) को पकड़ लेता है।
पेपर ने पाया: यदि आप AI को पर्याप्त संदर्भ देते हैं (जैसे, "मैरी के पास गणित में पीएचडी है और जेम्स इस कक्षा में फेल हो गया था"), तो दोनों टेस्ट में पूर्वाग्रह गायब हो जाता है। पूर्वाग्रह तभी विस्फोट करता है जब AI को अंधेरे में अनुमान लगाने के लिए छोड़ दिया जाता है।
"रीजनिंग" का जाल (चेन-ऑफ-थॉट - CoT)
आप सोच सकते हैं, "यदि AI पक्षपाती है, तो शायद हम इसे 'स्टेप-बाय-स्टेप सोचने' (Chain-of-Thought) के लिए कहकर ठीक कर सकते हैं।" इसे चेन-ऑफ-थॉट (CoT) रीजनिंग कहा जाता है।
- अपेक्षा: हमें उम्मीद है कि AI रुकेगा, महसूस करेगा कि प्रश्न अनुचित है, और कहेगा, "मैं इसका उत्तर नहीं दे सकता।"
- वास्तविकता: पेपर ने इसके विपरीत पाया। जब तुलना करने के लिए मजबूर किया गया (फेस-ऑफ), तो AI को "स्टेप-बाय-स्टेप सोचने" के लिए कहना वास्तव में पूर्वाग्रह को और खराब कर देता है।
उपमा: कल्पना कीजिए कि एक व्यक्ति है जो मन ही मन पूर्वाग्रही है। यदि आप उनसे एक साधारण प्रश्न पूछते हैं, तो वे शायद बस कंधे उचका देंगे। लेकिन यदि आप उनसे "यह समझाने के लिए एक निबंध लिखने" को कहते हैं कि "X, Y से बेहतर क्यों है," तो वे अपने पूर्वाग्रह को सही ठहराने के लिए चतुर, तार्किक दिखने वाले कारण गढ़ना शुरू कर देंगे। "सोचने" की प्रक्रिया पूर्वाग्रह को रोकती नहीं है; यह केवल उसे तर्कसंगत (rationalize) बनाती है, जिससे AI अपनी नाइंसाफी में अधिक आत्मविश्वासी और जिद्दी लगने लगता है।
"न्यूट्रल" विकल्प का भ्रम
कुछ शोधकर्ता इसे ठीक करने के लिए AI को एक "सुरक्षित" विकल्प देते हैं, जैसे "उत्तर देने से बचना चाहता हूँ" या "मुझे नहीं पता।"
- पेपर का निष्कर्ष: यह एक जाल है।
- उपमा: एक हेरफेर किए गए वोटिंग मशीन की कल्पना करें जो "मैं अनिश्चित हूँ" बटन प्रदान करती है। अधिकांश लोग सुरक्षित दिखने के लिए इसे दबा सकते हैं। लेकिन यदि आप उन लोगों को देखते हैं जो वास्तव में एक उम्मीदवार को चुनते हैं, तो मशीन अभी भी पक्षपाती विकल्प की ओर भारी रूप से झुकी हुई है।
पेपर दिखाता है कि भले ही AI मॉडल "न्यूट्रल" विकल्प का उपयोग करते हैं, जो मॉडल चुनाव करते हैं, वे अभी भी अत्यधिक पक्षपाती हैं। न्यूट्रल विकल्प केवल समस्या को छुपाता है; यह उसे हल नहीं करता।
"रैंडम" (यादृच्छिक) का झूठ
अंत में, पेपर ने परीक्षण किया कि क्या AI मॉडल वास्तव में उन्हें कहा जाने पर रैंडम (random) उत्तर दे सकते हैं।
- दावा: "मैं रैंडम तरीके से एक उत्तर चुनूंगा।"
- वास्तविकता: वे नहीं चुनते। यहाँ तक कि रैंडम होने के लिए कहे जाने पर भी, AI अभी भी रूढ़िवादी उत्तर 50% से अधिक बार चुनता है। यह एक जादूगर के दावा करने जैसा है कि वह ताश के पत्तों को रैंडम तरीके से फेंट रहा है, लेकिन इक्का (ace of spades) बार-बार ऊपर ही आता है। "रैंडमनेस" केवल उसी गहरे बैठे पूर्वाग्रह के लिए एक कवर है।
"साइज" (आकार) की समस्या
पेपर ने यह भी देखा कि AI मॉडल कितने बड़े हैं।
- निष्कर्ष: बड़े AI मॉडल (जिनमें अधिक "ब्रेन पावर" है) फेस-ऑफ टेस्ट में अधिक सुरक्षित नहीं होते हैं। वास्तव में, वे अक्सर अधिक पक्षपाती होते हैं।
- उपमा: एक लाइब्रेरी (पुस्तकालय) के बारे में सोचें। एक छोटी लाइब्रेरी में कुछ किताबें होती हैं। एक विशाल लाइब्रेरी में लाखों किताबें होती हैं। यदि विशाल लाइब्रेरी में लाखों पक्षपाती कहानियाँ हैं, तो बड़ी लाइब्रेरी (बड़ा AI) के पास अपने पूर्वाग्रह को सही ठहराने के लिए अधिक सामग्री होगी। अतिरिक्त "ब्रेन पावर" केवल AI को अपने पूर्वाग्रह के लिए बेहतर बहाने बनाने में मदद करती है।
शोधकर्ताओं और उपयोगकर्ताओं के लिए निचोड़
पेपर एक महत्वपूर्ण चेतावनी देता है:
- शोधकर्ताओं के लिए (ऑडिटर्स): यदि आप AI में छिपे हुए पूर्वाग्रहों को खोजना चाहते हैं, तो आपको "फेस-ऑफ" (तुलनात्मक) टेस्ट का उपयोग अवश्य करना चाहिए। "सोलो" टेस्ट बहुत आसान है और यह AI को अपना असली स्वरूप छिपाने देता है। आपको दरारें देखने के लिए AI को दबाव में डालना होगा।
- अभ्यासकर्ताओं के लिए (निर्माता): यदि आप एक ऐसा ऐप बना रहे हैं जहाँ AI को लोगों की तुलना करनी है (जैसे, "किसे यह नौकरी मिलनी चाहिए? पुरुष या महिला?"), तो आप खतरे के क्षेत्र (danger zone) में हैं। AI पक्षपाती होने की संभावना है। या तो इन तुलनाओं से पूरी तरह बचें या प्रश्न को इस तरह से बदलें ताकि AI समूहों के बीच "विजेता" चुनने के लिए मजबूर न हो।
संक्षेप में: केवल इसलिए AI पर भरोसा न करें क्योंकि वह एक "सोलो" टेस्ट पास कर लेता है। यदि आप उसे समूहों के बीच चुनने के लिए मजबूर करते हैं, विशेष रूप से स्पष्ट तथ्यों के बिना, तो वह संभवतः अपने सबसे बुरे, सबसे रूढ़िवादी रूप को प्रकट करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।