Status Association Does Not Reliably Predict Decision Leakage
यह शोध पत्र यह प्रदर्शित करता है कि जबकि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) अपने लेटेंट रिप्रेजेंटेशन्स में सामाजिक-आर्थिक संबंधों को विश्वसनीय रूप से एनकोड करते हैं, ये संबंध विभिन्न उच्च-जोखिम वाले परिदृश्यों में लगातार पक्षपाती परिणामी निर्णयों में परिवर्तित नहीं होते हैं, जो यह संकेत देता है कि लेटेंट बायस (अंतर्निहित पूर्वाग्रह) और भेदभावपूर्ण कार्रवाई अनुभवजन्य रूप से भिन्न निर्माण (कंस्ट्रक्ट्स) हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सेटअप: जब जानना, करना नहीं होता
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या आपका एक नया रोबोट दोस्त पक्षपाती (biased) है। आप उससे दुनिया को देखने के उसके तरीके के बारे में कई सवाल पूछते हैं। शायद आप उससे पूछें, "कौन अधिक अमीर है, एक शानदार नाम वाला व्यक्ति या एक साधारण नाम वाला?" यदि रोबोट कहता है, "ओह, निश्चित रूप से शानदार नाम वाला," तो आपको चिंता हो सकती है कि वह बाद में लोगों के साथ अन्यायपूर्ण व्यवहार करेगा। यह AI बायस टेस्टिंग (AI bias testing) की दुनिया है। वैज्ञानिकों ने यह देखने के लिए वर्षों तक उपकरण बनाए हैं कि क्या कंप्यूटर रूढ़ियों (stereotypes) को "जानते" हैं, जैसे कुछ नामों को उच्च या निम्न स्थिति से जोड़ना।
लेकिन यहाँ पेचीदा बात यह है: किसी रूढ़ि को जानना और उस पर कार्य करना दो बहुत अलग चीजें हैं। एक ऐसे शेफ के बारे में सोचें जो एक बहुत ही खराब, तीखे सूप की रेसिपी जानता है। सिर्फ इसलिए कि शेफ उस रेसिपी को जानता है, इसका मतलब यह नहीं है कि वह आपके लिए उसे वास्तव में पकाएगा, खासकर यदि आपने एक हल्का व्यंजन ऑर्डर किया हो। आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता अक्सर यह मान लेते हैं कि यदि कोई मॉडल किसी रूढ़ि को "जानता" है (एसोसिएशन), तो वह उस ज्ञान का उपयोग अनैतिक निर्णय लेने के लिए करेगा (एक्शन)। यह पेपर एक सरल, महत्वपूर्ण प्रश्न पूछता है: क्या वह धारणा सही है? क्या एक रोबोट का रूढ़ि के बारे में "ज्ञान" वास्तव में यह भविष्यवाणी करता है कि वास्तविक विकल्प चुनते समय वह लोगों के साथ कैसा व्यवहार करता है?
प्रयोग: चिली नाम परीक्षण (The Chilean Name Test)
इसका उत्तर खोजने के लिए, प्रोजेक्ट AWARE के शोधकर्ताओं ने चिली के उपनामों (Chilean surnames) का उपयोग करके एक चतुर प्रयोग तैयार किया। सैंटियागो, चिली में, लोगों के अंतिम नाम अक्सर उनकी सामाजिक श्रेणी के लिए एक गुप्त कोड की तरह काम करते हैं। कुछ नाम ऐतिहासिक रूप से धनी, कुलीन परिवारों से जुड़े हैं, जबकि अन्य सामान्य आबादी के बीच आम हैं। टीम ने इन नामों को "प्रोब्स" (probes) के रूप में उपयोग किया—यह देखने के लिए छोटे परीक्षण मामले कि AI क्या सोच रहा है।
उन्होंने आठ अलग-अलग फ्रोजन AI मॉडल्स (जैसे GPT-5.4, Claude Sonnet 5, और अन्य) का 8,000 से अधिक प्रॉम्प्ट्स के साथ परीक्षण किया। उन्होंने इस परीक्षण को दो स्पष्ट चरणों में विभाजित किया, जैसे कि पहले छात्र के होमवर्क की जांच करना और फिर उसकी अंतिम परीक्षा की जांच करना।
चरण 1: "ज्ञान" की जाँच (एसोसिएशन)
सबसे पहले, उन्होंने AI को केवल उनके उपनाम के आधार पर किसी व्यक्ति की सामाजिक स्थिति का अनुमान लगाने के लिए मजबूर किया। उन्होंने मॉडल्स से यह संभावना (प्रतिशत संभावना) बताने को कहा कि एक विशिष्ट नाम वाला व्यक्ति "उच्च स्तर" (high status) का है।
- परिणाम: AI मॉडल्स सामाजिक कोड के प्रति "जागरूक" थे। आठ में से सात मॉडल्स में, "कुलीन" नामों को सामान्य नामों की तुलना में बहुत अधिक "उच्च स्तर" का स्कोर मिला। एक मॉडल ने तो कुलीन नामों को सामान्य नामों की तुलना में 62.10 अंक का भारी लाभ भी दिया। AI स्पष्ट रूप से रूढ़ि को जानता था।
चरण 2: "निर्णय" की जाँच (लीकेज)
इसके बाद, उन्होंने AI को वास्तविक निर्णय लेने के लिए कहा। उन्होंने नौकरी के आवेदकों, छात्रवृत्ति उम्मीदवारों और कानूनी सहायता चाहने वाले लोगों के लिए फर्जी प्रोफाइल बनाए। ये प्रोफाइल समान रूप से मजबूत योग्यता वाले थे। एकमात्र चीज़ जो बदल गई थी, वह थी अंतिम नाम (कुलीन बनाम सामान्य)। उन्होंने AI को इन उम्मीदवारों को स्कोर करने के लिए कहा।
- परिणाम: यहीं पर कहानी बदल जाती है। भले ही AI चरण 1 में रूढ़ियों को जानता था, लेकिन चरण 2 में उसने उन्हें अधिकतर अनदेखा कर दिया।
- आठ में से पांच मॉडल्स के लिए, कुलीन और सामान्य नामों के बीच स्कोर का अंतर इतना कम था कि वह व्यावहारिक रूप से शून्य था।
- अन्य मॉडल्स ने कुलीन नामों का पक्ष लेने का कोई सुसंगत पैटर्न नहीं दिखाया।
- वास्तव में, अधिकांश सिस्टमों के लिए "डिसीजन लीकेज" (कि नाम ने परिणाम को कितना बदला) शून्य के करीब था।
बड़ी खोज: महान विच्छेद (The Great Disconnect)
सबसे आश्चर्यजनक खोज यह है कि रूढ़ि को जानने ने अनैतिक निर्णयों की भविष्यवाणी नहीं की।
शोधकर्ताओं ने डेटा का विश्लेषण किया यह देखने के लिए कि क्या वे मॉडल्स जो रूढ़ियों को सबसे अच्छी तरह जानते थे, वे सबसे अधिक भेदभाव भी करते थे। उन्हें कोई विश्वसनीय संबंध नहीं मिला।
- "AI कितनी रूढ़ि जानता था" और "AI कितना भेदभाव करता था" के बीच सहसंबंध (correlation) अत्यंत कमजोर (r = 0.201) था।
- सरल शब्दों में: एक मॉडल इस बात का विशेषज्ञ हो सकता है कि "नाम A = अमीर" और "नाम B = गरीब" है, लेकिन जब छात्रवृत्ति विजेता चुनने की बात आई, तो वह अभी भी वास्तविक योग्यताओं के आधार पर चयन कर सकता है और नाम को पूरी तरह से अनदेखा कर सकता है।
एक मॉडल, Llama 4 Maverick, ने एक छोटा, सीमावर्ती प्रभाव दिखाया जहाँ उसने कुलीन नामों का थोड़ा पक्ष लिया, लेकिन बाकी के लिए, पूर्वाग्रह का "ज्ञान" "कार्य" में नहीं बदला।
इसका आपके लिए क्या अर्थ है
यह पेपर तर्क देता है कि हमें यह मानना बंद कर देना चाहिए कि यदि कोई AI किसी बुरे रूढ़ि को "जानता" है, तो वह स्वचालित रूप से लोगों को नुकसान पहुँचाने के लिए उसका उपयोग करेगा।
- पुराना तरीका: "यह AI जानता है कि नाम X अमीर है, इसलिए यह निश्चित रूप से नाम X को बेहतर नौकरी का प्रस्ताव देगा।"
- नई वास्तविकता: "यह AI जानता है कि नाम X अमीर है, लेकिन जब हमने इसे समान योग्यताओं के साथ एक निष्पक्ष परीक्षण दिया, तो इसने इसे ज्यादातर अनदेखा कर दिया।"
अध्ययन बताता है कि एसोसिएशन (AI क्या सोचता है) और एक्शन (AI क्या करता है) दो अलग-अलग चीजें हैं। सिर्फ इसलिए कि एक रोबट का "मस्तिष्क पक्षपाती" है, इसका मतलब यह नहीं है कि उसके "हाथ पक्षपाती" होंगे। AI के निष्पक्ष होने को वास्तव में जानने के लिए, हम केवल यह नहीं पूछ सकते कि वह क्या सोचता है; हमें यह देखना होगा कि निर्णय लेते समय वह वास्तव में क्या करता है।
शोधकर्ता सावधानी बरतते हुए कहते हैं कि इसका मतलब यह नहीं है कि AI पूर्ण है या पूर्वाग्रह हमेशा के लिए खत्म हो गया है। इसका मतलब सिर्फ यह है कि इन विशिष्ट परीक्षणों के लिए, पूर्वाग्रह का "ज्ञान" अनैतिक निर्णयों में "लीकेज" की विश्वसनीय भविष्यवाणी नहीं कर सका। यह एक अनुस्मारक है कि AI वास्तव में कैसे काम करता है, यह समझने के लिए हमें उसके विचार के बजाय उसके कार्य का परीक्षण करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।