Compounding Disadvantage: Auditing Intersectional Bias in LLM-Generated Explanations Across Indian and American STEM Education
यह अध्ययन प्रकट करता है कि STEM शिक्षा में उपयोग किए जाने वाले लार्ज लैंग्वेज मॉडल्स, भारतीय और अमेरिकी दोनों संदर्भों में हाशिए पर मौजूद छात्रों के लिए व्यवस्थित रूप से निम्न-गुणवत्ता वाली व्याख्याएँ उत्पन्न करते हैं, जिसमें आय सबसे व्यापक पूर्वाग्रह है और प्रतिच्छेदी (intersectional) नुकसान मिलकर 2.55 ग्रेड स्तरों के बराबर अंतराल पैदा करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पुस्तकालय में कदम रखते हैं जहाँ किताबें एक अत्यंत बुद्धिमान, अदृश्य लाइब्रेरियन (पुस्तकालयाध्यक्ष) द्वारा लिखी गई हैं जो सब कुछ जानता है। आप एक कठिन गणित की समस्या के लिए मदद मांगते हैं।
एक आदर्श दुनिया में, यह लाइब्रेरियन यह देखेगा कि आप पहले से कितना जानते हैं और आपकी क्षमता के स्तर के अनुसार बिल्कुल सटीक व्याख्या लिखेगा। यदि आप एक शुरुआती व्यक्ति हैं, तो वे एक सरल मार्गदर्शिका देंगे। यदि आप एक विशेषज्ञ हैं, तो वे एक गहरा, जटिल व्याख्यान देंगे।
यह शोध पत्र इन "चार अदृश्य लाइब्रेरियनों" (AI मॉडल्स) का एक रिपोर्ट कार्ड है यह देखने के लिए कि क्या वे वास्तव में ऐसा करते हैं। शोधकर्ताओं ने पाया कि आपकी जानकारी को देखने के बजाय, ये लाइब्रेरियन आपके पृष्ठभूमि को देख रहे हैं। वे आपकी क्षमता का निर्णय इस आधार पर कर रहे हैं कि आप कौन हैं, न कि इस आधार पर कि आप क्या जानते हैं।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. "बैकपैक" (बस्ते) की उपमा: आप कौन हैं बनाम आप क्या जानते हैं
कल्पना कीजिए कि हर छात्र के पास एक बैकपैक है। उस बैकपैक के अंदर उनके वास्तविक कौशल (गणित की क्षमता, अध्ययन की आदतें) हैं। लेकिन AI उस बैकपैक के अंदर नहीं देखता है। इसके बजाय, वह बाहर लगे स्टिकर को देखता है।
- स्टिकर: ये चीजें हैं जैसे आपकी आय, आपकी जाति, आपकी विकलांगता की स्थिति, या आपकी स्कूल की भाषा।
- समस्या: यदि किसी छात्र के पास "कम आय" का स्टिकर या "ग्रामीण स्कूल" का स्टिकर है, तो AI मान लेता है कि उनका बैकपैक खाली है। वह तुरंत उन्हें एक "बेबी बुक" (एक बहुत ही सरल व्याख्या) थमा देता है, भले ही वह छात्र वास्तव में एक जीनियस हो।
- परिणाम: एक अमीर छात्र को "ग्रेजुएट थीसिस" (जटिल, विस्तृत व्याख्या) मिलती है, जबकि एक गरीब छात्र को "कॉमिक स्ट्रिप" (अत्यधिक सरल) मिलती है, भले ही वे बिल्कुल एक ही सवाल पूछ रहे हों।
2. विशेषाधिकार का "दोधारी तलवार" जैसा प्रभाव
शोधकर्ताओं ने इसका परीक्षण दो बहुत अलग स्थानों में किया: भारत और USA। उन्होंने पाया कि AI का दोनों देशों में एक "पसंदीदा छात्र" और एक "सबसे कम पसंदीदा छात्र" है।
- USA में: AI उन छात्रों को पसंद करता है जो आइवी लीग (Ivy League) स्कूलों में जाते हैं, श्वेत (White) हैं, धनी हैं और स्वस्थ (able-bodied) हैं। उन्हें सबसे कठिन और विस्तृत उत्तर दिए जाते हैं।
- भारत में: AI उन छात्रों को पसंद करता है जो IITs (शीर्ष इंजीनियरिंग कॉलेजों) में जाते हैं, धनी हैं और अंग्रेजी में शिक्षित हुए हैं।
- "भाषा का जाल": भारत में, AI "अंग्रेजी-माध्यम" की शिक्षा को एक वीआईपी पास की तरह मानता है। यदि कोई छात्र ऐसे स्कूल में जाता है जहाँ वे हिंदी या किसी क्षेत्रीय भाषा में सीखते हैं, तो AI स्वचालित रूप से उत्तर को सरल बना देता है, यह मानकर कि वे "बड़े शब्दों" को नहीं संभाल सकते, भले ही वह छात्र अत्यंत बुद्धिमान हो।
3. "स्नोबॉल इफेक्ट" (इंटरसेक्शनैलिटी/प्रतिच्छेदन)
यह सबसे महत्वपूर्ण हिस्सा है। शोधकर्ताओं ने पाया कि पूर्वाग्रह केवल जुड़ते नहीं हैं; वे गुणा (multiply) होते हैं।
- एक बर्फ के गोले (snowball) की कल्पना करें जो पहाड़ी से नीचे लुढ़क रहा है।
- गरीब होने से बर्फ का गोला थोड़ा बड़ा हो जाता है।
- ग्रामीण क्षेत्र से होने से वह और बड़ा हो जाता है।
- विकलांग होने से वह और भी बड़ा हो जाता है।
- जादू: जब आप इन सभी को मिला देते हैं (जैसे, एक गरीब, ग्रामीण, विकलांग छात्र जो हाशिए पर रहने वाले समुदाय से है), तो वह बर्फ का गोला एक विशाल पत्थर (boulder) बन जाता है।
- निष्कर्ष: "सबसे विशेषाधिकार प्राप्त" छात्र और "सबसे हाशिए पर रहने वाले" छात्र के बीच का अंतर 2.55 ग्रेड स्तर का था।
- अनुवाद: यदि अमीर छात्र को 12वीं कक्षा के स्तर की व्याख्या मिलती है, तो हाशिए पर रहने वाले छात्र को 9वीं कक्षा के स्तर की व्याख्या मिलती है। यह गुणवत्ता में एक बहुत बड़ी गिरावट है, और यह तब होता है जब हाशिए पर रहने वाला छात्र भी एक ही प्रतिष्ठित संस्थान में हो!
4. "एलीट स्कूल" का मिथक
आप सोच सकते हैं, "ठीक है, अगर मैं हार्वर्ड या IIT जैसे शीर्ष स्कूल में प्रवेश पा लेता हूँ, तो AI मेरे साथ निष्पक्ष व्यवहार करेगा, है ना?"
अध्ययन कहता है: नहीं।
भले ही एक कम आय वाला या विकलांग छात्र एक कुलीन (elite) संस्थान में प्रवेश पा ले, AI अभी भी उनके "स्टिकर" (गरीबी, विकलांगता) को देखता है और उन्हें कम सक्षम मानता है। स्कूल की प्रतिष्ठा उनके प्रति पूर्वाग्रह को खत्म नहीं करती है। यह एक शानदार सूट पहनने के बावजूद एक बच्चे की तरह व्यवहार किए जाने जैसा है।
5. "चारों लाइब्रेरियन" एक जैसे ही हैं
शोधकर्ताओं ने चार अलग-अलग AI मॉडल्स (GPT-4o, GPT-4o-mini, Qwen, और GPT-OSS) का परीक्षण किया। उन्हें उम्मीद थी कि शायद उनमें से कोई एक "अधिक निष्पक्ष" होगा।
बुरी खबर: चारों ने लगभग एक जैसा ही व्यवहार किया। उन सभी में एक ही तरह के पूर्वाग्रह थे। एक AI से दूसरे में स्विच करना एक पक्षपाती शिक्षक से दूसरे पक्षपाती शिक्षक की ओर स्विच करने जैसा है; समस्या खत्म नहीं होती।
यह क्यों मायने रखता है?
यदि हम इन AI को अपने स्कूलों चलाने देते हैं:
- वे असमानता का उपकरण बन जाते हैं: सभी को सिखाने में मदद करने के बजाय, वे इस विचार को मजबूत करते हैं कि गरीब या हाशिए पर रहने वाले लोग "कम बुद्धिमान" हैं।
- वे अपेक्षाओं को कम कर देते हैं: हाशिए पर रहने वाले छात्रों को सरल उत्तर देकर, AI उन्हें कभी भी जटिल और चुनौतीपूर्ण विचारों को देखने से रोकता है। यह एक आत्म-सिद्ध भविष्यवाणी (self-fulfilling prophecy) बन जाती है।
- यह तकनीक के बारे में नहीं, बल्कि डेटा के बारे में है: ये AI उन पूर्वाग्रहों को सीख गए जिनसे वे इंटरनेट और किताबों के माध्यम से प्रशिक्षित हुए हैं। उन्होंने सीखा कि "अमीर = बुद्धिमान" और "गरीब = सरल" है, क्योंकि समाज अक्सर ऐसा ही कहता है।
निचोड़ (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि AI वर्तमान में एक दर्पण है जो हमारे सबसे बुरे सामाजिक पूर्वाग्रहों को हमारे सामने वापस प्रतिबिंबित करता है। इसे फर्क नहीं पड़ता कि आपकी वास्तविक क्षमता क्या है; इसे आपकी जनसांख्यिकी (demographics) से फर्क पड़ता है।
इसे ठीक करने के लिए, हम केवल सेटिंग्स को "ट्वीक" नहीं कर सकते। हमें मौलिक रूप से इस तरह से इन प्रणालियों को बनाना होगा कि वे आप क्या जानते हैं (आपके वास्तविक कौशल) को देखें, न कि आप कौन हैं (आपकी पृष्ठभूमि) को। तब तक, शिक्षा में AI का उपयोग करना अमीरों और गरीबों के बीच की खाई को पाटने के बजाय उसे और चौड़ा कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।