Whose Story Gets Told? Positionality and Bias in LLM Summaries of Life Narratives
यह शोध पत्र मानव जीवन के वृत्तांतों की बड़े भाषा मॉडलों (LLMs) की अमूर्त व्याख्याओं में नस्लीय और लैंगिक पूर्वाग्रहों का पता लगाने के लिए एक सारांश-आधारित पाइपलाइन का प्रस्ताव करता है, जो गुणात्मक अनुसंधान में प्रतिनिधित्व संबंधी हानि को रोकने के लिए मॉडल की स्थितिगतता (positionality) का विश्लेषण करने की नैतिक आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास सैकड़ों व्यक्तिगत डायरियों से भरी एक लाइब्रेरी है। ये केवल कामों की सूची नहीं हैं; ये लोगों के जीवन की गहरी, भावनात्मक कहानियाँ हैं—कैसे वे प्यार में पड़े, परिवार के सदस्यों को खो दिया, नशे की लत से संघर्ष किया, या खुशी पाई।
अब, कल्पना कीजिए कि आपने एक सुपर-फास्ट, अविश्वसनीय रूप से स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) को काम पर रखा है ताकि वह उन सभी डायरियों को पढ़ सके और उनमें से प्रत्येक का एक संक्षिप्त सारांश (summary) लिख सके। आप इन सारांशों का उपयोग मानव अनुभव को समझने के लिए करना चाहते हैं।
समस्या:
यह शोध पत्र एक डरावना सवाल पूछता है: क्या होगा अगर रोबोट केवल कहानी का सारांश न लिखे, बल्कि अपनी छिपी हुई पूर्वाग्रहों (biases) के आधार पर उसे अनजाने में फिर से लिख दे?
यदि एक अश्वेत महिला अपने संघर्षों के बारे में लिखती है, तो क्या रोबोट उसके सारांश को उसी तरह लिखेगा जैसे वह एक श्वेत पुरुष की कहानी का सारांश लिखता है? या क्या रोबोट लेखक के आधार पर कहानी के लहजे (tone), विषयों या "कहानी की सीख" को सूक्ष्म रूप से बदल देता है?
"मशीन में भूत" (The Ghost in the Machine) की उपमा
एक मानव शोधकर्ता को एक टूर गाइड के रूप में सोचें। यदि एक टूर गाइड एक विशिष्ट पृष्ठभूमि से है (मान लीजिए कि वे एक खेती वाले शहर में पले-बढे हैं), तो वे एक शहर में उन विवरणों को अलग तरह से देख सकते हैं जो एक ऐसे गाइड के लिए अलग होंगे जो गगनचुंबी इमारतों के बीच पला-बढ़ा है। सामाजिक विज्ञान में, हम इसे पोज़िशनैलिटी (Positionality) कहते हैं। यह विचार है कि आप कौन हैं यह बदल देता है कि आप क्या देखते हैं।
आमतौर पर, शोधकर्ता एक नोट लिखते हैं, "मैं भारत की एक 30 वर्षीय महिला हूँ, इसलिए यहाँ बताया गया है कि मेरी पृष्ठभूमि मेरे दृष्टिकोण को कैसे प्रभावित कर सकती है।"
लेकिन AI की कोई पृष्ठभूमि नहीं होती। उसका कोई बचपन या संस्कृति नहीं होती। तो, हमें कैसे पता चलेगा कि वह किस "लेंस" से देख रहा है? इस शोध पत्र के लेखकों ने AI के लिए एक "पोज़िशनैलिटी पोर्ट्रेट" बनाने का निर्णय लिया। यह पूछने के बजाय कि "AI कौन है?", उन्होंने पूछा, "AI कहानियों के साथ क्या करता है?"
प्रयोग: "जादुई दर्पण" (The Magic Mirror)
शोधकर्ताओं ने एक मनोविज्ञान अध्ययन से वास्तविक जीवन की कहानियों का एक डेटासेट लिया (लोग नौ वर्षों में अपने जीवन के बारे में बात कर रहे थे)। उन्होंने ये कहानियाँ तीन अलग-अलग AI मॉडलों (Llama और Qwen) को दीं।
उन्होंने दो चीजें कीं:
- ब्लाइंड टेस्ट (Blind Test): उन्होंने AI को कहानी का सारांश लिखने के लिए कहा बिना यह बताए कि वह व्यक्ति कौन था।
- लेबल टेस्ट (Label Test): उन्होंने AI को कहानी का सारांश लिखने के लिए कहा और साथ ही स्पष्ट रूप से बताया, "यह व्यक्ति एक अश्वेत पुरुष है" या "यह एक श्वेत महिला है।"
फिर, उन्होंने यह देखने के लिए परिणामों की तुलना की कि क्या AI ने लेबल के आधार पर सारांश बदला।
उन्हें क्या मिला? ("विकृत प्रतिबिंब" - Twisted Reflections)
परिणाम एक फनहाउस मिरर (तरह-तरह के आकार दिखाने वाला दर्पण) की तरह थे, जो सामने खड़े व्यक्ति के आधार पर प्रतिबिंब को अलग तरह से विकृत कर देता है।
1. "श्वेत पुरुष" का डिफॉल्ट सेटिंग
AI ऐसा व्यवहार करता था जैसे श्वेत पुरुषों की कहानियाँ मानव जीवन का "मानक" संस्करण हों। उनके सारांश मूल शब्दों के सबसे करीब रहे। लेकिन बाकी सभी के लिए, AI ने बदलाव करना शुरू कर दिया।
- उपमा: एक अनुवादक की कल्पना करें जो उत्तम अंग्रेजी बोलता है लेकिन बोलियों (dialects) के साथ संघर्ष करता है। जब एक अश्वेत व्यक्ति बोलता है, तो अनुवादक केवल शब्दों का अनुवाद नहीं करता; वह अनजाने में शब्दों के भाव को बदलकर उन्हें अधिक "मानक" या "रूढ़िबद्ध" (stereotypical) बना देता है।
2. "गर्मी" बनाम "क्षमता" का जाल (Warmth vs. Competence Trap)
AI पुरानी रूढ़ियों में फंस गया।
- अश्वेत पुरुष: AI अक्सर उन्हें "गर्मजोशी से भरा" (warm) और "भावुक" बताता था, लेकिन कभी-कभी उनके नियंत्रण या क्षमता के अहसास को छीन लेता था। यह ऐसा था जैसे AI सोच रहा हो, "वह एक अच्छा आदमी है, लेकिन शायद वह बड़े निर्णय लेने वाला व्यक्ति नहीं है।"
- अश्वश्वेत महिलाएँ: AI उनके संघर्ष और "कठिन परिश्रम" पर बहुत अधिक ध्यान केंद्रित करता था, अक्सर उनके विश्राम या आनंद को अनदेखा कर देता था। यह ऐसा था मानो AI उन्हें केवल एक श्रमिक के रूप में देखता था, न कि ऐसे व्यक्ति के रूप में जो आराम भी कर सकता है या खेल भी सकता है।
- श्वेत महिलाएँ: AI उनकी कहानियों को "विश्राम" और "खुशी" पर ध्यान केंद्रित करते हुए सारांशित करने की अधिक संभावना रखता था, भले ही मूल कहानी संघर्ष के बारे में हो।
3. "सुखद अंत" की गड़बड़ी (The Happy Ending Glitch)
AI में कहानियों को एक सुखद, उत्साहजनक अंत देने की आदत है, भले ही व्यक्ति ने ऐसा न कहा हो।
- वास्तविक जीवन: एक व्यक्ति कहता है, "मैं अवसाद में हूँ, मैं ऊब गया हूँ, और बिस्तर से उठने के लिए संघर्ष कर रहा हूँ।"
- AI सारांश: "अपने संघर्षों के बावजूद, वे जीवन में नया अर्थ और उद्देश्य पा रहे हैं!"
AI ने दर्द को मिटा दिया, एक बिखरी हुई, मानवीय वास्तविकता को एक सुंदर, प्रेरणादायक पोस्टर में बदल दिया। यह मनोविज्ञान में खतरनाक है क्योंकि यह वास्तविक, कच्चे मानवीय अनुभव को मिटा देता है।
4. पुरुषों के लिए "भावनात्मक विलोपन" (Emotional Erasure for Men)
आश्चर्यजनक रूप से, AI ने भावनाओं के संबंध में पुरुषों की कहानियों को सबसे अधिक बदला। यदि एक पुरुष ने उदास होने या असुरक्षित महसूस करने के बारे में लिखा, तो AI अक्सर इसे उसके "मजबूत" या "लचीला" होने के रूप में सारांशित करता था। ऐसा लगा कि AI यह स्वीकार करने में कठिनाई महसूस करता है कि पुरुष भी संवेदनशील हो सकते हैं, इसलिए उसने "टफ गाय" (tough guy) की रूढ़ि को फिट करने के लिए उनकी कहानियों को फिर से लिख दिया।
निष्कर्ष: यह क्यों मायने रखता है
लेखक यह नहीं कह रहे हैं कि "AI का उपयोग न करें।" वे कह रहे हैं, "AI पर आँख बंद करके भरोसा न करें।"
यदि कोई शोधकर्ता 1,000 साक्षात्कारों का विश्लेषण करने के लिए AI का उपयोग करता है, तो उन्हें लग सकता है कि वे सत्य देख रहे हैं। लेकिन यदि AI गुप्त रूप से अपने पूर्वाग्रहों के अनुसार कहानियों को फिर से लिख रहा है, तो शोध के परिणाम गलत होंगे।
समाधान:
मानवीय कहानियों का विश्लेषण करने के लिए AI का उपयोग करने से पहले, शोधकर्ताओं को एक "पोज़िशनैलिटी पोर्ट्रेट" परीक्षण चलाना चाहिए। उन्हें पूछना चाहिए:
- क्या यह AI श्वेत पुरुषों की तुलना में अश्वेत पुरुषों का सारांश अलग तरह से देता है?
- क्या यह महिलाओं की कहानियों को पुरुषों की तुलना में अधिक भावुक बनाता है?
- क्या यह दुखद कहानियों पर सुखद अंत थोपता है?
मुख्य बात (The Bottom Line)
AI को एक तटस्थ कैमरे के रूप में नहीं, बल्कि एक विशेष शैली वाले चित्रकार के रूप में देखें। यदि आप उस चित्रकार को एक अश्वेत महिला का चित्र बनाने के लिए कहते हैं, तो वह एक श्वेत पुरुष का चित्र बनाने की तुलना में अलग रंगों और ब्रशस्ट्रोक का उपयोग कर सकता है।
यह शोध पत्र हमें अपने संग्रहालय में पेंटिंग लटकाने से पहले चित्रकार की शैली को देखने की शिक्षा देता है। यदि हम ऐसा नहीं करते हैं, तो हम वास्तविकता के विकृत संस्करण को प्रदर्शित कर सकते हैं, यह सोचकर कि वही सत्य है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।