A Systematic Analysis of Biases in Large Language Models
यह अध्ययन राजनीतिक, वैचारिक, गठबंधन, भाषाई और लैंगिक आयामों में व्यापक रूप से अपनाए गए चार बड़े भाषा मॉडलों का व्यवस्थित रूप से मूल्यांकन करता है, जो यह प्रकट करता है कि तटस्थता के लिए संरेखण प्रयासों के बावजूद, इन मॉडलों में अभी भी महत्वपूर्ण पूर्वाग्रह और आकर्षण मौजूद हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने जीवन में मदद के लिए चार बहुत बुद्धिमान, बहुत पढ़े-लिखे व्यक्तिगत सहायक नियुक्त किए हैं। आप उनसे समाचारों का सारांश बनाने, वैश्विक मुद्दों पर मतदान करने, विभिन्न भाषाओं में कहानियाँ लिखने और यहाँ तक कि उन्हें लिंग भूमिकाओं (gender roles) के बारे में क्या लगता है, यह बताने के लिए कहते हैं। आप उनसे तटस्थ, निष्पक्ष और बिना किसी पूर्वाग्रह के होने की अपेक्षा करते हैं—जैसे कि एक पूरी तरह से संतुलित तराजू।
लेकिन यह शोध पत्र एक जासूसी रिपोर्ट की तरह है जो कहता है: "बिल्कुल नहीं।"
शोधकर्ताओं ने चार प्रसिद्ध AI सहायकों (Qwen, DeepSeek, Gemini, और GPT) का परीक्षण किया यह देखने के लिए कि क्या वे वास्तव में उतने तटस्थ रोबोट हैं जैसा हम सोचते हैं। यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें कुछ रोजमर्रा के उपमाओं (analogies) के साथ समझाया गया है:
1. राजनीतिक समाचार सारांशकर्ता (द "न्यूट्रल" रिपोर्टर)
परीक्षण: उन्होंने AI से "मध्यम" मार्ग के राजनीतिक समाचारों का सारांश बनाने को कहा। फिर, उन्होंने AI के सारांश की तुलना इस बात से की कि "वामपंथी" (Left) और "दक्षिणपंथी" (Right) समाचार चैनलों ने उसी कहानी को कैसे रिपोर्ट किया था।
निष्कर्ष:
- उपमा: एक अनुवादक की कल्पना करें जो एक भाषण का अनुवाद करने की कोशिश कर रहा है। यदि वे एक बेहतरीन काम करते हैं, तो वे सार को इतनी अच्छी तरह से पकड़ लेते हैं कि वह ऐसा लगता है जैसे इसे एक मध्यममार्गी व्यक्ति द्वारा लिखा गया हो। लेकिन अध्ययन में पाया गया कि जब AI ने अपना सबसे अच्छा काम किया, तो वे अनजाने में वामपंथी समाचारों की तरह थोड़े अधिक सुनाई देने लगे।
- ट्विस्ट: एक AI, Gemini, थोड़ा रूढ़िवादी रेडियो होस्ट की तरह था; वह थोड़ा दक्षिणपंथी (Right) की ओर झुका हुआ था। वहीं, GPT थोड़ा वामपंथी (Left) की ओर झुका हुआ था। DeepSeek सबसे संतुलित था, एक सच्चे तटस्थ रेफरी की तरह।
2. वैचारिक जासूस (द "लेबलर")
परीक्षण: उन्होंने AI को विवादास्पद विषयों (जैसे अप्रवासन, गर्भपात या चुनाव) के बारे में समाचार लेख दिखाए और पूछा, "क्या यह लेख वामपंथी है, दक्षिणपंथी है, या मध्यमार्गी है?"
निष्कर्ष:
- उपमा: यह किसी से सूप का स्वाद पहचानने के लिए पूछने जैसा है।
- Gemini "तीखे" (वामपंथी) स्वादों को पहचानने में बहुत खराब था। वह बार-बार कहता रहा, "यह तो बस सादा चिकन सूप (मध्यमार्गी) है," भले ही वह स्पष्ट रूप से तीखा था। ऐसा लगा जैसे वह दक्षिणपंथी पक्ष से अधिक सहमत था।
- GPT तीखे स्वादों को पहचानने में बहुत अच्छा था और वह वामपंथी पक्ष से अधिक सहमत था।
- Qwen और DeepSeek थोड़े भ्रमित थे। उन्होंने अक्सर बिल्कुल विपरीत स्वाद का अनुमान लगाया, जिससे पता चलता कि वे दोनों पक्षों के गहरे तर्कों को वास्तव में नहीं समझ पाए।
3. वैश्विक मतदाता (द "UN प्रतिनिधि")
परीक्षण: उन्होंने AI को संयुक्त राष्ट्र के प्रतिनिधियों के रूप में हजारों वास्तविक ऐतिहासिक प्रस्तावों पर मतदान करने के लिए कहा। फिर, उन्होंने जाँच की कि वे किसके साथ मतदान कर रहे थे।
निष्कर्ष:
- उपमा: एक स्कूल में नए छात्र की कल्पना करें जो यह समझने की कोशिश कर रहा है कि उसे किस मित्र समूह में शामिल होना चाहिए।
- अधिकांश AI लैटिन अमेरिका और अफ्रीका (परिधीय समूहों) के प्रतिनिधियों के साथ सहमत हुए।
- Gemini सबसे "यथार्थवादी" मतदाता था, जो वास्तविक मानव प्रतिनिधियों के साथ सबसे अच्छा मेल खाता था। लेकिन यहाँ एक मोड़ है: Gemini एकमात्र ऐसा था जिसने USA से असहमति जताई और चीन और उत्तर कोरिया जैसे देशों के साथ सहमति व्यक्त की। वह समूह का "आउटलियर" (अलग दिखने वाला) था।
- GPT सबसे जिद्दी था, जो अक्सर USA और लगभग सभी अन्य लोगों से असहमत था।
4. बहुभाषी कहानीकार (द "ड्रीमर")
परीक्षण: उन्होंने AI को काल्पनिक जनजातियों के बारे में काल्पनिक कहानियों के अंत लिखने के लिए कहा, लेकिन उन्हें 92 अलग-अलग भाषाओं में करना था।
निष्कर्ष:
- उपमा: एक ऐसे सपने देखने वाले की कल्पना करें जो विभिन्न भाषाओं में सोचता है। आप उम्मीद करेंगे कि उनके सपने फ्रेंच में अंग्रेजी की तुलना में बिल्कुल अलग दिखेंगे।
- आश्चर्यजनक रूप से, जब इन AI ने दक्षिणी अफ्रीका की भाषाओं में "सोचा", तो उनकी कहानियाँ उनके अंग्रेजी वाली कहानियों के बहुत समान सुनाई देने लगीं। यह एक ऐसे व्यक्ति की तरह है जो, किसी दुर्लभ भाषा में बोलते समय, अनजाने में अपने मूल लहजे (accent) में आ जाता है।
- GPT सबसे रचनात्मक था; उसकी कहानियाँ हर भाषा में अलग दिखीं, जो दर्शाता है कि उसका भाषाई "मस्तिष्क" अधिक विविध था।
- अच्छी खबर: उन्होंने केवल इसलिए अंग्रेजी का पक्ष नहीं लिया क्योंकि अंग्रेजी उनके प्रशिक्षण डेटा में सबसे आम भाषा है। वे केवल "प्रमुख" भाषा पर निर्भर नहीं रहे।
5. जेंडर सर्वे टेकर (द "ओपिनियन पोल")
परीक्षण: उन्होंने AI को मूल्यों (जैसे "क्या एक महिला के लिए काम करना ठीक है?" या "क्या सरकारी निगरानी बुरी है?") के बारे में एक सर्वेक्षण दिया, बिना उन्हें यह बताए कि वे एक AI हैं। उन्होंने उनके उत्तरों की तुलना पुरुषों और महिलाओं द्वारा दिए गए वास्तविक सर्वेक्षणों से की।
निष्कर्ष:
- उपमा: एक रोबोट से पूछने की कल्पना करें, "आप किन मूल्यों को महत्व देते हैं?"
- चारों AI पुरुषों की तुलना में महिलाओं के बहुत अधिक करीब लगे। वे अधिक प्रगतिशील, समानता के समर्थक और कम पारंपरिक थे।
- GPT उनमें सबसे अधिक "स्त्रीोचित" (feminine) था, जो महिलाओं के मूल्यों के साथ मजबूती से जुड़ा हुआ था।
- Qwen और DeepSeek थोड़े असंगत थे, कभी एक बात कहते तो कभी अगली बात में उसका उल्टा, जैसे कोई व्यक्ति जिसने अभी तक अपना मन नहीं बनाया हो।
मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि AI एक खाली स्लेट (blank slate) नहीं है। भले ही हम उन्हें तटस्थ होने के लिए प्रशिक्षित करने की कोशिश करते हैं, वे उन मनुष्यों के पूर्वाग्रहों, धारणाओं और "विचारों" को विरासत में प्राप्त करते हैं जिनसे उन्होंने डेटा सीखा है।
- रूपक (Metaphor): यदि आप एक बच्चे को एक पुस्तकालय की किताबें पढ़कर पढ़ाते हैं, तो वह बच्चा अनिवार्य रूप से उन पुस्तकों के लेखकों जैसा ही सुनाई देगा। यदि पुस्तकालय ज्यादातर उन लोगों द्वारा लिखा गया है जिनके राजनीतिक विचार या सांस्कृतिक पृष्ठभूमि निश्चित है, तो वह बच्चा भी उसी को प्रतिबिंबित करेगा।
- चेतावनी: हमें इन AI को पूर्ण, तटस्थ भविष्यवक्ता के रूप में देखना बंद कर देना चाहिए। वे बहुत अच्छी तरह से पढ़े-लिखे, थोड़े विचारशील पुस्तकालयाध्यक्षों (librarians) की तरह हैं। यदि आप उनसे बड़े निर्णय लेने के लिए उपयोग करते हैं, तो आपको यह जानने की आवश्यकता है कि वे किस "पक्ष" की ओर अधिक झुके हुए हैं।
लेखक सुझाव देते हैं कि शायद हमें AI को बिल्कुल मनुष्यों (जो अस्त-व्यस्त और पक्षपाती होते हैं) की तरह सोचने के लिए प्रशिक्षित नहीं करना चाहिए। इसके बजाय, शायद हमें AI को कुछ नया बनाने के लिए डिज़ाइन करना चाहिए—कुछ ऐसा जो केवल संयोग से नहीं, बल्कि डिज़ाइन द्वारा तटस्थ हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।