Mapping Geopolitical Bias in 11 Large Language Models: A Bilingual, Dual-Framing Analysis of U.S.-China Tensions
यह शोधपत्र संतुलित कीइंग (balanced keying) का उपयोग करते हुए एक नवीन, पुनरुत्पादक मनोवैज्ञानिक पद्धति प्रस्तुत करता है जो 11 बड़े भाषा मॉडलों (LLMs) में भू-राजनीतिक पूर्वाग्रह को सटीक रूप से मापता है, जिससे यह पता चलता है कि डेवलपर का मूल स्थान, क्वेरी की भाषा और विषय क्षेत्र समान रूप से महत्वपूर्ण कारक हैं और यहाँ तक कि मंदारिन में उत्तर देते समय अमेरिकी-निर्मित मॉडल भी चीन के प्रति झुकाव प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि 11 अलग-अलग रोबोटों में से एक समूह अमेरिका और चीन के बीच चल रही एक गरमागरम बहस के बारे में वास्तव में क्या सोचता है। आप उनसे ऐसे सवाल पूछते हैं जैसे, "क्या देश A, देश B की तुलना में शांति बनाए रखने के लिए अधिक काम करता है?"
यहाँ समस्या यह है: ये रोबट अविश्वसनीय रूप से विनम्र हैं। यदि आप उनसे पूछते हैं, "क्या आसमान नीला है?" तो वे कहते हैं "हाँ।" यदि आप उनसे पूछते हैं, "क्या आसमान हरा है?" तो वे मदद करने के लिए या आपकी बात से सहमत होने के लिए अभी भी "हाँ" कह सकते हैं। मनोविज्ञान में, इसे acquiescence (सहमति की प्रवृत्ति या बस "हाँ" कहने की आदत) कहा जाता है।
यदि आप रोबोटों से केवल एक ही तरह का प्रश्न पूछते हैं, तो आप यह नहीं बता पाएंगे कि उनकी वास्तव में कोई राय है या वे सिर्फ "जी-हुज़ूरी" (yes-men) कर रहे हैं। यह किसी व्यक्ति की पसंदीदा रंग जानने के लिए केवल यह पूछने जैसा है कि "क्या आपको नीला पसंद है?" यदि वे हाँ कहते हैं, तो आपको यह नहीं पता चलेगा कि उन्हें नीला रंग बहुत पसंद है या वे बस "ना" कहने से कतरा रहे हैं।
"मैजिक मिरर" समाधान
इस समस्या को हल करने के लिए लेखकों ने एक चतुर तरकीब निकाली, जिसे वे polarity-keyed dual-framing instrument कहते हैं। इसे एक "मैजिक मिरर" (जादुई दर्पण) परीक्षण के रूप में सोचें।
एक विषय के लिए केवल एक प्रश्न पूछने के बजाय, वे प्रत्येक विषय के लिए दो प्रश्न पूछते हैं:
- फॉरवर्ड क्वेश्चन (Forward Question): "क्या देश A, देश B की तुलना में स्थिरता में अधिक योगदान देता है?"
- रिवर्स क्वेश्चन (Reverse Question): "क्या देश B, देश A की तुलना में स्थिरता में अधिक योगदान देता है?"
फिर वे एक विशेष स्कोरिंग प्रणाली ("जादुई कुंजी") का उपयोग करते हैं:
- यदि एक रोबोट दोनों प्रश्नों से सहमत होता है (दोनों का उत्तर "हाँ" देता है), तो उनके स्कोर एक-दूसरे को रद्द करके शून्य (zero) कर देते हैं। यह प्रकट करता है कि रोबोट केवल एक "जी-हुज़ूरी" करने वाला (yes-man) है (acquiescence) और उसकी कोई वास्तविक राय नहीं है।
- यदि एक रोबोट पहले प्रश्न से सहमत होता है लेकिन दूसरे से असहमत होता है (या इसके विपरीत), तो स्कोर जुड़ जाते हैं। यह प्रकट करता है कि रोबोट के पास एक वास्तविक दृढ़ विश्वास (genuine conviction) है।
यह तरीका रोबोट की विनम्रता (आपसे सहमत होना) को उसके विश्वासों (वह वास्तव में क्या सोचता है) से अलग करता है।
उन्होंने क्या खोजा
11 अलग-अलग AI मॉडल (कुछ अमेरिका के, कुछ चीन के, और एक यूरोप का) पर इस "मैजिक मिरर" का उपयोग करते हुए, उन्होंने तीन मुख्य बातें पाईं जो इन रोबोटों के जवाब देने के तरीके को आकार देती हैं:
1. रोबोट कहाँ "पैदा" हुआ, यह मायने रखता है (लेकिन समान रूप से नहीं)
- निष्कर्ष: चीन में निर्मित प्रत्येक रोबोट प्रो-चाइना (चीन के पक्ष में) रुख की ओर झुका हुआ था। हालाँकि, अमेरिका में निर्मित रोबले एक मिला-जुला मामला थे; कुछ प्रो-यूएस (अमेरिका के पक्ष में) थे, कुछ तटस्थ थे, और कोई भी लगातार प्रो-चाइना नहीं था।
- उपमा: एक कक्षा की कल्पना करें जहाँ एक देश के सभी छात्र अपनी टीम के लिए हाथ उठाते हैं, लेकिन दूसरे देश के छात्र बंटे हुए हैं—कुछ अपनी टीम का उत्साह बढ़ा रहे हैं, तो कुछ चुपचाप बैठे हैं। "होम टीम" का प्रभाव एक तरफ मजबूत और एकसमान है, लेकिन दूसरी तरफ बिखरा हुआ है।
2. आप कौन सी भाषा बोलते हैं, वह रोबोट को खींचता है
- निष्कर्ष: यह सबसे बड़ा आश्चर्य था। प्रत्येक रोबोट, चाहे वह कहीं भी बना हो, जब अंग्रेजी के बजाय मंदारिन में पूछा गया, तो वह प्रो-चाइना रुख की ओर झुक गया। यहाँ तक कि अमेरिकी-निर्मित रोबोट भी चीनी भाषा में बात करते समय अपना रुख बदल लेते थे।
- उपमा: उन लोगों के एक समूह की कल्पना करें जो आमतौर पर अंग्रेजी बोलते हैं। जब आप बातचीत को फ्रेंच में बदलते हैं, तो वे सभी अचानक एक विशिष्ट फ्रांसीसी दृष्टिकोण से सहमत होने लगते हैं, भले ही वे अमेरिकी हों। यह सुझाव देता है कि रोबोटों ने ये विचार उस विशिष्ट भाषा में पढ़ी गई किताबों और वेबसाइटों (उनके ट्रेनिंग डेटा) से सीखे हैं, न कि केवल अपने रचनाकारों से।
3. विषय तीव्रता को बदल देता है
- निष्कर्ष: संवेदनशील राजनीतिक मुद्दों (जैसे ताइवान या दक्षिण चीन सागर) के बारे में बात करते समय अमेरिकी और चीनी रोबोटों के बीच का अंतर बहुत बड़ा था, लेकिन आर्थिक विषयों (जैसे डॉलर का प्रभुत्व) के बारे में यह लगभग नगण्य था।
- उपमा: यह एक स्पोर्ट्स टीम की तरह है जो चैंपियनशिप गेम में अपने प्रतिद्वंद्वी के खिलाफ बहुत आक्रामक होती है (उच्च दांव), लेकिन अभ्यास सत्र (कम दांव) के दौरान बहुत सहजता से खेलती है। रोबोट केवल विशिष्ट, संवेदनशील विषयों पर ही "राजनीतिक" होते हैं।
"जी-हुज़ूरी करने वाला" बनाम "आस्था रखने वाला"
एक सबसे महत्वपूर्ण खोज यह थी कि कच्ची सहमति (raw agreement) पूर्वाग्रह (bias) नहीं है।
- एक रोबोट (Mistral) लगभग हर चीज़ के लिए "हाँ" कहता था। बिना "मैजिक मिरर" के, आप सोच सकते हैं कि वह पक्षपाती है। लेकिन क्योंकि उसने दोनों प्रश्नों के लिए "हाँ" कहा था, गणित ने दिखाया कि वह वास्तव में तटस्थ था। वह केवल एक विनम्र "जी-हुज़ूरी" करने वाला था।
- दूसरे रोबोट (Qwen) ने भी बहुत बार "हाँ" कहा, लेकिन जब प्रश्न को पलटा गया, तो उसने अपना उत्तर बदल दिया। इससे साबित हुआ कि उसके पास वास्तव में एक वास्तविक प्रो-चाइना विश्वास है।
यह क्यों महत्वपूर्ण है
यह शोध पत्र तर्क देता है कि हम अब AI के जवाबों पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि वे आत्मविश्वास से भरे लगते हैं। यदि हम इस "मैजिक मिरर" पद्धति का उपयोग नहीं करते हैं, तो हम रोबोट की मददगार होने की इच्छा (sycophancy) को एक वास्तविक राजनीतिक राय समझने की गलती कर सकते हैं।
लेखकों ने इस "मैजिक मिरर" टूल को एक ओपन, इंटरैक्टिव वेबसाइट के रूप में जारी किया है। इसका मतलब है कि कोई भी इस टूल का उपयोग किसी भी विवादास्पद विषय पर किसी भी AI का परीक्षण करने के लिए कर सकता है (न केवल अमेरिका-चीन संबंधों पर) यह देखने के लिए कि क्या AI की वास्तव में कोई राय है या वह केवल आपसे सहमत होने के लिए ऐसा कर रहा है।
संक्षेप में: इस पेपर ने "नकली" राय को फिल्टर करने के लिए एक परीक्षण बनाया है। इसने पाया कि एक AI क्या कहता है, इसमें तीन सबसे बड़े कारक हैं: वह कहाँ बनाया गया है, आप उससे किस भाषा में बात करते हैं, और आप उससे किस विषय के बारे में पूछते हैं—और यह भी कि यदि आप बारीकी से नहीं देखते हैं, तो विनम्र होना अक्सर पक्षपाती दिखने जैसा ही होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।