Measuring Political Stance and Consistency in Large Language Models
यह शोध पत्र पांच प्रॉम्प्टिंग तकनीकों का उपयोग करके 24 संवेदनशील मुद्दों पर नौ बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के राजनीतिक रुख और निरंतरता का मूल्यांकन करता है, जिससे यह पता चलता है कि हालांकि मॉडल के दृष्टिकोण अक्सर भाषा और प्रॉम्प्टिंग के आधार पर भिन्न होते हैं या बदलते हैं, कुछ मुख्य रुख स्थिर बने रहते हैं, जो एआई में राजनीतिक पूर्वाग्रहों के संबंध में अधिक उपयोगकर्ता जागरूकता और डेवलपर हस्तक्षेप की आवश्यकता को रेखांकित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास नौ अलग-अलग "डिजिटल ओरेकल" (लार्ज लैंग्वेज मॉडल्स, या LLMs) हैं जिनसे लोग गंभीर राजनीतिक बहसों पर सलाह मांगना शुरू कर रहे हैं, जैसे कि युद्ध में कौन सही है या किसी देश की नीतियां क्या होनी चाहिए। इस शोध पत्र के लेखकों ने इन ओरेकल का परीक्षण करने का निर्णय लिया ताकि यह देखा जा सके कि क्या उनके अपने छिपे हुए राजनीतिक विचार हैं और क्या वे विचार इतने मजबूत हैं या उन्हें आसानी से बहकाया जा सकता है।
यहाँ एक सरल विवरण दिया गया कि उन्होंने क्या किया और उन्हें क्या मिला, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
सेटअप: "ओपिनियन टेस्ट" (राय का परीक्षण)
शोधकर्ताओं को जासूसों के एक समूह के रूप में सोचें। उन्होंने 24 पेचीदा राजनीतिक विषय चुने (जैसे यूक्रेन का युद्ध, गाजा का संघर्ष, या तुर्की और ग्रीस के बीच द्वीपों को लेकर विवाद) जो पहले बहुत अधिक अध्ययन नहीं किए गए थे।
उन्होंने 9 अलग-अलग AI मॉडलों (GPT-4, GPT-5 और Grok जैसे बड़े नामों सहित) से इन मुद्दों पर उनकी राय पूछी। लेकिन उन्होंने इसे केवल एक बार नहीं पूछा। उन्होंने यह देखने के लिए कि क्या AI अपना मन बदल लेगा, पूछने के पाँच अलग-अलग तरीके आजमाए:
- सीधा सवाल (The Direct Ask): "कौन सही है?"
- डेविल्स एडवोकेट (The Devil's Advocate): "यहाँ दूसरे पक्ष का तर्क दिया गया है। अब कौन सही है?"
- संतुलित दृष्टिकोण (The Balanced View): "यहाँ दोनों पक्षों के तर्क दिए गए हैं। कौन सही है?"
- पलट-पलट (The Flip-Flop): उसी प्रश्न को पूछना लेकिन उसे इस तरह से पेश करना कि विपरीत उत्तर का संकेत मिले (जैसे, "क्या यह बुरा था?" बनाम "क्या यह अच्छा था?")।
- भाषा परिवर्तन (The Language Switch): शामिल देशों की स्थानीय भाषा में प्रश्न पूछना (जैसे, तुर्की-ग्रीस विवाद के बारे में तुर्की बनाम ग्रीक में पूछना)।
निष्कर्ष: ओरेकलों ने क्या कहा
1. AI के पास "गुप्त पक्ष" हैं
ठीक वैसे ही जैसे किसी व्यक्ति का गुप्त रूप से किसी पसंदीदा स्पोर्ट्स टीम के प्रति झुकाव हो सकता है, ये AI लगभग हमेशा एक पक्ष चुनते थे। वे शायद ही कभी तटस्थ रहे।
- आम सहमति (The Consensus): कुछ मुद्दों पर, सभी AI सहमत थे। उदाहरण के लिए, वे सभी आम तौर पर इस बात पर सहमत थे कि कतर की नाकाबंदी गलत थी और फिलिस्तीनी उत्पीड़ित हैं।
- विभाजन (The Split): अन्य मुद्दों पर, वे असहमत थे। उदाहरण के लिए, "अरब स्प्रिंग" पर, कुछ ने कहा कि यह लोकतंत्र के बारे में था, जबकि अन्य ने कहा कि यह आर्थिक गुस्से के बारे में था।
2. "गिरगिट" बनाम "चट्टान" (The Chameleon vs. The Rock)
कुछ AI गिरगिट (Chameleons) की तरह थे, जो प्रश्न पूछने के तरीके के आधार पर अपना रंग (विचार) आसानी से बदल लेते थे।
- Mistral-7B सबसे अधिक परिवर्तनशील था। जब शोधकर्ताओं ने इसके प्रॉम्प्ट में बदलाव किया, तो इसने 24 में से 19 विषयों पर अपना रुख बदल लिया। यह उस व्यक्ति की तरह है जो सामने वाले की आखिरी बात से सहमत हो जाता है।
- Grok-3-mini सबसे जिद्दी (सुसंगत) था। इसने केवल 5 विषयों पर अपना मन बदला। यह एक ऐसे व्यक्ति की तरह है जिसके विचार बहुत मजबूत और अडिग होते हैं।
3. "भाषा का दर्पण" (The Language Mirror)
यह एक आश्चर्यजनक खोज थी। जब शोधकर्ताओं ने विभिन्न भाषाओं में प्रश्न पूछे, तो AI अक्सर उस पक्ष की ओर झुक गया जो उस भाषा को बोलता था।
- उपमा: कल्पना करें कि आप एक फ्रांसीसी व्यक्ति और एक जर्मन व्यक्ति के बीच विवाद के बारे में एक अनुवादक से पूछ रहे हैं। यदि आप फ्रेंच में पूछते हैं, तो अनुवादक अनजाने में (या अवचेतन रूप से) ऐसे फ्रांसीसी स्रोतों का उपयोग कर सकता है जो फ्रांसीसी व्यक्ति को बेहतर दिखाते हैं। यदि आप जर्मन में पूछते हैं, तो जर्मन पक्ष बेहतर दिखता है।
- अध्ययन में पाया गया कि विभिन्न भाषाओं वाले मुद्दों के लिए (जैसे तुर्की बनाम ग्रीस), AI का उत्तर अक्सर बदल जाता था कि प्रश्न तुर्की में था या ग्रीक में। यह सुझाव देता है कि AI के "विचार" वास्तव में उन किताबों और लेखों की गूँज हैं जो उसने अपने प्रशिक्षण के दौरान पढ़े थे।
4. "अटल" विषय (The Unshakeable Topics)
दो ऐसे विषय थे जहाँ किसी भी AI ने अपना मन नहीं बदला, चाहे शोधकर्ताओं ने उन्हें समझाने की कितनी भी कोशिश की हो:
- फिलिस्तीनियों का उत्पीड़न।
- कतर की नाकाबंदी।
इन विशिष्ट मुद्दों पर, AI एक बंद तिजोरी की तरह थे; उनका रुख स्थिर था और उन्हें उपयोग किए गए प्रॉम्प्टिंग ट्रिक्स से हिलाया नहीं जा सका।
5. "होम टीम" का पक्षपात (The Home Team Bias)
अध्ययन में देखा गया कि DeepSeek, जो एक चीनी कंपनी द्वारा बनाया गया AI है, टිබत और शिनजियांग जैसे मुद्दों पर लगातार चीनी सरकार के रुख का समर्थन करता रहा। वहीं, लगभग अन्य सभी AI (जो अमेरिका या अन्य देशों में बने हैं) ने इसके विपरीत विचार रखे। यह सुझाव देता है कि एक AI कहाँ बनाया गया है और इसे किसने प्रशिक्षित किया है, यह एक "होम टीम" पक्षपात की तरह काम करता है, जो उसके राजनीतिक दिशा-निर्देश को प्रभावित करता है।
निचोड़ (The Bottom Line)
शोध पत्र यह निष्कर्ष निकालता है कि यदि आप AI से राजनीतिक सलाह मांग रहे हैं, तो आपको सावधान रहने की आवश्यकता है।
- वे तटस्थ नहीं हैं: उनके प्रशिक्षण डेटा के आधार पर अंतर्निहित पूर्वाग्रह हैं।
- वे नाजुक हैं: आप अक्सर उनकी भाषा बदलकर या प्रश्न पूछने के तरीके को बदलकर उनका मन बदल सकते हैं।
- वे तथ्य-जांचकर्ता (Fact-checkers) नहीं हैं: क्योंकि उनके "विचार" रेत की तरह बदल सकते हैं, इसलिए आपको उन्हें राजनीतिक सत्य के अंतिम शब्द के रूप में नहीं मानना चाहिए।
लेखक आशा करते हैं कि यह दिखाकर कि इन डिजिटल ओरेकल को कितनी आसानी से प्रभावित किया जा सकता है, उपयोगकर्ता यह पूछना शुरू करेंगे, "रुको, तुमने ऐसा क्यों कहा?" और "क्या तुम मुझे अपने स्रोत दिखा सकते हो?" बजाय इसके कि वे उत्तर को पूर्ण सत्य मान लें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।