Diagnosing Korean-Language LLM Political Bias via Census-Grounded Agent Simulation
यह शोध पत्र डायनमो-के (Dynamo-K) प्रस्तुत करता है, जो एक जनगणना-आधारित एजेंट सिमुलेशन ढांचा है जो छह चुनावों में कोरियाई-भाषा के एलएलएम (LLM) में व्यवस्थित राजनीतिक पूर्वाग्रहों का निदान करता है, तीन प्रमुख विफलता मोड की पहचान करता है, और परिदृश्य पुनर्गठन (scenario reframing) और एक सीखे हुए रीवेटिंग एडेप्टर (learned reweightal adapter) जैसी प्रभावी न्यूनीकरण रणनीतियों का प्रस्ताव करता है जो भविष्यवाणी सटीकता में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप भविष्यवाणी करना चाहते हैं कि दक्षिण कोरिया में चुनाव कौन जीतेगा। 1,000 वास्तविक लोगों को फोन करने के बजाय (जिसमें बहुत पैसा और हफ्तों का समय लगता है), आप 5,000 डिजिटल "एजेंटों" के साथ एक आभासी सिमुलेशन रूम (virtual simulation room) बनाते हैं। ये एजेंट वास्तविक मतदाताओं के डिजिटल क्लोन की तरह हैं, जिन्हें सरकारी जनगणना डेटा का उपयोग करके बनाया गया है ताकि उनमें सही उम्र, लिंग, नौकरी और क्षेत्र का मिश्रण हो।
शोधकर्ताओं ने, जिनका नेतृत्व सुंगवू कांग (Sungwoo-Kang) कर रहे थे, Dynamo-K नामक एक प्रणाली बनाई। उन्होंने इन डिजिटल मतदाताओं को विभिन्न लार्ज लैंग्वेज मॉडल्स (LLMs) में डाला—वही तरह के AI जो चैटबॉट्स को शक्ति देते हैं—और उनसे 2017 से 2025 तक के छह वास्तविक कोरियाई चुनावों में मतदान करने के लिए कहा।
लक्ष्य केवल यह देखना नहीं था कि क्या AI विजेता का अनुमान लगा सकता है (हालांकि इसने राष्ट्रपति चुनावों के लिए यह काम अच्छी तरह किया), बल्कि असली लक्ष्य एक मैकेनिक के डायग्नोस्टिक टूल (जांच उपकरण) की तरह कार्य करना था: यह पता लगाना कि AI कभी-कभी गलत क्यों होता है और उसके राजनीतिक मस्तिष्क में कौन से विशिष्ट "बग्स" मौजूद हैं।
यहाँ मुख्य खोजें दी गई हैं, जिन्हें सरल भाषा में समझाया गया है:
1. "लेफ्ट-लीनिंग" (वामपंथी झुकाव) वाला ग्लिच
समस्या: जब शोधकर्ताओं ने पहली बार AI एजेंटों को वोट देने के लिए कहा, तो "मध्यमार्गी" मतदाता (वे निर्णायक मतदाता जो आमतौर पर चुनाव तय करते हैं) अजीब तरह से व्यवहार करने लगे। वे प्रगतिशील (वामपंथी झुकाव वाले) उम्मीदवारों को 97% बार वोट दे रहे थे।
उपमा: एक पार्टी में मध्यम मार्ग अपनाने वाले अनिश्चित लोगों के समूह की कल्पना करें। यदि आप उनसे पूछें कि वे किसके लिए वोट देंगे, तो वे 50/50 विभाजित होने चाहिए। लेकिन इस सिमुलेशन में, AI एक पक्षपाती डीजे (DJ) की तरह था जो केवल एक ही शैली का संगीत बजा रहा था, जिससे हर कोई एक ही ताल पर नाचने के लिए मजबूर हो गया। AI का ट्रेनिंग डेटा (जो ज्यादातर अंग्रेजी टेक्स्ट है) में एक अंतर्निहित "उदारवादी" पूर्वाग्रह था, जिससे उसे लगा कि मध्यम वर्ग के लोग स्वाभाविक रूप से बाईं ओर झुकते हैं।
समाधान: शोधकर्ताओं ने AI को दिए जाने वाले निर्देशों (प्रॉम्प्ट) को फिर से लिखा, जिसमें स्पष्ट रूप से कहा गया: "आप एक मध्यममार्गी मतदाता हैं जो दोनों पक्षों को समान रूप से पसंद करते हैं।" इसने पूर्वाग्रह को काफी कम कर दिया, जिससे मध्यममार्गी मतदाता वास्तविक मनुष्यों की तरह व्यवहार करने लगे (97/3 के बजाय लगभग 59/41 का विभाजन)।
2. "थर्ड कैंडिडेट" (तीसरे उम्मीदवार) का गायब होना
समस्या: 2017 के चुनाव में पांच उम्मीदवार थे। एक, जिसका नाम आन चियोल-सू (Ahn Cheol-soo) था, वास्तव में 21% वास्तविक वोट प्राप्त करता है। लेकिन AI सिमुलेशन ने उसे 1% से भी कम दिया। AI ने प्रभावी रूप से उसे मिटा दिया।
उपमा: यह जादूगर द्वारा टोपी से खरगोश निकालने जैसा है, लेकिन खरगोश वही है जिसे दर्शक याद रखते हैं। AI "हाइंडसाइट बायस" (hindsight bias - पिछली जानकारी का प्रभाव) से ग्रस्त लग रहा था। क्योंकि AI को उस टेक्स्ट पर प्रशिक्षित किया गया था जो चुनाव के बाद लिखा गया था, वह "जानता" था कि आन हार गए, इसलिए उसने अवचेतन रूप से निर्णय लिया कि वह एक वास्तविक विकल्प नहीं थे। उसने चुनाव को केवल दो-घोड़ों की दौड़ के रूप में देखा, तीसरे घोड़े को पूरी तरह से अनदेखा कर दिया।
समाधान: शोधकर्ताओं ने कहानी को "रीफ्रेम" (पुनर्गठित) करने की कोशिश की। उम्मीदवारों की सूची देने के बजाय, उन्होंने एक ऐसा प्रॉम्प्ट लिखा जो इस बात पर जोर देता था कि विजेता का पता चलने से पहले यह तीन-तरफा मुकाबला था। इसने AI को उस तीसरे उम्मीदवार को याद रखने के लिए प्रेरित किया, जिससे उसकी अनुमानित सहायता 0.9% से बढ़कर 18.8% हो गई (जो वास्तविक 21.4% के बहुत करीब है)।
3. "क्षेत्रीय अंध बिंदु" (Regional Blind Spot)
समस्या: AI संसदीय (सामान्य) चुनावों के परिणामों की भविष्यवाणी करने में संघर्ष करता रहा। वह लगातार भविष्यवाणी करता रहा कि रूढ़िवादी पार्टी जीतेगी, जबकि प्रगतिशील जीत गए थे।
उपमा: पूरे देश के मानचित्र को देखकर मौसम की भविष्यवाणी करने की कोशिश करें और कहें, "धूप खिली है।" लेकिन वास्तव में, देश के एक हिस्से में बारिश हो रही है जबकि दूसरे हिस्से में धूप है। AI "औसत" को देख रहा था और तीव्र अंतरों को मिस कर रहा था।
निदान: त्रुटि केवल एक साधारण "रूढ़िवादी पूर्वाग्रह" नहीं थी। यह एक क्षेत्रीय पतन (regional collapse) था। AI यह भविष्यवाणी करने में विफल रहा कि रूढ़िवादी गढ़ वास्तव में कितने अधिक रूढ़िवादी तरीके से वोट देंगे, और प्रगतिशील गढ़ कितने अधिक प्रगतिशील तरीके से वोट देंगे। उसने कोरियाई राजनीति के तीखे किनारों को सुस्त कर दिया, जिससे नक्शा वास्तविक स्थिति की तुलना में अधिक सपाट दिखने लगा।
4. "विपरीत जुड़वां" प्रयोग
समस्या: शोधकर्ताओं ने चार अलग-अलग AI मॉडल का परीक्षण किया। एक ही 2025 के चुनाव पर, उनमें से दो ने विपरीत उत्तर दिए।
- मॉडल A (Qwen3): भविष्यवाणी की कि प्रगतिशील उम्मीदवार भारी अंतर से जीतेगा।
- मॉडल B (EXAONE): भविष्यवाणी की कि रूढ़िवादी उम्मीदवार भारी अंतर से जीतेगा।
उपमा: यह दो जुड़वा बच्चों से खेल के विजेता का अनुमान लगाने के लिए पूछने जैसा है। एक जुड़वा कहता है, "टीम रेड 20 अंकों से जीतेगी!" और दूसरा कहता है, "टीम ब्लू 20 अंकों से जीतेगी!" दोनों गलत हैं, लेकिन विपरीत दिशाओं में।
समाधान: शोधकर्ताओं ने पाया कि यदि आप दोनों जुड़वाओं के उत्तरों का औसत (average) निकालते हैं, तो त्रुटियां एक-दूसरे को रद्द कर देती हैं, और आपको एक बहुत सटीक भविष्यवाणी मिलती है। यह सुझाव देता है कि केवल एक AI पर भरोसा करने के बजाय विभिन्न AI की एक "टीम" का उपयोग करना बेहतर है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI सिमुलेशन वास्तविक पोल (जो वास्तविक मनुष्यों से पूछते हैं) को बदलने के लिए तैयार नहीं हैं, वे निदान (diagnosis) के लिए अविश्वसनीय रूप से सस्ते और तेज़ उपकरण हैं।
- लागत: 5,000 मतदाताओं का सिमुलेशन चलाने की लागत लगभग 50,000+ होती है।
- उपयोग: आप AI का उपयोग सटीक अंतिम वोट गणना प्राप्त करने के लिए नहीं कर सकते, लेकिन आप इसका उपयोग "क्या होगा यदि?" वाले परिदृश्यों (जैसे, "क्या होगा यदि कोई उम्मीदवार चुनाव छोड़ देता है?") का तेजी से परीक्षण करने या यह देखने के लिए कर सकते हैं कि हमारे मतदाता व्यवहार की समझ में कहाँ कमी है।
संक्षेप में, Dynamo-K, AI के लिए एक स्ट्रेस टेस्ट है। यह हमें दिखाता है कि हालांकि AI राजनीति का अनुकरण करने में अच्छा होता जा रहा है, फिर भी इसमें कुछ विशिष्ट "अंध बिंदु" (जैसे तीसरे पक्ष को अनदेखा करना या क्षेत्रीय अंतरों को सुस्त करना) हैं, जिन्हें वास्तविक दुनिया की भविष्यवाणियों के लिए भरोसेमंद बनाने से पहले हमें ठीक करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।