Polistemics: Evaluating LLMs as Information Mediators in Politics & Elections
यह शोध पत्र "पॉलिटेमिक्स" (Polistemics) प्रस्तुत करता है, जो ज्ञानमीमांसीय विनम्रता (epistemic modesty) पर आधारित एक बेंचमार्क है जो यह प्रकट करता है कि वर्तमान बड़े भाषा मॉडल (LLMs), स्पष्ट परिस्थितियों में अच्छा प्रदर्शन करने के बावजूद, विशेष रूप से अस्पष्ट, विरोधाभासी या अनुपलब्ध डेटा का सामना करने पर, राजनीतिक सूचनाओं को जिम्मेदारी से मध्यस्थ करने में लगातार विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, शोर-शराबे वाले पुस्तकालय में घूम रहे हैं जहाँ लाखों लोग यह समझने की कोशिश कर रहे हैं कि उन्हें किसे वोट देना चाहिए। अतीत में, आप शायद एक लाइब्रेरियन से पूछते, अखबार पढ़ते या इंटरनेट पर खोज करते। लेकिन अब, एक नए प्रकार का लाइब्रेरियन है: एक सुपर-स्मार्ट रोबोट जो आपसे बात कर सकता है, किताबों का सारांश बता सकता है और तुरंत आपके सवालों के जवाब दे सकता है। यह रोबोट एक AI, या एक लार्ज लैंग्वेज मॉडल (LLM) है। बड़ा सवाल यह नहीं है कि "क्या रोबोट को तथ्य पता हैं?" बल्कि यह है कि "क्या रोबोट एक अच्छा मध्यस्थ (mediator) है?" एक मध्यस्थ वह होता है जो आपके और कच्ची जानकारी के बीच खड़ा होता है, यह तय करता है कि आपको क्या दिखाया जाए, इसे कैसे समझाया जाए, और वे कितने आश्वस्त सुनाई देते हैं। यदि रोबोट तब बहुत अधिक आत्मविश्वासी हो जाता है जब वह वास्तव में केवल अनुमान लगा रहा होता है, या यदि वह अनजाने में किसी राजनेता के गुस्से भरे भाषण के लहजे को बदलकर उसे विनम्र बना देता है, तो वह आपको एक गलत निर्णय लेने के लिए धोखा दे सकता है। यह शोध पत्र इस विज्ञान की गहराई में जाता है कि कैसे ये AI रोबोट राजनीतिक जानकारी को संभालते हैं, विशेष रूप से यह परीक्षण करते हुए कि क्या वे इस बारे में ईमानदार हो सकते हैं कि वे क्या जानते हैं और क्या नहीं जानते।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व बारन पीटर्स (Baran Peters) कर रहे थे, यह देखने के लिए कि ये AI रोबट चुनावों के दौरान मध्यस्थ के रूप में कैसा प्रदर्शन करते हैं, एक नया परीक्षण बनाया जिसे POLISTEMICS कहा जाता है। उन्होंने केवल रोबोट्स से यह नहीं पूछा कि एक राजनीतिक दल ने क्या कहा; वे यह देखना चाहते थे कि रोबंतु इन उलझी हुई, भ्रमित करने वाली या अधूरी जानकारियों को कैसे संभालते हैं, ठीक वैसे ही जैसे वास्तविक दुनिया में होता है। उन्होंने जर्मनी और नीदरलैंड में 2025 के चुनावों के बारे में सवालों पर तीन सबसे लोकप्रिय AI रोबोटों (Qwen, GPT, और Claude) का परीक्षण किया।
उन्होंने क्या पाया: जब जानकारी स्पष्ट और आसानी से उपलब्ध होती है, तो रोबोट वास्तव में अपने काम में काफी अच्छे होते हैं। वे उच्च सटीकता के साथ आपको बता सकते हैं कि किसी दल का रुख क्या है। हालांकि, जब जानकारी अस्पष्ट, गायब या विरोधाभासी होती है, तो रोबोट लड़खड़ाने लगते हैं। जब साक्ष्य मौजूद नहीं होते, तो कुछ रोबोट आत्मविश्वास के साथ उस उत्तर को गढ़ लेते हैं जो उनके प्रशिक्षण (training) से उन्हें "याद" आता है, भले ही उन्हें केवल यह कह देना चाहिए था कि, "मुझे नहीं पता।" जब जानकारी अस्पष्ट होती है, तो वे अक्सर ऐसे व्यवहार करते हैं जैसे वे 100% निश्चित हों, भले ही वह टेक्स्ट जिसे वे पढ़ रहे हों, उसमें बहुत कमियाँ हों।
अध्ययन से यह भी पता चला कि रोबोटों में "पार्टी प्रायर्स" (party priors) होते हैं, जो एक फैंसी तरीका है यह कहने का कि उनके पास इस बारे में अंतर्निहित पूर्वाग्रह हैं कि कौन सी पार्टियाँ कैसी हैं। यदि आप किसी विशिष्ट पार्टी के बारे में पूछते हैं, तो रोबोट आपके द्वारा दिए गए साक्ष्य के बजाय अपने आंतरिक ज्ञान पर निर्भर हो सकता है। दिलचस्प बात यह है कि यदि आप पार्टी का नाम छिपा देते हैं और उसे केवल "पार्टी A" कहते हैं, तो रोबोट अधिक निष्पक्ष व्यवहार करते हैं। यह सुझाव देता है कि रोबोट केवल तटस्थ मशीनें नहीं हैं; वे इस बात से प्रभावित होते हैं कि वे किसके बारे में बात कर रहे हैं।
सबसे आश्चर्यजनक निष्कर्षों में से एक यह है कि रोबोट राजनीतिक भाषा को "सैनिटाइज" (sanitize) या शुद्ध करने की प्रवृत्ति रखते हैं। यदि कोई राजनेता अपनी बात रखने के लिए उग्र, तीव्र या भावनात्मक शब्दों का उपयोग करता है, तो AI अक्सर उन शब्दों को सुचारू बना देता है, जिससे भाषण उबाऊ और तटस्थ लगने लगता है। यह ऐसा ही है जैसे यदि कोई रॉक स्टार गाना गाता है और AI उसे लोरी में बदल देता; अर्थ तो वही रहता है, लेकिन ऊर्जा और विशिष्टता गायब हो जाती है। राजनीतिक भाषा का यह सपाट होना तब भी होता है जब रोबोट तटस्थ होने की कोशिश कर रहे होते हैं।
संक्षेप में, यह पत्र सुझाव देता है कि हालांकि ये AI रोबोट शक्तिशाली उपकरण हैं, फिर भी वे अभी तक पूर्ण मध्यस्थ नहीं हैं। वे स्पष्ट तथ्यों का सारांश बनाने में बेहतरीन हैं लेकिन जब सच्चाई उलझी हुई या गायब होती है, तो वे संघर्ष करते हैं। वे कभी-कभी उतने निश्चित होने का नाटक करते हैं जितने वे नहीं हैं, और वे राजनीतिक बहस की रंगीन, तीव्र प्रकृति को धो देते हैं। लेखक निष्कर्ष निकालते हैं कि चुनावों में AI को वास्तव में सुरक्षित और सहायक बनाने के लिए, इसे "एपिस्टेमिकली मॉडेस्ट" (epistemically modest) होना सीखना होगा—जो एक फैंसी शब्द है जिसका अर्थ है कि इसे यह जानना चाहिए कि कब कहना है, "मुझे यकीन नहीं है," और नागरिकों को बिना किसी रोबोट के झूठे आत्मविश्वास से ठगे गए, अपने स्वयं के निर्णय लेने देना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।