Before You Poll with LLMs: A Deliberative Diagnostic Framework
यह शोध पत्र 'डेलिब्रेटिव पोलिंग डायग्नोस्टिक फ्रेमवर्क' का परिचय देता है जो यह प्रकट करता है कि वर्तमान अत्याधुनिक (फ्रंटियर) एलएलएम (LLMs) विचार-विमर्श के दौरान मानवीय विश्वास अद्यतनीकरण (belief updating) की नकल करने में विफल रहते हैं, बल्कि इसके बजाय "सिग्नेचर सेल्फ-साइकोफैंसी" नामक एक घटना द्वारा संचालित विशिष्ट, पहचान-विशिष्ट विकृतियों जैसे कि मत परिवर्तन (opinion reversal), अतिशयोक्ति (overshooting), या जड़ता (rigidity) को प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ सरकारों, कंपनियों और शोधकर्ताओं को जनमत समझने के लिए वास्तविक लोगों का सर्वेक्षण करने में अब महीनों और लाखों डॉलर खर्च करने की आवश्यकता नहीं है। इसके बजाय, वे एक कंप्यूटर प्रोग्राम से हजारों अलग-अलग नागरिकों का अनुकरण (सिमुलेट) करने के लिए कह सकते हैं, उन डिजिटल पात्रों के सामने नए तर्क प्रस्तुत कर सकते हैं, और देख सकते हैं कि उनके मन कैसे बदलते हैं। 'सिलिकॉन सैंपलिंग' के रूप में जानी जाने वाली यह पद्धति तेजी से बढ़ी है क्योंकि यह तेज़, सस्ती और बड़े पैमाने पर की जा सकने वाली है। उम्मीद यह है कि ये कृत्रिम एजेंट मानव तर्क की इतनी अच्छी तरह नकल कर सकते हैं कि वे भविष्यवाणी कर सकें कि वास्तविक लोग नई जानकारी पर कैसी प्रतिक्रिया देंगे। हालाँकि, एक महत्वपूर्ण प्रश्न अनसुलझा है: क्या ये कंप्यूटर प्रोग्राम वास्तव में मनुष्यों की तरह सोचते हैं और अपने विश्वासों को अपडेट करते हैं, या वे केवल डेटा के एक विशाल पुस्तकालय से पहले से लिखे गए विचारों को पुनः प्राप्त (रिट्रीव) कर रहे हैं? यदि दूसरा सच है, तो यह देखने के लिए कि लोग अपना मन कैसे बदल सकते हैं, उनका उपयोग करना खतरनाक रूप से गलत निष्कर्षों की ओर ले जा सकता है।
लाहौर मैनेजमेंट यूनिवर्सिटी के शोधकर्ताओं ने इस प्रश्न का उत्तर देने के लिए एक नया तरीका बनाने के साथ आर्टिफिशियल इंटेलिजेंस का परीक्षण करने का लक्ष्य रखा। उन्होंने एक विशिष्ट मानवीय व्यवहार पर ध्यान केंद्रित किया जिसे 'विमर्श' (डेलीब्रेशन) कहा जाता है, जो संतुलित तर्क सुनने के बाद अपना मन बदलने की प्रक्रिया है। वास्तविक दुनिया में, जब विरोधी राजनीतिक पक्षों के लोग एक-दूसरे के बारे में निष्पक्ष जानकारी सुनते हैं, तो वे कम आक्रामक और अधिक खुले विचारों वाले होते जाते हैं। शोधकर्ता यह देखना चाहते थे कि क्या कंप्यूटर मॉडल इस विशिष्ट बदलाव को दोहरा सकते हैं। उन्होंने 'अमेरिका इन ए रूम' नामक एक प्रसिद्ध वास्तविक घटना के डेटा का उपयोग किया, जहाँ 526 वास्तविक मतदाताओं को राजनीति पर चर्चा करने के लिए एक साथ लाया गया था, और उसका उपयोग एक आधार (बेसलाइन) के रूप में किया। फिर उन्होंने सबसे उन्नत उपलब्ध पांच कंप्यूटर मॉडलों से उन्हीं मतदाताओं का अनुकरण करने के लिए कहा, उन्हें बिल्कुल वही जानकारी दी और ब्रीफिंग से पहले और बाद में वही प्रश्न पूछे।
परिणामों ने एक चौंकाने वाला सच उजागर किया: कोई भी कंप्यूटर मॉडल वास्तविक मनुष्यों की तरह व्यवहार नहीं कर रहा था। अपने विश्वासों को वास्तविक तरीके से अपडेट करने के बजाय, हर एक मॉडल विफल रहा, और प्रत्येक मॉडल अपने अनूठे और अजीब तरीके से विफल हुआ। सबसे शक्तिशाली मॉडलों में से एक, GPT-5.1, ने ठीक उसके विपरीत किया जो इंसान करते हैं। संतुलित जानकारी प्रस्तुत किए जाने पर, वास्तविक मतदाता अधिक मिलनसार और कम आki (होस्टाइल) हो गए। हालाँकि, कंप्यूटर पात्र काफी अधिक आक्रामक हो गए, जैसे कि नई जानकारी ने उन्हें और अधिक क्रोधित कर दिया हो। यह एक ऐसी घटना है जिसे शोधकर्ता 'रिवर्सल' (विपरीत दिशा) कहते हैं, जहाँ मॉडल पूरी तरह से गलत दिशा में चला जाता है।
अन्य मॉडलों ने दिशा तो नहीं बदली, लेकिन वे बहुत आगे निकल गए। जेमिनी (Gemini), क्लॉड (Claude) और लामा (Llama) जैसे मॉडल सही दिशा में चले, यानी तर्क सुनने के बाद कम आक्रामक हुए, लेकिन वे एक इंसान की तुलना में पांच से सात गुना अधिक बार अपना मन बदल लेते थे। ऐसा लग रहा था जैसे वे समझाने के लिए बहुत अधिक उत्सुक थे, और जरा से दबाव से ही अपने विचारों को बहुत अधिक बदल देते थे। चौथे मॉडल, डीपसीक (DeepSeek) ने बिल्कुल भी बदलाव करने से इनकार कर दिया, जिससे जानकारी मिलने के बावजूद विचारों में लगभग कोई बदलाव नहीं दिखा। इस कठोरता का अर्थ था कि इसने ऐसे व्यवहार किया जैसे नए तर्कों का कोई प्रभाव ही न पड़ा हो।
शोधकर्ताओं ने गहराई से जांच की कि ये विफलताएं क्यों हुईं। उन्होंने पाया कि ये समस्याएं यादृच्छिक (रैंडम) नहीं थीं; वे विशेष रूप से राजनीतिक पहचान से जुड़े प्रश्नों द्वारा ट्रिगर की गई थीं। जब मॉडलों से नीतिगत विवरणों के बारे में पूछा गया, तो उन्होंने उचित प्रदर्शन किया। लेकिन जब प्रश्नों ने इस बात को छुआ कि एक पार्टी दूसरे पक्ष को कैसे देखती है, तो मॉडल टूट गए। कंप्यूटर पात्र तर्क करने के बजाय एक रूढ़िबद्ध धारणा (स्टीरियोटाइप) को निभाते हुए प्रतीत हुए। शोधकर्ताओं ने इस व्यवहार को 'सेल्फ-साइकोफैंसी' (स्व-चापलूसी) का नाम दिया। यह एक प्रकार की चापलूसी है जहाँ मॉडल उस आंतरिक विचार के साथ सहमत होता है कि एक निश्चित प्रकार के व्यक्ति को क्या मानना चाहिए, बजाय इसके कि वह प्रस्तुत जानकारी को सुने। उदाहरण के लिए, यदि मॉडल को एक रिपब्लिकन की तरह व्यवहार करने के लिए कहा गया, तो वह मान लेगा कि एक रिपब्लिकन को विपक्षी पार्टी से नफरत करनी चाहिए, और वह उस धारणा पर टिका रहेगा भले ही साक्ष्य इसके विपरीत हों।
यह उस प्रकार के पूर्वाग्रह से अलग है जहाँ एक कंप्यूटर मानव उपयोगकर्ता को खुश करने की कोशिश करता है। यहाँ, कंप्यूटर अपने स्वयं के आंतरिक स्क्रिप्ट को खुश कर रहा है। अध्ययन ने दिखाया कि यह विफलता चयनात्मक और सममित (सिमेट्रिक) है; वही मॉडल प्रश्न के आधार पर विपक्षी पार्टी के प्रति आक्रामक व्यवहार करेगा और अपनी ही पार्टी के प्रति अत्यधिक मिलनसार होगा। यह सुझाव देता है कि मॉडल सोचने की प्रक्रिया का अनुकरण नहीं कर रहे हैं, बल्कि राजनीतिक लेबल से जुड़े पूर्व-निर्धारित दृष्टिकोणों को पुनः प्राप्त कर रहे हैं। शोधकर्ताओं ने प्रॉम्प्ट्स में राजनीतिक लेबल बदलकर इसका परीक्षण किया और पाया कि मॉडलों की प्रतिक्रिया तुरंत बदल गई, जिससे पुष्टि हुई कि वे तर्क के बजाय लेबल पर प्रतिक्रिया दे रहे थे।
इन निष्कर्षों के निहितार्थ उन सभी के लिए महत्वपूर्ण हैं जो समाज को समझने के लिए कंप्यूटर सिमुलेशन पर भरोसा कर रहे हैं। यदि कोई मॉडल दिशा बदल देता है, तो वह नीति निर्माता को यह विश्वास दिला सकता है कि सार्वजनिक चर्चा लोगों को और अधिक क्रोधित बना देगी, जबकि वास्तव में यह उन्हें शांत बनाएगी। यदि कोई मॉडल बहुत अधिक आगे निकल जाता है, तो यह एक शैक्षिक अभियान की शक्ति को बढ़ा-चढ़ाकर दिखा सकता है, जिससे संसाधनों की बर्बादी हो सकती है। यदि कोई मॉडल कठोर है, तो यह सुझाव दे सकता है कि सूचना की मात्रा का कोई प्रभाव नहीं पड़ेगा, जो सार्वजनिक बहस की अवधारणा को ही कमजोर कर देता है। शोधकर्ता निष्कर्ष निकालते हैं कि किसी भी कंप्यूटर मॉडल पर यह विश्वास करने से पहले कि वह यह सिम्युलेट कर सकता है कि लोग अपना मन कैसे बदलते हैं, हमें पहले एक नैदानिक परीक्षण (डायग्नोस्टिक टेस्ट) चलाना चाहिए कि क्या मॉडल वास्तव में नई जानकारी के माध्यम से तर्क कर सकता है या वह केवल रूढ़ियों को दोहरा रहा है। इस जाँच के बिना, सिलिकॉन सैंपलिंग की गति और पैमाना हमें यह विश्वास दिलाने में सक्षम हो सकता है कि हम मानव स्वभाव को समझ रहे हैं, जबकि वास्तव में, हम केवल अपने स्वयं के पूर्वाग्रहों का एक विकृत प्रतिबिंब देख रहे होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।