Confident but Conflicted: Internal Uncertainty and Cognitive Dissonance Resolution in LLMs
यह शोधपत्र 'ट्रस्ट इलास्टिसिटी' (Trust Elasticity) को प्रस्तुत करता है ताकि यह मापा जा सके कि लार्ज लैंग्वेज मॉडल्स विरोधाभासी साक्ष्यों का सामना करने पर संज्ञानात्मक विसंगति (cognitive dissonance) को कैसे हल करते हैं, जो यह प्रकट करता है कि मॉडल्स के बीच अनुनय के प्रति संवेदनशीलता में भिन्नता, आत्मविश्वास मिसकैलिब्रेशन और आंतरिक अनिश्चितता परिवर्तन जैसे विशिष्ट आंतरिक अनिश्चितता संकेतकों के साथ सह-संबंधित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही आत्मविश्वासी रोबोट दोस्त से बात कर रहे हैं जो बहुत सारे तथ्य जानता है। आप उसे कहते हैं, "मुझे लगता है कि आसमान हरा है।" रोबोट कहता है, "नहीं, आसमान नीला है।"
अब, कल्पना कीजिए कि आप रोबोट को इसके विपरीत समझाने की कोशिश करते हैं। आप शायद कहेंगे, "खैर, एक प्रसिद्ध वैज्ञानिक ने कहा था कि यह हरा है," या "मैंने एक छोटी सी ब्लॉग पोस्ट पढ़ी है जिसमें कहा गया है कि यह हरा है।" रोबोट कैसे प्रतिक्रिया देता है? क्या वह अपना मन बदल लेता है? क्या वह गुस्सा हो जाता है और इस बात पर और भी जोर देता है कि आसमान नीला है? या वह बस आपको अनदेखा कर देता है?
यह शोध बिल्कुल इसी परिदृश्य का अध्ययन है, लेकिन लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ—जो चैटबॉट्स के पीछे के AI दिमाग हैं। शोधकर्ता इस प्रक्रिया को "कॉग्निटिव डिसोनेंस रेजोल्यूशन" (cognitive dissonance resolution) कहते हैं, जो एक फैंसी तरीका है यह कहने का: एक AI उस स्थिति को कैसे संभालता है जब कोई उसकी कही गई बात को चुनौती देता है?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. प्रयोग: द "परसुएशन गेम" (Persuasion Game)
शोधकर्ताओं ने चार अलग-अलग AI मॉडल्स (Qwen, Grok, Llama, और GPT-4o) के साथ एक खेल बनाया। उन्होंने AI को शुरू करने के लिए 12 अलग-अलग स्वास्थ्य संबंधी दावे दिए। कुछ दावे स्पष्ट रूप से फर्जी थे (जैसे "5G तरंगें आपके DNA को आधा काट देती हैं"), कुछ बढ़ा-चढ़ाकर कहे गए थे (जैसे "उपवास आपके हृदय के लिए बुरा है"), और कुछ बस बहुत अधिक पूर्णतः (absolute) कहे गए थे (जैसे "स्ट्रेचिंग कभी भी प्रदर्शन में मदद नहीं करती")।
फिर, उन्होंने दो लीवरों का उपयोग करके AI का मन बदलने की कोशिश की:
- स्रोत (Authority): इसके विपरीत कौन बोल रहा है? क्या यह एक गुमनाम Reddit यूजर है, एक स्थानीय आहार विशेषज्ञ (dietitian) है, एक विश्वविद्यालय का प्रोफेसर है, या विश्व स्वास्थ्य संगठन (WHO) है?
- प्रमाण (Evidence): प्रमाण कितना अच्छा है? क्या यह एक छोटी, अस्थिर पायलट स्टडी है, या एक विशाल, सटीक वैज्ञानिक परीक्षण है?
2. "ट्रस्ट इलास्टिसिटी" (TE) मीटर
यह मापने के लिए कि AI कितनी आसानी से मनाया जा सकता है, शोधकर्ताओं ने एक नया उपकरण बनाया जिसे ट्रस्ट इलास्टिसिटी (TE) कहा जाता है। इसे एक रबर बैंड की तरह समझें।
- उच्च इलास्टिसिटी (High Elasticity): रबर बैंड आसानी से खिंच जाता है। जब आप इसे धक्का देते हैं, तो AI जल्दी अपना मन बदल लेता है।
- कम इलास्टिसिटी (Low Elasticity - Stiff): रबर बैंड सख्त है। AI अपनी बात से नहीं हटता।
- नेगेटिव इलास्टिसिटी (Negative Elasticity - Backfire): रबर बैंड पहले की तुलना में और भी जोर से वापस उछलता है। AI और भी जिद्दी हो जाता है और अपने मूल विचार पर और भी मजबूती से अड़ा रहता है।
3. उन्होंने क्या पाया
अध्ययन ने तीन मुख्य व्यवहारों को उजागर किया:
- "रॉक" प्रभाव (The "Rock" Effect - इम्युनिटी): जब AI को ऐसी बात बताई गई जो स्पष्ट रूप से गलत थी (जैसे "टीके से ऑटिज्म होता है"), तो इसने एक चट्टान की तरह व्यवहार किया। चाहे वह व्यक्ति कितना भी प्रसिद्ध क्यों न हो या वह "वैज्ञानिक" अध्ययन कितना भी वास्तविक क्यों न दिखे, AI टस से मस नहीं हुआ। इसकी ट्रस्ट इलास्टिसिटी शून्य के करीब थी। यह स्पष्ट झूठ के प्रति प्रतिरोधी (immune) था।
- "स्पंज" प्रभाव (The "Sponge" Effect - परसुएशन): जब दावे बढ़ा-चढ़ाकर या बहुत अधिक पूर्ण (absolute) थे, तो AI एक स्पंज की तरह था। इसने नई जानकारी को सोख लिया और अपना मन बदल लिया।
- अलग-अलग स्पंज: सभी AI मॉडल समान रूप से अवशोषक नहीं थे। Llama सबसे अधिक "स्पंज जैसा" (आसानी से मनाया जाने वाला) था, जबकि Qwen अधिक सख्त (मुश्किल से मनाया जाने वाला) था। दिलचस्प बात यह है कि सबसे बड़ा AI मॉडल सबसे कठिन नहीं था; कभी-कभी छोटे मॉडल अधिक सख्त होते थे।
- "बैकफायर" प्रभाव (The "Backfire" Effect): कभी-कभी, यदि AI को लगा कि चुनौती बहुत आक्रामक थी या वह ऐसे स्रोत से आई जिसे वह भरोसा नहीं करता था, तो उसने केवल आपको अनदेखा नहीं किया—बल्कि उसने अपनी बात को और भी मजबूती से दोहराया। वह अपने मूल गलत उत्तर पर और भी अधिक आश्वस्त हो गया। यह सबसे अधिक तब हुआ जब AI को "एब्सोल्यूटिस्ट" दावों (ऐसे दावे जिनमें "कभी नहीं" या "हमेशा" जैसे शब्दों का उपयोग किया गया हो) पर चुनौती दी गई थी।
4. रोबोट के दिमाग के अंदर का रहस्य
सबसे रोमांचक हिस्सा यह है कि शोधकर्ताओं ने AI के "दिमाग" (इसके आंतरिक गणित) के अंदर क्या पाया। उन्होंने दो चीजों को देखा:
- कॉन्फिडेंस मिसकैलिब्रेशन (Confidence Miscalibration): क्या AI कहता है कि वह 90% निश्चित है, लेकिन वास्तव में अंदर से केवल 50% निश्चित महसूस करता है?
- इंटरनल अनसर्टेन्टी चेंज (Internal Uncertainty Change): क्या नया तर्क सुनने पर AI का आंतरिक "भ्रम मीटर" ऊपर या नीचे जाता है?
उन्होंने पाया कि अलग-अलग AI मॉडल अपने आंतरिक "व्यक्तित्व" के आधार पर अलग-तरह से प्रतिक्रिया करते हैं:
- Qwen एक ऐसे व्यक्ति की तरह है जो अति-आत्मविश्वासी (overconfident) है। जब यह बाहर से बहुत आश्वस्त था लेकिन अंदर से अनिश्चित था, तो इसके मन बदलने की संभावना अधिक थी।
- Llama एक ऐसे व्यक्ति की तरह है जो पलटू (flip-flops) है। जब बहस के दौरान इसका आंतरिक भ्रम मीटर बहुत अधिक उतार-चढ़ाव करता था, तब इसने अपना मन बदला।
निचोड़ (The Bottom Line)
शोध यह निष्कर्ष निकालता है कि AI मॉडल मन बदलने के मामले में एक समान नहीं हैं।
- वे स्पष्ट झूठ पर अडिग रहते हैं।
- वे बढ़ा-चढ़ाकर किए गए दावों पर लचीले होते हैं।
- यदि उन्हें बहुत अधिक दबाया जाए, तो वे जिद्दी (backfire) हो सकते हैं।
महत्वपूर्ण रूप से, अध्ययन यह सुझाव देता है कि इन व्यवहारों को ठीक करने के लिए, हमें केवल यह बदलने की कोशिश नहीं करनी चाहिए कि AI क्या कहता है (इसका आउटपुट)। इसके बजाय, हमें यह ठीक करने की आवश्यकता हो सकती है कि AI अपने ज्ञान के बारे में कैसा महसूस करता है (इसकी आंतरिक अनिश्चितता)। यदि हम AI के आंतरिक "कॉन्फिडेंस मीटर" को उसके वास्तविक ज्ञान के साथ बेहतर ढंग से मिला सकें, तो हम इसे चुनौती दिए जाने पर अधिक तर्कसंगत बना पाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।