Unsure but Certain: Uncovering the Representation-Confidence Gap in Diffusion Language Models
यह शोध पत्र डिफ्यूजन लैंग्वेज मॉडल्स में एक "रिप्रेजेंटेशन-कॉन्फिडेंस गैप" की पहचान करता है जहाँ शोर वाली स्थितियों (noisy conditions) के तहत बाहरी कॉन्फिडेंस स्कोर द्वारा आंतरिक त्रुटि पहचान संकेतों को अनदेखा कर दिया जाता है, लेकिन यह प्रदर्शित करता है कि एक हल्का, ज़ीरो-जेनरेशन टूल बेस मॉडल को संशोधित किए बिना इन छिपे हुए संकेतों को निकालने और उत्तर रैंकिंग को बहाल करने में सक्षम है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द कॉन्फिडेंस ट्रैप: जब AI खुद से झूठ बोलता है
कल्पना कीजिए कि आप एक रोबोट को कहानी पढ़ना सिखाने की कोशिश कर रहे हैं। आपके पास दो अलग तरह के रोबोट हैं। पहला प्रकार, जिसे हमने लंबे समय से उपयोग किया है, कहानी को एक बार में एक शब्द करके पढ़ता है, जैसे कोई व्यक्ति पन्ने पलट रहा हो। दूसरा प्रकार, एक नया आविष्कार जिसे "डिफ्यूजन लैंग्वेज मॉडल" (Diffusion Language Model) कहा जाता है, पूरी कहानी को एक साथ देखता है, जैसे कोई व्यक्ति अपनी आँखों से पूरे पन्ने को स्कैन कर रहा हो, और एक साथ गायब हिस्सों का अनुमान लगाने की कोशिश करता है। क्योंकि यह नया रोबोट पूरी तस्वीर को एक साथ देख सकता है, इसलिए वैज्ञानिकों को लगा कि यह गंदे इनपुट (जैसे गलतियों या बिखरे हुए अक्षरों वाली कहानी) को संभालने में बेहतर होगा।
लेकिन यहाँ एक पेचीदा बात है: हमें कैसे पता चलेगा कि रोबोट सही है? हम आमतौर पर उससे पूछते हैं, "तुम कितने निश्चित हो?" यदि रोबोट कहता है, "मैं 99% निश्चित हूँ!", तो हम उस पर भरोसा करने लगते हैं। यदि वह कहता है, "मैं निश्चित नहीं हूँ," तो हम उसके उत्तर को अनदेखा कर सकते हैं। यह शोध पत्र इन नए "पूरी तस्वीर देखने वाले" रोबोटों में एक अजीब सी खराबी की जांच करता है। पता चलता है कि जब ये रोबोट गलती करते हैं, तो उन्हें अक्सर इसका एहसास नहीं होता। वे पूरी तरह से गलत उत्तर दे सकते हैं, लेकिन फिर भी चिल्लाकर कहेंगे, "मैं 99% निश्चित हूँ!" यह एक ऐसे छात्र की तरह है जो गणित का सवाल गलत करता है लेकिन पूरे आत्मविश्वास के साथ हाथ उठाता है, यह मानकर कि वह सही है। शोधकर्ता यह जानना चाहते थे कि ऐसा क्यों होता है और क्या बोलने से पहले सच्चाई देखने के लिए रोबोट के दिमाग के अंदर झांकने का कोई तरीका है।
"अनिश्चित लेकिन निश्चित" रोबोट का रहस्य
शोधकर्ताओं, सौरभ यादव और उनकी टीम ने इन नए डिफ्यूजन मॉडल्स (विशेष रूप से LLaDA और DREAM नामक मॉडल्स) का परीक्षण करने का निर्णय लिया। इसके लिए उन्होंने उन्हें जानबूझकर की गई गलतियों वाले तर्क पहेली (logic puzzles) दिए, जैसे अक्षरों को बदलना या शब्दों को हटाना। वे दो चीजें देखना चाहते थे: रोबोट कितनी बार सही उत्तर देता है (सटीकता/accuracy), और रोबोट का "कॉन्फिडेंस स्कोर" वास्तविकता से कितनी अच्छी तरह मेल खाता है (विश्वसनीयता/reliability)।
उन्होंने एक अजीब विसंगति पाई जिसे वे रिप्रेजेंटेशन-कॉन्फिडेंस गैप (Representation-Confidence Gap) कहते हैं।
रोबोट के दिमाग को दो अलग-अलग कमरों के रूप में सोचें। बैक रूम (Back Room) (छिपी हुई अवस्थाओं/hidden states) में, रोबोट वास्तव में बहुत स्मार्ट है। वह एक बिखरे हुए सवाल को देख सकता है और तुरंत समझ सकता है, "अरे, यह सवाल टूटा हुआ है, और मेरा उत्तर शायद गलत है।" वह त्रुटि का लगभग पूर्ण सटीकता के साथ पता लगा लेता है। लेकिन फ्रंट रूम (Front Room) (अंतिम आउटपुट) में, रोबोट एक बहुत बुरा अभिनेता है। जब वह अंततः कोई उत्तर देता है, तो वह बैक रूम से मिलने वाली चेतावनी के संकेतों को पूरी तरह से अनदेखा कर देता है। यहाँ तक कि जब वह गलत होता है, तब भी वह अधिकतम के करीब कॉन्फिडेंस स्कोर रिपोर्ट करता है, जैसे 0.98 या 0.99।
यह शोध पत्र दिखाता है कि जैसे-जैसे शोर (गलतियाँ/typos) बढ़ता है, रोबोट की वास्तविक सटीकता गिरती जाती है, लेकिन उसकी रिपोर्ट की गई 'निश्चितता' (confidence) अडिग रहती है। यह ऐसा है जैसे रोबोट कह रहा हो, "मुझे 99% यकीन है कि उत्तर 24 है," भले ही सही उत्तर 12 हो। यह खतरनाक है क्योंकि यदि आप रोबोट के कॉन्फिडेंस पर भरोसा करते हैं, तो आप उसके गलत उत्तरों पर भी भरोसा करेंगे।
साधारण समाधान काम क्यों नहीं करते
शोधकर्ताओं ने इस समस्या को ठीक करने के लिए मानक तरीकों को आजमाया, लेकिन वे असफल रहे।
- "आवाज़ कम करने वाला" तरीका (The "Turn Down the Volume" Trick): आमतौर पर, यदि कोई रोबोट बहुत अधिक आत्मविश्वासी है, तो आप गणित का उपयोग करके उसके कॉन्फिडेंस स्कोर को कम कर सकते हैं (जैसे रेडियो की आवाज़ कम करना)। शोधकर्ताओं ने इसे आजमाया। यह एक तरीके से काम किया: स्कोर कम हो गए। लेकिन यह सबसे महत्वपूर्ण तरीके से विफल रहा: इसने उत्तरों के क्रम (order) को नहीं बदला। रोबोट अभी भी अपने गलत उत्तर को अपने सही उत्तर से बेहतर समझता था। उसने बस यह सोचा कि दोनों ही पहले की तुलना में कम आत्मविश्वासी हैं।
- "री-ट्रेनिंग" तरीका (The "Re-Training" Trick): उन्होंने रोबोट को अपने शोर वाले उत्तरों को अपने साफ उत्तरों से मिलाने के लिए सिखाने की कोशिश की। इससे सटीकता (accuracy) तो सुधर गई (रोबोट ने अधिक सही उत्तर दिए), लेकिन इसने कॉन्फिडेंस की समस्या को ठीक नहीं किया। रोबोट अभी भी अपने गलत उत्तरों को "निश्चित" मानता था।
- "एरर डिटेक्टर" तरीका (The "Error Detector" Trick): उन्होंने रोबोट को एक संकेत देने की कोशिश की जो कहता, "अरे, सवाल गड़बड़ है!" लेकिन यह संकेत हर संभावित उत्तर के लिए एक जैसा था। यह रोबोट को यह बताने जैसा था कि "परीक्षा कठिन है," बिना यह बताए कि कौन सा विशिष्ट उत्तर गलत है। इससे रोबोट को यह तय करने में मदद नहीं मिली कि किस उत्तर पर भरोसा किया जाए।
यह शोध पत्र तर्क देता है कि समस्या केवल यह नहीं है कि रोबोट बहुत "तेज़ आवाज़" में बोल रहा है; बल्कि समस्या यह है कि रोबोट अपने स्वयं के अनुमानों को सही ढंग से रैंक करने की क्षमता खो चुका है। वह अब "शायद सही" और "निश्चित रूप से गलत" उत्तर के बीच अंतर नहीं कर पा रहा है।
जादुई उपकरण: "लेटेंट करेक्टनेस रीडआउट" (The "Latent Correctness Readout")
यही रोमांचक हिस्सा है। शोधकर्ताओं ने खोजा कि इस समस्या को ठीक करने के लिए आवश्यक जानकारी वास्तव में रोबोट के भीतर ही छिपी हुई थी, लेकिन रोबोट उसका उपयोग नहीं कर रहा था।
उन्होंने एक छोटा, हल्का उपकरण बनाया जिसे लेटेंट करेक्टनेस रीडआउट (LCR) कहा जाता है। कल्पना कीजिए कि रोबोट का दिमाग नोट्स का एक विशाल पुस्तकालय है। जब रोबोट किसी समस्या को हल करता है, तो वह अपने द्वारा बनाए गए प्रत्येक शब्द के लिए नोट्स का एक निशान (hidden states) छोड़ देता है। LCR एक लाइब्रेरियन की तरह है जो तेजी से उत्तर वाले शब्दों द्वारा छोड़े गए नोट्स को स्कैन करता है।
यह लाइब्रेरियन रोबोट को नहीं बदलता है। वह उसे फिर से प्रशिक्षित नहीं करता है। वह रोबोट को अधिक सोचने के लिए भी मजबूर नहीं करता है। वह बस रोबोट द्वारा लिखे गए नोट्स को देखता है और कहता है, "इन नोट्स के आधार पर, यह उत्तर गलत लग रहा है," या "यह वाला सही लग रहा है।"
परिणाम आश्चर्यजनक थे:
- यह काम करता है: इस उपकरण का उपयोग करके, वे उत्तरों को फिर से रैंक (re-rank) कर सके। वे रोबोट को बता सके, "उस 99% आत्मविश्वासी गलत उत्तर को अनदेखा करें, और इसके बजाय इस पर ध्यान दें।"
- यह तेज़ है: यह उपकरण अविश्वसनीय रूप से कुशल है। इसके लिए रोबोट को अतिरिक्त उत्तर बनाने या अधिक समय लेने की आवश्यकता नहीं है। यह बस एक ही बार में नोट्स को पढ़ लेता है।
- यह ईमानदार है: उपकरण ने साबित कर दिया कि "सच्चाई" रोबोट के भीतर ही थी। रोबोट बस उसे रिपोर्ट करने में विफल रहा।
खोज की सीमाएँ
यह शोध पत्र बहुत सावधानी से कहता है कि यह सब कुछ हल करने वाला कोई जादू का डंडा नहीं है।
- यह पूर्ण नहीं है: हालांकि उपकरण ने रैंकिंग में काफी सुधार किया, लेकिन इसने रोबोट को पूर्ण नहीं बनाया। यदि आप रोबोट को कुछ अतिरिक्त उत्तर उत्पन्न करने देते हैं (जैसे कि उसे दो बार सोचने के लिए कहना), तो वह तरीका इस उपकरण से बेहतर काम करता है, लेकिन उसमें बहुत अधिक समय और कंप्यूटर पावर लगती है।
- यह कार्य पर निर्भर करता है: यह उपकरण गणितीय पहेलियों (जैसे GSM8K) और कुछ विज्ञान संबंधी प्रश्नों पर बहुत अच्छा काम करता है। लेकिन सामाजिक स्थितियों या जटिल व्याकरण जैसे अन्य कार्यों पर, इसने बहुत अधिक मदद नहीं की, और कभी-कभी स्थिति को थोड़ा खराब भी कर दिया।
- इसे थोड़े प्रशिक्षण की आवश्यकता है: इस उपकरण को प्रत्येक नए कार्य के लिए उदाहरणों के एक छोटे सेट पर "सिखाया" जाना आवश्यक है। इसे बिना थोड़े सेटअप के किसी भी विषय पर किसी भी रोबोट पर सीधे लागू नहीं किया जा सकता।
मुख्य निष्कर्ष
इस शोध पत्र का मुख्य सबक यह है कि इन नए डिफ्यूजन मॉडल्स के लिए, कॉन्फिडेंस (आत्मविश्वास) और करेक्टनेस (सटीकता) एक समान नहीं हैं। केवल इसलिए कि एक रोबोट कहता है कि वह 100% निश्चित है, इसका मतलब यह नहीं है कि वह सही है, खासकर जब इनपुट गंदा या शोर वाला हो। रोबोट का दिमाग सच्चाई जानता है, लेकिन उसका मुँह झूठ बोल रहा है।
शोधकर्ताओं ने दिखाया है कि हम एक सरल "झूठ पकड़ने वाला यंत्र" बना सकते हैं जो सच्चाई खोजने के लिए रोबोट के आंतरिक नोट्स को पढ़ता है। यह एक बड़ा कदम है क्योंकि इसका मतलब है कि हमें इन शक्तिशाली नए मॉडल्स को फेंकने की ज़रूरत नहीं है; हमें बस उन्हें सुनने का एक बेहतर तरीका चाहिए। हालाँकि, जब तक हमारे पास इसे करने का कोई पूर्ण तरीका नहीं होता, हमें इन रोबोटों पर भरोसा करने में बहुत सावधान रहना चाहिए जब वे गंदी या शोर वाली जानकारी के साथ काम कर रहे हों। वे गहराई में "अनिश्चित" हो सकते हैं, भले ही सतह पर वे "निश्चित" सुनाई दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।