When Thinking Hurts: Epistemic Signals in the Reasoning Chains of Visual Language Models
यह शोध पत्र थिंकिंग-मोड विजुअल लैंग्वेज मॉडल्स में उत्तर एंट्रॉपी व्यवहार के तीन विशिष्ट पैटर्न को अनुभवजन्य रूप से अभिलक्षित करता है, यह प्रदर्शित करते हुए कि रीजनिंग चेन एंट्रॉपी, उत्तर एंट्रॉपी की तुलना में अनिश्चितता का अधिक विश्वसनीय संकेत है और एक लागत-मुक्त अपोस्थेन (abstention) तंत्र को सक्षम करता है जो प्रतिकूल और रीजनिंग कार्यों पर सटीकता को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दोस्त है जिसे पहेलियाँ सुलझाना बहुत पसंद है। आमतौर पर, जब आप उससे कोई सवाल पूछते हैं, तो वह एक सेकंड के बहुत छोटे हिस्से के लिए सोचता है और झट से जवाब दे देता है। लेकिन हाल ही में, इन रोबोटों की एक नई पीढ़ी कुछ अलग करती दिख रही है: अंतिम उत्तर देने से पहले, वे एक पूरा "सोचने का क्रम" (thinking chain) लिखते हैं—एक विशेष ... बॉक्स के अंदर उनके तर्क की एक लंबी, चरण-दर-चरण डायरी। यह बिल्कुल वैसा ही है जैसे उन्हें अपनी कॉफी ऑर्डर करने से पहले नैपकिन पर नोट्स लिखते हुए देखना।
बड़ा सवाल जो शोधकर्ताओं ने पूछा था वह यह था: यदि ये रोबट इतनी गहराई से सोच रहे हैं, तो क्या हम बता सकते हैं कि वे कब भ्रमित हैं या गलती करने वाले हैं?
उत्तर की "खामोश चीख"
पारंपरिक रूप से, यह जांचने के लिए कि क्या रोबोट अनिश्चित है, हम देखते हैं कि उसका अंतिम उत्तर कितना "कंपकंपता" (jittery) है। यदि रोबोट आश्वस्त है, तो उसका उत्तर स्थिर होता है; यदि वह भ्रमित है, तो उत्तर डगमगाता है। इसे उत्तर एंट्रॉपी (answer entropy) कहा जाता है।
लेकिन यहाँ एक मोड़ है जो इस पेपर ने खोजा है: इन नए "सोचने वाले" रोबोटों के लिए, उनके अंतिम उत्तर को देखना एक तूफान में फुसफुसाहट सुनने की कोशिश करने जैसा है।
जब शोधकर्ताओं ने Qwen3-VL-8B-Thinking नामक मॉडल का परीक्षण किया, तो उन्होंने पाया कि जैसे ही रोबोट ने अपना सोचने का क्रम समाप्त किया, वह अपने अंतिम उत्तर पर पूरी तरह से लॉक हो गया। वह "कंपकंपाहट" गायब हो गई। रोबोट का अंतिम उत्तर इतना आत्मविश्वासी हो गया कि अनिश्चितता का संकेत गिरकर 0.492 हो गया (जो मूल रूप से एक सिक्का उछालने जैसा है, या शुद्ध संयोग)। ऐसा लगता है जैसे रोबोट ने सारा सोचना कर लिया, एक रास्ता चुन लिया, और फिर उत्तर को इतनी ज़ोर से चिल्लाया कि आप उसके पीछे के संदेह को सुन ही नहीं सके।
यह पेपर स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि हम इन सोचने वाले मॉडलों में गलतियों को पहचानने के लिए केवल अंतिम उत्तर को देख सकते हैं। वास्तव में, Qwen मॉडल के लिए, अंतिम उत्तर को देखना यादृच्छिक अनुमान लगाने (random guessing) से भी बदतर था क्योंकि रोबमा गलत उत्तरों में इतना अति-आत्मविश्वासी था।
असली सुराग: सोचने की डायरी
तो, यदि अंतिम उत्तर एक बंद रास्ता है, तो हमें कहाँ देखना चाहिए? पेपर सुझाव देता है कि हमें सोचने के क्रम (thinking chain) को देखना चाहिए—उन "नैपकिन नोट्स" को जो रोबोट ने बोलने से पहले लिखे थे।
शोधकर्ताओं ने पाया कि सोचने की प्रक्रिया ही रहस्य को थामे हुए है। उन्होंने सोचने के क्रम के अंदर के "अराजकता" या "डगमगाहट" को मापा।
- Qwen मॉडल के लिए: सोचने के क्रम का सिग्नल स्कोर 0.647 था, जो अंतिम उत्तर के बेकार 0.492 से बहुत बेहतर है।
- दूसरे मॉडल, GLM-4.1V-9B-Thinking के लिए: अंतिम उत्तर वास्तव में ठीक था (0.716), लेकिन सोचने का क्रम और भी बेहतर था (0.759)।
- तीसरे मॉडल, InternVL3-8B के लिए: इसने केवल 50% सवालों के लिए अपने सोचने के क्रम का उपयोग किया। जब इसने सोचा, तो चेन सिग्नल उत्तर से थोड़ा बेहतर था, लेकिन सबसे महत्वपूर्ण सुराग यह था कि क्या इसने सोचने का निर्णय लिया या नहीं। यदि इसने सोचने के क्रम को छोड़ दिया, तो इसके गलत होने की संभावना अधिक थी।
पेपर सुझाव देता है कि सोचने का क्रम एक "पूर्व-प्रतिबद्धता" (pre-commitment) संकेत के रूप में कार्य करता है। यह रोबोट का आंतरिक संघर्ष है। यदि रोबोट वास्तव में उत्तर खोजने के लिए संघर्ष कर रहा है (चेन में उच्च एंट्रॉपी), तो इसकी संभावना अधिक है कि वह बाद में गलत होगा। यदि वह तेज़ी से और सहजता से सोचता है, तो वह शायद सही है।
"इनकार" का द्वार (The "Refusal" Gate)
वहाँ एक और अजीब चीज़ है जो ये रोबोट करते हैं। कभी-कभी, उत्तर देने के बजाय, वे बस रुक जाते हैं। वे "परहेज" (abstain) करते हैं।
- एक टेस्ट (POPE) पर, 22.1% बार Qwen रोबोट ने उत्तर देने से मना कर दिया।
- दूसरे टेस्ट (HallusionBench) पर, यह 12.6% था।
शोधकर्ताओं ने एक मज़ेदार पैटर्न नोट किया है: रोबोट तब उत्तर देने से ज़्यादा मना करता है जब सवाल उन चीजों के बारे में हो जो वहाँ नहीं हैं (अनुपस्थित वस्तुएं), तुलना में जो वहाँ हैं। यह एक रोबोट कहने जैसा है, "मैं उस भूत को नहीं देख सकता जिसके बारे में आप बात कर रहे हैं, इसलिए मैं अनुमान नहीं लगाऊंगा।"
शोधकर्ताओं ने दिखाया कि यदि हम एक सरल "गेट" (gate) बनाते हैं जो कहता है, "यदि रोबोट का सोचने का क्रम बहुत लंबा या बहुत अस्त-व्यस्त है, या यदि वह उत्तर देने से मना कर रहा है, तो चलिए उस सवाल को छोड़ देते हैं," तो हम सटीकता को नाटकीय रूप से बढ़ा सकते हैं।
- गेट के बिना, रोबोट 71.0% बार सही था।
- गेट के साथ (और लगभग 37% कठिन सवालों को छोड़कर), शेष सवालों पर रोबोट की सटीकता बढ़कर 93.8% हो गई।
यह हर चीज़ के लिए जादुई समाधान नहीं है, लेकिन यह एक व्यावहारिक ट्रिक है: यदि रोबोट पसीना बहा रहा है (लंबा, अस्त-व्यस्त सोचने का क्रम) या खेलने से मना कर रहा है, तो उसके उत्तर पर भरोसा करना संभवतः सुरक्षित नहीं है।
अन्य सवालों के बारे में क्या?
शोधकर्ताओं ने खुले अंत वाले सवालों (केवल "हाँ/ना" नहीं) पर भी इसका परीक्षण किया। उन्होंने वही पैटर्न पाया: सोचने का क्रम गलतियों का बेहतर भविष्यवक्ता था बजाय अंतिम उत्तर के।
- मुक्त-रूप (free-form) उत्तरों के लिए, अंतिम उत्तर का सिग्नल बहुत खराब था (0 oleh 0.467, जो सिक्के के उछाल से भी बदतर है)।
- लेकिन सोचने का क्रम का सिग्नल मजबूत था (0.733)।
यह बताता है कि समस्या केवल "हाँ/ना" वाले सवालों तक सीमित नहीं है; सोचने का क्रम रोबोट के आत्मविश्वास का अंतिम गंतव्य की तुलना में अधिक विश्वसनीय मानचित्र है।
निचोड़ (The Bottom Line)
पेपर निष्कर्ष निकालता है कि इन नए "सोचने वाले" रोबोटों के लिए, आप अंतिम उत्तर पर भरोसा नहीं कर सकते कि वे अनिश्चित हैं। सोचने की क्रिया उनकी अनिश्चितता को समाप्त कर देती है, जिससे वे अत्यधिक आत्मविश्वासी दिखने लगते हैं, भले ही वे गलत हों।
इसके बजाय, हमें सोचने की प्रक्रिया को सुनना होगा। रीजनिंग चेन में मौजूद "अराजकता" ही वास्तविक संकेत है। हालांकि यह उनके द्वारा परीक्षण किए गए मॉडलों (Qwen और GLM) के लिए बहुत अच्छी तरह काम करता है, लेखकों का सुझाव है कि हमें यह जांचने की आवश्यकता है कि क्या यह और भी बड़े मॉडलों के लिए भी सही है या यदि हम रोबोट के सोचने के तरीके को बदलते हैं (जैसे कि सबसे अच्छा उत्तर चुनने के बजाय यादृच्छिक रूप से अनुमान लगाने देना)। फिलहाल के लिए, यदि आप जानना चाहते हैं कि सोचने वाला रोबोट भ्रम (hallucination) पैदा कर रहा है या नहीं, तो यह मत देखिए कि वह क्या कहता है—देखिए कि उसने कैसे सोचा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।