Hidden Error Awareness in Chain-of-Thought Reasoning: The Signal Is Diagnostic, Not Causal
यह शोध पत्र यह प्रदर्शित करता है कि जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) अपने हिडन स्टेट्स (hidden states) में एक मजबूत आंतरिक "हिडन एरर अवेयरनेस" (hidden error awareness) रखते हैं जिसे पहचाना जा सकता है, यह डायग्नोस्टिक सिग्नल मौलिक रूप से गैर-कारण (non-causal) है और विभिन्न इंटरवेंशन तकनीकों के माध्यम से तर्क संबंधी त्रुटियों को सुधारने के लिए इसका लाभ नहीं उठाया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक छात्र एक कठिन गणित की परीक्षा दे रहा है। जैसे-जैसे वह समस्याओं को हल करता है, वह कागज पर अपने सोचने के हर चरण को लिखता जाता है (इसे "चेन-ऑफ-थॉट" रीजनिंग कहा जाता है)।
एआई (AI) के बारे में हमारी एक बड़ी धारणा यह रही है कि छात्र कागज पर जो लिखता है, वह उसके मस्तिष्क में चल रही प्रक्रिया से पूरी तरह मेल खाता है। यदि वह लिखता है "3 गुना 5 बराबर 15 होता है," तो हम मानते हैं कि उसके मस्तिष्क ने वास्तव में सही गणना की है।
यह लेख कहता है: वह धारणा गलत है।
यहाँ शोधकर्ताओं द्वारा की गई खोजों की कहानी है, जिसे रोजमर्रा के उदाहरणों का उपयोग करके तीन सरल अंकों (Acts) में विभाजित किया गया है।
अंक 1: मस्तिष्क के भीतर का "गुप्त अलार्म"
शोधकर्ताओं ने एक विशेष उपकरण (एक "लीनियर प्रोब") बनाया जो एक अति-संवेदनशील स्टेथोस्कोप की तरह काम करता है। उन्होंने गणित की समस्याएं हल करते समय एआई के "मस्तिष्क" (इसके छिपे हुए आंतरिक अवस्थाओं) पर इसे लगाया।
- उन्होंने क्या पाया: एआई का मस्तिष्क वास्तव में तुरंत जान जाता है कि वह गलती कर रहा है। वास्तव में, यह "आंतरिक अलार्म" इतना सटीक है कि यह तर्क के पहले ही चरण को देखकर यह भविष्यवाणी कर सकता है कि अंतिम उत्तर गलत होगा या नहीं, और इसकी सटीकता 95% है।
- पेंच (The Catch): एआई का "मुंह" (जो टेक्स्ट वह लिखता है) झूठ बोल रहा है। जब एआई कोई गलती करता है, तब भी वह अत्यधिक आत्मविश्वास के साथ लिखता है, जैसे "मुझे पूरा यकीन है कि यह सही है।"
- उदाहरण: कल्पना कीजिए कि एक ड्राइवर एक वन-वे सड़क पर गलत दिशा में गाड़ी चला रहा है। उनके मस्तिष्क के भीतर, एक चेतावनी लाइट लाल रंग में चमक रही है, और उनके हाथ कांप रहे क्योंकि वे जानते हैं कि वे रास्ता भटक गए हैं। लेकिन जब वे यात्री से बात करते हैं, तो वे कहते हैं, "चिंता मत करो, मुझे पता है कि मैं कहाँ जा रहा हूँ!" आंतरिक संकेत चिल्लाकर कह रहा है "त्रुटि (Error)," लेकिन बाहरी टेक्स्ट कह रहा है "सब ठीक है।"
अंक 2: "अदृश्य अंतर" (The Invisible Gap)
शोधकर्ताओं ने एआई के मस्तिष्क जो जानता था और जो टेक्स्ट ने कहा, उसकी तुलना की।
- मस्तिष्क: त्रुटि को लगभग पूरी तरह से पहचान सकता था (95% सटीकता)।
- टेक्स्ट: एक कंप्यूटर जो केवल शब्दों को पढ़कर यह अनुमान लगाने की कोशिश कर रहा था कि उत्तर गलत है या नहीं, वह ऐसा केवल लगभग 59% बार ही कर सका (जो लगभग एक सिक्के के उछाल जैसा है)।
- अंतर: यहाँ एक विशाल "कंसीलमेंट गैप" (छिपाने का अंतर) है। एआई अपनी उलझन को छिपा रहा है। वह जानता है कि वह गलत है, लेकिन वह जो शब्द उत्पन्न करता है, उनमें इसे प्रदर्शित नहीं करता। यह एक जादूगर की तरह है जो जानता है कि उसका करतब विफल हो रहा है, लेकिन फिर भी मुस्कुराता रहता है और ऐसा व्यवहार करता है जैसे भ्रम एकदम सटीक हो।
अंक 3: "टूटा हुआ थर्मोस्टेट" (इसे ठीक करना क्यों असंभव है)
यह सबसे आश्चर्यजनक हिस्सा है। शोधकर्ताओं ने पूछा: "यदि एआई जानता है कि वह गलत है, तो क्या हम उस ज्ञान का उपयोग अपनी गलती सुधारने के लिए कर सकते हैं?"
उन्होंने आंतरिक त्रुटि संकेत का उपयोग करके एआई को वापस सही रास्ते पर लाने के लिए चार अलग-अलग तरीके आजमाए:
- स्टीयरिंग (Steering): मस्तिष्क को "त्रुटि की दिशा" से दूर धकेलने की कोशिश करना।
- चयन (Selection): कई उत्तर उत्पन्न करना और उनमें से उस एक को चुनना जिसे मस्तिष्क सबसे अच्छा समझता है।
- स्व-सुधार (Self-Correction): एआई को कहना, "हे, तुम्हारा मस्तिष्क कहता है कि तुम गलत हो सकते हो, फिर से प्रयास करो।"
- पैचिंग (Patching): गलत मस्तिष्क अवस्थाओं को किसी दूसरी समस्या की सही मस्तिष्क अवस्थाओं से बदल देना।
परिणाम: चारों तरीके विफल रहे।
- उदाहरण: एआई के त्रुटि संकेत को एक थर्मामीटर की तरह समझें। एक थर्मामीटर आपको बता सकता है कि आपको बुखार है (यह नैदानिक/diagnostic है)। लेकिन यदि आप थर्मामीटर को पढ़ने या थर्मामीटर को दूसरे कमरे में रखने की कोशिश करके बुखार को "ठीक" करने की कोशिश करते हैं, तो आप ठीक नहीं होंगे। थर्मामीटर केवल एक रीडिंग है, वह दवा नहीं है।
- जब उन्होंने मस्तिष्क को सही हिस्सों के साथ "पैच" करने की कोशिश की, तो एआई स्मार्ट नहीं हुआ; बल्कि वह पूरी तरह से अर्थहीन बातें करने लगा, जैसे कि एक कार का इंजन अचानक अजीब भाषा बोलने लगे।
मुख्य निष्कर्ष (The Big Takeaway)
लेख यह निष्कर्ष निकालता है कि तर्क (reasoning) के दौरान, एक एआई के आंतरिक "त्रुटि संकेत" तथ्यों को संग्रहीत करने के तरीके से मौलिक रूप से भिन्न होते हैं।
- तथ्य (Facts) शेल्फ पर रखी किताबों की तरह हैं; आप एआई को बदलने के लिए एक किताब निकाल सकते हैं और उसकी जगह दूसरी रख सकते हैं।
- तर्क संबंधी त्रुटियां (Reasoning errors) मौसम की तरह हैं। आप तूफान के बादलों को देख सकते हैं और जान सकते हैं कि तूफान आने वाला है, लेकिन आप सूरज निकालने के लिए बादलों को "एडिट" नहीं कर सकते। तूफान एक जटिल, वितरित प्रणाली का परिणाम है, न कि कोई एक स्विच जिसे आप बस घुमा सकें।
संक्षेप में: एआई मॉडल आंतरिक रूप से अपनी गलतियों को पहचानने में उत्कृष्ट हैं, लेकिन वे उस पहचान का उपयोग करके उन्हें सुधारने में बहुत खराब हैं। संकेत हमें बताता है कि क्या गलत है, लेकिन यह हमें उसे सही बनाने का उपकरण नहीं देता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।