The Illusion of Insight in Reasoning Models
यह शोध पत्र तर्क मॉडलों में अंतर्निहित "आहा!" (Aha!) क्षणों की धारणा को चुनौती देता है, यह प्रदर्शित करते हुए कि रीजनिंग के मध्य में होने वाले बदलाव दुर्लभ हैं, प्रशिक्षण की प्रगति से असंबद्ध हैं, और आमतौर पर अप्रभावी होते हैं, जो उन्हें अस्थिर अनुमान (inference) के लक्षणों के रूप में प्रकट करता है जिन्हें केवल उच्च अनिश्चितता के तहत कृत्रिम रूप से ट्रिगर किए जाने पर ही प्रदर्शन में सुधार के लिए लाभ उठाया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "The Illusion of Insight in Reasoning Models" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।
मुख्य विचार: "अहा!" क्षण का भ्रम (The "Aha!" Moment Myth)
कल्पना कीजिए कि आप एक छात्र को कठिन गणित का टेस्ट देते हुए देख रहे हैं। अचानक, वह रुकता है, माथा सिकोड़ता है, कहता है, "ठहरो... मुझे इसे फिर से सोचने दो," और फिर अपने गलत उत्तर को काटकर एक नया, सही उत्तर लिख देता है। यह एक शानदार अंतर्दृष्टि (insight) जैसा दिखता है, जैसे अचानक प्रतिभा की कोई चमक। हम इसे एक "अहा!" क्षण (Aha! moment) कहते हैं।
कुछ समय के लिए, शोधकर्ताओं को लगा कि उन्नत AI मॉडल (जैसे DeepSeek-R1) इसी तरह की मानवीय क्षमता विकसित कर रहे हैं, जिससे वे अचानक अपनी गलतियों को पहचान सकते हैं और उन्हें खुद ठीक कर सकते हैं। उनका मानना था कि AI किसी मुश्किल स्थिति से बाहर निकलने के लिए "सोच" रहा है।
यह शोध पत्र कहता है: यह शायद एक भ्रम है।
प्रिंसटन के शोधकर्ताओं ने 10 लाख से अधिक रीजनिंग ट्रेसेस (AI मॉडल के सोचने के चरण-दर-चरण तरीके) की गहराई से जांच की और पाया कि ये "अहा!" क्षण वास्तव में बहुत दुर्लभ हैं, और जब वे होते हैं, तो वे आमतौर पर AI को बेहतर बनाने के बजाय उसे और खराब कर देते हैं।
जांच: एक जासूसी कहानी (The Investigation: A Detective Story)
सच्चाई का पता लगाने के लिए, शोधकर्ताओं ने एक विशाल प्रयोग स्थापित किया। इसे AI के लिए एक वैज्ञानिक रियलिटी शो की तरह समझें।
प्रतियोगी: उन्होंने विभिन्न AI मॉडलों (जैसे Qwen और Llama) का उपयोग किया और उन्हें तीन बहुत अलग प्रकार की पहेलियों पर प्रशिक्षित किया:
- क्रिप्टिक क्रॉसवर्ड (Cryptic Crosswords): जैसे किसी पहेली को सुलझाना जहाँ उत्तर शब्द-खेल (wordplay) में छिपा हो।
- गणित की समस्याएँ (Math Problems): मानक बीजगणित (algebra) और तर्क।
- रश ऑवर पज़ल्स (Rush Hour Puzzles): ग्रिड पर कारों को खिसकाकर लाल कार को बाहर निकालना।
कैमरे: उन्होंने केवल अंतिम उत्तर को नहीं देखा। उन्होंने AI द्वारा उठाए गए हर एक कदम को रिकॉर्ड किया, और उस विशिष्ट क्षण पर नज़र रखी जब उसने कहा, "ठहरो, यह गलत है," या "चलिए एक अलग तरीका आजमाते हैं।"
स्कोरबोर्ड: उन्होंने यह जांचा कि क्या AI ने "Wait" (ठहरो) कहने से पहले सही उत्तर दिया था और क्या "Wait" कहने के बाद सही उत्तर दिया।
निष्कर्ष: "Wait" अक्सर एक घबराहट का बटन है
उन्होंने क्या खोजा, जिसे रोजमर्रा की भाषा में यहाँ समझाया गया है:
1. "Wait" दुर्लभ है और अक्सर एक गलती है
जब AI कहता है, "ठहरो, मुझे पुनर्मूल्यांकन करने दो," तो यह आमतौर पर इसलिए नहीं होता क्योंकि उसके पास कोई शानदार नया विचार आया है। यह अक्सर इसलिए होता है क्योंकि वह भ्रमित हो गया या उसने मतिभ्रम (hallucination/मनगढ़ंत बातें बनाना) शुरू कर दिया।
- उपमा: कल्पना कीजिए कि एक ड्राइवर गलत सड़क पर गाड़ी चला रहा है। गलती को जल्दी पहचानने के बजाय, वह तब तक गाड़ी चलाता रहता है जब तक कि वह डेड एंड (बंद रास्ते) पर न पहुँच जाए। फिर वह कहता है, "ठहरो, कुछ गलत है!" और वापस मुड़ जाता है। लेकिन अक्सर, जब तक वह वापस मुड़ता है, वह पहले से ही किसी दूसरे अनजान इलाके में भटक चुका होता है।
- डेटा: उनके अध्ययन में, जब AI वाक्य के बीच में अपना विचार बदलता था, तो उसके सही उत्तर देने की संभावना उस स्थिति से कम थी जब वह अपनी मूल योजना के साथ आगे बढ़ता रहता।
2. प्रशिक्षण इसे ठीक नहीं करता
आप सोच सकते हैं, "शायद AI अधिक सीखने के साथ इसमें बेहतर हो जाता होगा?"
- परिणाम: नहीं। हजारों चरणों तक AI को प्रशिक्षित करने के बाद भी, ये "अहा!" क्षण अधिक सामान्य या अधिक सहायक नहीं हुए। AI ने स्मार्ट तरीके से "स्व-सुधार" (self-correct) करना नहीं सीखा; वह बस उसी तरह के भ्रमित बदलाव करता रहा।
3. "अनिश्चितता" का सुराग
शोधकर्ताओं ने गौर किया कि AI के मन बदलने के समय के बारे में एक दिलचस्प बात है। यह तब होता था जब AI अनिश्चित (जब वह अंधाधुंध "अनुमान" लगा रहा हो) होता था।
- उपमा: एक ऐसे व्यक्ति के बारे में सोचें जो परीक्षा दे रहा है और उत्तर को लेकर अनिश्चित है। वह एक उत्तर घेरेगा, फिर उसे मिटाएगा, फिर दूसरा घेरेगा, फिर उसे भी मिटा देगा। वह कोई शानदार अंतर्दष्टि नहीं दिखा रहा है; वह बस घबराया हुआ है। AI भी ऐसा ही कर रहा था।
ट्विस्ट: हम "अहा!" क्षण की नकल कर सकते हैं
यही इस शोध पत्र का सबसे रोमांचक हिस्सा है। भले ही AI में स्वाभाविक रूप से 'अंतर्दृष्टि' (insight) नहीं है, शोधकर्ताओं ने एक तरीका खोजा जिससे वे इसे एक सहायक "अहा!" क्षण के लिए मजबूर कर सकते हैं।
उन्होंने महसूस किया कि जब AI अनिश्चित (उच्च एन्ट्रापी, या उच्च भ्रम) होता है, तो उसे एक धक्के (nudge) की आवश्यकता होती है। इसलिए, उन्होंने एक सरल नियम प्रोग्राम किया:
- यदि AI भ्रमित लग रहा है, तो एक प्रॉम्प्ट डालें जो कहता है: "ठहरो, कुछ सही नहीं है। चलो इसे फिर से चरण-दर-चरण सोचें।"
परिणाम क्या रहा?
जब उन्होंने इसे कृत्रिम रूप से किया, तो AI का प्रदर्शन अत्यधिक बढ़ गया।
- गणित की समस्याओं पर, सटीकता 8.4% बढ़ गई।
- यह इसलिए काम कर गया क्योंकि AI अपने आप "अंतर्दृष्टिपूर्ण" नहीं था। उसे बस एक बाहरी अनुस्मारक (reminder) की आवश्यकता थी कि जब वह अनिश्चित महसूस कर रहा हो, तो वह धीमा हो जाए और अपने काम की जाँच करे।
मुख्य सीख: यह एक तंत्र (Mechanism) है, जादू नहीं
शोध पत्र का निष्कर्ष है कि जो "अहा!" क्षण हम AI में देखते हैं, वे बढ़ती हुई चेतना या मानवीय आत्मा के जागने का संकेत नहीं हैं। वे केवल अस्थिरता के लक्षण हैं।
- पुराना दृष्टिकोण: AI एक ऐसे छात्र की तरह है जिसे अचानक प्रतिभा का अनुभव होता है।
- नया दृष्टिकोण: AI एक ऐसी कार की तरह है जिसका इंजन संवेदनशील है। जब यह लड़खड़ाने लगता है (भ्रमित होता है), तो यह एक अजीब आवाज़ करता है (कहता है "Wait")। यदि हम इस आवाज़ को अनदेखा करते हैं, तो कार बंद हो जाती है। लेकिन यदि हमारे पास एक मैकेनिक (एक बाहरी ट्रिगर) आता है और कहता है, "तेल की जाँच करें," तो कार फिर से सुचारू रूप से चलती है।
संक्षेप में: AI के पास अभी "अंतर्दृष्टि" (insight) नहीं है। लेकिन यदि हमें पता है कि वह कब भ्रमित है, तो हम उसे बेहतर सोचने के लिए प्रेरित कर सकते हैं, जो AI को अधिक विश्वसनीय और सुरक्षित बनाने की दिशा में एक बड़ी जीत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।