When Chain-of-Thought Fails, the Solution Hides in the Hidden States
एक्टिवेशन पैचिंग का उपयोग करके रीजनिंग ट्रेसेस (reasoning traces) से हिडन स्टेट्स (hidden states) को डायरेक्ट-आंसर रन्स (direct-answer runs) में स्थानांतरित करते हुए, लेखक यह प्रदर्शित करते हैं कि व्यक्तिगत चेन-ऑफ-थॉट (Chain-of-Thought) टोकन सही उत्तरों को पुनः प्राप्त करने के लिए पर्याप्त कार्य-प्रासंगिक जानकारी को एनकोड करते हैं, भले ही मूल रीजनिंग ट्रेस त्रुटिपूर्ण हो।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को एक कठिन गणित की परीक्षा देते हुए देख रहे हैं। वे "ज़ोर से सोच रहे हैं," यानी अपने रफ पेपर पर हर एक कदम लिख रहे हैं। अचानक, वे अंतिम उत्तर तक पहुँचते हैं और लिखते हैं: "उत्तर 12 है।"
आप उनके काम को देखते हैं, खुद गणित करते हैं, और आपको एहसास होता है कि उन्होंने एक गलती की है। सही उत्तर 18 है।
अधिकांश लोग यह मान लेंगे कि क्योंकि छात्र ने "12" लिखा, इसलिए उनका दिमाग पूरी प्रक्रिया के दौरान पूरी तरह से भटक गया था। लेकिन क्या होगा अगर मैं आपसे कहूँ कि यदि आप एक विशिष्ट शब्द—जैसे कि "घटाना" (subtract) शब्द—लिखते समय उनके मस्तिष्क के भीतर झाँक सकें, तो आप देखेंगे कि उन्हें वास्तव में सही उत्तर पता था, लेकिन वे बस अंत में लड़खड़ा गए थे?
यह शोध पत्र बिल्कुल इसी बारे में है।
मुख्य विचार: गलती में छिपा "छिपा हुआ जीनियस"
शोधकर्ता यह जानना चाहते थे कि: जब कोई AI (जैसे ChatGPT) अपने तर्क (Chain-of-Thought) को समझाने के बाद गलत उत्तर देता है, तो क्या AI पूरी प्रक्रिया के दौरान वास्तव में "मूर्ख" होता है, या सही जानकारी उसके आंतरिक विचारों के भीतर "छिपी" होती है?
यह पता लगाने के लिए, उन्होंने "एक्टिवेशन पैचिंग" (Activation Patching) नामक एक तकनीक का उपयोग किया।
उपमा: रेडियो सिग्नल
AI के तर्क को एक रेडियो प्रसारण की तरह समझें।
- "CoT" (Chain-of-Thought) वह वास्तविक गाना है जो ज़ोर से बज रहा है (वह टेक्स्ट जिसे आप पढ़ रहे हैं)।
- "Hidden States" वे अदृश्य रेडियो तरंगें हैं जो हवा में यात्रा कर रही हैं।
कभी-कभी, "गाना" (टेक्स्ट) संगीत का एक विकृत, अस्त-व्यस्त संस्करण होता है। लेकिन शोधकर्ताओं ने पाया कि भले ही गाना सुनने में बुरा और गलत लग रहा हो, लेकिन "रेडियो तरंगें" (आंतरिक गणित) अक्सर अभी भी एक स्पष्ट, सही सिग्नल प्रसारित कर रही होती हैं।
"पैचिंग" करके—जो एक साफ सिग्नल को पकड़कर दूसरे में प्लग करने जैसा है—वे AI के टूटे हुए तर्क को "ठीक" करने और उसे सही उत्तर देने के लिए मजबूर करने में सक्षम हुए, भले ही AI का अपना लिखित स्पष्टीकरण गलत था।
तीन बड़ी खोजें
1. "क्रिया" बनाम "संख्या" का रहस्य
शोधकर्ताओं ने पाया कि सभी शब्द समान नहीं होते हैं।
- "तर्क" वाले शब्द (क्रियाएं और संस्थाएं): "घटाना," "कुल," या "जेनेट" जैसे शब्द समस्या के GPS निर्देशांक (coordinates) की तरह हैं। यदि आप इन शब्दों को AI में "पैच" करते हैं, तो वह अचानक सही उत्तर तक पहुँच जाता है। ये शब्द रणनीति को दर्शाते हैं।
- "गणित" वाले शब्द (संख्याएं और ऑपरेटर): "16" या "+" जैसे शब्द कार में बैठे यात्रियों की तरह हैं। वे केवल घूमती हुई संख्याएं हैं। यदि आप केवल एक संख्या को पैच करते हैं, तो AI अक्सर केवल एक गलत संख्या का अनुमान लगा लेता है। उसके पास घर पहुँचने के लिए "नक्शा" नहीं होता।
2. "अर्ली बर्ड" (जल्दी वाला) लाभ
शोधकर्ताओं ने पाया कि सबसे उपयोगी "सही" जानकारी आमतौर पर तर्क प्रक्रिया के शुरुआत में दिखाई देती है।
उपमा: यह एक शेफ द्वारा भोजन तैयार करने जैसा है। यदि वे शुरुआत में ही गलत सामग्री चुन लेते हैं, तो भोजन बर्बाद हो जाता है। लेकिन यदि उनके पास शुरुआत में ही सही सामग्री (सही तर्क) हाथ में है, तो वे वास्तविक खाना पकाने के दौरान थोड़े अस्त-व्यस्त होने के बावजूद भी एक बेहतरीन भोजन बना सकते हैं।
3. आपको लंबी कहानी की आवश्यकता नहीं है
आमतौर पर, हम सोचते हैं कि AI को कठिन समस्या को हल करने के लिए एक लंबा, सुंदर निबंध लिखने की आवश्यकता होती है। लेकिन यह शोध पत्र दिखाता है कि AI का "आंतरिक मस्तिष्क" उसके "मुंह" की तुलना में बहुत अधिक कुशल है।
शोधकर्ताओं ने पाया कि वे AI के एक एकल आंतरिक विचार को "पैच" कर सकते हैं, और वह केवल कुछ शब्दों में सही उत्तर दे देगा। उसे सही होने के लिए लंबे, भ्रामक स्पष्टीकरण की आवश्यकता नहीं थी; उसे बस उस एक "स्पार्क" या सही आंतरिक तर्क की आवश्यकता थी।
यह क्यों मायने रखता है?
यह शोध हमें बताता है कि AI का "तर्क" उसके द्वारा टाइप किए गए शब्दों से कहीं अधिक गहरा है।
जब कोई AI विफल होता है, तो ऐसा हमेशा इसलिए नहीं होता क्योंकि उसे उत्तर नहीं पता; बल्कि अक्सर इसलिए होता है क्योंकि वह अपने आंतरिक ज्ञान को उन लिखित शब्दों में अनुवादित करने में विफल रहता है जिन्हें हम देखते हैं। यह ऐसे स्मार्ट AI बनाने का मार्ग खोलता है जिन्हें सटीक होने के लिए लंबे, भ्रामक पैराग्राफ लिखने की आवश्यकता नहीं है—उन्हें बस अपने "आंतरिक रेडियो सिग्नल" को स्पष्ट रखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।