Do Models Read What They Write? Causal Registers in Scratchpad Reasoning
यह शोध पत्र यह प्रदर्शित करता है कि स्क्रैचपैड में मध्यवर्ती अवस्थाओं (intermediate states) को लिखने के लिए प्रशिक्षित बड़े भाषा मॉडल वास्तव में उन लिखित अवस्थाओं का उपयोग बाद के तर्क चरणों के लिए कारण इनपुट (causal inputs) के रूप में करते हैं, न कि केवल मानवीय पठनीयता के लिए उन्हें उत्पन्न करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Do Models Read What They Write?" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।
मुख्य प्रश्न: क्या मॉडल सिर्फ "बोल" रहा है या वास्तव में "सोच" रहा है?
कल्पना कीजिए कि आप एक छात्र को गणित का टेस्ट देते हुए देख रहे हैं। छात्र कागज़ पर अपने चरण (steps) लिखता है (जिसे "स्क्रैचपैड" कहा जाता है) और फिर अंतिम उत्तर लिखता है।
- उम्मीद: हम उम्मीद करते हैं कि छात्र वास्तव में उस कागज़ का उपयोग गणित करने के लिए कर रहा है। यदि आप जादू से उनके द्वारा लिखे गए किसी नंबर को बदल दें, तो उनका अंतिम उत्तर उस नए गणित के अनुसार बदल जाना चाहिए।
- डर: हमें डर है कि छात्र शायद केवल "दिखावा" कर रहा हो। हो सकता है कि उसने गणित पहले ही अपने दिमाग में हल कर लिया हो, और कागज़ केवल एक कहानी हो जो वह आपको स्मार्ट दिखने के लिए सुना रहा है। यदि आप कागज़ पर लिखे नंबर को बदल देते हैं, तो भी उनका अंतिम उत्तर नहीं बदलेगा क्योंकि उन्होंने काम करने के लिए कागज़ को वास्तव में देखा ही नहीं।
यह पेपर पूछता है: जब AI मॉडल अपने सोचने के चरणों को लिखता है, तो क्या वह वास्तव में उन चरणों का उपयोग समस्या के अगले हिस्से को समझने के लिए कर रहा है, या वह केवल एक कहानी लिख रहा है?
प्रयोग: "मैजिक इरेज़र" (जादुई रबर) टेस्ट
उत्तर खोजने के लिए, शोधकर्ताओं ने AI के लिए एक बहुत ही विशिष्ट, सरल खेल बनाया।
खेल:
कल्पना कीजिए कि एक रोबोट एक छोटे 2x2 ग्रिड पर चल रहा है।
- रोबोट एक स्थान से शुरू होता है (जैसे, ऊपर-बाएँ)।
- उसे एक कमांड मिलता है (जैसे, "पहला बिट पलटें")।
- रोबोट लिखता है कि वह अभी कहाँ है।
- उसे एक और कमांड मिलता है, वह नया स्थान लिखता है, और इसी तरह आगे बढ़ता है।
पेचीदा बात यह है कि रोब "हिडन फेज बिट" (एक गुप्त स्विच की तरह) रखता है जो चालों के क्रम (order) के आधार पर बदलता है। दो अलग-अलग रास्ते एक ही दृश्य स्थान पर समाप्त हो सकते हैं, लेकिन एक अलग गुप्त स्विच सेटिंग के साथ।
टेस्ट (द "मैजिक इरेज़र"):
शोधकर्ताओं ने AI को खेल खेलते हुए और अपने चरण लिखते हुए देखा। फिर, उन्होंने एक "सर्जिकल" ऑपरेशन किया:
- उन्होंने लिखित टेक्स्ट को बिल्कुल वैसा ही रखा। कागज़ पर अभी भी लिखा था, "मैं स्थान A पर हूँ और स्विच ON है।"
- उन्होंने AI की आंतरिक मस्तिष्क अवस्था (internal brain state) को चुपचाप बदल दिया। उन्होंने AI की मेमोरी में "गुप्त स्विच" को "OFF" पर फ्लिप कर दिया, भले ही कागज़ पर "ON" लिखा था।
- उन्होंने AI को अगला कदम उठाने के लिए कहा।
प्रश्न:
- यदि AI केवल एक कहानी लिख रहा था, तो वह आंतरिक परिवर्तन को अनदेखा कर देता। वह देखता कि कागज़ कहता है "स्विच ON," इसलिए वह "स्विच ON" के आधार पर अगला कदम कैलकुलेट करता।
- यदि AI वास्तव में अवस्था (state) का उपयोग कर रहा था, तो उसे आंतरिक परिवर्तन महसूस होता। उसे एहसास होता, "रुको, मेरा आंतरिक स्विच वास्तव में OFF है," और वह "स्विच ON" लिखे होने के बावजूद "स्विच OFF" के आधार पर अगला कदम कैलकुलेट करता।
परिणाम: कौन पास हुआ?
शोधकर्ताओं ने तीन प्रकार के AI मॉडल का परीक्षण किया:
- प्री-ट्रेन्ड मॉडल (Pre-trained Model): एक मॉडल जिसने इंटरनेट से सीखा लेकिन इस विशिष्ट खेल को नहीं सीखा।
- "फाइनल आंसर" मॉडल (Final Answer Model): एक मॉडल जिसे खेल हल करने के लिए सिखाया गया लेकिन केवल अंतिम परिणाम लिखने के लिए, चरण नहीं।
- "रनिंग स्टेट" मॉडल (Running State Model): एक मॉडल जिसे हर एक चरण को चलते समय लिखने के लिए सिखाया गया।
निष्कर्ष:
- "कहानी सुनाने वाले" (Pre-trained और Final Answer मॉडल): जब शोधकर्ताओं ने गुप्त रूप से आंतरिक स्विच बदला, तो इन मॉडलों को कोई फर्क नहीं पड़ा। वे कागज़ पर लिखे आधार पर अगले कदम की भविष्यवाणी करते रहे। वे अपनी आंतरिक वास्तविकता को अनदेखा कर रहे थे।
- "वास्तविक विचारक" (Running State मॉडल): जब शोधकर्ताओं ने गुप्त रूप से आंतरिक स्विच बदला, तो इन मॉडलों ने अपनी भविष्यवाणी बदल दी। उन्होंने कागज़ पर लिखे टेक्स्ट को अनदेखा करते हुए, नए आंतरिक स्विच के आधार पर अगला कदम कैलकुलेट किया।
"रनिंग स्टेट" मॉडलों में, लिखित टेक्स्ट केवल एक रिपोर्ट नहीं था; वह एक वर्किंग वेरिएबल (working variable) बन गया था। मॉडल वास्तव में गणित करने के लिए अपने ही नोट्स पढ़ रहा था।
"यह क्यों महत्वपूर्ण है" वाला उदाहरण
एक कंप्यूटर प्रोग्राम के बारे में सोचें।
- खराब निगरानी (Bad Oversight): एक प्रोग्राम स्क्रीन पर प्रिंट करता है "मैं फ़ाइल सेव कर रहा हूँ," लेकिन बैकग्राउंड में, वह वास्तव में फ़ाइल को डिलीट कर रहा है। यदि आप स्क्रीन पर टेक्स्ट बदलकर "मैं डिलीट कर रहा हूँ" कर दें, तो प्रोग्राम को कोई फर्क नहीं पड़ता क्योंकि टेक्स्ट केवल एक डिस्प्ले है।
- अच्छी निगरानी (Good Oversight): एक प्रोग्राम में एक वास्तविक वेरिएबल है जिसे
file_statusकहा जाता है। यदि आप कोड में उस वेरिएबल को बदलते हैं, तो प्रोग्राम का व्यवहार तुरंत बदल जाता है।
यह पेपर साबित करता है कि AI को उसके मध्यवर्ती चरणों (intermediate steps) को लिखने के लिए प्रशिक्षित करके, हम उन चरणों को वास्तविक वेरिएबल्स में बदल सकते हैं जिनका AI वास्तव में उपयोग करता है।
"कॉज़ल" (Causal) प्रमाण
शोधकर्ता वहीं नहीं रुके। उन्होंने सुनिश्चित किया कि AI केवल अनुमान नहीं लगा रहा है या किसी दूसरे उदाहरण की नकल नहीं कर रहा है। उन्होंने अतिरिक्त परीक्षण किए:
- "मूव स्वैप" टेस्ट: उन्होंने आंतरिक अवस्था को बदले बिना कमांड बदल दिया (जैसे, "दाएं मुड़ें" के बजाय "बाएं मुड़ें")। AI ने नए कमांड के आधार पर अपना उत्तर सही ढंग से बदल दिया, जिससे सिद्ध हुआ कि वह अवस्था और कमांड दोनों को मिला रहा था।
- "कॉपीकैट" टेस्ट: उन्होंने AI को किसी दूसरे उदाहरण से भविष्य का उत्तर कॉपी करने के लिए फंसाने की कोशिश की। AI ने कॉपी नहीं किया; उसने वर्तमान स्थिति के आधार पर पुनर्गणना (recalculate) की।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि AI सुरक्षा और निगरानी के लिए, हमें केवल यह उम्मीद नहीं करनी चाहिए कि AI अपने विचार लिख दे। हमें इसे एक विशिष्ट तरीके से प्रशिक्षित (train) करना होगा ताकि वे लिखित विचार उसकी वास्तविक गणना प्रक्रिया का हिस्सा बन सकें।
जब हम ऐसा करते हैं, तो "स्क्रैचपैड" केवल एक ट्रांसक्रिप्ट (जो हुआ उसका रिकॉर्ड) नहीं रह जाता, बल्कि एक कंट्रोल पैनल (एक ऐसी जगह जहाँ हम वास्तव में हस्तक्षेप कर सकते हैं और AI के सोचने के तरीके को बदल सकते हैं) बन जाता है।
संक्षेप में: पेपर दिखाता है कि सही प्रशिक्षण के साथ, AI मॉडल्स को "जो वे लिखते हैं उसे पढ़ने" के लिए सिखाया जा सकता है, जिससे उनकी लिखित तर्क प्रक्रिया उनके मस्तिष्क का एक वास्तविक, उपयोगी हिस्सा बन जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।