When Does a Readout Reflect Computation? Dose-Response Interventions in Continuous Thought Models
यह शोध पत्र यह प्रदर्शित करता है कि निरंतर विचार मॉडलों (continuous thought models) में, रीडआउट-आधारित व्याख्यात्मकता (readout-based interpretability) अक्सर अंतर्निहित गणना को दर्शाने में विफल रहती है क्योंकि मॉडल के उत्तर को बदलने के लिए आवश्यक लेटेंट अवस्थाएं (latent states), अनुमानित रीडआउट को बदलने के लिए आवश्यक अवस्थाओं की तुलना में काफी बड़ी होती हैं, जिसके लिए सटीक कारण विश्लेषण हेतु एकल-परिमाण हस्तक्षेपों (single-magnitude interventions) के बजाय डोज़-रिस्पॉन्स कर्व्स (dose-response curves) की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक सुपर-स्मार्ट रोबोट कैसे सोचता है। आमतौर पर, जब हम इन रोबोटों से बात करते हैं, तो वे शब्दों में बोलते हैं, जिससे हम उनके "विचारों" को होते हुए पढ़ सकते हैं। लेकिन एक नए प्रकार का रोबोट है जो एक गुप्त, अदृश्य भाषा में सोचता है—संख्याओं के एक निरंतर, घूमते हुए बादल जैसा जिसे "लेटेंट स्पेस" (latent space) कहा जाता है। वह इस बादल के भीतर सारी गणित और तर्क करता है और तब तक एक शब्द भी नहीं बोलता जब तक कि वह अपना अंतिम उत्तर देने के लिए तैयार न हो जाए। यह एक शेफ द्वारा सीलबंद रसोई में एक जटिल भोजन पकाने जैसा है; आप सब्जी काटने या चलाने की प्रक्रिया को देख नहीं सकते, केवल अंतिम व्यंजन ही देख सकते हैं।
इस गुप्त रसोई में झाँकने के लिए, वैज्ञानिक एक विशेष उपकरण का उपयोग करते हैं जिसे "रीडआउट" (readout) कहा जाता है। इसे एक जादुई खिड़की की तरह समझें जो रोबोट के अदृश्य संख्या-बादल को शब्दावली के शब्दों वाली एक दीवार पर प्रोजेक्ट करती है। यदि रोबोट "पेरिस" के बारे में सोच रहा है, तो खिड़की "पेरिस" शब्द को चमकते हुए दिखा सकती है। लंबे समय तक, शोधकर्ताओं ने माना कि यदि खिड़की ने एक शब्द दिखाया, तो इसका मतलब है कि रोबोट निश्चित रूप से वही शब्द सोच रहा था। उनका मानना था कि खिड़की रोबोट के मस्तिष्क का एक आदर्श दर्पण है। लेकिन क्या होगा अगर खिड़की थोड़ी धोखेबाज है? क्या होगा अगर वह एक शब्द इसलिए चमकाती है क्योंकि आपने कांच पर हल्का सा थपथपाया है, भले ही रोबोट ने वास्तव में अपना विचार न बदला हो? यही वह बड़ा सवाल है जो यह शोध पत्र पूछता है: क्या खिड़की वास्तव में हमें वह दिखाती है जो रोबोट कंप्यूट कर रहा है, या यह केवल आपके स्पर्श पर प्रतिक्रिया दे रही है?
शोधकर्ताओं ने, चाएवू सोन (ChaeWoo Son) के नेतृत्व में, इस परीक्षण को करने का निर्णय लिया कि वे रोबोट के मस्तिष्क के साथ "रस्साकशी" (tug-of-war) का खेल खेलें। उन्होंने "कोकोनट" (Coconut - Chain of Continuous Thought) नामक एक विशिष्ट प्रकार के रोबोट का उपयोग किया, जो उस गुप्त संख्या-बादल में तर्क करता है। परीक्षण को निष्पक्ष बनाने के लिए, उन्होंने पहले रोबोट को इस तरह प्रशिक्षित किया कि उसका "विंडो" (एक उपकरण जिसे J-लेंस कहा जाता है) विश्वसनीय रूप से एक विशिष्ट शब्द दिखाए, जैसे कि दो तथ्यों के बीच एक पुल। फिर, उन्होंने रोबोट के मस्तिष्क को सूक्ष्म, नियंत्रित धक्कों के साथ छेड़ना शुरू किया। उन्होंने केवल बेतरतीब ढंग से धक्का नहीं दिया; उन्होंने ठीक से मापा कि उन्होंने कितनी जोर से धक्का दिया (जिसे "डोज़" या मात्रा कहा गया) और दो चीजें देखीं: क्या खिड़की ने अपना शब्द बदल दिया, और क्या रोबोट का अंतिम उत्तर बदल गया?
परिणाम एक बहुत बड़ा आश्चर्य थे। उन्होंने पाया कि खिड़की और रोबोट के वास्तविक मस्तिष्क के "संवेदनशीलता स्तर" (sensitivity thresholds) बहुत अलग हैं। कल्पना कीजिए कि खिड़की एक बहुत संवेदनशील मोशन सेंसर की तरह है जो आपके पास से गुजरने पर बीप करती है, जबकि रोबोट का मस्तिष्क एक भारी तिजोरी की तरह है जो केवल तभी खुलती है जब आप बटन को बहुत अधिक बल के साथ दबाते हैं। शोधकर्ताओं ने पाया कि जब उन्होंने रोबोट को इतना धकेला कि खिड़की एक नया शब्द दिखाने के लिए बदल गई (बल की लगभग 0.13 से 0.16 इकाइयों का एक छोटा सा धक्का), तो रोबोट के मस्तिष्क में कोई हलचल नहीं हुई। रोबोट अपने मूल उत्तर पर अडिग रहा। वास्तव में, एक प्रकार के कार्य पर, रोबोट के मस्तिष्क को अपना विचार बदलने के लिए दोगुने से भी अधिक ज़ोरदार धक्के (2.03 गुना अधिक शक्तिशाली) की आवश्यकता थी।
इससे भी अजीब बात यह थी कि उन्हें रोबोट के मस्तिष्क में एक "गुप्त सुरंग" मिली। उन्होंने धक्का देने की एक ऐसी दिशा खोज ली जिसे खिड़की बिल्कुल भी नहीं देख सकती थी। भले ही खिड़की पुराने शब्द पर जमी रही, रोबोट ने 96-97% मामलों में अपना उत्तर पूरी तरह से बदल लिया! यह ऐसा था जैसे रोबोट खुद को एक नया रहस्य फुसफुसा रहा हो जबकि खिड़की पुराना वाला चिल्ला रही थी। जब उन्होंने उसी ताकत के साथ एक यादृच्छिक (random) दिशा में धक्का देने की कोशिश की, तो कुछ नहीं हुआ, जिससे यह साबित हुआ कि यह केवल इस बारे में नहीं था कि उन्होंने कितना ज़ोर से धक्का दिया, बल्कि यह इस बारे में था कि उन्होंने कहाँ धक्का दिया।
यह शोध पत्र एक मज़ेदार गलती को भी स्वीकार करता है। शुरुआत में, उन्होंने यह परीक्षण करने की कोशिश की कि क्या रोबोट अपने "ब्रिज" विचारों का उपयोग कर रहा है, इसके लिए उन्होंने केवल इतना धक्का दिया जिससे खिड़की बदल जाए। जैसे ही खिड़की बदली, उन्होंने धक्का देना बंद कर दिया, यह सोचकर कि उन्होंने पर्याप्त काम कर लिया है। लेकिन क्योंकि खिड़की बहुत संवेदनशील है, वे बहुत जल्दी रुक गए—इससे पहले कि रोबोट का मस्तिष्क बदलना शुरू ही होता। उन्हें एक ऐसा परिणाम मिला जो कहता था कि "कुछ नहीं हुआ," लेकिन यह एक गलत अलार्म था क्योंकि उन्होंने पर्याप्त ज़ोर से धक्का नहीं दिया था।
मुख्य निष्कर्ष उन लोगों के लिए एक चेतावनी है जो रोबोट का मन पढ़ने की कोशिश कर रहे हैं: आप केवल खिड़की को देखकर यह मान नहीं सकते कि आप जानते हैं कि रोबोट क्या सोच रहा है। खिड़की अपना मन बदलने में रोबोट से बहुत पहले बदल सकती है, या वह बिल्कुल भी नहीं बदल सकती है भले ही रोबोट के अंदर कुछ बहुत बड़ा चल रहा हो। रोबोट को वास्तव में समझने के लिए, आपको यह मापना होगा कि आप कितना ज़ोर से धक्का दे रहे हैं और देखना होगा कि रोबोट हर चरण पर कैसे प्रतिक्रिया करता है, न कि केवल एक एकल क्षण पर। खिड़ी एक उपयोगी उपकरण है, लेकिन यह होने वाली गणना का पूर्ण दर्पण नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।