Reading Between the Dots: Decoding Hidden Computation across Filler Tokens
यह शोध पत्र प्रदर्शित करता है कि फ्रंटियर LLMs अपने हिडन स्टेट्स (hidden states) के भीतर कंटेंट-फ्री फिलर टोकन्स पर संरचित, सुपाठ्य बहु-चरणीय तर्क (multi-step reasoning) करते हैं, जो यह प्रकट करता है कि अनसुपरवाइज्ड डिकोडिंग के माध्यम से रेसिडुअल स्ट्रीम (residual stream) की निगरानी तब भी की जा सकती है जब सतह के टोकन्स कोई दृश्यमान चेन-ऑफ-थॉट (chain-of-thought) प्रदान नहीं करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादूगर का करतब देख रहे हैं। आमतौर पर, यह समझने के लिए कि उन्होंने यह कैसे किया, आप उनके हाथों को देखते हैं और उनकी बातों को सुनते हैं। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, यह "चेन ऑफ थॉट" (CoT) को देखने जैसा है—यानी वह चरण-दर-चरण स्पष्टीकरण जो AI उत्तर देने से पहले लिखता है।
लंबे समय से, सुरक्षा विशेषज्ञों को इस बात की चिंता थी कि यदि AI अपने चरणों को लिखना बंद कर दे और केवल अंतिम उत्तर दे दे, तो हमारे पास यह जानने का कोई तरीका नहीं होगा कि वह सही ढंग से सोच रहा है या केवल अनुमान लगा रहा है। "रीडिंग बिटवीन द डॉट्स" (Reading Between the Dots) नामक यह शोध पत्र एक विशिष्ट, अजीब परिदृश्य की जांच करता है जहाँ AI को प्रश्न और उत्तर के बीच बहुत सारे अर्थहीन "फिलर" टोकन (जैसे कि डॉट्स की एक श्रृंखला ...... या गिनती 1 2 3 4 5) दिए जाते हैं।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का सरल अवधारणाओं में विवरण दिया गया है:
1. जादू का खेल: AI "खाली स्थान" का उपयोग करता है
शोधकर्ताओं ने दो बहुत स्मार्ट AI मॉडल (DeepSeek V3 और Kimi K2) से कठिन गणित और तर्क वाले प्रश्न पूछे।
- बिना डॉट्स के: AI अक्सर उत्तर गलत दे देता था।
- डॉट्स के साथ: AI बहुत अधिक बार सही उत्तर दे पाता था।
ऐसा प्रतीत होता है कि AI उन डॉट्स को केवल अनदेखा नहीं कर रहा है। वह उस "खाली स्थान" का उपयोग एक स्क्रैचपैड (रफ कार्य करने की जगह) के रूप में कर रहा है। भले ही वे डॉट्स हमें कुछ भी नहीं लगते, लेकिन AI उन डॉट्स के डिजिटल स्थान के भीतर अपना गणित और तर्क गुप्त रूप से कर रहा है। यह एक ऐसे शेफ की तरह है जो ग्राहक से बात करना बंद कर देता है और सब्जियां काटते समय खुद को ही रेसिपी फुसफुसाकर बताने लगता है; ग्राहक को कुछ सुनाई नहीं देता, लेकिन खाना बनाना जारी रहता है।
2. "एक्स-रे विजन": छिपे हुए विचारों को देखना
बड़ा सवाल यह था: यदि AI अपने चरणों को लिख नहीं रहा है, तो क्या हम अभी भी यह देख सकते हैं कि वह क्या सोच रहा है?
लेखक कहते हैं कि हाँ, हम देख सकते हैं। उन्होंने एक विशेष "एक्स-रे" उपकरण विकसित किया (जिसे लॉगिट लेंस (Logit Lens) कहा जाता है) जो केवल उन शब्दों को नहीं पढ़ता जो AI टाइप करता है, बल्कि उसके आंतरिक विद्युत संकेतों (इसके "रेसिड्यूअल स्ट्रीम" या अवशिष्ट प्रवाह) को देखता है।
- उपमा: कल्पना कीजिए कि AI का मस्तिष्क एक व्यस्त राजमार्ग है। जो शब्द वह टाइप करता है, वे केवल सतह पर चलने वाली कारें हैं। लेकिन उस सड़क के नीचे, सुरंगें और पाइप हैं जो वास्तव में उस पानी और बिजली को ले जाते हैं जिससे कारें चलती हैं।
- उन्होंने क्या पाया: इन डॉट्स के नीचे के "सुरंगों" को देखकर, वे देख सकते थे कि AI तथ्यों को प्राप्त कर रहा है (जैसे कि "मोजार्ट 35 की उम्र में मरे") और गणित कर रहा है (जैसे कि "35 + 93 = 128")—इससे पहले कि उसने कभी अंतिम उत्तर टाइप किया हो। डॉट्स खाली नहीं थे; वे AI की आंतरिक गणनाओं से भरे हुए थे।
3. "ब्रेन स्वैप" (मस्तिष्क परिवर्तन) प्रयोग
यह साबित करने के लिए कि क्या डॉट्स वास्तव में AI को सही ढंग से सोचने में मदद कर रहे थे (या यह केवल एक संयोग नहीं था), उन्होंने एक "ब्रेन ट्रांसप्लांट" प्रयोग किया।
- उन्होंने एक सफल AI रन के आंतरिक "विचारों" (छिपे हुए डेटा) को लिया और उन्हें एक अलग AI रन में बदल दिया जो विफल होने वाला था।
- परिणाम: विफल होने वाला AI अचानक सही उत्तर देने लगा, जैसे कि उसने दूसरे वाले से सही विचार "पकड़" लिए हों। इसने साबित कर दिया कि डॉट्स में मौजूद जानकारी वास्तविक, उपयोगी और उत्तर के लिए आवश्यक थी।
4. "डिकोडर रिंग": गुप्त कोड को पढ़ना
शोधकर्ताओं ने एक सरल, अनसुपरवाइज्ड पाइपलाइन (निर्देशों का एक सेट जिसे सिखाने की आवश्यकता नहीं होती) बनाई ताकि इन छिपे हुए विचारों को डिकोड किया जा सके।
- उन्होंने डॉट्स से छिपे हुए संकेतों को लिया, शोर (noise) को साफ किया, और शीर्ष उम्मीदवारों को दूसरे, बहुत स्मार्ट AI (एक "जज") को फीड किया।
- सफलता दर: यह डिकोडर सही ढंग से अनुमान लगा सकता था कि AI किस बारे में सोच रहा था—80% से 95% बार।
- इसने क्या पाया: यह विशिष्ट संख्याओं, शहरों के नामों या तत्वों को भी पुनः प्राप्त कर सकता था, भले ही AI ने उन्हें कभी लिखा ही न हो। यदि AI ने गलत उत्तर दिया, तो डिकोडर यह भी बता सकता था कि ऐसा क्यों हुआ (उदाहरण के लिए, "उसने सही तथ्य तो खोज लिए लेकिन उन्हें जोड़ने में भूल गया")।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि भले ही AI अपने तर्क को ज़ोर से न बोले (या दृश्य 'चेन ऑफ थॉट' न लिखे), इसका मतलब यह नहीं है कि उसका तर्क हमारे लिए हमेशा छिपा रहेगा।
- समस्या: यदि हम केवल उन शब्दों को देखते हैं जो AI लिखता है, तो हम उसकी वास्तविक विचार प्रक्रिया को मिस कर सकते हैं, खासकर जब वह "फिलर" टोकन का उपयोग करता है।
- समाधान: हमारे पास AI के आंतरिक संकेतों को देखने के लिए उपकरण हैं। भले ही AI अपने काम को "खाली" स्थानों में छिपाने की कोशिश करे, हम अभी भी उसके "रेसिड्यूअल स्ट्रीम" (आंतरिक विद्युत गतिविधि) को पढ़कर यह देख सकते हैं कि वह वास्तव में क्या कर रहा है।
संक्षेप में: AI उस छात्र की तरह है जो परीक्षा दे रहा है और कागज पर उत्तर लिखता है लेकिन सारा गणित अपने दिमाग में करता है। यह शोध पत्र दिखाता है कि भले ही हम कागज पर गणित न देख सकें, फिर भी हम विशेष उपकरणों का उपयोग करके छात्र का मन पढ़ सकते हैं और देख सकते हैं कि उसने समस्या को कैसे हल किया। यह सुझाव देता है कि "छिपी हुई" गणना (computation) अनिवार्य रूप से "अन-ऑडिटेबल" (जिसकी जांच न की जा सके) नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।