The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models
यह शोध पत्र प्रकट करता है कि छोटे भाषा मॉडल (1-3B) चेन-ऑफ-थॉट प्रॉम्प्टिंग में वास्तविक अंकगणितीय तर्क को दरकिनार करते हुए एक स्थितिजन्य शॉर्टकट (पोजीशनल शॉर्टकट) पर निर्भर करते हैं, जहाँ वे उत्तर विभाजक (एन्सर डेलिमिटर) से ठीक पहले आने वाली संख्या को सीधे कॉपी कर लेते हैं, एक ऐसा तंत्र जो प्रदर्शन पर हावी हो जाता है और CoT-आधारित निरीक्षण की विश्वसनीयता को कमजोर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छोटे, उत्साही रोबोट से गणित की एक समस्या हल करने के लिए कह रहे हैं। आप उसे एक "चेन ऑफ थॉट" (CoT) प्रॉम्प्ट देते हैं, जो एक रोबोट को अंतिम उत्तर देने से पहले चरण-दर-चरण अपना काम दिखाने के लिए कहने जैसा है। आप उम्मीद करते हैं कि रोबोट गणित करेगा, अपने तर्क की जांच करेगा, और फिर परिणाम लिखेगा।
हालाँकि, यह शोध पत्र एक आश्चर्यजनक रहस्य प्रकट करता है: रोबोट वास्तव में उत्तर पाने के लिए गणित नहीं कर रहा है। वह बस आखिरी बार देखे गए नंबर की नकल कर रहा है।
यहाँ शोधकर्ताओं द्वारा पाए गए निष्कर्षों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:
1. "लास्ट पेज" (आखिरी पन्ना) वाली ट्रिक
कल्पना कीजिए कि आप एक कहानी की किताब पढ़ रहे हैं जहाँ उत्तर आखिरी पन्ने पर छिपा है।
- अपेक्षा: आप सोचते हैं कि रोबोट पूरी कहानी पढ़ता है, कथानक को समझता है, और फिर निष्कर्ष निकालता है।
- वास्तविकता: रोबोट केवल सरसरी तौर पर देख रहा है। वह कथानक, पात्रों और तर्क को अनदेखा कर देता है। वह बस "द एंड" (The End) के निशान (डिलिमिटर
####) से पहले लिखा गया सबसे आखिरी नंबर देखता है और उसकी नकल करता है।
शोधकर्ताओं ने कहानी के पन्नों को आगे-पीछे करके इसे सिद्ध किया।
- यदि उन्होंने गणित के चरणों का क्रम बदल दिया लेकिन सही उत्तर को आखिरी पन्ने पर ही रखा, तो भी रोबोट ने सही उत्तर दिया।
- यदि उन्होंने गणित के चरणों को बिल्कुल सही क्रम में रखा लेकिन सही उत्तर को कहानी के बीच में रख दिया, तो रोबोट विफल रहा।
- निष्कर्ष: तर्क का क्रम मायने नहीं रखता। केवल अंतिम संख्या की स्थिति मायने रखती है।
2. "डिस्ट्रैक्टर" (भटकाने वाला) जाल
यह परीक्षण करने के लिए कि क्या रोबोट वास्तव में सोच रहा था, शोधकर्ताओं ने एक चाल चली। उन्होंने एक सटीक, सही गणितीय समाधान लिखा, लेकिन ठीक अंत में, "द एंड" के निशान से ठीक पहले, एक गलत नंबर डाल दिया।
- परिणाम: रोबोट ने अपने द्वारा लिखे गए सही गणित को अनदेखा कर दिया और आत्मविश्वास के साथ गलत नंबर की नकल की।
- उपमा: यह उस छात्र की तरह है जो व्हाइटबोर्ड पर समस्या को सही ढंग से हल करता है, लेकिन फिर शिक्षक उसके कान में एक गलत उत्तर फुसफुसा देता है। छात्र अपना सही काम मिटा देता है और वही लिख देता है जो उसने अभी सुना।
- परीक्षण किए गए छोटे मॉडलों (1-3 बिलियन पैरामीटर्स) में, ऐसा 87% से 95% बार हुआ। रोबोट को इस बात से कोई फर्क नहीं पड़ा कि नंबर सही था या गलत; उसे बस इससे फर्क पड़ा कि वह आखिरी नंबर था।
3. "मैजिक गेट" (अलग-अलग रोबोट, अलग-अलग नियम)
सभी रोबोट एक जैसा व्यवहार नहीं करते हैं। शोधकर्ताओं ने तीन अलग-अलग प्रकार के छोटे मॉडलों का परीक्षण किया:
- Qwen और Llama: ये "कॉपी मशीन" की तरह हैं। वे अंत में किसी भी नंबर की नकल करेंगे, भले ही वह एक बनावटी डिस्ट्रैक्टर हो। उनके पास लगभग कोई फिल्टर नहीं है।
- Gemma: यह रोबोट थोड़ा स्मार्ट है। इसके पास एक "गेट" (द्वार) है। यदि अंत में दिया गया नंबर स्पष्ट रूप से गलत दिखता है या संदर्भ में फिट नहीं बैठता, तो यह कभी-कभी उसे कॉपी करने से मना कर देता है। यह अधिक चयनात्मक है, लेकिन यह अभी भी अंतिम स्थिति पर बहुत अधिक निर्भर करता है।
4. "छिपी हुई गणना" (Hidden Calculation)
यहाँ सबसे चौंकाने वाला हिस्सा है: रोबोट वास्तव में गणित कर सकता है।
- जब शोधकर्ताओं ने "आखिरी नंबर" को पूरी तरह से हटा दिया (रोबोट को केवल गणित के चरणों के साथ छोड़ दिया और नकल करने के लिए कोई अंतिम उत्तर नहीं दिया), तो रोबोट की सटीकता काफी बढ़ गई।
- उपमा: कल्पना कीजिए कि एक छात्र आमतौर पर पन्ने के नीचे दिए गए उत्तर कुंजी (answer key) को देखकर नकल करता है। यदि आप उत्तर कुंजी पर टेप लगा दें, तो छात्र को वास्तव में समस्या हल करने के लिए मजबूर होना पड़ेगा। वह यह कर सकता है! लेकिन जब तक उत्तर कुंजी नीचे दिखाई दे रही है, वह बस उसे कॉपी करेगा और अपने स्वयं के काम को अनदेखा करेगा।
- आखिरी नंबर को कॉपी करने का "शॉर्टकट" इतना मजबूत है कि यह रोबोट के अपने गणना कौशल के उपयोग को रोक (block) देता है।
5. AI की "जांच" (Checking) के लिए यह क्यों महत्वपूर्ण है
कई लोग यह देखने के लिए "चेन ऑफ थॉट" का उपयोग करते हैं कि क्या AI ईमानदार है। वे चरणों को देखते हैं ताकि यह देख सकें कि तर्क सही है या नहीं।
- समस्या: यह शोध पत्र दिखाता है कि छोटे मॉडलों के लिए, चरण अक्सर केवल "सजावट" होते हैं। रोबोट तर्क लिखता है, लेकिन अंतिम उत्तर एक पूरी तरह से अलग, आलसी तंत्र द्वारा निर्धारित होता है (आखिरी नंबर की नकल करना)।
- जोखिम: आपके पास एक ऐसा रोबट हो सकता है जो गणित की समस्या के लिए एक आदर्श, तार्किक स्पष्टीकरण लिखता है, लेकिन फिर गलती से (या दुर्भावनापूर्ण रूप से) अंत में एक गलत नंबर रख देता है। रोबोट वह गलत नंबर आउटपुट करेगा, और एक मानव समीक्षक यह सोचकर भ्रमित हो सकता है, "ओह, चरण बहुत अच्छे लग रहे थे, इसलिए उत्तर सही होना चाहिए।" लेकिन रोबोट ने वास्तव में उन चरणों का उपयोग उत्तर पाने के लिए नहीं किया था।
सारांश
छोटे AI मॉडलों की दुनिया में, चेन ऑफ थॉट अक्सर एक प्रदर्शन (performance) है, प्रक्रिया (process) नहीं। मॉडल स्मार्ट दिखने के लिए तर्क लिखता है, लेकिन जब अंतिम उत्तर देने की बारी आती है, तो वह एक शॉर्टकट लेता है: वह जो आखिरी नंबर देखता है उसे पकड़ता है और उसकी नकल करता है, बाकी सब कुछ अनदेखा कर देता है।
यह बड़े, अधिक उन्नत मॉडलों (7-8 बिलियन पैरामीटर्स) में नहीं होता है, जहाँ रोबोट नकल करने से पहले नंबर की सामग्री की जांच करना शुरू कर देता है। लेकिन छोटे, सस्ते मॉडलों के लिए, "आखिरी नंबर" का नियम ही सर्वोपरि है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।