Reasoning Errors Have a Region and a Direction in the Residual-Stream Trajectory of LLMs
यह शोध पत्र एक नवीन तीन-धारा (three-stream) डिटेक्टर प्रस्तावित करता है जो ध्वनि तर्क (sound reasoning) को त्रुटिपूर्ण तर्क (flawed reasoning) से अधिक सटीक रूप से अलग करने के लिए स्थान के प्रतिबंधित दृश्यों (स्थूल क्षेत्र और सूक्ष्म दिशा) के साथ अवशिष्ट-धारा गति (residual-stream motion) को संयोजित करता है, जो स्टेट-कंडीशन्ड मोशन सिग्नल्स का लाभ उठाकर मौजूदा विस्थापन-मात्र (displacement-only) और एकल-परत प्रोबिंग विधियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विचारशील मशीन का छिपा हुआ रास्ता
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि आपका कोई दोस्त सच बोल रहा है या मौके पर ही कोई कहानी बना रहा है। आप केवल उनके द्वारा कहे गए अंतिम वाक्य को सुनकर निर्णय नहीं ले सकते; आपको यह देखना होगा कि उनकी कहानी कैसे विकसित होती है। क्या वे लड़खड़ाए? क्या कठिन हिस्से तक पहुँचते ही उनकी आवाज़ बदल गई? आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ, वैज्ञानिक एक समान पहेली का सामना करते हैं। ये मॉडल सुपर-स्मार्ट कहानीकारों की तरह हैं जो निबंध लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और सामान्य ज्ञान के उत्तर दे सकते हैं। लेकिन कभी-कभी, वे तब भी आत्मविश्वास से भरे लगते हैं जब वे पूरी तरह से गलत होते हैं।
यह समझने के लिए कि कोई मॉडल सही है या गलत, शोधकर्ता मॉडल के काम करने के दौरान उसके "मस्तिष्क" के अंदर देखते हैं। वे केवल अंतिम उत्तर को नहीं देखते; वे रेसिडुअल स्ट्रीम (residual stream) को देखते हैं। इसे एक हाई-स्पीड कन्वेयर बेल्ट की तरह समझें जो मॉडल के विचारों को उसके मस्तिष्क की एक परत से दूसरी परत तक ले जाती है। जैसे-जैसे मॉडल एक वाक्य को प्रोसेस करता है, इस बेल्ट पर मौजूद जानकारी अपना आकार और स्थिति बदलती है। वैज्ञानिकों ने पाया है कि यदि आप केवल जानकारी की अंतिम स्थिति को देखते हैं, तो आपको मॉडल की शैली या शब्दावली द्वारा धोखा दिया जा सकता है। लेकिन यदि आप यह देखते हैं कि जानकारी एक परत से दूसरी परत तक कैसे चलती है—यानी उसका ट्रैजेक्टरी (trajectory)—तो आप अक्सर एक ठोस तर्क और एक त्रुटिपूर्ण तर्क के बीच के अंतर को पहचान सकते हैं। हालाँकि, इसमें एक पेच है: केवल गति को देखने से कभी-कभी उस संदर्भ (context) को मिटाया जा सकता है जो यह समझने के लिए आवश्यक है कि वह क्यों बदली। यह शोध पत्र इस संतुलन को ठीक करने के तरीके की खोज करता है।
शोध पत्र का बड़ा विचार: "कहाँ" और "कैसे" को ट्रैक करना
शोधकर्ताओं, हमिद दमिर्ची और उनकी टीम (ऑस्ट्रेलियाई इंस्टीट्यूट फॉर मशीन लर्निंग और एडिलेड यूनिवर्सिटी) ने खोजा कि केवल मॉडल के "संचलन" (movement) को देखकर उसके तर्क को आंकने की कोशिश करना, एक नर्तक के पैरों के निशान देखकर नृत्य को समझने की कोशिश करने जैसा है, जबकि यह भूल जाते हैं कि उन्होंने शुरुआत कहाँ से की थी।
केवल कदमों को देखने की समस्या
पिछले तरीकों ने मॉडल की आंतरिक अवस्था (internal state) के बीच विस्थापन (displacement) (यानी संचलन) को मापकर तर्क संबंधी त्रुटियों का पता लगाने का प्रयास किया। कल्पना कीजिए कि एक हाइकर (पगडंडी पर चलने वाला) बर्फ में अपने पैरों के निशान छोड़ रहा है। यदि आप केवल दो निशानों के बीच की दूरी देखते हैं, तो आप जानते हैं कि उसने कितनी लंबी छलांग लगाई, लेकिन आप यह नहीं जान पाते कि वह किसी चट्टान के किनारे चल रहा था या सुरक्षित रास्ते पर। "पदचिह्न" (संचलन) इस तथ्य को छिपा सकते हैं कि हाइकर एक खतरनाक स्थान से शुरू हुआ था। शोध पत्र का तर्क है कि हालांकि संचलन को देखने से कुछ "शोर" (जैसे मॉडल द्वारा प्रश्न की शैली की नकल करना) को फ़िल्टर करने में मदद मिलती है, लेकिन यह मॉडल की वर्तमान स्थिति के बारे में बहुत सारा उपयोगी संदर्भ खो देता है।
समाधान: एक तीन-धारा वाला जासूस (A Three-Stream Detective)
इसे हल करने के लिए, टीम ने एक नया डिटेक्टर बनाया जो एक तीन-आंखों वाले कैमरे की तरह काम करता है, जो मॉडल की सोचने की प्रक्रिया को तीन अलग-अलग कोणों से एक साथ देखता है:
- मोशन रीडर (द "कैसे"): यह धारा विस्थापन (displacement) को देखती है। यह ट्रैक करती है कि मॉडल का आंतरिक प्रतिनिधित्व एक परत से दूसरी परत तक कैसे बदलता है। यह तर्क की क्रिया (action) को पहचानने में माहिर है, जैसे कि तर्क में अचानक आया बदलाव।
- रीजन रीडर (द "रफ व्हेयर"): यह धारा कोर्स लोकेशन (coarse location) को देखती है। यह पूछती है, "मस्तिष्क के विचार-स्थान (thought-space) के किस सामान्य पड़ोस में यह विचार स्थित है?" यह वेक्टर क्वांटाइजेशन (vector quantization) नामक तकनीक का उपयोग करती है, जो नीले रंग के दस लाख अलग-अलग शेड्स को केवल 128 विशिष्ट रंगों की बाल्टियों (buckets) में समूहित करने जैसा है। इसे सटीक शेड की परवाह नहीं है, बस बाल्टी की परवाह है। यह विवरणों में उलझे बिना विचार की एक अनुमानित मैपिंग प्रदान करता है।
- डायरेक्शन रीडर (द "फाइन व्हेयर"): यह धारा फाइन डायरेक्शन (fine direction) को देखती है। यह पूछती है, "उस पड़ोस के भीतर विचार किस दिशा की ओर इशारा कर रहा है?" यह विचार के आकार (magnitude) को हटा देती है लेकिन उसके सटीक ओरिएंटेशन (दिशा-निर्धारण) को बनाए रखती है। यह यह जानने जैसा है कि विचार केवल "उत्तर" नहीं, बल्कि "उत्तर-उत्तर-पूर्व" की ओर इशारा कर रहा है।
इन तीन दृश्यों को जोड़कर, डिटेक्टर दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करता है: यह संचलन को देखता है (जो शैली के छल को फ़िल्टर करता है) लेकिन यह समझने के लिए पर्याप्त संदर्भ (रीजन और डायरेक्शन) को भी बहाल करता है कि उस संचलन का वास्तव में क्या अर्थ है।
उन्होंने क्या पाया
टीम ने अपने नए "थ्री-स्ट्रीम" डिटेक्टर का परीक्षण गणित की समस्याओं, विज्ञान के प्रश्नों और सामान्य ज्ञान की पहेलियों सहित विभिन्न रीजनिंग बेंचमार्क पर किया। उन्होंने डिटेक्टर को समस्याओं के एक सेट पर प्रशिक्षित किया और फिर यह देखने के लिए इसे पूरी तरह से अलग, अनदेखे प्रश्नों के बीच उतार दिया कि क्या यह सामान्यीकरण (generalize) कर सकता है।
परिणाम: सटीकता में बड़ी छलांग
परिणाम प्रभावशाली थे। पिछले सबसे अच्छे तरीके (जो केवल संचलन को देखता था) की तुलना में, उनके नए डिटेक्टर ने चयन सटीकता (selection accuracy) में 12% तक सुधार किया। पुराने तरीकों (जो मस्तिष्क की केवल एक परत को देखते थे - स्टैटिक प्रोबिंग) की तुलना में, इसने सटीकता में भारी 21% का सुधार किया।
लेकिन सबसे आश्चर्यजनक खोज यह थी कि डिटेक्टर ने केवल "तर्क" से कहीं अधिक गहरा कुछ सीखा। भले ही उन्होंने इसे केवल तर्क कार्यों पर प्रशिक्षित किया था, डिटेक्टर अनदेखी तथ्यात्मक त्रुटियों (factual errors) को पकड़ने में भी आश्चर्यजनक रूप से सक्षम हो गया।
- यदि मॉडल ने एक तथ्य को फर्जी बनाने की कोशिश की (जैसे कि एक सत्य वाक्य में एक शब्द बदलना), तो डिटेक्टर ने उसे पकड़ लिया।
- यदि मॉडल ने ऐसा दावा किया जो साक्ष्यों के विपरीत था, तो डिटेक्टर ने उसे चिह्नित कर दिया।
यह सुझाव देता है कि डिटेक्टर केवल "अच्छे तर्क" के पैटर्न को याद नहीं कर रहा है; यह वास्तव में एक सही मानसिक अवस्था और एक गलत मानसिक अवस्था के बीच के मौलिक अंतर को पहचानने में सक्षम हो रहा है। "रीजन" और "डायरेक्शन" धाराओं ने पूरक संकेत (complementary signals) प्रदान किए, जिसका अर्थ है कि वे उन प्रकार की त्रुटियों को पकड़ रहे थे जिन्हें अन्य धाराओं ने मिस कर दिया था।
यह क्यों महत्वपूर्ण है
यह शोध पत्र सुझाव देता है कि तर्क की वैधता को स्टेट-कंडीशन्ड मोशन (state-conditioned motion) से सबसे अच्छी तरह पढ़ा जा सकता है। सरल शब्दों में: यह जानने के लिए कि कोई विचार सही है, आपको यह देखना होगा कि वह कैसे चलता है और यह जानना होगा कि वह वास्तव में कहाँ से शुरू हुआ था और वह किस दिशा में इशारा कर रहा है।
शोधकर्ताओं ने पाया कि केवल संचलन (विस्थापन) को देखना बहुत सतही था, और पूर्ण, कच्चे स्टेट (raw state) को देखना बहुत शोर भरा था (यह मॉडल की शैली को पकड़ लेता था बजाय उसके तर्क के)। उनके "थ्री-स्ट्रीम" दृष्टिकोण ने सही संतुलन खोज लिया। इसने संचलन को समझने के लिए पर्याप्त संदर्भ बहाल किया, लेकिन यह सुनिश्चित किया कि डिटेक्टर मॉडल की शब्दावली या फॉर्मेटिंग के छल में न फंसे।
अंततः, यह शोध पत्र दिखाता है कि हम AI के लिए बेहतर "झूठ पकड़ने वाले यंत्र" (lie detectors) बना सकते हैं, यह समझते हुए कि एक विचार केवल एक स्थिर बिंदु नहीं है, न ही केवल एक गति, बल्कि एक यात्रा है जिसका एक विशिष्ट शुरुआती बिंदु और एक विशिष्ट दिशा है। तीन अलग-अलग लेंसों के साथ यात्रा को देखकर, हम बता सकते हैं कि AI स्पष्ट रूप से सोच रहा है या केवल मनगढ़ंत बातें बना रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।