Do Sparse Autoencoders Identify Reasoning Features in Language Models?
यह शोध पत्र यह प्रदर्शित करता है कि स्पार्स ऑटोएनकोडर (sparse autoencoders) अक्सर उन निम्न-आयामी सहसंबंधों (low-dimensional correlates) की पहचान करते हैं जो तर्क प्रक्रिया के साथ केवल सह-घटित होते हैं, न कि स्वयं तर्क संबंधी तंत्र (reasoning mechanisms) होते हैं, जैसा कि एक मिथ्याकरण ढांचे (falsification framework) से सिद्ध होता है जो दर्शाता है कि अधिकांश संभावित विशेषताएं टोकन-स्तरीय हस्तक्षेपों (token-level interventions) के प्रति अत्यधिक संवेदनशील हैं और तर्क व्यवहारों को विश्वसनीय रूप से संचालित करने में विफल रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर का स्पष्टीकरण दिया गया है।
बड़ा सवाल: क्या हम "सोच" (Thinking) ढूँढ रहे हैं या सिर्फ "बात" (Talking)?
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) है जो जटिल गणित की समस्याओं को हल कर सकता है और कहानियाँ लिख सकता है। हाल ही में, शोधकर्ता रोबोट के मस्तिष्क के अंदर झाँकने की कोशिश कर रहे हैं ताकि उन विशिष्ट "स्विचों" (जिन्हें फीचर्स कहा जाता है) को ढूँढा जा सके जो तब चालू होते हैं जब रोबोट सोच (तर्क/reasoning) रहा होता है बनाम जब वह केवल बातें (chatting) कर रहा होता है।
वे एक टूल का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (SAE) कहा जाता है। एक SAE को एक बहुत ही सख्त लाइब्रेरियन की तरह समझें जो किताबों के ढेर को व्यवस्थित करके उन्हें अलग-अलग विषयों वाली अलमारियों में सहेजने की कोशिश करता है। शोधकर्ताओं को उम्मीद थी कि यह लाइब्रेरियन "रीज़निंग" (तर्क) नाम की एक अलमारी ढूँढ लेगा जो केवल तभी भरी जाएगी जब रोबोट गणित या तर्क कर रहा होगा।
पेपर का निष्कर्ष: शोधकर्ताओं ने पाया कि लाइब्रेरियन को धोखा दिया जा रहा है। "रीज़निंग" वाली अलमारी वास्तव में सोचने की प्रक्रिया से नहीं भरी है; बल्कि यह मुख्य रूप से उन विशिष्ट शब्दों और वाक्यांशों से भरी है जो उस समय दिखाई देते हैं जब रोबोट सोच रहा होता है।
मुख्य समस्या: "रुको, मुझे सोचने दो" वाला जाल
जब इंसान (और रोबोट) को समस्याओं को चरण-दर-चरण हल करने के लिए सिखाया जाता है (जिसे चेन-ऑफ-थॉट विधि कहा जाता है), तो वे अक्सर शुरू करने के लिए कुछ विशिष्ट "क्यू वर्ड्स" (संकेत शब्द) का उपयोग करते हैं, जैसे:
- "आइए इसे विस्तार से समझते हैं..."
- "रुको, मुझे जाँचने की ज़रूरत है..."
- "सबसे पहले, हम विश्लेषण करते हैं..."
शोधकर्ताओं ने पाया कि SAE टूल पैटर्न खोजने में इतना कुशल है कि वह वास्तविक तर्क के बजाय इन क्यू वर्ड्स (संकेत शब्दों) पर ही अटक जाता है।
उदाहरण:
कल्पना कीजिए कि आप एक रसोई में "खाना पकाने" (Cooking) का फीचर ढूँढने की कोशिश कर रहे हैं। आप देखते हैं कि जब भी कोई खाना बना रहा होता है, तो वह कहता है, "सबसे पहले, मुझे प्याज काटने की ज़रूरत है।"
- गलती: आप एक ऐसा सेंसर बनाते हैं जो तब बीप करता है जब वह वाक्यांश सुनता है: "सबसे पहले, मुझे काटने की ज़रूरत है।"
- वास्तविकता: आपका सेंसर तब बीप करता है जब कोई वास्तव में खाना बना रहा होता है, लेकिन वह तब भी बीप करता है जब कोई केवल रेसिपी बुक पढ़ रहा हो, किसी शेफ के बारे में कहानी लिख रहा हो, या कोई मज़ाक कर रहा हो जो "सबसे पहले, मुझे काटने की ज़रूरत है" से शुरू होता हो।
- परिणाम: आपका सेंसर सोचता है कि उसने "खाना पकाना" ढूँढ लिया है, लेकिन वास्तव में उसने केवल एक विशिष्ट वाक्य संरचना को ढूँढ लिया है।
उन्होंने इसे कैसे परखा (द "फ़ालसीफिकेशन" फ्रेमवर्क)
लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने यह देखने के लिए "झूठ पकड़ने वाले" (lie detector) परीक्षणों की एक श्रृंखला चलाई कि क्या ये फीचर्स असली थे या नकली।
टेस्ट 1: "टोकन इंजेक्शन" (शब्द डालना)
उन्होंने एक साधारण, बिना तर्क वाला वाक्य लिया जैसे "बिल्ली चटाई पर बैठी थी।" फिर, उन्होंने गुप्त रूप से वे "जादुई शब्द" वाक्य में डाल दिए जिन्हें वह फीचर पसंद करता था (जैसे "रुको" या "आइए विश्लेषण करें")।
- परिणाम: "रीज़निंग" फीचर क्रिसमस ट्री की तरह जगमगा उठा, भले ही वाक्य अभी भी केवल एक बिल्ली के बारे में था।
- निष्कर्ष: जिन फीचर्स को वे "रीज़निंग" फीचर समझ रहे थे, उनमें से 45% से 90% वास्तव में कुछ विशिष्ट शब्दों के प्रति प्रतिक्रिया दे रहे थे। उन्हें तर्क से कोई लेना-देना नहीं था; उन्हें केवल शब्दावली (vocabulary) से मतलब था।
टेस्ट 2: "LLM-गाइडेड फ़ालसीफिकेशन" (रचनात्मक पुनर्गठन)
उन फीचर्स के लिए जो पहले टेस्ट में बच गए थे, उन्होंने एक अन्य AI का उपयोग "अंतर पहचानो" के खेल के रूप में किया।
- खेल: AI ने ऐसे वाक्य लिखने की कोशिश की जो तर्क जैसा दिखते थे लेकिन तर्क नहीं थे (एक False Positive), और ऐसे वाक्य जो तर्क थे लेकिन जिनमें फीचर ट्रिगर नहीं हुआ (एक False Negative)।
- परिणाम: AI ने फीचर्स को चकमा देने के तरीके आसानी से खोज लिए। वह एक गैर-तर्क वाला वाक्य लिख सकता था जिसमें वही "सोचने की शैली" वाले शब्द थे और जिससे फीचर चालू हो गया। इसके विपरीत, वह एक वास्तविक गणित की समस्या को बिना गणित बदले, अलग तरह से लिख सकता था और फीचर को शांत कर सकता था।
- निष्कर्ष: फीचर्स तर्क (logic) को ट्रैक नहीं कर रहे थे; वे शैली (style) को ट्रैक कर रहे थे।
टेस्ट 3: "स्टीयरिंग" टेस्ट (दिशा मोड़ना)
अंत में, उन्होंने इन फीचर्स की आवाज़ (volume) को कृत्रिम रूप से बढ़ाकर रोबोट को "स्टीयर" करने की कोशिश की ताकि देखा जा सके कि क्या इससे उसकी तर्क करने की क्षमता बेहतर होती है।
- परिणाम: इससे वास्तव में कोई मदद नहीं मिली। रोबोट अचानक जीनियस नहीं बन गया। वह बस उन विशिष्ट "सोचने वाले शब्दों" का अधिक उपयोग करने लगा, बिना समस्याओं को वास्तव में बेहतर ढंग से हल किए।
सिद्धांत: ऐसा क्यों हुआ?
पेपर एक गणितीय स्पष्टीकरण देता है। कल्पना कीजिए कि "तर्क करने की क्रिया" डेटा का एक विशाल, जटिल, उच्च-आयामी बादल (जैसे एक तूफान) है। लेकिन, हर बार जब रोबोट तर्क करता है, तो वह एक सरल, स्थिर "संकेत" (जैसे एक विशिष्ट शब्द) का भी उपयोग करता है।
SAE टूल को "स्पार्स" (यह सरल स्पष्टीकरण चाहता है) बनाने के लिए डिज़ाइन किया गया है। टूल के लिए पूरे जटिल "तूफान" (तर्क प्रक्रिया) को मैप करने के बजाय, सरल, स्थिर "संकेत" (शब्द) को पकड़ना बहुत आसान है।
- उदाहरण: यदि आप एक ऑर्केस्ट्रा द्वारा बजाए जा रहे सिम्फनी का वर्णन करने की कोशिश कर रहे हैं, तो हर एक वाद्य यंत्र को एक साथ वर्णित करने के बजाय केवल कंडक्टर की छड़ी (संकेत) की ओर इशारा करना आसान है। टूल ने छड़ी को चुना और उसे ही "सिम्फनी" कह दिया।
निष्कर्षों का सारांश
- कॉन्ट्रास्टिव सिलेक्शन दोषपूर्ण है: केवल इसलिए कि एक फीचर रीज़निंग टेक्स्ट पर गैर-रीज़निंग टेक्स्ट की तुलना में अधिक सक्रिय होता है, इसका मतलब यह नहीं है कि वह रीज़निंग का प्रतिनिधित्व करता है। यह केवल रीज़निंग टेक्स्ट में इस्तेमाल होने वाले शब्दों का प्रतिनिधित्व कर सकता है।
- क्यूज़ बनाम कंप्यूटेशन (संकेत बनाम गणना): अब तक पाए गए फीचर्स ज्यादातर "भाषाई सहसंबंध" (linguistic correlates) हैं। वे सोचने की शैली (जैसे "रुको, चलो सोचते हैं" वाले वाक्यांश) का पता लगाते हैं, न कि सोचने की गणना (वास्तविक तर्क) का।
- फ़ालसीफिकेशन (असत्यता सिद्ध करने) की आवश्यकता: यह साबित करने के लिए कि कोई फीचर वास्तव में तर्क के बारे में है, आप केवल एक्टिवेशन चार्ट को नहीं देख सकते। आपको इसे तोड़ने (falsify करने) की कोशिश करनी होगी—शब्दों को बदलकर लेकिन तर्क को बरकरार रखकर, या शब्दों को रखकर लेकिन तर्क को हटाकर।
मुख्य बात: पेपर शोधकर्ताओं को चेतावनी देता है कि वे AI मस्तिष्क में "रीज़निंग स्विच" खोजने को लेकर अभी बहुत उत्साहित न हों। जो स्विच उन्होंने खोजे हैं, वे संभवतः केवल "बात करने की शैली" के स्विच हैं, न कि "सोचने के" स्विच। असली चीज़ खोजने के लिए, हमें बहुत अधिक सख्त परीक्षणों की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।