Represented Is Not Computed: A Causal Test of Candidate Algorithmic Intermediates in a Transformer

तकनीकी सारांश: प्रतिनिधित्व किया गया है, गणना नहीं की गई (Represented Is Not Computed)

समस्या विवरण (Problem Statement)
मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic interpretability) यह समझने का प्रयास करती है कि न्यूरल नेटवर्क संरचित प्रॉम्प्ट्स (structured prompts) को हल करने के लिए कार्य-प्रासंगिक घटकों (task-relevant components) को कैसे एकीकृत करते हैं। प्राकृतिक भाषा और दृष्टि (vision) में, इस एकीकरण के लिए आवश्यक आंतरिक संबंध इतने सटीक रूप से निर्दिष्ट नहीं होते कि किसी संभावित आंतरिक एल्गोरिदम को परिभाषित किया जा सके। यह शोध पत्र इस अंतर को भरने के लिए अंकगणित, विशेष रूप से आधार-अंक निष्कर्षण (base-digit extraction) का उपयोग करता है, जो एक स्वच्छ सेटिंग प्रदान करता है जहाँ इनपुट-आउटपुट फलन ज्ञात है और संभावित एल्गोरिदम को स्पष्ट रूप से परिभाषित किया जा सकता है। कार्य में एक ट्रांसफार्मर को एक दशमलव संख्या $N$, एक आधार $B$, और एक अंक स्थिति $D$ प्राप्त होती है, और उसे आधार-$B$ विस्तार में $B^D$ के गुणांक (coefficient) की भविष्यवाणी करनी होती है। इसका क्लोज्ड-फॉर्म समाधान $y = \lfloor N/B^D \rfloor \mod B$ है।

केंद्रीय प्रश्न यह है कि क्या मॉडल इस "स्टेज्ड" (staged) एल्गोरिद्मिक परिकल्पना को लागू करता है जो इस क्लोज्ड-फॉर्म समाधान द्वारा सुझाई गई है: $B^D$ की गणना करना, फिर $N/B^D$ करना, फ्लोर (floor) लेना, और अंत में मोड्यूलो $B$ करना। विशेष रूप से, लेखक तीन अलग-अलग प्रश्नों की जांच करते हैं जिन्हें अक्सर भ्रमित कर दिया जाता है: (1) क्या मॉडल कार्य को हल कर सकता है? (2) क्या क्लोज्ड-फॉर्म समाधान से संबंधित मात्राएँ नेटवर्क के भीतर प्रतिनिधित्वित हैं? (3) क्या वे मात्राएँ वे कारण मध्यवर्ती (causal intermediates) हैं जिनका उपयोग उत्तर उत्पन्न करने के लिए किया जाता है?

कार्यप्रणाली (Methodology)
लेखकों ने तीन अलग-अलग रैंडम सीड्स का उपयोग करके बेस-डिजिट एक्सट्रैक्शन कार्य पर स्क्रैच से 10-लेयर डिकोडर-ओनली ट्रांसफॉर्मर्स को प्रशिक्षित किया। प्रशिक्षण डेटा में $N \in \{0, \dots, 999\}$, $B \in \{2, \dots, 30\}$, और विभिन्न अंक स्थितियाँ $D$ शामिल थीं। मॉडलों का मूल्यांकन होल्ड-आउट नंबर-बेस इंटरसेक्शन पर ऑटोरिग्रेसिव रूप से किया गया ताकि मेमोरीज़ेशन के बजाय मजबूत सामान्यीकरण (generalization) सुनिश्चित किया जा सके।

आंतरिक तंत्रों का विश्लेषण करने के लिए, अध्ययन ने एक बहु-चरणीय दृष्टिकोण अपनाया:

1. लीनियर प्रोबिंग (Linear Probing): विभिन्न परतों में रेसिडुअल स्ट्रीम्स (residual streams) से क्लोज्ड-फॉर्म मात्राओं ($B^D$, $N/B^D$, $\lfloor N/B^D \rfloor$, और अंतिम उत्तर) के लीनियर रूप से डिकोडेबल होने का परीक्षण करने के लिए फ्रोजन एक्टिवेशन्स पर लीनियर रीडआउट्स को प्रशिक्षित किया गया।
2. अटेंशन एब्लेशन (Attention Ablation): लेखकों ने $D_{ones}$ के अटेंशन रूट से आउटपुट स्ट्रीम्स ($O[0]$ और $O[1]$) तक के लक्षित एब्लेशन किए। उन्होंने विशिष्ट परतों (शालो-टू-डीप और डीप-टू-शालो स्वीप्स दोनों) से अटेंशन को मास्क करने पर प्रदर्शन में गिरावट को मापा ताकि कारण निर्भरता (causal dependencies) की पहचान की जा सके।
3. एक्टिवेशन पैचिंग (Activation Patching): यह निर्धारित करने के लिए कि क्या जानकारी कारण मार्गों द्वारा ले जाई जाती है, लेखकों ने की/वैल्यू (key/value) पैचिंग की। उन्होंने एक "डोनर" उदाहरण से $D_{ones}$ की की/वैल्यू वेक्टर्स को एक "सोर्स" उदाहरण में प्रतिस्थापित किया। यह देखते हुए कि डोनर, सोर्स से $N$, $B$, या $D$ में कैसे भिन्न होता है, उन्होंने परीक्षण किया कि क्या रूट अंक की स्थिति या व्यापक अंकगणितीय मध्यवर्ती के बारे में विशिष्ट जानकारी ले जाता है।
4. स्पार्स सर्किट सर्च (Sparse Circuit Search): कार्य प्रदर्शन के लिए पर्याप्त न्यूनतम अटेंशन रूटों की पहचान करने के लिए एक ग्रीडी राइट-टू-लेफ्ट सर्च किया गया, जिससे मॉडल की समग्र रूटिंग संरचना का पता चला।

मुख्य परिणाम (Key Results)

• कार्य सक्षमता (Task Competence): मॉडलों ने होल्ड-आउट टेस्ट सेट्स पर लगभग पूर्ण प्रदर्शन प्राप्त किया, तीन सीड्स के बीच औसत सटीक-उत्तर सटीकता 99.83% रही। यह स्थापित करता है कि मॉडलों ने कार्य मैपिंग को विश्वसनीय रूप से सीखा है।
• प्रतिनिधित्व (प्रोबिंग) (Representation - Probing): लीनियर प्रोब्स ने दिखाया कि क्लोज्ड-फॉर्म मध्यवर्ती एक ऐसे क्रम में डिकोडेबल थे जो स्टेज्ड एल्गोरिदम को दर्शाता है: $B^D$, $N/B^D$ (और कोटिएंट जैसी मात्राओं) की तुलना में SHALLOWER (पहले) परतों में लीनियर रूप से डिकोडेबल हो गया, जो बदले में अंतिम उत्तर से पहले दिखाई दिया। तथ्य यह है कि उपस्थिति का लेयर-वाइज क्रम ऑपरेशन्स के एल्गोरिद्मिक क्रम से मेल खाता था, यह केंद्रीय कारण था कि स्टेज्ड परिकल्पना प्रतिनिधित्व की दृष्टि से प्रशंसनीय प्रतीत हुई। (इस प्रकार की डिकोडेबिलिटी प्रारंभिक अवस्था (initialization) में भी मौजूद थी, जो इंगित करता है कि यह पूरी तरह से केवल सीखा गया कंप्यूटेशन नहीं बल्कि आर्किटेक्चर/डेटा ज्योमेट्री का एक हिस्सा है।)
• कारण उपयोग (एब्लेशन और पैचिंग) (Causal Use - Ablation & Patching): मजबूत प्रतिनिधित्व के बावजूद, कारण परीक्षणों ने एक अलग तंत्र का खुलासा किया।
  • प्रारंभिक संवेदनशीलता (Early Sensitivity): आउटपुट व्यवहार सबसे अधिक शुरुआती $D_{ones} \to O$ संचार (विशेष रूप से लेयर्स 0–1) के प्रति संवेदनशील था। इन शुरुआती परतों को मास्क करने से प्रदर्शन में भारी गिरावट आई, जबकि बाद की परतों को मास्क करने का न्यूनतम प्रभाव पड़ा।
  • चयनात्मक सूचना हस्तांतरण (Selective Information Transfer): पैचिंग प्रयोगों ने दिखाया कि $D_{ones} \to O$ रूट व्यवहारिक रूप से प्रभावी जानकारी ले जाता है जो $D$ के लिए अत्यधिक चयनात्मक है। जब डोनर केवल $N$ या $B$ में भिन्न था, तो पैच किया गया मॉडल का आउटपुट अपरिवर्तित रहा (सोर्स से मेल खाता हुआ)। जब डोनर केवल $D$ में भिन्न था, तो आउटपुट बदलकर डोनर से मेल खाने लगा।
  • फैक्टरलाइज्ड रूटिंग (Factorized Routing): स्पार्स सर्किट सर्च ने खुलासा किया कि $N$, $B$, और $D$ को ज्यादातर अलग-अलग स्थानीय स्कैफोल्ड्स के माध्यम से रूट किया जाता है जो आउटपुट स्ट्रीम्स पर देर से मिलते हैं। इस बात का कोई प्रमाण नहीं है कि कोई एकल, एकीकृत क्लोज्ड-फॉर्म मध्यवर्ती प्रॉम्प्ट साइड से आउटपुट तक प्रसारित होता है।

मुख्य योगदान और दावे (Key Contributions and Claims)
शोध पत्र का प्राथमिक योगदान एक विघटनकारी अवलोकन (dissociative observation) है: मॉडल उन मात्राओं का प्रतिनिधित्व करता है जो स्टेज्ड एल्गोरिद्मिक समाधान को प्रशंसनीय बनाती हैं (वे लीनियर रूप से डिकोडेबल हैं), फिर भी पहचाना गया कारण मार्ग (causal route) इन मात्राओं को आउटपुट तक प्रसारित नहीं करता है।

लेखक दावा करते हैं कि "प्रतिनिधित्व किया गया है, गणना नहीं की गई" (Represented is not computed)। इस संदर्भ में, "कंप्यूटेड" का अर्थ उन कारण मध्यवर्तियों से है जिनका उपयोग वास्तव में उत्तर बनाने के लिए किया जाता है। अध्ययन प्रदर्शित करता है कि:

1. प्रोब्स कारण वास्तविकता से विचलित हो सकते हैं: लीनियर प्रोब्स ने एल्गोरिद्मिक मध्यवर्तियों की उपस्थिति की सफलतापूर्वक पहचान की, लेकिन कारण हस्तक्षेपों (एब्लेशन और पैचिंग) ने सिद्ध किया कि ये मध्यवर्ती आउटपुट के प्राथमिक चालक नहीं थे।
2. डिकोडेबिलिटी $\neq$ कारण उपयोग (Decodability $\neq$ Causal Usage): किसी मात्रा की उच्च डिकोडेबिलिटी यह गारंटी नहीं देती कि वह एक सीखा गया कारण मध्यवर्ती है; यह आर्किटेक्चर या टोकनाइजेशन द्वारा प्रदान की गई सुलभता को दर्शा सकता है जिसे बाद में प्रशिक्षित किया जाता है लेकिन आउटपुट के विशिष्ट कारण पथ में उपयोग नहीं किया जाता है।
3. बेस-डिजन एक्सट्रैक्शन का तंत्र: मॉडल $N$, $B$, और $D$ को अलग-अलग पथों के माध्यम से रूट करके और उन्हें आउटपुट पर देर से एकीकृत करके कार्य को हल करता है, जो कोटिएंट-जैसे मूल्यों के स्टेज्ड ट्रांसमिशन के बजाय शुरुआती $D$-चयनात्मक संचार पर निर्भर करता है।

महत्व (Significance)
यह शोध पत्र केवल लीनियर प्रोब्स पर निर्भर रहने के विरुद्ध एक प्रत्यक्ष, परीक्षण योग्य चेतावनी के रूप में कार्य करता है। यहाँ तक कि एक स्पष्ट, ज्ञात एल्गोरिदम और लगभग पूर्ण कार्य प्रदर्शन वाले सेटिंग में भी, आंतरिक कारण तंत्र सहज एल्गोरिद्मिक परिकल्पना से काफी भिन्न हो सकता है। लेखक तर्क देते हैं कि मैकेनिस्टिक स्पष्टीकरण के लिए यह प्रदर्शित करना आवश्यक है कि मात्राओं का कारण के रूप में कैसे उपयोग किया जाता है, न कि केवल यह कि वे मौजूद हैं। यह कार्य ट्रांसफार्मर सर्किट्स और अंकगणितीय तंत्रों पर मौजूदा शोध का पूरक है, यह दिखाते हुए कि हीयुरिस्टिक या गैर-एल्गोरिद्मिक मार्ग उन कार्यों को हल कर सकते जहाँ स्पष्ट एल्गोरिद्मिक मध्यवर्ती स्पष्ट रूप से प्रतिनिधित्वित हैं लेकिन कारण रूप से उपयोग नहीं किए जाते हैं।