🤖 AI

Function Induction and Task Generalization: An Interpretability Study with Off-by-One Addition

यह शोध पत्र 'ऑफ-बाय-वन' जोड़ (addition) कार्य पर व्याख्यात्मकता तकनीकों (interpretability techniques) का उपयोग यह प्रकट करने के लिए करता है कि बड़े भाषा मॉडल एक पुन: प्रयोज्य "फंक्शन इंडक्शन" तंत्र के माध्यम से कार्य-स्तरीय सामान्यीकरण प्राप्त करते हैं, जहाँ कई अटेंशन हेड्स (attention heads) अनदेखी समस्याओं को हल करने के लिए अमूर्त फलनों (abstract functions) को सीखने और संयोजित करने के लिए सहयोगात्मक रूप से कार्य करते हैं।

मूल लेखक: Qinyuan Ye, Robin Jia, Xiang Ren

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qinyuan Ye, Robin Jia, Xiang Ren

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट सहायक है। आपने उसे बुनियादी गणित करना सिखाया है: $1+1=2$ , $2+2=4$ । वह इसमें माहिर है।

अब, आप उसे एक नया, अजीब नियम देते हैं: "हे, अब से, जब भी तुम दो संख्याओं को जोड़ो, तो उत्तर में एक अतिरिक्त जोड़ देना।" यानी, $1+1$ का $3 $होना चाहिए, और$ 2+2 $का$ 5$ होना चाहिए। आप उसे कुछ उदाहरण दिखाते हैं:

$1+1=3$
$2+2=5$
$3+3=?$

ज्यादातर इंसान तुरंत पैटर्न समझ जाएंगे और "7" कहेंगे। शोध पत्र पूछता है: रोबोट यह कैसे समझता है? क्या वह केवल उदाहरणों को रट रहा है, या उसने वास्तव में एक नया "मानसिक तरीका" (mental trick) सीखा है?

शोधकर्ताओं ने इस पहेली को हल करते समय रोबोट के दिमाग के अंदर झांकने के लिए एक विशेष "एक्स-रे विजन" (जिसे मैकेनिस्टिक इंटरप्रिटेबिलिटी कहा जाता है) का उपयोग किया। यहाँ उन्होंने जो पाया, उसका सरल विवरण दिया गया है:

1. रोबोट के पास एक "पैटर्न डिटेक्टिव" है (इंडक्शन हेड)

पिछले अध्ययनों में, वैज्ञानिकों ने पाया कि रोबोट के पास एक विशिष्ट हिस्सा होता है जो एक पैटर्न डिटेक्टिव की तरह काम करता है। यदि आप लिखें "सेब, केला, सेब, ___", तो यह डिटेक्टिव पहचान लेता है कि "सेब" के बाद "केला" आया था और अनुमान लगाता है कि अगला शब्द "केला" होगा।

शोधकर्ताओं ने पाया कि इस गणितीय ट्रिक के लिए, रोबता एक सुपर-चार्ज्ड वर्जन वाले डिटेक्टिव का उपयोग करता है। केवल शब्दों की नकल करने के बजाय, यह डिटेक्टिव नियमों की नकल करना सीख जाता है। यह उदाहरणों को देखता है और समझ जाता है, "ओह, यहाँ नियम केवल 'संख्याओं को जोड़ना' नहीं है, बल्कि 'संख्याओं को जोड़ना और फिर एक जोड़ना' है।"

2. "कंस्ट्रक्शन क्रू" (निर्माण दल) की उपमा

सबसे दिलचस्प खोज यह है कि रोबोट इस नए नियम को कैसे बनाता है। यह एक पूरे काम को करने के लिए किसी एक मस्तिष्क कोशिका का उपयोग नहीं करता है। इसके बजाय, यह लगभग छह छोटे श्रमिकों (जिन्हें "अटेंशन हेड्स" कहा जाता है) के एक कंस्ट्रक्शन क्रू का उपयोग करता है जो समानांतर में काम करते हैं।

सोचिए कि "+1" का नियम एक जटिल निर्देश पुस्तिका (instruction manual) की तरह है। किसी भी एक अकेले श्रमिक को पूरी पुस्तिका का ज्ञान नहीं है। इसके बजाय:

श्रमिक A लिखता है: "दहाई के स्थान में 1 जोड़ें।"
श्रमिक B लिखता है: "इकाई के स्थान से 1 घटाएं।"
श्रमिक C लिखता है: "सुनिश्चित करें कि संख्या बड़ी हो जाए।"

व्यक्तिगत रूप से, उनके नोट्स निरर्थक लग सकते हैं। लेकिन जब आप उन सभी के नोट्स को एक के ऊपर एक रखते हैं, तो वे पूरी तरह से पूर्ण निर्देश बनाते हैं: "1 जोड़ें।"

रोबोट अनिवार्य रूप से छोटे, पुन: प्रयोज्य (reusable) हिस्सों से एक नया फंक्शन कंपोज (compose) कर रहा है। यह उसी लेगो (Lego) ब्रिक्स का उपयोग करके एक नया लेगो किला बनाने जैसा है जिसका उपयोग आपने एक घर बनाने के लिए किया था, बस उन्हें अलग तरह से व्यवस्थित किया गया है।

3. "यूनिवर्सल रिमोट कंट्रोल"

शोधकर्ताओं ने परीक्षण किया कि क्या यह "कंस्ट्रक्शन क्रू" एक बार की चीज़ थी या रोबोट इसका उपयोग अन्य चीजों के लिए भी करता है! उन्होंने रोबोट को अलग-अलग पहेलियाँ दीं:

अक्षरों को बदलना: गणित के बजाय, वर्णमाला के हर अक्षर को एक स्थान आगे खिसका दें (A बनता है B, B बनता है C)।
बेस-8 गणित: एक अलग संख्या प्रणाली (जैसे कंप्यूटर सोचते हैं) में गणित करना।

परिणाम: मस्तिष्क कोशिकाओं का वही सटीक "कंस्ट्रक्शन क्रू" सक्रिय हो गया! उन्हें नए श्रमिकों को सीखने की आवश्यकता नहीं थी; वे बस इन नई समस्याओं को हल करने के लिए अपने मौजूदा नोट्स को पुनर्व्यवस्थित कर सकते थे।

यह क्यों महत्वपूर्ण है?

यह दो कारणों से एक बड़ी बात है:

यह केवल रटना नहीं है: रोबोट केवल अपनी मेमोरी से उत्तरों की नकल नहीं कर रहा है। वह वास्तव में तर्क (reasoning) कर रहा है। वह एक बुनियादी कौशल (जोड़) को लेता है, उसमें आए बदलाव (twist) को पहचानता है, और उस बदलाव को संभालने के लिए एक नया मानसिक उपकरण बनाता है।
यह लचीला है: रोबोट के दिमाग के अंदर एक "यूनिवर्सल रिमोट कंट्रोल" है। वह एक छोटा, पुन: प्रयोज्य तंत्र (जैसे "इस मान को शिफ्ट करें") ले सकता है और उसे विभिन्न कार्यों (गणित, भाषा, पहेलियाँ) में प्लग कर सकता है।

बड़ी तस्वीर (The Big Picture)

कल्पना कीजिए कि आप खाना बनाना सीख रहे हैं। पहले, आप पानी उबालना सीखते हैं। फिर, कोई आपसे कहता है, "अब, पानी में एक चुटकी नमक डालें।"

पुराना दृष्टिकोण: रोबोट ने केवल "पानी उबालना + नमक = उबला हुआ नमकीन पानी" को रट लिया।
इस पेपर का दृष्टिकोण: रोबोट समझ गया, "मेरे पास एक 'उबालने' का मॉड्यूल है और एक 'नमक डालने' का मॉड्यूल है। मैं उन्हें एक नया व्यंजन बनाने के लिए आपस में जोड़ सकता हूँ।"

यह पेपर दिखाता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) इस "मॉड्यूल्स को जोड़ने" (snapping together) में बहुत अच्छे होते जा रहे हैं। वे कंपोजेबल (composable) होने के लिए सीख रहे हैं, जिसका अर्थ है कि वे पुराने कौशल को ले सकते हैं और उन्हें कभी न देखे गए समस्याओं को हल करने के लिए नए तरीकों से मिला सकते हैं। यह समझने की दिशा में एक बड़ा कदम है कि AI वास्तव में स्मार्ट और अनुकूलन योग्य कैसे हो सकता है, न कि केवल तथ्यों का एक विशाल डेटाबेस।

यहाँ शोध पत्र "Function Induction and Task Generalization: An Interpretability Study with Off-by-One Addition" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) उल्लेखनीय इन-कॉन्टेक्स्ट लर्निंग (ICL) क्षमताएं प्रदर्शित करते हैं, जो उन्हें कुछ उदाहरणों के आधार पर अनदेखे कार्यों को करने में सक्षम बनाती हैं। हालाँकि, टास्क-लेवल जनरलाइजेशन (कार्य-स्तर सामान्यीकरण) को चलाने वाले आंतरिक तंत्र—विशेष रूप से यह कि मॉडल केवल टोकन की नकल करने के बजाय नए, बहु-चरणीय कार्यों (multi-step functions) को लागू करना कैसे सीखते हैं—अभी भी कम समझे गए हैं।

लेखक एक विशिष्ट काउंटरफैक्चुअल कार्य पर ध्यान केंद्रित करते हैं: ऑफ-बाय-वन एडिशन (Off-by-One Addition)।

मानक जोड़ (Standard Addition): $1+1=2, 2+2=4$ ।
ऑफ-बाय-वन कार्य (Off-by-One Task): $1+1=3, 2+2=5, 3+3=?$ (अपेक्षित उत्तर: 7)।
चुनौती: मॉडल को दो अलग-अलग चरणों को निष्पादित करना होगा: (1) मानक अंकगणितीय जोड़, और (2) परिणाम में एक अप्रत्याशित वृद्धि $+1$ । लक्ष्य यह निर्धारित करना है कि मॉडल इन्फरेंस के दौरान आंतरिक रूप से इस $+1$ फंक्शन को कैसे खोजता और लागू करता है।

2. कार्यप्रणाली (Methodology)

यह अध्ययन मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability) का उपयोग करता है, विशेष रूप से मॉडल के कम्प्यूटेशन ग्राफ को रिवर्स-इंजीनियर करने के लिए पाथ पैचिंग (Path Patching) का।

मूल्यांकित मॉडल: छह समकालीन LLMs (Llama-2, Mistral, Gemma-2, Qwen-2.5, Llama-3, Phi-4) जिनकी विभिन्न आर्किटेक्चर और टोकनाइजेशन स्कीमें हैं।
पाथ पैचिंग तकनीक:
1. एक बेस प्रॉम्प्ट (मानक जोड़, जैसे $1+1=2$ ) और एक कॉन्ट्रास्ट प्रॉम्प्ट (ऑफ-बाय-वन, जैसे $1+1=3$ ) पर फॉरवर्ड पासेस चलाएं।
2. विशिष्ट अटेंशन हेड्स और लेयर्स में बेस प्रॉम्प्ट से एक्टिवेशन्स को कॉन्ट्रास्ट प्रॉम्प्ट के एक्टिवेशन्स से व्यवस्थित रूप से बदलें (या इसके विपरीत)।
3. रिलेटिव लोगिट डिफरेंस ( $r$ ) को मापें: यदि किसी विशिष्ट हेड के एक्टिवेशन को बदलने से मॉडल सही ऑफ-बाय-वन उत्तर (7) से वापस मानक उत्तर (6) पर चला जाता है, तो उस हेड को $+1$ फंक्शन के लिए कॉज़ल (causal) माना जाता है।
सर्किट डिस्कवरी (Circuit Discovery): लेखकों ने उन अटेंशन हेड्स की पहचान करने के लिए पुनरावृत्ति की जो आउटपुट लोगिट्स को महत्वपूर्ण रूप से प्रभावित करते हैं, जिससे शुरुआती लेयर्स (जहाँ मानक जोड़ होता है) से देर से आने वाली लेयर्स (जहाँ $+1$ एडजस्टमेंट लागू किया जाता है) तक सूचना के प्रवाह का पता चलता है।
वैलिडेशन (Validation):
- हेड एब्लेशन (Head Ablation): पहचाने गए हेड्स को हटाकर यह देखना कि क्या मॉडल मानक जोड़ पर वापस आ जाता है।
- कॉज़ल इंटरवेंशन (Causal Intervention): एक "नैव" प्रॉम्प्ट (जैसे $2=2$ ) में विशिष्ट हेड्स के आउटपुट को इंजेक्ट करके यह देखना कि क्या वे $+1$ फंक्शन को प्रेरित करते हैं।
- टास्क जनरलाइजेशन: यह परीक्षण करना कि क्या पहचाना गया सर्किट अन्य कार्यों (Shifted MMLU, Caesar Cipher, Base-8 Addition) में पुन: उपयोग किया जाता है।

3. मुख्य योगदान और निष्कर्ष (Key Contributions & Findings)

A. "फंक्शन इंडक्शन" की खोज

लेखक एक विशिष्ट सर्किट की पहचान करते हैं जो मानक जोड़ से ऑफ-बाय-वन जोड़ में सामान्यीकरण करने के लिए जिम्मेदार है। वे इस तंत्र को "फंक्शन इंडक्शन" (Function Induction) कहते हैं।

संरचना: यह सर्किट तीन समानांतर समूहों में काम करने वाले अटेंशन हेड्स से बना है:
1. प्रिवियस टोकन (PT) हेड्स: मध्यवर्ती लेयर्स में स्थित। वे इन-कॉन्टेक्स्ट उदाहरणों में उत्तर टोकन ( $c_i$ ) पर ध्यान देते हैं और अपेक्षित मानक योग और वास्तविक दिए गए उत्तर के बीच के अंतर को दर्ज करते हैं (जैसे, $1+1=2$ के बजाय $1+1=3$ को देखना)। वे प्रभावी रूप से "नोट" करते हैं कि एक शिफ्ट हुआ है।
2. फंक्शन इंडक्शन (FI) हेड्स: अंतिम लेयर्स में स्थित। वे PT हेड्स द्वारा दर्ज की गई "शिफ्ट" जानकारी को प्राप्त करते हैं और रेसिडुअल स्ट्रीम में एक विशिष्ट फंक्शन वेक्टर (जो $f(x) = x+1$ का प्रतिनिधित्व करता है) लिखते हैं।
3. कंसोलिडेशन हेड्स (Consolidation Heads): अंतिम लेयर्स में स्थित। वे अगले-टोकन प्रेडिक्शन को अंतिम रूप देने के लिए FI हेड्स और मानक जोड़ के परिणामों को एकत्रित करते हैं।
एब्स्ट्रैक्शन स्तर: मानक इंडक्शन हेड्स (जो टोकन की नकल करते हैं, जैसे $[A][B]...[A] \to [B]$ ) के विपरीत, फंक्शन इंडक्शन हेड्स एक प्रथम-क्रम रैखिक फलन ( $f(x) = x+1$ ) को प्रेरित करते हैं। यह टोकन-स्तरीय पैटर्न मिलान से फंक्शन-स्तरीय तर्क (reasoning) की ओर एक बदलाव का प्रतिनिधित्व करता है।

B. फंक्शन्स का वितरित प्रतिनिधित्व (Distributed Representation of Functions)

$+1$ फंक्शन एक एकल हेड में संग्रहीत नहीं है। इसके बजाय, यह कई FI हेड्स में वितरित (distributed) है (जैसे, Gemma-2 में 6 हेड्स)।

प्रत्येक हेड फंक्शन का एक विशिष्ट "हिस्सा" योगदान देता है। उदाहरण के लिए, एक हेड $x-1$ को दबा सकता है, दूसरा $x+1$ को बढ़ावा दे सकता है, और दूसरा $x$ को दबा सकता है।
इन समानांतर पथों का कुल प्रभाव (aggregate effect) पूर्ण $+1$ फंक्शन का पुनर्निर्माण करता है। यह एक कंपोजेबल (composable) आर्किटेक्चर को प्रदर्शित करता है जहाँ जटिल व्यवहार सरल, विशिष्ट उप-रूटीन के योग से उभरते हैं।

C. सार्वभौमिकता और पुन: उपयोग (Universality and Reuse)

अध्ययन इस बात की पुष्टि करता है कि यह तंत्र केवल ऑफ-बाय-वन जोड़ तक सीमित नहीं है, बल्कि एक सामान्यीकरण योग्य सर्किट है जिसका विविध कार्यों में पुन: उपयोग किया जाता है:

ऑफ-बाय-k एडिशन: वही हेड्स विभिन्न ऑफसेट्स ( $k$ ) के अनुकूल होते हैं।
शिफ्टेड मल्टीपल-चॉइस QA: तंत्र उत्तर कुंजियों (जैसे A $\to$ B) को बदल देता है।
सीज़र सिफर (Caesar Cipher): तंत्र अक्षर शिफ्टिंग को संभालता है।
बेस-8 एडिशन: मॉडल इस तंत्र का उपयोग बेस-10 योग को बेस-8 में समायोजित करने के लिए करता है, हालांकि यह जटिल कंडीशनल लॉजिक (कैरी-ओवर) के साथ संघर्ष करता है, जो बहु-चरणीय इंडक्शन में सीमाओं का सुझाव देता है।

4. परिणाम (Results)

प्रदर्शन: सभी मूल्यांकित मॉडलों ने ICL के माध्यम से ऑफ-बाय-वन कार्य को सफलतापूर्वक सीखा, जिसमें शॉट्स की संख्या बढ़ने के साथ सटीकता बढ़ी।
एब्लेशन प्रभाव: जब पहचाने गए FI हेड्स को एब्लेट (मानक जोड़ के आउटपुट से बदला) किया गया, तो ऑफ-बाय-वन कार्यों पर मॉडलों का प्रदर्शन गिरकर 0% हो गया, जबकि मानक जोड़ पर उनका प्रदर्शन उच्च या बेहतर बना रहा। यह पुष्टि करता है कि ये हेड्स $+1$ व्यवहार के लिए आवश्यक हैं।
क्रॉस-मॉडल निरंतरता: सर्किट संरचना (PT $\to$ FI $\to$ Consolidation) Llama-2, Llama-3, Mistral और Gemma में पाई गई, हालांकि विशिष्ट हेड इंडेक्स और लेयर डेप्थ में थोड़ा अंतर था।
फंक्शन वेक्टर्स से अंतर: लेखक पूर्व कार्य (जैसे Todd et al., 2024) में पहचाने गए "फंक्शन वेक्टर" हेड्स से अपने FI हेड्स को अलग करते हैं। पूर्व FV हेड्स आमतौर पर शुरुआती/मध्यम लेयर्स में होते हैं और सिंगल-स्टेप मैपिंग को संभालते हैं। लेखकों के FI हेड्स अंतिम लेयर्स में हैं और विशेष रूप से बहु-चरणीय तर्क श्रृंखला के दूसरे चरण को संभालते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

मैकेनिस्टिक अंतर्दृष्टि: यह पेपर एक ठोस, मैकेनिस्टिक स्पष्टीकरण प्रदान करता है कि LLMs लेटेंट मल्टी-स्टेप रीजनिंग कैसे करते हैं। यह दिखाता है कि मॉडल केवल अगले टोकन का "अनुमान" नहीं लगाते, बल्कि एक कार्य को विघटित कर सकते हैं, एक मध्यवर्ती परिणाम की गणना कर सकते हैं, और फिर उस परिणाम पर एक सीखा हुआ रूपांतरण लागू कर सकते हैं।
कंपोजेबिलिटी (Composability): यह LLM आंतरिक भाग की कंपोजेबल प्रकृति को उजागर करता है। समान सर्किट को अंकगणित, टेक्स्ट शिफ्टिंग और लॉजिक पहेलियों के लिए पुन: उपयोग किया जा सकता है, जो नवीन कार्य विविधताओं को संभालने के लिए एक एकीकृत तंत्र का सुझाव देता है।
मूल्यांकन सावधानी: अध्ययन यह प्रकट करता है कि एल्गोरिथम कार्यों (जैसे बेस-8 जोड़) पर उच्च सटीकता वास्तविक तर्क के बजाय अनपेक्षित शॉर्टकट या आंशिक सामान्यीकरण पर निर्भर हो सकती है। वास्तविक समझ और "पर्याप्त अच्छे" ह्यूरिस्टिक्स के बीच अंतर करने के लिए इंटरप्रिटेबिलिटी विश्लेषण महत्वपूर्ण है।
भविष्य की दिशाएं: निष्कर्षों से पता चलता है कि प्रशिक्षण पाठ्यक्रम (training curricula) को विशेष रूप से इन सर्किट्स को बढ़ावा देने के लिए डिज़ाइन किया जा सकता है (जैसे, बहु-चरणीय कार्यों से पहले सिंगल-स्टेप कार्यों पर प्रशिक्षण), और इसी तरह के तंत्र अन्य उभरते व्यवहारों जैसे सिकोफैंसी (sycophancy) या विश्वास परिवर्तन (belief shifting) के पीछे भी हो सकते हैं।

संक्षेप में, यह कार्य केवल यह देखने से आगे बढ़ता है कि मॉडल सामान्यीकरण करते हैं, बल्कि यह समझाने की ओर बढ़ता है कि वे ऐसा कैसे करते हैं, एक पुन: प्रयोज्य, वितरित सर्किट की पहचान करके जो केवल टोकन की नकल करने के बजाय फंक्शन को प्रेरित करता है।