💬 NLP

Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers

यह शोधपत्र प्रदर्शित करता है कि रिकरेंट-डेप्थ ट्रांसफॉर्मर्स इटरेटिव कम्प्यूटेशन का लाभ उठाकर इम्प्लिसिट रीजनिंग कार्यों में मानक ट्रांसफॉर्मर्स की कंपोजिशनल जनरलाइजेशन और डेप्थ एक्सट्रपलेशन सीमाओं को दूर करते हैं, जो व्यवस्थित जनरलाइजेशन के लिए एक तीन-चरणीय "ग्रोकिंग" प्रक्रिया को सुगम बनाता है और स्केल्ड इन्फरेंस-टाइम रिकरेंस के माध्यम से गहन तर्क को सक्षम बनाता है, हालांकि इसके बदले में "ओवरथिंकिंग" की घटना के साथ एक समझौता भी होता है।

मूल लेखक: Harsh Kohli, Srinivasan Parthasarathy, Huan Sun, Yuekun Yao

प्रकाशित 2026-04-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Harsh Kohli, Srinivasan Parthasarathy, Huan Sun, Yuekun Yao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "वन-शॉट" मस्तिष्क

कल्पना कीजिए कि आपके पास एक बेहद बुद्धिमान लाइब्रेरियन (एक मानक AI मॉडल) है जिसने दुनिया की हर किताब पढ़ ली है। वह जानती है कि जॉन लेनन ने द बीटल्स में संगीत बजाया था और योको ओनो, जॉन लेनन की पत्नी हैं।

यदि आप उससे पूछें, "जॉन लेनन की पत्नी कौन है?" तो वह तुरंत उत्तर देती है।
यदि आप पूछें, "द बीटल्स में किसने संगीत बजाया था?" तो वह तुरंत उत्तर देती है।

लेकिन क्या होगा अगर आप एक पेचीदा सवाल पूछें: "उस व्यक्ति की पत्नी कौन है जिसने द बीटल्स में संगीत बजाया था?"

एक मानक AI अक्सर यहाँ संघर्ष करता है। यह ऐसा है जैसे लाइब्रेरियन से एक पहेली को एक ही पल की नज़र में हल करने के लिए कहा गया हो। वह तथ्यों को जान सकती है, लेकिन वह उन्हें बिना लिखे अपने दिमाग में आसानी से "चेन" (जोड़) नहीं कर पाती। वह सीधे उत्तर पर कूदने की कोशिश करती है, भ्रमित हो जाती है और असफल हो जाती है। इसे इम्प्लिसिट रीजनिंग (implicit reasoning) कहा जाता है: एक ही बार में, बिना अपना काम दिखाए, एक बहु-चरणीय समस्या को हल करना।

समाधान: "लूपिंग" मस्तिष्क

इस शोध पत्र के लेखकों ने पूछा: क्या होगा अगर हम लाइब्रेरियन को समस्या के बारे में कई बार सोचने का एक तरीका दे दें?

उन्होंने एक नया आर्किटेक्चर पेश किया जिसे रिकरेंट-डेप्थ ट्रांसफॉर्मर (Recurrent-Depth Transformer) कहा जाता है।

मानक AI: प्रश्न पढ़ता है, अपने दिमाग से एक बार गुजरता है, और उत्तर दे देता है।
नया AI (लूप वाला): प्रश्न पढ़ता है, अपने दिमाग से गुजरता है, फिर वापस लूप (loop back) करता है और उसी समान दिमाग से दोबारा गुजरता है, पहले दौर के परिणाम को दूसरे दौर के इनपुट के रूप में उपयोग करते हुए। यह 5, 10 या यहाँ तक कि 20 बार भी ऐसा कर सकता है।

इसे एक जासूस द्वारा रहस्य सुलझाने की तरह समझें:

पहला दौर: "ठीक है, संदिग्ध लाइब्रेरी में है।" (पहला तथ्य मिलता है)।
दूसरा दौर: "रुको, अगर वे लाइब्रेरी में हैं, तो लाइब्रेरियन कौन है?" (दूसरा तथ्य मिलता है)।
तीसरा दौर: "और अगर लाइब्रेरियन ही संदिग्ध की पत्नी है..." (कड़ियों को जोड़ता है)।

लूपिंग के माध्यम से, मॉडल एक छोटा कदम उठा सकता है, अपने काम की जाँच कर सकता है, और फिर दूसरा कदम उठा सकता है, प्रभावी रूप से तर्क की एक ऐसी श्रृंखला बना सकता है जो एक मानक मॉडल एक ही शॉट में नहीं बना सकता।

दो बड़ी जीत

लेखकों ने इस "लूपिंग" मस्तिष्क का परीक्षण दो कठिन चुनौतियों पर किया:

1. "नई संयोजन" परीक्षा (सिस्टमैटिक जनरलाइजेशन)

कल्पना कीजिए कि आपने एक बच्चे को केवल 1, 2 और 3 नंबरों का उपयोग करके गणित सिखाया। आपने उसे दिखाया कि $1+2=3$ और $2+3=5$ होता है।
फिर, आपने उससे पूछा: " $3+4$ कितना होता है?" (आपने उसे कभी '4' नहीं सिखाया था)।
एक मानक AI जम सकता है क्योंकि उसने गणित के किसी भी सवाल में "4" को पहले कभी नहीं देखा है।

लूपिंग AI ने जोड़ने (addition) का नियम समझ लिया। भले ही उसने प्रशिक्षण के दौरान गणित के सवाल में "4" को कभी नहीं देखा था, फिर भी वह अपने तर्क के माध्यम से लूप कर सका, सीखे गए नियम को लागू कर सका और नई समस्या को हल कर सका। उसने केवल उत्तरों को रटा नहीं; उसने सीखा कि अपने पास मौजूद ज्ञान को एक नए तरीके से कैसे जोड़ा जाए।

2. "गहराई की जांच" परीक्षा (डेप्थ एक्सट्रपलेशन)

कल्पना कीजिए कि आपने एक रोबोट को 5 सीढ़ियाँ चढ़ने के लिए प्रशिक्षित किया। फिर आपने उसे 20 सीढ़ियाँ चढ़ने के लिए कहा।
एक मानक रोबोट आमतौर पर गिर जाता है क्योंकि उसे केवल 5 के लिए प्रशिक्षित किया गया था। उसे आगे बढ़ते रहने का तरीका नहीं पता।

लूपिंग AI अलग है। यदि आप उसे कहते हैं, "20 कदम चलो," तो वह बस अपने दिमाग को 20 बार लूप करता है।

प्रशिक्षण: उसने 5 सीढ़ियाँ चढ़ना सीखा।
परीक्षण: वह अपने दिमाग को 20 बार लूप करता है।
परिणाम: वह सफलतापूर्वक 20 सीढ़ियाँ चढ़ जाता है।

मुख्य खोज यह है कि आपको रोबोट को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस परीक्षण के दौरान उसे अधिक देर तक "सोचने" (लूप करने) की अनुमति देनी है।

एक कमी: "ओवरथिंकिंग" (ज्यादा सोचना)

हालाँकि, इसमें एक मजेदार दोष भी है। शोध में "ओवरथिंकिंग" नामक एक घटना का पता चला।

एक छात्र की कल्पना करें जो परीक्षा दे रहा है।

बहुत कम सोचना: वह अनुमान लगाता है और गलत हो जाता है।
बिल्कुल सही: वह एक मिनट तक सोचता है, हल करता है, और सही उत्तर देता है।
बहुत ज्यादा सोचना: वह सवाल को एक घंटे तक घूरता रहता है, खुद पर संदेह करता है, अपना उत्तर पाँच बार बदलता है, और अंत में अपने ही विचारों से भ्रमित होकर गलत उत्तर चुन लेता है।

शोध में पाया गया कि यदि AI बहुत अधिक बार लूप करता है (उदाहरण के लिए, एक साधारण प्रश्न के लिए 50 बार), तो उसका आत्मविश्वास गिरने लगता है और वह गलतियाँ करने लगता है। यह एक ऐसे हैम्स्टर की तरह है जो पहिये पर इतनी तेज़ी से दौड़ रहा है कि वह चक्कर खाकर गिर जाता है। शोधकर्ताओं ने एक तरीका खोजा जिससे AI पर्याप्त आत्मविश्वास महसूस करने पर लूप को स्वचालित रूप से रोक सके, जिससे समय बचता है और त्रुटियां कम होती हैं।

"ग्रोकिंग" (Grokking) का क्षण

सबसे शानदार खोजों में से एक यह थी कि AI कैसे सीखता है। यह सुचारू रूप से नहीं सीखता। यह तीन चरणों से गुजरता है:

याद करना (Memorization): यह एक तोते की तरह केवल प्रशिक्षण प्रश्नों को रट लेता है। यह नए सवालों पर विफल हो जाता है।
"अहा!" वाला क्षण (Grokking): अचानक, लंबे समय तक विफल होने के बाद भी, इसमें कुछ क्लिक होता है। यह अंतर्निहित पैटर्न को समझ जाता है।
सामान्यीकरण (Generalization): अब यह किसी भी संस्करण को हल कर सकता है, भले ही उसने इसे पहले कभी न देखा हो।

यह एक ऐसे छात्र की तरह है जो महीनों तक गणित के लिए संघर्ष करता है, अचानक उसकी समझ विकसित होती है, और फिर वह उन समस्याओं को हल कर सकता है जिन्हें उसने पहले कभी नहीं देखा।

सारांश

समस्या: मानक AI तथ्य स्टोर करने में बेहतरीन हैं लेकिन उन्हें जटिल पहेलियों को हल करने के लिए एक साथ जोड़ने में कमजोर हैं।
समाधान: AI को एक ही प्रश्न पर अपने दिमाग को कई बार चलाने (लूप) की अनुमति दें।
परिणाम: AI जटिल, बहु-चरणीय पहेलियों को हल कर सकता है और उन सवालों को संभाल सकता है जिन्हें उसे स्पष्ट रूप से सिखाया नहीं गया था।
चेतावनी: इसे अनंत काल तक लूप न करने दें, अन्यथा यह "ओवरथिंक" करेगा और भ्रमित हो जाएगा।

यह शोध बताता है कि AI मॉडल को "लूप में सोचने" का तरीका देना उन्हें स्मार्ट, लचीला और तर्क करने में बेहतर बनाने का एक शक्तिशाली तरीका है, ठीक वैसे ही जैसे मनुष्य कठिन समस्याओं को हल करने के लिए पुनरावृत्ति (iterative) सोच का उपयोग करते हैं।

यहाँ शोध पत्र "Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) की एक मौलिक सीमा को संबोधित करता है: निहित तर्क (implicit reasoning) करने में असमर्थता (जो स्पष्ट 'चेन-ऑफ-थॉट' के बिना एक ही फॉरवर्ड पास के भीतर किया जाता है)। जबकि LLMs विशाल पैरामीट्रिक ज्ञान संग्रहीत करते हैं, वे नवीन मल्टी-हॉप रीजनिंग कार्यों को हल करने के लिए इस ज्ञान को संयोजित (compose) करने में संघर्ष करते हैं।

विशेष रूप से, लेखक दो महत्वपूर्ण सामान्यीकरण विफलताओं (generalization failures) की पहचान करते हैं जो मानक (वैनिला) ट्रांसफॉर्मर में देखी जाती हैं:

व्यवस्थित सामान्यीकरण (Systematic Generalization): ज्ञान के घटकों (तथ्यों/नियमों) को संयोजित करने में असमर्थता जिन्हें प्रशिक्षण के दौरान कभी एक साथ नहीं देखा गया था। उदाहरण के लिए, यदि एक मॉडल अलग-अलग $A \to B$ और $C \to D$ सीखता है, तो यह अक्सर $A \to D$ का अनुमान लगाने में विफल रहता है यदि पथ के लिए अनदेखी संयोजनों को जोड़ने की आवश्यकता हो।
डेप्थ एक्सट्रपलेशन (Depth Extrapolation): प्रशिक्षण के दौरान देखे गए तर्क की गहराई (hops की संख्या) से काफी अधिक गहराई वाले कार्यों पर सामान्यीकरण करने में असमर्थता (जैसे, 5-हॉप कार्यों पर प्रशिक्षित होना लेकिन 10-हॉप कार्यों पर विफल होना)।

लेखक का अनुमान है कि वैनिला ट्रांसफॉर्मर इसलिए विफल होते हैं क्योंकि ज्ञान विशिष्ट परतों (layers) में वितरित होता; गहरी परतें पैरामीटर शेयरिंग या पुनरावृत्ति प्रक्रिया के बिना उथली परतों में संग्रहीत तथ्यों तक पहुँचने में असमर्थ होती हैं।

2. कार्यप्रणाली (Methodology)

इन सीमाओं को संबोधित करने के लिए, लेखक रिकरेंट-डेप्थ ट्रांसफॉर्मर्स (जिन्हें लूप वाले ट्रांसफॉर्मर भी कहा जाता है) का प्रस्ताव और अध्ययन करते हैं।

मॉडल आर्किटेक्चर (Model Architecture)

मुख्य तंत्र (Core Mechanism): अद्वितीय परतों के एक गहरे ढेर के बजाय, मॉडल एक एकल ट्रांसफॉर्मर ब्लॉक (L परतों के साथ) का उपयोग करता है जिसे हिडन स्टेट पर पुनरावृत्त रूप से (iteratively) ( $R$ बार) लागू किया जाता है।
गणना (Computation): पुनरावृत्ति $r$ का आउटपुट पुनरावृत्ति $r+1$ के लिए इनपुट बनता है। यह मॉडल को पैरामीटर की संख्या बदले बिना इन्फरेंस (inference) के समय अधिक गणना (R बढ़ाकर) आवंटित करने की अनुमति देता है।
स्थिरीकरण (Stabilization): डीप अनरोलिंग में वेट शेयरिंग से होने वाली अस्थिरता को रोकने के लिए, लेखक अटेंशन और फीड-फॉरवर्ड ब्लॉक्स के आउटपुट प्रोजेक्शन मैट्रिसेस के लिए जीरो-इनिशियलाइजेशन (zero-initialization) का उपयोग करते हैं। यह सुनिश्चित करता है कि मॉडल एक आइडेंटिटी मैपिंग के रूप में शुरू होता है।
स्टॉपिंग रणनीतियाँ (Stopping Strategies):
- फिक्स्ड इटरेशन (Fixed Iteration): सभी इनपुट्स के लिए एक स्थिर संख्या में लूप्स ( $R$ )।
- डायनेमिक इटरेशन (Dynamic Iteration): परिवर्तनशील जटिलता का अनुकरण करने के लिए प्रति बैच पुनरावृत्ति की संख्या को सैंपल किया जाता है (जैसे, पॉइसन वितरण से)।
- एडेप्टिव हॉल्टिंग (Adaptive Halting): एक कस्टम स्टॉपिंग मानदंड जो KL-डाइवर्जेंस (आउटपुट की स्थिरता) और एन्ट्रॉपी (भविष्यवाणी का आत्मविश्वास) को जोड़ता है ताकि पुनरावृत्ति तभी रोकी जाए जब मॉडल स्थिर और आत्मविश्वासी दोनों हो।

कार्य संरचना (Task Formulation)

लेखक एक नॉलेज ग्राफ (KG) पर आधारित नियंत्रित सिंथेटिक कार्य का उपयोग करते हैं:

परमाणु तथ्य (Atomic Facts): एंटिटीज और संबंधों का प्रतिनिधित्व करने वाले ट्रिपलेट्स $(h, r, t)$ ।
k-hop इन्फरेंस: एक हेड $h$ और संबंधों के एक अनुक्रम के दिए जाने पर टेल एंटिटी $t$ की भविष्यवाणी करना।
सामान्यीकरण चुनौतियाँ:
- सिस्टमैटिक: उन संयोजनों पर परीक्षण जो प्रशिक्षण में कभी नहीं देखे गए (OOD)।
- डेप्थ एक्सट्रपलेशन: उन $k$ -हॉप कार्यों पर परीक्षण जहाँ $k > k_{train}$ है।
डेटासेट डिज़ाइन: मॉडल को "शॉर्टकट" सीखने (जहाँ मॉडल संबंध प्रत्यय के आधार पर अनुमान लगाता है) से रोकने के लिए, वे एक परम्यूटेशन-आधारित बाधा का उपयोग करते हैं जहाँ प्रत्येक संबंध एंटिटीज पर एक बायजेक्शन (bijection) के रूप में कार्य करता है, जिससे मॉडल को पूरी श्रृंखला को पार करने के लिए मजबूर किया जाता है।

3. प्रमुख योगदान और निष्कर्ष (Key Contributions & Findings)

A. "ग्रोकिंग" के माध्यम से व्यवस्थित सामान्यीकरण (Systematic Generalization via "Grokking")

वैनिला बनाम रिकरेंट: वैनिला ट्रांसफॉर्मर व्यवस्थित सामान्यीकरण (OOD 2-hop कार्यों) पर पूरी तरह विफल रहते हैं, चाहे प्रशिक्षण का समय कुछ भी हो। रिकरेंट-डेप्थ ट्रांसफॉर्मर सफल होते हैं।
तीन-चरणीय ग्रोकिंग प्रक्रिया: लेखक रिकरेंट मॉडल्स में एक विशिष्ट प्रशिक्षण गतिशीलता की पहचान करते हैं:
1. मेमोराइजेशन (Memorization): मॉडल प्रशिक्षण डेटा पर ओवरफिट होता है; केवल ट्रेनिंग एक्यूरेसी में सुधार होता है।
2. इन-डिस्ट्रीब्यूशन जनरलाइजेशन (In-Distribution Generalization): लंबे प्रशिक्षण के बाद, मॉडल देखे गए संयोजनों के लिए कंपोजिशनल नियम सीख जाता है (ग्रोकिंग घटना)।
3. सिस्टमैटिक जनरलाइजेशन (Systematic Generalization): इन-डिस्ट्रीब्यूशन कार्यों में महारत हासिल करने के बाद ही मॉडल अचानक अनदेखे (OOD) संयोजनों पर सामान्यीकरण करता है।
मैकेनिस्टिक विश्लेषण: लॉगिट लेंस (Logit Lens) का उपयोग करते हुए, वे दिखाते हैं कि चरण 1 में, मॉडल मध्यवर्ती "ब्रिज" एंटिटीज को डिकोड किए बिना अंतिम उत्तर की भविष्यवाणी करता है (रटे हुए ज्ञान के रूप में)। चरण 3 में, मॉडल मध्यवर्ती परतों में ब्रिज एंटिटीज को सही ढंग से डिकोड करता है, जो वास्तविक कंपोजिशनल रीजनिंग को दर्शाता है।

B. इन्फरेंस-टाइम स्केलिंग के माध्यम से डेप्थ एक्सट्रपलेशन (Depth Extrapolation via Inference-Time Scaling)

डेप्थ अनलॉक करना: रिकरेंट-डेप्थ मॉडल प्रशिक्षण से बहुत अधिक गहराई तक सामान्यीकरण कर सकते हैं (जैसे, 12-हॉप पर प्रशिक्षित होकर, 24-हॉप पर परीक्षण करना) यदि इन्फरेंस-टाइम पुनरावृत्ति ( $R_{inference}$ ) को बढ़ाया जाता है।
प्रशिक्षण रणनीति मायने रखती है:
- डायनेमिक रिकरेंस: समान अधिकतम इटरेशन बजट के बावजूद, परिवर्तनशील इटरेशन काउंट (डायनेमिक) के साथ प्रशिक्षण, फिक्स्ड रिकरेंस की तुलना में बेहतर एक्सट्रपलेशन प्रदान करता है।
- पूर्व शर्त: इन्फरेंस-टाइम स्केलिंग प्रभावी होने से पहले "नियम सीखने" के लिए पर्याप्त प्रशिक्षण-समय पुनरावृत्ति आवश्यक है।
"ओवरथिंकिंग" की सीमा: एक महत्वपूर्ण ट्रेड-ऑफ है। इन्फरेंस इटरेशन बढ़ाने से एक बिंदु तक प्रदर्शन में सुधार होता है, जिसके बाद प्रदर्शन गिर जाता है। इसे "ओवरथिंकिंग" कहा जाता है, जहाँ अत्यधिक पुनरावृत्ति मॉडल के आत्मविश्वास को कम कर देती है या उसे सही उत्तर से भटका देती है।
- अवलोकन: जैसे-जैसे इटरेशन बढ़ते हैं, लॉगिट मार्जिन (कॉन्फिडेंस) चरम पर पहुँचता है और फिर घट जाता है।
- न्यूनीकरण (Mitigation): प्रस्तावित एडेप्टिव हॉल्टिंग (KL-डाइवर्जेंस और एन्ट्रॉपी का उपयोग करके) ओवरथिंकिंग होने से पहले पुनरावृत्ति को प्रभावी ढंग से रोक देता है, जिससे कंप्यूट को कार्य की जटिलता के अनुपात में आवंटित किया जा सकता है।

4. परिणाम सारांश (Results Summary)

सिस्टमैटिक जनरलाइजेशन: रिकरेंट मॉडल (जैसे, $R=4$ ) OOD 2-हॉप कार्यों पर लगभग पूर्ण सटीकता प्राप्त करते हैं, जबकि वैनिला ट्रांसफॉर्मर ( $R=1$ ) चांस लेवल (chance level) पर रहते हैं।
डेप्थ एक्सट्रपलेशन:
- 12-हॉप कार्यों तक प्रशिक्षित मॉडल ने सफलतापूर्वक 24-हॉप कार्यों को तब सामान्यीकृत किया जब इन्फरेंस इटरेशन बढ़ाए गए।
- डायनेमिक प्रशिक्षण रणनीतियों ने फिक्स्ड रणनीतियों की तुलना में उच्चतम एक्सट्रपलेशन सीमा (22-हॉप तक) प्राप्त की।
दक्षता (Efficiency): एडेप्टिव हॉल्टिंग ने जटिल कार्यों के लिए आवश्यक औसत इटरेशन की संख्या को कम कर दिया, जिससे सिद्ध हुआ कि कंप्यूट को कठिनाई के आधार पर गतिशील रूप से आवंटित किया जा सकता है।

5. महत्व (Significance)

आर्किटेक्चरल अंतर्दृष्टि: यह शोध पत्र प्रदर्शित करता है कि वेट शेयरिंग वाया रिकरेंस कंपोजिशनल रीजनिंग के लिए एक शक्तिशाली इंडक्टिव बायस है, जो मॉडल्स को मानक ट्रांसफॉर्मर की "लेयर-डेप्थ" बाधा को पार करने की अनुमति देता है।
प्रशिक्षण गतिशीलता: यह रीजनिंग के संदर्भ में "ग्रोकिंग" के लिए एक मैकेनिस्टिक स्पष्टीकरण प्रदान करता है, यह दिखाता है कि व्यवस्थित सामान्यीकरण, मेमोराइजेशन और नियम खोज के बाद एक देर से उभरने वाला गुण (late-stage emergent property) है।
इन्फरेंस-टाइम कंप्यूट: यह इस परिकल्पना की पुष्टि करता है कि इन्फरेंस के समय कंप्यूट को स्केल करना (रिकरेंस के माध्यम से) उन क्षमताओं को अनलॉक कर सकता है जो प्रशिक्षण के समय मौजूद नहीं थीं, बशर्ते मॉडल को उपयुक्त रणनीतियों (डायनेमिक रिकरेंस) और स्टॉपिंग मैकेनिज्म (एडेप्टिव हॉल्टिंग) के साथ प्रशिक्षित किया गया हो।
पहचानी गई सीमाएँ: "ओवरथिंकिंग" की खोज यह उजागर करती है कि अधिक कंप्यूट हमेशा बेहतर नहीं होता; अनबाउंडेड रिकरेंस प्रदर्शन को खराब कर सकता है, जिसके लिए बुद्धिमान स्टॉपिंग मानदंडों की आवश्यकता होती है।

निष्कर्षतः, यह शोध पत्र रिकरेंट-डेप्थ ट्रांसफॉर्मर्स को इमप्लिसिट रीजनिंग के लिए एक आशाजनक आर्किटेक्चर के रूप में स्थापित करता है, जो कंपोजिशनल जनरलाइजेशन और डेप्थ एक्सट्रपलेशन का मार्ग प्रशस्त करता है जिसे वैनिला ट्रांसफॉर्मर प्राप्त नहीं कर सकते, बशर्ते विशिष्ट प्रशिक्षण और इन्फरेंस रणनीतियों का उपयोग किया जाए।