🤖 AI

Turbo Connection: Reasoning as Information Flow from Higher to Lower Layers

यह शोध पत्र टर्बो कनेक्शन (TurboConn) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो उच्च से निम्न परतों तक कई रेसिडुअल कनेक्शनों को रूट करके प्री-ट्रेंड LLMs की तर्क क्षमताओं को बढ़ाता है, जिससे फिक्स्ड-डेप्थ कंप्यूटेशनल बाधाओं को दूर किया जा सके और पूर्ण मॉडल रिट्रेनिंग की आवश्यकता के बिना जटिल मल्टी-स्टेप कार्यों पर सटीकता में उल्लेखनीय सुधार किया जा सके।

मूल लेखक: Mohan Tang, Sidi Lu

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohan Tang, Sidi Lu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई गणित की समस्या या तर्क वाली पहेली। आमतौर पर, आप इसे चरण-दर-चरण करते हैं: आप चरण एक के बारे में सोचते हैं, उसे लिखते हैं, उस उत्तर का उपयोग चरण दो को समझने के लिए करते हैं, और इसी तरह। इस तरह मनुष्य तर्क करते हैं। लेकिन लंबे समय तक, बड़े कंप्यूटर दिमाग जिन्हें "ट्रांसफॉर्मर" (AI चैटबॉट्स के पीछे के इंजन) कहा जाता है, इस काम में थोड़े अनाड़ी रहे हैं। वे एक सुपर-फास्ट फैक्ट्री असेंबली लाइन की तरह हैं जहाँ हर कर्मचारी (एक "लेयर") अगले कर्मचारी को एक पैकेज सौंपता है, लेकिन एक बार जब पैकेज किसी कर्मचारी के हाथों से निकल जाता है, तो वह कभी वापस नहीं जा सकता।

यह एक समस्या पैदा करता है: "सोचने का रास्ता" एक निश्चित लंबाई तक ही सीमित है। पहेली चाहे कितनी भी लंबी क्यों न हो, कंप्यूटर को उत्तर देने से पहले केवल कुछ तय चरणों तक ही रुकना पड़ता है। यह एक ऐसी सीढ़ी चढ़ने जैसा है जो अचानक हवा में ही रुक जाती है, चाहे आपको कितनी भी ऊँचाई तक जाना क्यों हो।

"टर्बो कनेक्शन" का समाधान

इस पेपर के लेखक, मोहन तंग और सिदी लू ने इस सीढ़ी में हेरफेर करने का फैसला किया। उन्होंने एक नया आर्किटेक्चर पेश किया जिसे टर्बो कनेक्शन (TurboConn) कहा जाता है।

यहाँ जादू का नुस्खा है: जानकारी को मॉडल के नीचे से ऊपर की ओर आगे बढ़ाने के बजाय, उन्होंने "नीचे की ओर जाने वाले लिफ्ट" (downward elevators) जोड़ दिए। जब कंप्यूटर पहेली के अगले हिस्से (टोकन $t+1$ ) पर काम कर रहा होता है, तो वह पिछले हिस्से (टोकन $t$ ) के बारे में उच्च-स्तरीय सोच का एक हिस्सा वापस जाकर ले सकता है, जिसे बहुत ऊपर की परतों में प्रोसेस किया गया था।

इसे एक रिले रेस की तरह समझें जहाँ आगे चल रहा धावक केवल बैटन अगले व्यक्ति को नहीं सौंपता; बल्कि वह अगले धावक को अपनी सर्वश्रेष्ठ रणनीति के साथ एक "चीट शीट" भी नीचे फेंकता है। यह कंप्यूटर की "प्रभावी गहराई" (वह कितने चरणों तक वास्तव में सोच सकता है) को पहेली जितनी ही लंबी होने की अनुमति देता है। यदि पहेली लंबी होती है, तो सोचने का रास्ता भी लंबा हो जाता है।

उन्होंने क्या नहीं किया (और यह क्यों महत्वपूर्ण है)

आप सोच सकते हैं, "ठीक है, तो उन्होंने बस कंप्यूटर को एक ही टोकन पर बार-बार लूप चलाकर अधिक सोचने के लिए बनाया।" लेकिन पेपर स्पष्ट रूप से उस दृष्टिकोण के खिलाफ तर्क देता है।

कुछ अन्य तरीके एक एकल टोकन को "सोचने" के लिए परतों को बार-बार चलाने की कोशिश करते हैं (जैसे कि एक यूनिवर्सल ट्रांसफॉर्मर)। लेखक कहते हैं कि यह बहुत धीमा और महंगा है। यह एक ही पन्ने को बार-बार पढ़ने से पहले पूरी किताब को हल करने के लिए एक व्यक्ति से पूछने जैसा है। इसमें बहुत समय लगता है और आपकी सारी ऊर्जा खत्म हो जाती है।

TurboConn अलग है। यह कंप्यूटर को एक ही पन्ने को दोबारा पढ़ने के लिए मजबूर नहीं करता है। इसके बजाय, यह कंप्यूटर को पिछले पन्ने की उच्च-स्तरीय अंतर्दृष्टि का उपयोग करने की अनुमति देता है ताकि वह वर्तमान पन्ने को प्रोसेस करने में मदद कर सके। यह एक ही टोकन पर परतों को बार-बार चलाने के भारी समय दंड (time penalty) के बिना अधिक गहराई प्राप्त करने का एक चतुर तरीका है।

परिणाम: मस्तिष्क की गति बढ़ाना

टीम ने कुछ कठिन तर्क कार्यों पर इसका परीक्षण किया, जैसे:

पैरिटी (Parity): संख्याओं की एक लंबी स्ट्रिंग में 1 की संख्या विषम है या सम, इसकी गिनती करना।
बहु-चरणीय अंकगणित (Multi-step Arithmetic): कई चरणों वाली गणितीय समस्याओं को हल करना।
GSM8K: ग्रेड-स्कूल की गणित संबंधी शब्द समस्याएं।

उन्होंने मौजूदा, प्री-ट्रेन्ड मॉडल्स (जैसे Llama 3 और Qwen 3) को लिया और बस इनमें ये "डाउनवर्ड एलीवेटर्स" जोड़ दिए। उन्हें इसे शुरू से फिर से ट्रेन करने की आवश्यकता नहीं पड़ी।

परिणाम आश्चर्यजनक रूप से मजबूत थे:

पैरिटी कार्य पर, एक छोटा 1.7 बिलियन-पैरामीटर वाला मॉडल (Qwen-3-1.7B) आमतौर पर 53.78% सटीकता पर अटक जाता है। लेकिन TurboConn के साथ, इसने 100% हासिल किया। यह विफल होने से लेकर पूर्णता तक का एक विशाल उछाल है।
बहु-चरणीय अंकगणित पर, उन्होंने विभिन्न मॉडल्स में 0.9% से लेकर 10% से अधिक की सटीकता वृद्धि देखी।
यहाँ तक कि TurboConn के साथ एक छोटा 1 बिलियन-पैरामीटर वाला मॉडल भी पैरिटी कार्य पर बिना इसके 8 बिलियन-पैरामीटर वाले बड़े मॉडल को हरा देता है। यह सुझाव देता है कि कभी-कभी मॉडल को बड़ा बनाने से ज्यादा महत्वपूर्ण बेहतर "सूचना प्रवाह" (information flow) होता है।

ट्रेड-ऑफ: थोड़ा धीमा, लेकिन स्मार्ट

क्या इसमें कोई कमी है? खैर, हाँ। क्योंकि कंप्यूटर को पिछले चरण को समाप्त करने के लिए प्रतीक्षा करनी पड़ती है ताकि वह ऊपर से "चीट शीट" ले सके, इसलिए वह सामान्य कंप्यूटर की तरह पूरे वाक्य को एक साथ प्रोसेस नहीं कर सकता है। इसे समूहों में करना होगा।

पेपर ने इसे सावधानीपूर्वक मापा। यदि उन्होंने टोकन को 4 के समूहों में प्रोसेस किया, तो पैरिटी कार्य के लिए प्रशिक्षण समय लगभग 4.87 गुना बढ़ गया। लेकिन यदि उन्होंने बड़े समूहों (जैसे 16) का उपयोग किया, तो समय केवल 1.36 गुना ही बढ़ा, जबकि मॉडल को बहुत अधिक गहरी "सोचने की राह" भी मिली।

महत्वपूर्ण रूप से, एक बार जब मॉडल प्रशिक्षित हो जाता है और आप उससे उत्तर उत्पन्न करने के लिए कहते हैं (जैसे कहानी लिखना या समस्या हल करना), तो जनरेशन की गति खुद धीमी नहीं होती क्योंकि यह वैसे भी एक-एक करके टोकन प्रोसेस करता है। हालाँकि, "प्रीफिल" (prefill) चरण के दौरान एक कमी है (जब मॉडल उत्तर बनाना शुरू करने से पहले पूरे प्रॉम्प्ट को पढ़ता है)। डाउनवर्ड कनेक्शन के कारण, मॉडल को प्रॉम्प्ट को एक साथ पढ़ने के बजाय समूहों में क्रमिक रूप से प्रोसेस करना होता है, जो लंबे इनपुट के लिए एक लेटेंसी बाधा (latency bottleneck) पैदा कर सकता है।

"अहा!" क्षण (The "Aha!" Moment)

सबसे रोमांचक बात केवल स्कोर नहीं है; बल्कि यह है कि मॉडल कैसे सोचता है। लेखकों ने पाया कि TurboConn मॉडल्स "विभेदक फ़िल्टरिंग" (discriminative filtering) में बेहतर हो गए। इसका मतलब है कि वे गलत उत्तरों को आत्मविश्वास के साथ खारिज करने में बहुत अच्छे हो गए।

उदाहरण के लिए, एक गणित की समस्या पर, एक सामान्य मॉडल कुछ नंबरों के बीच अनुमान लगा सकता है। हालाँकि, TurboConn मॉडल ऐसा लग रहा था जैसे वह "जानता" हो कि कौन से नंबर असंभव हैं और उसने उन्हें अपने दिमाग से हटा दिया, जिससे केवल सही उत्तर ही बचा। यह सुझाव देता है कि मॉडल केवल अनुमान नहीं लगा रहा है; वह वास्तव में एक अधिक मजबूत आंतरिक तर्क बना रहा है।

संक्षेप में, पेपर बताता है कि AI जटिल तर्क करने में संघर्ष क्यों करता है—इसका कारण केवल यह नहीं है कि इसे अधिक डेटा या अधिक पैरामीटर्स की आवश्यकता है। यह इसलिए है क्योंकि इसकी "सोचने की सीढ़ी" बहुत छोटी है। इन कुछ डाउनवर्ड कनेक्शनों को जोड़कर, उन्होंने दिखाया कि आप इन मॉडल्स को बिना किसी विशाल नए कंप्यूटर को बनाए, काफी स्मार्ट, तेज़ और अधिक सटीक बना सकते हैं।

तकनीकी सारांश: टर्बो कनेक्शन (Turbo Connection): उच्च से निम्न परतों की ओर सूचना प्रवाह के रूप में तर्क (Reasoning)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मानक ट्रांसफॉर्मर-आधारित लार्ज लैंग्वेज मॉडल्स (LLMs) में एक मौलिक सीमा को संबोधित करता है: उनकी तर्क शक्ति (reasoning power) गणना की एक निश्चित अधिकतम गहराई (fixed maximum depth) द्वारा बाधित होती है। मानक आर्किटेक्चर में, सूचना का प्रवाह सख्ती से निचले से उच्च स्तर की परतों की ओर होता है, जिसका अर्थ है कि किसी भी कंप्यूटेशनल पाथ (computational path) की अधिकतम लंबाई मॉडल की परतों की निश्चित संख्या ( $L$ ) द्वारा सीमित होती है, चाहे इनपुट सीक्वेंस की लंबाई कुछ भी हो।

लेखकों का तर्क है कि यह निश्चित-गहराई (fixed-depth) का प्रतिबंध मॉडल की अनुक्रमिक समस्याओं (जैसे, बहु-चरणीय अंकगणित, तर्क पहेलियाँ) को हल करने की क्षमता को सीमित करता है, जिनमें इनपुट आकार के साथ कंप्यूटेशनल पाथ की लंबाई का स्केल होना आवश्यक है। जबकि मौजूदा समाधान जैसे चेन-ऑफ-थॉट (CoT) प्रॉम्पटिंग या "लूप वाले" (looped) ट्रांसफॉर्मर्स प्रभावी गहराई को बढ़ाने का प्रयास करते हैं, वे अक्सर महत्वपूर्ण कंप्यूटेशनल लागत डालते हैं, उनके लिए विशेष प्रशिक्षण डेटा की आवश्यकता होती है, या इन्फरेंस लेटेंसी और मेमोरी उपयोग में वृद्धि के कारण स्केलेबिलिटी संबंधी समस्याओं से जूझते हैं।

2. कार्यप्रणाली: टर्बो कनेक्शन (TurboConn)

लेखक टर्बो कनेक्शन (TurboConn) का प्रस्ताव करते हैं, जो एक नवीन आर्किटेक्चरल संशोधन है जो टोकन $t$ की उच्च परतों से सूचना को अगले टोकन $t+1$ की निचली परतों में रूट करता है। यह डिज़ाइन "डाउनवर्ड कनेक्शंस" (downward connections) बनाता है जो प्रभावी तर्क गहराई (effective reasoning depth) को इनपुट लंबाई के साथ रैखिक रूप से (linearly) स्केल करने की अनुमति देता है, न कि स्थिर रहने देता है।

मुख्य आर्किटेक्चर (Core Architecture)

क्रॉस-टोकन, टॉप-डाउन फ्लो: मानक रेसिडुअल कनेक्शंस (जो एक टोकन के भीतर वर्टिकल होते हैं) या सेल्फ-कनेक्शन (जो चक्रीय निर्भरता पैदा करेंगे) के विपरीत, TurboConn टोकन $t$ की एक उच्च परत $s$ के हिडन स्टेट को टोकन $t+1$ की एक निचली परत $l$ से जोड़ता है।
गणितीय सूत्रीकरण (Mathematical Formulation): टोकन $i$ के लिए परत $l$ पर हिडन स्टेट $h^{(i)}_l$ को इस प्रकार संशोधित किया जाता है:
$h^{(i)}_l = \text{LayerBlock}_l(h^{(i)}_{l-1}; \dots) + \alpha \cdot \mathcal{D}(h^{(i-1)}_s)$
जहाँ $\mathcal{D}(\cdot)$ एक सीखने योग्य लीनियर प्रोजेक्शन (जिसे शून्य के रूप में इनिशियलाइज़ किया गया है) है और $\alpha$ कनेक्शन स्ट्रेंथ को स्केल करने वाला एक मल्टीप्लायर है।
कारणता का संरक्षण (Causality Preservation): $t \to t+1$ को जोड़कर, यह आर्किटेक्चर चक्रीय निर्भरताओं (circular dependencies) से बचता है, जिससे मॉडल प्रत्येक टोकन के लिए कई फॉरवर्ड पास की आवश्यकता के बिना टोकन को क्रमिक रूप से प्रोसेस कर सकता है।

ग्रुपिंग रणनीति (Grouping Strategy)

पूर्ण समानांतरता (parallelism) के नुकसान को कम करने के लिए, लेखक एक ग्रुपिंग मैकेनिज्म पेश करते हैं। टोकनों को $g$ आकार के समूहों में प्रोसेस किया जाता है। एक समूह के भीतर, गणनाएँ समानांतर रहती हैं, लेकिन डाउनवर्ड कनेक्शन पिछले समूह से लागू किए जाते हैं। यह तर्क गहराई को प्रशिक्षण दक्षता के साथ संतुलित करते हुए, अनुक्रमिक गहराई को $k$ (सीक्वेंस लेंथ) से घटाकर $k/g$ कर देता है।

प्रशिक्षण और अनुकूलता (Training and Compatibility)

फाइन-ट्यूनिंग: यह विधि प्री-ट्रेंड LLMs में फाइन-ट्यूनिंग के माध्यम से एकीकृत होने के लिए डिज़ाइन की गई है। इसके लिए मानक लॉस फंक्शन या प्री-ट्रेनिंग उद्देश्यों में किसी बदलाव की आवश्यकता नहीं है।
पैरामीटर दक्षता: डाउनवर्ड कनेक्शंस को लो-रैंक लीनियर मैप्स (LoRA) का उपयोग करके लागू किया गया है, जिससे यह सुनिश्चित होता है कि प्रशिक्षित पैरामीटर्स की संख्या मानक बेसलाइन्स के तुलनीय बनी रहे।
इन्फरेंस: ऑटोरेग्रेसिव जनरेशन के दौरान, यह विधि नगण्य लेटेंसी पेश करती है क्योंकि बैकवर्ड कनेक्शन मॉडल के सिंगल फॉरवर्ड पास में ही एकीकृत होते हैं, जैसा कि यूनिवर्सल ट्रांसफॉर्मर्स में होता है जहाँ प्रत्येक टोकन के लिए $D$ रिकर्सिव पास की आवश्यकता होती है।

3. प्रमुख योगदान (Key Contributions)

नवीन आर्किटेक्चर: TurboConn का परिचय, जो टोकन $t$ से टोकन $t+1$ की निचली परतों में उच्च-स्तरीय सूचना को रूट करके LLMs की प्रभावी तर्क गहराई को सीक्वेंस लेंथ के साथ रैखिक रूप से बढ़ाता है।
दक्षता: यह विधि ऑटोरेग्रेसिव जनरेशन के दौरान GPU मेमोरी खपत या इन्फरेंस-टाइम लेटेंसी को महत्वपूर्ण रूप से बढ़ाए बिना ये लाभ प्राप्त करती है।
डेंस बनाम स्पार्स (Dense vs. Sparse): शोध पत्र प्रदर्शित करता है कि इन कनेक्शनों का घनत्व (density) महत्वपूर्ण है। डेंस इंटरैक्शन (कई हिडन स्टेट्स को पास करना) उन "स्पार्स" विकल्पों की तुलना में काफी बेहतर प्रदर्शन करते हैं जो केवल एक वेक्टर या सॉफ्ट-टोकन डिस्ट्रीब्यूशन को पास करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): यह दृष्टिकोण प्री-ट्रेंड मॉडल्स को बिना स्क्रैच से रिट्रेनिंग या जटिल करिकुलम लर्निंग के, कार्य-विशिष्ट प्रदर्शन प्लेटो (performance plateaus) को पार करने में सक्षम बनाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन तर्क-गहन बेंचमार्क: Parity, Multi-step Arithmetic, और GSM8K (बिना CoT के) पर Llama 3 (1B और 8B) और Qwen 3 (1.7B) मॉडल्स पर TurboConn का मूल्यांकन किया।

सटीकता में सुधार (Accuracy Gains): TurboConn ने विभिन्न मॉडल्स और कार्यों में 0.9% से लेकर 10% से अधिक तक सटीकता में सुधार दिखाया।
- उल्लेखनीय रूप से, एक फाइन-ट्यून्ड Qwen-3-1.7B मॉडल ने Parity कार्य पर केवल 53.78% प्राप्त किया, लेकिन TurboConn के साथ, इसने 100% सटीकता प्राप्त की।
- Parity कार्य पर, TurboConn के साथ 1B मॉडल ने बिना कनेक्शन वाले 8B बेसलाइन को भी पीछे छोड़ दिया, जो बताता है कि बेहतर सूचना प्रवाह (information flow) केवल पैरामीटर्स को स्केल करने से अधिक प्रभावी हो सकता है।
लंबाई सामान्यीकरण (Length Generalization): उन प्रयोगों में जहाँ मॉडल्स को छोटी सीक्वेंस (लंबाई $\le$ 10) पर प्रशिक्षित किया गया था और लंबी सीक्वेंस पर टेस्ट किया गया था, TurboConn मॉडल्स ने लंबाई 30 तक पूर्ण सटीकता बनाए रखी, जबकि मानक ट्रांसफॉर्मर्स और "सॉफ्ट-टोकन" बेसलाइन्स विफल रहे, जो दर्शाता है कि TurboConn अधिक मजबूत एल्गोरिदम सीखता है।
भेदभावपूर्ण फ़िल्टरिंग (Discriminative Filtering): TurboConn मॉडल्स ने आउटपुट डिस्ट्रीब्यूशन से गलत उम्मीदवारों को हटाने की उन्नत क्षमता प्रदर्शित की (उदाहरण के लिए, अंकगणित में गलत अंकों के लिए लगभग शून्य संभावना देना), एक ऐसी क्षमता जिसे केवल पैरामीटर स्केलिंग से पूरी तरह से नहीं पकड़ा जा सकता है।
CoT के साथ तालमेल: स्पष्ट चेन-ऑफ-थॉट (CoT) रीजनिंग के साथ मिलकर, TurboConn एक त्रुटि-सुधार तंत्र (error-correction mechanism) के रूप में कार्य करता है, जो मॉडल की अपूर्ण तर्क श्रृंखलाओं से सही अंतिम उत्तर निकालने की क्षमता में सुधार करता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र यह दावा करता है कि कंप्यूटेशनल पाथ की गहराई LLMs की तर्क क्षमता में एक प्रमुख सीमित कारक है।

निश्चित-गहराई बाधाओं को तोड़ना: यह कार्य इस धारणा को चुनौती देता है कि तर्क केवल कुल कंप्यूटेशन वॉल्यूम का मामला है। इसके बजाय, यह तर्क देता है कि सूचना प्रवाह की संरचना (विशेष रूप से, इनपुट लंबाई के साथ कंप्यूटेशनल पाथ को रैखिक रूप से विस्तारित करने की क्षमता) क्रमिक समस्याओं को हल करने के लिए महत्वपूर्ण है।
आर्किटेक्चरल शिफ्ट: लेखक सुझाव देते हैं कि मानक ट्रांसफॉर्मर्स की निश्चित कंप्यूटेशनल गहराई, समानांतर प्रशिक्षण प्रतिमानों (parallel training paradigms) का एक आवश्यक परिणाम है। TurboConn एक ऐसा तंत्र प्रदान करता है जो विशुद्ध रूप से समानांतर डिजाइनों से आगे जाने, अधिक गहरी तर्क क्षमताओं को अनलॉक करने के लिए क्रमिक या गैर-समानांतर प्रशिक्षण प्रतिमानों को खोजने की अनुमति देता है।
व्यावहारिक व्यवहार्यता: इस पद्धति को एक व्यावहारिक समाधान के रूप में प्रस्तुत किया गया है जो रिकर्सिव डेप्थ (जैसे यूनिवर्सल ट्रांसफॉर्मर्स) की अत्यधिक लागत या CoT ट्रेनिंग की डेटा आवश्यकताओं के बिना तर्क क्षमता को बढ़ाता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका वर्तमान कार्य फाइन-ट्यूनिंग पर केंद्रित है, यह आर्किटेक्चर अधिक मौलिक, सामान्य-उद्देश्यीय तर्क कौशल को बढ़ावा देने के लिए प्री-ट्रेनिंग चरण में एकीकरण की क्षमता रखता है।