🤖 machine learning

INCRT: An Incremental Transformer That Determines Its Own Architecture

यह शोध पत्र INCRT को प्रस्तुत करता है, जो एक वृद्धिशील (incremental) ट्रांसफॉर्मर आर्किटेक्चर है जो कार्य आवश्यकताओं के ज्यामितीय माप के आधार पर अटेंशन हेड्स को गतिशील रूप से जोड़कर और हटाकर (pruning) प्रशिक्षण के दौरान स्वायत्त रूप से अपनी इष्टतम संरचना निर्धारित करता है, जिससे न्यूनतम, पर्याप्त मॉडल प्राप्त होते हैं जो बिना किसी प्री-ट्रेनिंग के BERT-base प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करते हैं और जिनमें काफी कम पैरामीटर्स होते हैं।

मूल लेखक: Giansalvo Cirrincione

प्रकाशित 2026-04-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Giansalvo Cirrincione

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने के लिए जासूसों की एक टीम बना रहे हैं।

पुराना तरीका (स्टैंडर्ड ट्रांसफॉर्मर जैसे BERT):
पारंपरिक रूप से, जब हम एक AI बनाते हैं, तो हम अनुमान लगाते हैं कि हमें कितने जासूसों की आवश्यकता होगी। हम कहते हैं, "चलिए 12 जासूसों की 12 टीमें भर्ती करते हैं!" हम उन्हें अपराध स्थल देखने से पहले ही भर्ती कर लेते हैं।

समस्या: एक बार जांच शुरू होने के बाद, हमें एहसास होता है कि उन जासूसों में से 80% बस खाली बैठे हैं और कुछ नहीं कर रहे हैं। इस विशिष्ट अपराध के लिए उनकी आवश्यकता नहीं है। हमें उन्हें बाद में निकालना पड़ता है (जिसे "प्रूनिंग" कहा जाता है), लेकिन तब तक हमने बहुत सारा पैसा और समय उन लोगों को प्रशिक्षित करने में बर्बाद कर दिया है जो कभी उपयोगी होने वाले ही नहीं थे। यह एक पिज्जा डिलीवर करने के लिए 100 ट्रकों का बेड़ा खरीदने जैसा है।

नया तरीका (INCRT):
यह पेपर INCRT (इन्क्रीमेंटल ट्रांसफॉर्मर) पेश करता है, जो एक ऐसी जासूसी एजेंसी की तरह है जो जासूसों को एक-एक करके, केवल तभी भर्ती करती है जब वास्तव में आवश्यक हो।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "एनर्जी मीटर" (ज्यामितिक मात्रा)

अनुमान लगाने के बजाय, INCRT के पास रहस्य से जुड़ा एक विशेष "एनर्जी मीटर" होता है।

कल्पना कीजिए कि रहस्य में अदृश्य "दिशाएं" या "सुराग" हैं जिन्हें पकड़ने की आवश्यकता है।
शुरुआत में, AI के पास केवल एक जासूस होता है। वह सुरागों को देखता है। यदि जासूस "ऊर्जा" (महत्वपूर्ण दिशात्मक सुरागों) का एक बड़ा हिस्सा चूक जाता है, तो मीटर चिल्लाता है, "हमें और मदद की जरूरत है!"
यदि जासूस सब कुछ पकड़ लेता है, तो मीटर शांत रहता है।

2. भर्ती करना और निकालना (विकास और प्रूनिंग)

भर्ती करना: जैसे ही मीटर एक छूटे हुए सुराग का पता लगाता है, INCRT तुरंत एक नया जासूस भर्ती करता है जिसे विशेष रूप से उस सटीक छूटे हुए सुराग को पकड़ने के लिए प्रशिक्षित किया गया है। यह एक पूरी नई टीम को भर्ती नहीं करता है; केवल उस एक व्यक्ति को भर्ती करता है जिसकी आवश्यकता है।
निकालना: कभी-कभी, एक जासूस अनावश्यक हो सकता है। शायद दो जासूस एक ही सुराग को पकड़ रहे हैं। सिस्टम इसे तुरंत नोटिस करता है और डुप्लिकेट को निकाल देता है।
परिणाम: टीम का आकार गतिशील रूप से बढ़ता और घटता है जब तक कि वह "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) तक नहीं पहुँच जाता: अपराध सुलझाने के लिए पर्याप्त बड़ा, लेकिन कुशल होने के लिए पर्याप्त छोटा। कोई बर्बाद जासूस नहीं।

3. "सेल्फ-ड्राइविंग" आर्किटेक्चर

सामान्य AI में, आपको मैन्युअल रूप से एक "स्टॉप बटन" सेट करना होता है (जैसे, "100 राउंड के बाद प्रशिक्षण रोकें")।

INCRT के पास एक आंतरिक दिशा-सूचक यंत्र (compass) है। यह भर्ती करना तब रोकता है जब "एनर्जी मीटर" शून्य पढ़ता है (इसका मतलब है कि सभी सुराग पकड़ लिए गए हैं)। यह जानता है कि इसे कब रुकना है क्योंकि गणित साबित करता है कि इसने पर्याप्त काम कर लिया है। इसे यह सुनने की ज़रूरत नहीं है कि "ठीक है, अब काफी है।"

4. "मैजिक फॉर्मूला" (प्रमेय/Theorems)

लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने इसे गणित से सिद्ध किया है।

थ्योरम 1 (होमियोस्टैटिक बैलेंस): उन्होंने सिद्ध किया कि सिस्टम कभी भी भर्ती करने और निकालने के अंतहीन लूप में नहीं फंसेगा। यह हमेशा एक स्थिर, आदर्श आकार खोज लेगा और रुक जाएगा।
थ्योरम 2 (भविष्यवाणी): उन्होंने एक फॉर्मूला खोजा जो बिल्कुल भविष्यवाणी करता है कि आपको कितने जासूसों की आवश्यकता होगी, यह इस बात पर निर्भर करता है कि रहस्य कितना "जटिल" है।
- उपमा: यदि रहस्य एक सरल "कुकी किसने चुराई?" (कम जटिलता) है, तो फॉर्मूला भविष्यवाणी करता है कि आपको 2 जासूसों की आवश्यकता है। यदि यह "राजसी गहने किसने चुराए?" (उच्च जटिलता) है, तो यह 150 की भविष्यवाणी करता है।
- शानदार बात: जब उन्होंने इसका परीक्षण किया, तो फॉर्मूला लगभग 100% सटीक था। AI को ठीक उतने ही जासूसों की आवश्यकता थी जितने कि गणित ने भविष्यवाणी की थी।

5. वास्तविक दुनिया के परिणाम

शोधकर्ताओं ने दो बहुत अलग कार्यों पर इसका परीक्षण किया:

वायरस वर्गीकरण: SARS-CoV-2 के विभिन्न स्ट्रेन की पहचान करना।
- परिणाम: INCRT ने प्रसिद्ध BERT मॉडल की तुलना में 7 गुना कम पैरामीटर्स (जासूसों) के साथ इसे हल किया, और यह वास्तव में अधिक सटीक था। इसे बुनियादी बातें सीखने के लिए लाखों किताबें (प्री-ट्रेनिंग) पढ़ने की आवश्यकता नहीं थी; इसने बस वही सीखा जिसकी उसे वायरस के लिए आवश्यकता थी।
सेंटिमेंट एनालिसिस (भावना विश्लेषण): यह निर्धारित करना कि मूवी रिव्यू सकारात्मक है या नकारात्मक।
- परिणाम: फिर से, इसने मानक मॉडलों की तुलना में बहुत कम संसाधनों का उपयोग किया और सर्वोत्तम संभव स्कोर के बहुत करीब पहुँच गया।

मुख्य निष्कर्ष

मानक AI मॉडल को "ओवर-पैकर्स" के रूप में सोचें। वे एक सूटकेस में 50 शर्ट पैक कर लेते हैं ताकि यदि उन्हें एक की आवश्यकता हो, तो उनके पास हो, भले ही उन्हें सप्ताहांत की यात्रा के लिए केवल एक की आवश्यकता हो।

INCRT एक स्मार्ट यात्री है। यह मौसम के पूर्वानुमान (कार्य) को देखता है, एक शर्ट पैक करता है, जाँच करता है कि क्या यह पर्याप्त है, और यदि पूर्वानुमान कहता है कि बारिश होने वाली है, तो ही एक और जोड़ता है। यह सुनिश्चित करता है कि उसका सूटकेस यात्रा के लिए बिल्कुल सही आकार का हो—हल्का, कुशल, और बिल्कुल वही जिसकी आवश्यकता थी।

संक्षेप में: INCRT को सीखते समय अपने मस्तिष्क की संरचना खुद बनाने देता है, यह सुनिश्चित करता है कि वह मस्तिष्क के उन हिस्सों पर कभी ऊर्जा बर्बाद न करे जो कोई काम नहीं कर रहे हैं।

यहाँ शोध पत्र "INCRT: An Incremental Transformer That Determines Its Own Architecture" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान ट्रांसफॉर्मर आर्किटेक्चर व्यवस्थित संरचनात्मक अतिरेक (systematic structural redundancy) से ग्रस्त हैं। मुख्य हाइपरपैरामीटर्स (अटेंशन हेड्स की संख्या, गहराई, हेड साइज) को गणितीय आवश्यकता के बजाय 'ट्रायल एंड एरर' के आधार पर प्रशिक्षण से पहले ही निर्धारित कर दिया जाता है।

दोष: अटेंशन मैकेनिज्म सममित (symmetric - reciprocal affinity) और विषम (antisymmetric - directional flow) कार्यों को एक एकल असंरचित मैट्रिक्स ( $M = W_Q W_K^\top$ ) में संयोजित करता है। यह लर्निंग एल्गोरिदम को इस अपघटन (decomposition) को अंतर्निहित रूप से खोजने के लिए मजबूर करता है, जिसके लिए अक्सर आवश्यक तुलना में 50-80% अधिक हेड्स की आवश्यकता होती है।
वर्तमान समाधान और उनकी सीमाएँ:
- पोस्ट-हॉक प्रूनिंग (Post-hoc Pruning): एक बड़े मॉडल को प्रशिक्षित करना और फिर घटकों को हटा देना। यह न्यूनता (minimality) तो सुनिश्चित करता है लेकिन पर्याप्तता (sufficiency) की गारंटी नहीं देता (मॉडल आवश्यक क्षमता खो सकता है)।
- प्रोग्रेसिव ग्रोइंग (Progressive Growing): एक पूर्व-निर्धारित लक्ष्य आकार से छोटे से बड़े की ओर बढ़ना। यह यह निर्धारित नहीं करता कि क्या आकार आवश्यक है।
- न्यूरल आर्किटेक्चर सर्च (NAS): अत्यधिक गणना-गहन (सैकड़ों GPU-दिन) और यह ज्यामितीय आवश्यकता के बजाय खोज ह्यूरिस्टिक्स (search heuristics) पर निर्भर करता है।

लक्ष्य: एक ऐसा आर्किटेक्चर बनाना जो प्रशिक्षण के दौरान अपनी संरचना स्वयं निर्धारित करे, जो बिना किसी पूर्व-निर्धारित लक्ष्य या अलग सत्यापन चरण के न्यूनता (minimality) (कोई भी रेडंडेंट हेड नहीं) और पर्याप्तता (sufficiency) (कोई भी अनकैप्चर्ड टास्क एनर्जी नहीं) दोनों की गारंटी दे सके।

2. कार्यप्रणाली: INCRT आर्किटेक्चर (Methodology: The INCRT Architecture)

INCRT (इन्क्रीमेंटल ट्रांसफॉर्मर) एक एकल अटेंशन हेड से शुरू होता है और कार्य की दिशात्मक संरचना (directional structure) की ज्यामिति के आधार पर हेड्स को गतिशील रूप से जोड़ता या हटाता है।

मुख्य तंत्र: द्विदिश गेट (The Bidirectional Gate)

सिस्टम एक रेसिडुअल मैट्रिक्स ( $A_{res}$ ) की निगरानी करता है, जो कार्य की अनकैप्चर्ड दिशात्मक ऊर्जा (uncaptured directional energy) का प्रतिनिधित्व करता है।
$A_{res} = P_\perp \cdot \text{sym}(X^\top X M_a) \cdot P_\perp$
जहाँ $M_a$ अटेंशन वेट प्रोडक्ट का विषम (antisymmetric) भाग है, और $P_\perp$ उन दिशाओं को प्रोजेक्ट करता है जिन्हें मौजूदा हेड्स द्वारा पहले ही कैप्चर किया जा चुका है।

INCRT प्रत्येक लेयर के लिए दो प्रोब वेक्टर्स के साथ एक द्विदिश गेट (Bidirectional Gate) बनाए रखता है:

डोमिनेंट डायरेक्शन ( $u^+$ ): ओजा के नियम (Oja's Rule) का उपयोग करके $A_{res}$ के सबसे बड़े आइजनवैल्यू ( $\lambda_{max}$ ) के आइजनवेक्टर को ट्रैक करता है। यह अधिकतम अनकैप्चर्ड ऊर्जा की दिशा की पहचान करता है।
माइनर डायरेक्शन ( $u^-$ ): MCA EXIN एल्गोरिदम का उपयोग करके $A_{res}$ के सबसे छोटे आइजनवैल्यू ( $\lambda_{min}$ ) के आइजनवेक्टर को ट्रैक करता है। यह दबाने के लिए न्यूनतम ऊर्जा की दिशा की पहचान करता है।

ग्रोथ और प्रूनिंग लॉजिक (Growth and Pruning Logic)

ग्रोथ (जन्म/Birth): एक नया हेड तब जोड़ा जाता है जब $\lambda_{max}(A_{res}) > \theta_w$ (ग्रोथ थ्रेशोल्ड) हो। नए हेड को दिशा $u^+$ को कैप्चर करने के लिए इनिशियलाइज़ किया जाता है।
प्रूनिंग (Pruning): एक हेड को तब हटाया जाता है यदि उसकी कैप्चर की गई ऊर्जा $\Gamma_h$ , एक व्युत्पन्न थ्रेशोल्ड $\phi_g$ (जहाँ $\phi_g < \theta_w$ ) से निरंतर अवधि के लिए नीचे गिर जाती है।
स्टॉपिंग (Stopping): प्रशिक्षण तब रुक जाता है जब सभी लेयर्स के लिए $\lambda_{max}(A_{res}) \le \theta_w$ हो जाता है। सिस्टम एक परिमित स्टॉपिंग कॉन्फ़िगरेशन (finite stopping configuration) की गारंटी देता है।

स्व-निर्धारण के तीन स्तर (Three Levels of Self-Determination)

चौड़ाई (Width): अटेंशन हेड्स को जोड़ना (प्रयोगों का प्राथमिक फोकस)।
आइजनस्पेस डायमेंशन (Eigenspace Dimension): एक हेड के भीतर आंतरिक आयामों को जोड़ना (सैद्धांतिक रूप से परिभाषित, अभी पूरी तरह से मान्य नहीं किया गया)।
गहराई (Depth): दिशात्मक सुसंगतता (directional coherence) के "कोन इंडेक्स" के आधार पर नई लेयर्स जोड़ना (सैद्धांतिक रूप से परिभाषित)।

3. मुख्य योगदान और सैद्धांतिक आधार (Key Contributions & Theoretical Foundations)

यह शोध पत्र दो मुख्य प्रमेयों और कई सहायक परिणामों के साथ एक कठोर सैद्धांतिक ढांचा प्रदान करता है:

प्रमेय 1 (द्विदिश गेट अभिसरण/Bidirectional Gate Convergence): यह सिद्ध करता है कि ऑनलाइन ओजा और MCA EXIN अपडेट रेसिडुअल मैट्रिक्स के सही डोमिनेंट और माइनर आइजनवेक्टर्स की ओर लगभग निश्चित रूप से (almost surely) अभिसरित होते हैं, जिससे यह सुनिश्चित होता है कि ग्रोथ निर्णय सटीक ज्यामितीय डेटा पर आधारित हैं।
प्रमेय 3 (NTK एलाइनमेंट/NTK Alignment): यह स्थापित करता है कि ज्यामितीय ग्रोथ दिशा ( $\lambda_{max}$ ) गणितीय रूप से उस दिशा के समान है जो न्यूरल टेंगेंट कर्नेल (NTK) गैप को सबसे अधिक कम करती है। यह ज्यामितीय ह्यूरिस्टिक को ऑप्टिमाइज़ेशन लैंडस्केप से जोड़ता है, यह सिद्ध करते हुए कि इस दिशा में हेड जोड़ना अभिसरण (convergence) के लिए इष्टतम है।
प्रमेय 6 (होमियोस्टैटिक अभिसरण/Homeostatic Convergence): यह सिद्ध करता है कि सिस्टम एक परिमित-चरण स्टॉपिंग कॉन्फ़िगरेशन (finite-step stopping configuration) तक पहुँचता है जो एक साथ निम्नलिखित है:
- न्यून (Minimal): कोई भी रेडंडेंट हेड शेष नहीं रहता।
- पर्याप्त (Sufficient): कोई भी अनकैप्चर्ड दिशात्मक ऊर्जा थ्रेशोल्ड $\theta_w$ से अधिक नहीं होती।
- स्थिर (Stable): कोई दोलन (oscillations) नहीं होते (हेड्स को चक्रों में जोड़ा, हटाया और फिर से जोड़ा नहीं जाता है)।
प्रमेय 7 (कंप्रेस्ड-सेंसिंग एनालॉजी/Compressed-Sensing Analogy): अंतिम हेड्स की संख्या ( $K^*$ ) पर एक मात्रात्मक ऊपरी सीमा प्रदान करता है:
$K^* = \Theta\left( \kappa_T^2 \log \frac{\Gamma_{res}^{(0)}}{\theta_w} \right)$
जहाँ $\kappa_T$ डायरेक्शनल टास्क कॉम्प्लेक्सिटी इंडेक्स (स्पेक्ट्रल ब्रैडथ) है। इसका तात्पर्य है कि हेड्स की संख्या कार्य की स्पेक्ट्रल जटिलता के वर्ग (quadratic) और ऊर्जा अनुपात के लॉगरिदमिक (logarithmic) रूप से स्केल करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

तीन बेंचमार्क पर प्रयोग किए गए, जिसमें INCRT (शून्य से प्रशिक्षित, कोई प्री-ट्रेनिंग नहीं) की तुलना BERT-base से की गई।

A. SARS-CoV-2 वेरिएंट क्लासिफिकेशन (सिंथेटिक और वास्तविक)

कार्य: RNA अनुक्रमों को वायरल वेरिएंट्स (4 सिंथेटिक क्लास, 8 वास्तविक GISAID क्लास) में वर्गीकृत करना।
परिणाम:
- हेड काउंट सटीकता: अनुमानित हेड काउंट ( $K^*_{pred}$ ) ने देखे गए काउंट ( $K^*_{obs}$ ) के साथ 1.00 का अनुपात प्राप्त किया।
- प्रदर्शन: INCRT ने 99.47% (सिंथेटिक) और 99.91% (वास्तविक) सटीकता प्राप्त की।
- दक्षता: INCRT ने BERT-base की तुलना में 7.3 गुना कम पैरामीटर्स (15M बनाम 110M) और 3.7 गुना कम पैरामीटर्स (30M बनाम 110M) का उपयोग किया, जबकि इसने केवल एक लेयर का उपयोग किया (BERT-base के 12 लेयर्स के मुकाबले)।
- अवलोकन: स्थिर कार्यों (stationary tasks) में कोई प्रूनिंग नहीं हुई; ग्रोथ ठीक तब रुकी जब सटीकता स्थिर (plateau) हो गई।

B. SST-2 सेंटीमेंट एनालिसिस

कार्य: प्राकृतिक भाषा पर बाइनरी सेंटीमेंट क्लासिफिकेशन।
परिणाम:
- हेड काउंट: अनुमानित 160, देखा गया 142 (अनुपात 0.89)। इस विसंगति को थ्रेशोल्ड के पास ऑनलाइन गेट के $\epsilon$ -एप्रोक्सिमेशन ओवरहेड द्वारा समझाया गया है।
- प्रदर्शन: 76.15% सटीकता (BERT के 93.5% के मुकाबले)। कम सटीकता का कारण प्री-ट्रेनिंग का अभाव है, न कि आर्किटेक्चरल लॉ।
- महत्व: यह पुष्टि करता है कि हेड-काउंट लॉ भाषाई रूप से जटिल, गैर-जीनोमिक डोमेन में भी लागू होता है।

C. सिंथेटिक नॉन-स्टेशनरी टास्क

सेटअप: प्रशिक्षण के बीच में कार्य वितरण अचानक बदल गया (प्रमुख ऊर्जा दिशाओं का रोटेशन)।
परिणाम: INCRT ने स्वचालित रूप से बदलाव का पता लगाया, अब-रेडंडेंट हेड्स को प्रून (prune) किया, और दो एपोक के भीतर नई संरचना के अनुरूप नए हेड्स को ग्रो (grow) किया। यह "होमियोस्टैटिक" क्षमता को प्रदर्शित करता जो स्टैटिक या पोस्ट-हॉक प्रूनिंग विधियों में अनुपस्थित है।

D. स्टैटिक बेसलाइन तुलना

एक स्टैटिक सिंगल-लेयर ट्रांसफॉर्मर को (शुरुआत से ही अनुमानित हेड्स की संख्या के साथ) प्रशिक्षित करने से तुलनात्मक सटीकता मिली, जो पुष्टि करता है कि साइज़िंग लॉ (sizing law) ही दक्षता का प्राथमिक चालक है। हालांकि, इंक्रीमेंटल मैकेनिज्म ने हाइपरपैरामीटर सर्च के बिना ऑनलाइन आकार निर्धारित करने का माध्यमिक लाभ प्रदान किया।

5. महत्व और निहितार्थ (Significance and Implications)

संरचनात्मक अतिरेक का उन्मूलन: INCRT सिद्ध करता है कि ट्रांसफॉर्मर्स को ओवर-पैरामीटराइज्ड होने की आवश्यकता नहीं है। कार्य की एंटीसिमेट्रिक दिशात्मक संरचना के साथ संरेखित होकर, यह 3-7 गुना कम पैरामीटर्स के साथ उच्च प्रदर्शन प्राप्त करता है।
प्री-ट्रेनिंग की आवश्यकता नहीं: INCRT, वितरण-विशिष्ट कार्यों (जैसे जीनोमिक वर्गीकरण) पर BERT-base के प्रदर्शन से मेल खाता है या उससे बेहतर प्रदर्शन करता है, बिना भारी कंप्यूटेशनल लागत के। यह सुझाव देता है कि फिक्स्ड आर्किटेक्चर और टास्क ज्योमेट्री के बीच का "मिसमैच" प्री-ट्रेनिंग की कमी से बड़ी बाधा है।
सैद्धांतिक गारंटी: NAS या प्रूनिंग के विपरीत, INCRT पर्याप्तता और न्यूनता की गणितीय गारंटी प्रदान करता है। यह तभी बढ़ना बंद करता है जब कार्य की ज्यामितीय आवश्यकताएं पूरी हो जाती हैं।
गतिशील अनुकूलन (Dynamic Adaptation): यह डेटा वितरण (कॉन्सेप्ट ड्रिफ्ट) के प्रति अनुकूलित हो सकता है, जो हेड्स को गतिशील रूप से रिटायर और रीग्रो (regrow) करके, जो मानक प्रोग्रेसिव ग्रोइंग या प्रूनिंग विधियों में मौजूद नहीं है।
नया जटिलता मीट्रिक: यह पेपर डायरेक्शनल टास्क कॉम्प्लेक्सिटी इंडेक्स ( $\kappa_T$ ) पेश करता है, जो प्रशिक्षण शुरू करने से पहले डेटा के स्पेक्ट्रल गुणों के आधार पर आवश्यक मॉडल आकार की भविष्यवाणी करने का एक तरीका प्रदान करता है।

संक्षेप में, INCRT प्रतिमान को "एक बड़ा मॉडल डिजाइन करने और फिर उसे प्रून करने" से बदलकर "एक मॉडल को तब तक बढ़ाने तक कि वह ज्यामितीय रूप से पर्याप्त हो जाए" में बदल देता है, जो मानक ट्रांसफॉर्मर ट्रेनिंग का एक सैद्धांतिक रूप से सुदृढ़, कुशल और अनुकूलनीय विकल्प है।