🤖 machine learning

How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models

यह शोध पत्र लूप वाले भाषा मॉडलों (looped language models) के लिए एक नया स्केलिंग लॉ स्थापित करता है जो पुनरावृत्ति गहराई (recurrence depth) की दक्षता को परिमाणित करता है, यह प्रकट करते हुए कि प्रत्येक अतिरिक्त पुनरावृत्ति अद्वितीय मापदंडों (unique parameters) के 0.46 की घात के बराबर घटते प्रतिफल (diminishing returns) प्रदान करती है, जिससे मॉडल की गहराई, मापदंडों की संख्या और प्रशिक्षण कंप्यूट के बीच अनुमानित ट्रेड-ऑफ सक्षम होता है।

मूल लेखक: Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis

प्रकाशित 2026-04-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "How Much Is One Recurrence Worth?" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: "पुन: उपयोग करने वाला शेफ" बनाम "शेफों की टीम"

कल्पना कीजिए कि आप एक रेस्टोरेंट (एक लैंग्वेज मॉडल) चला रहे हैं और आपको एक जटिल व्यंजन (एक रिस्पॉन्स जेनरेट करना) तैयार करना है। आपके पास अपने किचन को व्यवस्थित करने के दो तरीके हैं:

स्टैंडर्ड मॉडल (नॉन-लूप): आप 20 अलग-अलग शेफों की एक टीम रखते हैं। शेफ 1 सब्जियां काटता है, शेफ 2 मांस में मसाला डालता है, शेफ 3 सॉस हिलाता है, इत्यादि। प्रत्येक शेफ अपना काम एक बार करता है और फिर चला जाता है।
लूप मॉडल (लूप वाला): आप केवल 4 शेफ रखते हैं, लेकिन आप उन्हें एक लूप में काम करवाते हैं। शेफ 1 सब्जियां काटता है, फिर शेफ 2 मसाला डालता है, फिर शेफ 3 सॉस हिलाता है, और फिर शेफ 4 चखता है। फिर, आप उस व्यंजन को वापस शेफ 1 के पास भेज देते हैं ताकि वह उसे फिर से काटे, फिर शेफ 2 के पास मसाला डालने के लिए, और फिर शेफ 3 के पास हिलाने के लिए, और फिर शेफ 4 के पास चखने के लिए। वे 20 शेफों की टीम जितनी "गहराई" (depth) प्राप्त करने के लिए इस चक्र को 4 बार दोहराते हैं।

वादा: लूप मॉडल सस्ता लगता है। आपको केवल 4 शेफों को भुगतान करने की आवश्यकता है (कम यूनिक पैरामीटर्स), लेकिन आपको उतना ही काम मिलता है क्योंकि वे अधिक समय तक काम करते हैं (अधिक रिकरेंस)।

सवाल: क्या यह एक अच्छी डील है? क्या उन्हीं 4 शेफों को 4 बार पुन: उपयोग करने से आपको वास्तव में उतना ही अच्छा भोजन मिलेगा जितना 20 अद्वितीय शेफों से मिलेगा?

प्रयोग: "आइसो-डेप्थ" (Iso-Depth) रेस

शोधकर्ताओं ने उत्तर खोजने के लिए एक विशाल प्रयोग आयोजित किया। उन्होंने केवल एक मॉडल की तुलना दूसरे से नहीं की; उन्होंने 116 अलग-अलग ट्रेनिंग रन चलाए (जैसे एक ही रेसिपी को थोड़े बदलाव के साथ 116 बार बनाना)।

उन्होंने चार प्रकार के किचन की तुलना की:

r=1: 20 अद्वितीय शेफों की मानक टीम।
r=2: 10 अद्वितीय शेफ, जो 2 के लूप में काम करते हैं।
r=4: 5 अद्वितीय शेफ, जो 4 के लूप में काम करते हैं।
r=8: 2.5 अद्वितीय शेफ, जो 8 के लूप में काम करते हैं।

महत्वपूर्ण रूप से, उन्होंने यह सुनिश्चित किया कि प्रत्येक किचन ने भोजन पकाने के लिए ठीक उतनी ही राशि और समय (कंप्यूट/FLOPs) खर्च किया। वे यह देखना चाहते थे: यदि हम एक ही बजट खर्च करते हैं, तो कौन सा किचन सबसे स्वादिष्ट भोजन बनाता है?

खोज: "रिकरेंस इक्विवेलेंस" स्कोर ( $\phi$ )

शोधकर्ताओं ने पाया कि लूप मॉडल स्टैंडर्ड मॉडल जितना अच्छा प्रदर्शन नहीं करता है, भले ही वे समान पैसा खर्च करते हों।

उन्होंने "एक रिकरेंस की कीमत कितनी है" मापने के लिए $\phi$ (फाई) नामक एक स्कोर की गणना की।

यदि $\phi = 1.0$ है: एक शेफ को 4 बार पुन: उपयोग करना 4 नए शेफों को काम पर रखने के बराबर है। (लूप मॉडल जीतता है!)
यदि $\phi = 0.0$ है: एक शेफ को 4 बार पुन: उपयोग करना बेकार है; यह कुछ न करने जैसा है।
परिणाम: उन्होंने पाया कि $\phi = 0.46$ है।

0.46 का क्या अर्थ है?
इसका मतलब है कि जब आप एक ब्लॉक को 4 बार लूप करते हैं, तो यह लगभग 1.86 अद्वितीय ब्लॉक्स की "बौद्धिक क्षमता" (brainpower) देता है (क्योंकि $4^{0.46} \approx 1.86$ )।

उपमा (Analogy):
कल्पना कीजिए कि आपके पास 410 मिलियन डॉलर का बजट है।

स्टैंडर्ड मॉडल: आप 580 मिलियन डॉलर का दिमाग खरीदते हैं।
लूप मॉडल (r=4): आप 410 मिलियन डॉलर का दिमाग खरीदते हैं, लेकिन आप इसे 4 बार अधिक सोचने के लिए मजबूर करते हैं।
कैच (Catch): भले ही लूप मॉडल अधिक गहराई से सोचता है, फिर भी अंत में इसका दिमाग उतना ही स्मार्ट होता है जितना कि एक 580 मिलियन डॉलर वाला मॉडल। हालांकि, इस लूप मॉडल को ट्रेन करने के लिए, आपको वास्तव में एक 1 बिलियन डॉलर वाले मॉडल के बराबर पैसा खर्च करना पड़ा क्योंकि "लूपिंग" की प्रक्रिया कंप्यूटेशनल रूप से महंगी है।

संक्षेप में: आप एक "पुन: उपयोग टैक्स" (re-use tax) दे रहे हैं। आप अद्वितीय भागों (पैरामीटर्स) की संख्या में बचत करते हैं, लेकिन आप दक्षता खो देते हैं क्योंकि साझा किए गए भाग उतने शक्तिशाली नहीं होते जितने कि अद्वितीय भाग होते हैं।

बुद्धिमत्ता के बारे में क्या? (डाउनस्ट्रीम टास्क)

शोधकर्ताओं ने यह देखने के लिए कि लूप मॉडल कहाँ विफल होता है या कहाँ सफल होता है, विभिन्न प्रकार की "परीक्षाओं" पर इन मॉडलों का परीक्षण किया।

मेमोरी टेस्ट (पैरामीट्रिक नॉलेज):
- टेस्ट: "फ्रांस की राजधानी क्या है?" (इसके लिए मस्तिष्क में संग्रहीत तथ्यों की आवश्यकता होती है)।
- परिणाम: लूप मॉडल विफल रहा। क्योंकि इसमें कम अद्वितीय "शेफ" (पैरामीटर्स) हैं, इसलिए यह इतने अधिक तथ्यों को स्टोर नहीं कर सका। जितना अधिक इसने लूप किया, यह तथ्यों को याद रखने में उतना ही खराब होता गया।
रीडिंग कॉम्प्रिहेन्शन (ओपन बुक):
- टेस्ट: "यहाँ एक कहानी है। आगे क्या हुआ?" (आप टेक्स्ट को देख सकते हैं)।
- परिणाम: लूप मॉडल ने इसमें अच्छा प्रदर्शन किया! चूंकि इसे तथ्यों को याद रखने की आवश्यकता नहीं है, केवल सामने मौजूद टेक्स्ट को प्रोसेस करने की आवश्यकता है, इसलिए "पुन: उपयोग टैक्स" ने इसे ज्यादा नुकसान नहीं पहुँचाया।
रीजनिंग टेस्ट (जादुई उम्मीद):
- टेस्ट: जटिल तर्क पहेलियाँ या गणित के सवाल।
- उम्मीद: कई लोगों ने सोचा कि लूपिंग मॉडल इसमें बहुत स्मार्ट होंगे क्योंकि वे अधिक देर तक "सोच" सकते हैं।
- हकीकत: मॉडल्स के जिस आकार पर उन्होंने परीक्षण किया, उस आकार में लूप मॉडल ने कोई विशेष रीजनिंग सुपरपावर नहीं दिखाई। "सिग्नल" बहुत कमजोर था। मॉडल इतने छोटे थे कि वे अपनी क्षमता दिखाने के लिए पर्याप्त नहीं थे।

भविष्य के लिए सीख

यह पेपर AI समुदाय के लिए एक वास्तविकता की जाँच (reality check) है।

मुफ्त लंच की उम्मीद न करें: आप बस एक छोटे मॉडल को लूप करके उसे एक विशाल मॉडल की तरह व्यवहार करने के लिए मजबूर नहीं कर सकते, बिना भारी कीमत चुकाए।
"स्वीट स्पॉट" (Sweet Spot) मिलना कठिन है: वर्तमान में, लूपिंग एक ट्रेड-ऑफ है। आप मेमोरी (कम यूनिक वेट्स) बचाते हैं, लेकिन प्रदर्शन (उच्च वैलिडेशन लॉस) खो देते हैं।
लक्ष्य: शोधकर्ताओं का कहना है कि भविष्य के AI डिजाइनों को उस $\phi$ स्कोर को 0.46 से ऊपर ले जाने की आवश्यकता है। यदि कोई ऐसा तरीका खोज लेता है जिससे लूपिंग मॉडल का $\phi$ स्कोर 1.0 (या उससे अधिक) हो जाए, तो लूप मॉडल अंततः स्टैंडर्ड मॉडल को हरा देगा। तब तक, पैसे के बदले सबसे कुशल तरीका "स्टैंडर्ड टीम ऑफ शेफ्स" ही रहेगा।

एक वाक्य में सारांश:
लैंग्वेज मॉडल को लूप करना एक अकेले कर्मचारी से चार लोगों का काम करने के लिए कहने जैसा है; इससे भर्ती की लागत तो बचती है, लेकिन कर्मचारी थक जाता है और अधिक गलतियाँ करता है, इसलिए आप समान परिणाम प्राप्त करने के लिए अपने प्रशिक्षण समय में अधिक भुगतान करते हैं।

यहाँ शोध पत्र "How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लूप वाले (या डेप्थ-रिकरेंट) लैंग्वेज मॉडल्स, अद्वितीय पैरामीटर संख्या को बढ़ाए बिना प्रभावी गहराई (effective depth) बढ़ाने के लिए एक साझा ट्रांसफार्मर ब्लॉक को $r$ बार दोहराते हैं। जबकि यह आर्किटेक्चर पैरामीटर गणना को प्रभावी गहराई से अलग करता है और तर्क करने (reasoning) की ओर एक इंडक्टिव बायस पेश करता है, यह स्पष्ट नहीं है कि एक पुनरावृत्ति (recurrence) वास्तव में अद्वितीय ब्लॉक्स की तुलना में कितनी "क्षमता" (capacity) प्रदान करती है।

पिछले स्केलिंग लॉ अध्ययनों ने या तो:

अद्वितीय पैरामीटर गणना को स्थिर रखा और प्रभावी गहराई को बढ़ने दिया (जिससे पैरामीटर शेयरिंग और गहराई आपस में मिल गए)।
पैरामीटर शेयरिंग की विशिष्ट लागत को अलग किए बिना लूप वाले बनाम गैर-लूप वाले मॉडल्स की तुलना की।

मुख्य प्रश्न जिसका समाधान किया गया है, वह है: समान प्रशिक्षण कंप्यूट (FLOPs) पर, एक अतिरिक्त पुनरावृत्ति (recurrence) कितने अद्वितीय पैरामीटरों के बराबर है? विशेष रूप से, क्या एक ब्लॉक को $r$ बार लूप करना $r$ अद्वितीय ब्लॉक्स के समान वैलिडेशन लॉस में कमी लाता है ( $\phi=1$ , पूर्ण समानता), या क्या यह एक एकल ब्लॉक को $r$ बार चलाने की तुलना में कोई लाभ नहीं देता है ( $\phi=0$ , शुद्ध शेयरिंग लागत)?

2. कार्यप्रणाली (Methodology)

प्रयोगात्मक सेटअप: आइसो-डेप्थ स्वीप (Iso-Depth Sweep)

लेखकों ने चार पुनरावृत्ति गणनाओं ( $r \in \{1, 2, 4, 8\}$ ) और छह कंप्यूट बजटों ( $\sim 50\times$ का विस्तार, $4.64 \times 10^{17}$ से $2.15 \times 10^{19}$ FLOPs तक) में 116 प्रीट्रेनिंग रन के माध्यम से एक व्यापक अनुभवजन्य अध्ययन किया।

आर्किटेक्चर: उन्होंने एक prelude-recur-coda टेम्पलेट का उपयोग किया जिसमें एक निश्चित प्रभावी गहराई $L_{eff} = n_{prelude} + r \cdot n_{recur} + n_{coda} = 20$ $L_{e f f} = n_{p r e l u d e} + r \cdot n_{r ec u r} + n_{co d a} = 20$ थी।
- $r=1$ : गैर-लूप वाला बेसलाइन (20 अद्वितीय परतें)।
- $r>1$ : 2 प्रेल्यूड (prelude) परतें, 2 कोडा (coda) परतें, और एक साझा रिकरेंट ब्लॉक जिसे $r$ बार निष्पादित किया जाता है।
आइसो-कंप्यूट बाधा (Iso-Compute Constraint): सभी मॉडल्स को समान कुल प्रशिक्षण FLOPs खर्च करने के लिए प्रशिक्षित किया गया था।
- प्रति-टोकन फॉरवर्ड FLOPs सभी $r$ के लिए लगभग समान हैं (एक इनपुट-इंजेक्शन लेयर के मामूली ओवरहेड के साथ)।
- अद्वितीय पैरामीटर ( $N$ ) $r$ बढ़ने के साथ घटते हैं ( $r=8$ पर $3.2\times$ तक की कमी)।
- फलस्वरूप, समान कंप्यूट बजट बनाए रखने के लिए लूप वाले मॉडल गैर-लूप वाले मॉडल्स की तुलना में कम कुल टोकन ( $D$ ) पर प्रशिक्षित होते हैं।

संयुक्त स्केलिंग लॉ (The Joint Scaling Law)

लेखकों ने एक नया संयुक्त स्केलिंग लॉ प्रस्तावित किया जो वैलिडेशन लॉस ( $L$ ) को अद्वितीय पैरामीटर ( $N$ ), प्रशिक्षण टोकन ( $D$ ), और पुनरावृत्ति गणना ( $r$ ) से जोड़ता है:

$L = E + A (\text{Nonce} + r^\phi N_{rec})^{-\alpha} + B D^{-\beta}$

Nonce: गैर-साझा प्रेल्यूड और कोडा के पैरामीटर (जो एक बार निष्पादित होते हैं)।
$N_{rec}$ : साझा रिकरेंट ब्लॉक के पैरामीटर।
$\phi$ (Recurrence-Equivalence Exponent): मुख्य मीट्रिक।
- $\phi = 1$ : पूर्ण समानता (लूपिंग $r$ बार करना $r$ अद्वितीय ब्लॉक्स के बराबर है)।
- $\phi = 0$ : शुद्ध शेयरिंग लागत (लूपिंग कोई क्षमता लाभ प्रदान नहीं करता है)।
- $0 < \phi < 1$ : आंशिक समानता।

3. मुख्य परिणाम (Key Results)

पुनरावृत्ति-समानता घातांक ( $\phi$ )

सभी 116 रन के माध्यम से संयुक्त लॉ को फिट करने पर प्राप्त हुआ:

$\phi = 0.46$ (जिसका $R^2 = 0.997$ है)।
व्याख्या: एक अतिरिक्त पुनरावृत्ति केवल $r^{0.46}$ $r^{0.46}$ अद्वितीय ब्लॉक्स के बराबर है।
- उदाहरण: $r=4$ पर, साझा ब्लॉक केवल $4^{0.46} \approx 1.86$ अद्वितीय ब्लॉक्स के बराबर क्षमता योगदान देता है, न कि 4 के।
- लागत: एक 410M पैरामीटर वाला लूप मॉडल ( $r=4$ ) एक 580M गैर-लूप मॉडल के बराबर प्रदर्शन करता है, लेकिन इसके लिए 1B गैर-लूप मॉडल के प्रशिक्षण लागत का भार उठाता है।

स्केलिंग व्यवहार (Scaling Behavior)

इष्टतम आवंटन (Optimal Allocation): लूप वाले मॉडल कंप्यूट-ऑप्टिमलिटी प्राप्त करने के लिए गैर-लूप वाले बेसलाइन्स की तुलना में अधिक चौड़ाई (wider widths) और प्रति पैरामीटर कम प्रशिक्षण टोकन पसंद करते हैं।
वैलिडेशन लॉस गैप: समान कंप्यूट पर, लूप वाले मॉडल लगातार गैर-लूप वाले बेसलाइन्स से पीछे रहते हैं। यह गैप $r$ के साथ निरंतर बढ़ता है (जैसे, $r=8$ पर $0.09 $–$ 0.12$ नैट्स)।
कोई क्रॉसओवर नहीं: अध्ययन किए गए कंप्यूट विंडो के भीतर, लूप वाले मॉडल गैर-लूप वाले बेसलाइन्स से बेहतर प्रदर्शन नहीं करते हैं, यहाँ तक कि उन कार्यों पर भी जहाँ वे सैद्धांतिक रूप से उत्कृष्ट होने की उम्मीद करते हैं (तर्क/reasoning)।

डाउनस्ट्रीम मूल्यांकन (Downstream Evaluation)

लेखकों ने पांच अक्षों पर मॉडल्स का मूल्यांकन किया:

पैरामीट्रिक ज्ञान (Closed-book QA): प्रदर्शन का अंतर वैलिडेशन लॉस गैप को दर्शाता है। लूपिंग तथ्यात्मक भंडारण (factual storage) के लिए क्षमता को नुकसान पहुँचाता है।
रीडिंग कॉम्प्रिहेंशन और कंपोजिशनल सिम्बोलिक: गैप कम हो जाता है; लूप वाले मॉडल इन "ओपन-बुक" कार्यों पर गैर-लूप वाले मॉडल्स के समान प्रदर्शन करते हैं।
रीजनिंग प्रिमिटिव्स और मैथ वर्ड प्रॉब्लम्स: वर्तमान कंप्यूट बजटों पर, अंतर को स्पष्ट करने के लिए सिग्नल बहुत कमजोर है। लूपिंग के "रीजनिंग लाभ" अभी विकास स्तर (development scales) पर मापने योग्य नहीं हैं।

4. मुख्य योगदान (Key Contributions)

$\phi$ के साथ संयुक्त स्केलिंग लॉ: एक एकीकृत स्केलिंग लॉ पेश किया जो पैरामीटर शेयरिंग को प्रभावी गहराई से अलग करता है, और $\phi = 0.46$ के घातांक के माध्यम से पुनरावृत्ति के "मूल्य" को मापता है।
आइसो-डेप्थ स्केलिंग विश्लेषण: लूप वाले LMs के लिए पहला आइसो-डेप्थ स्वीप प्रदान किया, जिससे पता चला कि लूप वाले वेरिएंट्स को कंप्यूट-ऑप्टिमल होने के लिए अलग संसाधनों (चौड़े, कम टोकन) के आवंटन की आवश्यकता होती है।
डाउनस्ट्रीम मूल्यांकन सूट: प्रदर्शित किया कि पैरामीटर-शेयरिंग की लागत मुख्य रूप से पैरामीट्रिक नॉलेज कार्यों में प्रकट होती है, जबकि रीजनिंग कार्यों के लिए वर्तमान स्केल पर अंतर को हल करना कठिन है, जो यह सुझाव देता है कि वैलिडेशन लॉस आर्किटेक्चरल निर्णयों के लिए सबसे विश्वसनीय प्रॉक्सी है।

5. महत्व और निहितार्थ (Significance and Implications)

डिज़ाइन बेंचमार्क: $\phi = 0.46$ एक बेसलाइन के रूप में कार्य करता है। भविष्य के आर्किटेक्चर या ट्रेनिंग रेसिपी (जैसे, अडैप्टिव कंप्यूट, ट्रंकेटेड बैकप्रोपैगेशन, या रेट्रोफिटिंग) को $\phi$ को 0.46 से ऊपर उठाने का लक्ष्य रखना चाहिए ताकि लूप वाले मॉडल्स के उपयोग को न्यायसंगत बनाया जा सके।
संसाधन दक्षता: जबकि लूप वाले मॉडल पैरामीटर मेमोरी को कम करते हैं, वे वर्तमान में प्रदर्शन प्रति FLOP के मामले में "मुफ्त उपहार" (free lunch) के रूप में कोई लाभ नहीं देते हैं। ट्रेड-ऑफ एक अनुमानित (predictable) वैलिडेशन लॉस वृद्धि है।
अनुसंधान दिशा: यह शोध पत्र सुझाव देता है कि लूप वाले मॉडल्स का सैद्धांतिक वादा (reasoning के लिए) अभी विकास स्तर पर साकार नहीं हुआ है। अनुसंधान का ध्यान केवल $r$ को स्केल करने के बजाय $\phi$ को बढ़ाने के तरीकों (जैसे, प्रति पुनरावृत्ति प्रशिक्षण FLOPs लागत को कम करके) पर होना चाहिए।
निष्पक्ष तुलना: यह अध्ययन रेखांकित करता है कि लूप वाले और गैर-लूप वाले मॉडल्स की तुलना करने के लिए उनके कंप्यूट-ऑप्टिमल आवंटन पर सावधानीपूर्वक ध्यान देने की आवश्यकता है; एक साधारण पैरामीटर-मैच्ड या टोकन-मैच्ड तुलना अपर्याप्त है।

संक्षेप में, यह शोध पत्र कठोरता से मात्रात्मक रूप से सिद्ध करता है कि ट्रांसफार्मर ब्लॉक को लूप करना अद्वितीय ब्लॉक्स जोड़ने के बराबर नहीं है। जबकि यह आर्किटेक्चरल लचीलापन प्रदान करता है, यह वर्तमान में एक महत्वपूर्ण क्षमता दंड ( $\phi \approx 0.46$ ) भी लाता है जिसे बेहतर प्रशिक्षण रणनीतियों या आर्किटेक्चरल नवाचारों द्वारा दूर किया जाना आवश्यक है।