💬 NLP

Scaling with Collapse: Efficient and Predictable Training of LLM Families

यह शोध पत्र प्रदर्शित करता है कि इष्टतम स्केलिंग रेसिपी के तहत LLM परिवारों के लिए ट्रेनिंग लॉस कर्व्स एक सार्वभौमिक प्रक्षेपवक्र (यूनिवर्सल ट्रजेक्टरी) पर सिमट जाते हैं, जो इस घटना को कंप्यूट-कुशल प्रशिक्षण के एक हस्ताक्षर के रूप में स्थापित करता है जो विकृतियों की शीघ्र पहचान और हाइपरपैरामीटर ट्यूनिंग को सक्षम बनाता है, जिसका उपयोग लेखक प्रतिस्पर्धी *Celerity* मॉडल परिवार विकसित करने के लिए करते हैं।

मूल लेखक: Shane Bergsma, Bin Claire Zhang, Nolan Dey, Shaheer Muhammad, Gurpreet Gosal, Joel Hestness

प्रकाशित 2026-03-03

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shane Bergsma, Bin Claire Zhang, Nolan Dey, Shaheer Muhammad, Gurpreet Gosal, Joel Hestness

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप छात्रों के एक समूह को एक ही जटिल विषय पढ़ा रहे हैं, जिसमें उनकी उम्र और क्षमता का स्तर अलग-अलग है—एक किंडरगार्टनर से लेकर एक पीएचडी उम्मीदवार तक।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "छात्र" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। आमतौर पर, जब शोधकर्ता इन मॉडल्स को प्रशिक्षित (train) करते हैं, तो वे एक दीवार से टकरा जाते हैं: स्केल (scale) अप्रत्याशित होता है। एक रणनीति जो एक छोटे मॉडल के लिए पूरी तरह से काम करती है, वह एक विशाल मॉडल के लिए बुरी तरह विफल हो सकती है। यह एक अकेले कुकी (cookie) के लिए रेसिपी का उपयोग करके हज़ार लोगों के लिए केक बनाने की कोशिश करने जैसा है; गणित मेल नहीं खाता, और अक्सर अंत में या तो सब कुछ जल जाता है या आटा कच्चा रह जाता है।

यह पेपर, "स्केलिंग विद कोलैप्स" (Scaling with Collapse), इन AI मॉडल्स को प्रशिक्षित करने का एक क्रांतिकारी तरीका पेश करता है जो इस प्रक्रिया को पूर्वानुमानित (predictable), कुशल और यहाँ तक कि हमें समस्याओं को पूरे बैच को बर्बाद करने से पहले पहचानने की अनुमति भी देता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "लामा-2" (Llama-2) का बिखराव

लेखकों ने Llama-2 जैसे प्रसिद्ध मॉडल्स का अध्ययन किया। उन्होंने देखा कि जब आप एक 7-बिलियन-पैरामीटर वाले मॉडल और एक 70-बिलियन-पैरामीटर वाले मॉडल को प्रशिक्षित करते हैं, तो उनके "लर्निंग कर्व्स" (ग्राफ जो दिखाते हैं कि वे समय के साथ कितनी अच्छी तरह सीख रहे हैं) पूरी तरह से अलग दिखते हैं।

उपमा: कल्पना कीजिए कि दो धावक हैं। एक स्प्रिंटर (तेज दौड़ने वाला) है, दूसरा मैराथन धावक। यदि आप उनकी प्रगति को देखते हैं, तो उनके रास्ते अराजक होते हैं और आपस में मेल नहीं खाते। आप केवल स्प्रिंटर की गति को देखकर यह नहीं बता सकते कि मैराथन धावक अच्छा कर रहा है या नहीं। यह बड़े मॉडल्स को प्रशिक्षित करना "अनुमान लगाने और जांचने" का एक खेल बना देता है, जो अविश्वसनीय रूप से महंगा और धीमा है।

2. खोज: "द ग्रेट कोलैप्स" (The Great Collapse)

शोधकर्ताओं को एक गुप्त नुस्खा मिला। यदि आप प्रशिक्षण सेटिंग्स को बिल्कुल सही तरीके से ट्यून करते हैं, तो सभी अलग-अलग आकार के मॉडल अचानक एक ही ट्रैक पर दौड़ने लगते हैं।

वे इसे "कोलैप्स" (Collapse) कहते हैं।

उपमा: कल्पना कीजिए कि आपके पास एक पहाड़ का नक्शा है। यदि आप एक छोटी पहाड़ी पर ज़ूम इन करते हैं या एक विशाल पर्वत श्रृंखला पर ज़ूम आउट करते हैं, तो ढलान का आकार अलग दिखता है। लेकिन, यदि आप नक्शे को सामान्य (normalize) कर देते हैं (स्केल को समायोजित करते हैं), तो आप महसूस करते हैं कि हर पहाड़ का ढलान प्रोफाइल बिल्कुल एक जैसा है।
पेपर में, वे दिखाते हैं कि यदि आप तीन विशिष्ट "नॉब्स" (knobs - नियंत्रण बटन) को ठीक कर देते हैं (कितना डेटा प्रत्येक पैरामीटर देखता है, ऑप्टिमाइज़र कितनी जल्दी पुरानी गलतियों को "भूलता" है, और लर्निंग रेट शेड्यूल), तो एक 300-मिलियन-पैरामीटर मॉडल और एक 3.9-बिलियन-पैरामीटर मॉडल के लर्निंग कर्व्स एक ही सार्वभौमिक रेखा पर कोलैप्स हो जाते हैं।

3. तीन जादुई नॉब्स (The Three Magic Knobs)

इस "कोलैप्स" को प्राप्त करने के लिए, आपको तीन चीजों को पूरी तरह से ट्यून करना होता है:

TPP (टोकन्स पर पैरामीटर): मस्तिष्क के प्रत्येक हिस्से को अध्ययन करने के लिए कितना "पढ़ने का साहित्य" मिलता है।
$\tau$ (टाऊ - मेमोरी का नॉब): यह नियंत्रित करता है कि मॉडल अपनी पिछली गलतियों को कितनी देर तक याद रखता है। इसे एक छात्र की अल्पकालिक स्मृति (short-term memory) की तरह समझें। यदि मेमोरी बहुत कम है, तो वे अभी जो सीखा है उसे भूल जाएंगे। यदि यह बहुत अधिक है, तो वे पुरानी त्रुटियों में फंस जाएंगे। पेपर ने पाया कि इसके लिए डेटा के उपयोग के आधार पर एक "गोल्डिलॉक्स" (Goldilocks - एकदम सही) सेटिंग मौजूद है।
लर्निंग रेट शेड्यूल (Learning Rate Schedule): शुरुआत में और अंत में मॉडल कितनी तेजी से सीखता है।

जब ये तीनों सही ढंग से सेट होते हैं, तो सभी आकार के मॉडल समान व्यवहार करते हैं।

4. यह क्यों मायने रखता है: दो महाशक्तियाँ (Two Superpowers)

एक बार जब आपके पास यह "कोलैप्स" आ जाता है, तो आपको दो महाशक्तियाँ मिलती हैं:

A. "कोयले की खान में कैनरी" (Canary in the Coal Mine - शुरुआती चेतावनी प्रणाली)

आमतौर पर, जब कोई ट्रेनिंग रन गलत हो जाता है (कंप्यूटर की खराबी या खराब डेटा के कारण), तो लॉस कर्व (त्रुटि दर) लंबे समय तक ठीक दिख सकता है और फिर अचानक बढ़ सकता है। जिस समय तक आप उस उछाल को देखते हैं, तब तक आपने कंप्यूटिंग पावर के लाखों डॉलर बर्बाद कर दिए होते हैं।

उपमा: कल्पना कीजिए कि आप कारों का एक बेड़ा चला रहे हैं। यदि एक कार थोड़ा सा भी अपने यूनिवर्सल रोड से भटकने लगती है, तो आप तुरंत जान जाते हैं कि उस विशिष्ट कार के इंजन के साथ कुछ गलत है, भले ही स्पीडोमीटर ने अभी तक बदलाव न दिखाया हो।
परिणाम: लेखकों ने इसका उपयोग अपने 1.8-बिलियन मॉडल में एक छिपी हुई कंप्यूटर त्रुटि को पहचानने के लिए किया, जो कि हफ्तों पहले हुआ जब वह त्रुटि नग्न आंखों से दिखाई देने वाली होती। उन्होंने इसे ठीक किया और अपने ट्रेनिंग रन को बचा लिया।

B. "क्रिस्टल बॉल" (Crystal Ball - भविष्य देखने की शक्ति)

एक विशाल AI मॉडल को प्रशिक्षित करने में महीनों लगते हैं और इसमें भारी खर्च आता है। आमतौर पर, आपको यह देखने के लिए अंत तक प्रतीक्षा करनी पड़ती है कि आपकी सेटिंग्स (जैसे बैच साइज या लर्निंग रेट) अच्छी थीं या नहीं।

उपमा: कल्पना कीजिए कि आप एक परफेक्ट रेसिपी खोजने के लिए कुकीज़ के 100 अलग-अलग बैच बना रहे हैं। सामान्यतः, आपको उन्हें चखने के लिए पूरी तरह से बेक होने और ठंडा होने तक इंतजार करना पड़ता है। इसमें बहुत समय लगता है।
परिणाम: क्योंकि सभी कर्व्स एक अनुमानित पथ पर कोलैप्स होते हैं, इसलिए लेखक केवल 10% से 30% बेकिंग समय के बाद ही एक कुकी को देख सकते हैं। अपनी "यूनिवर्सल रेसिपी" के साथ उस आंशिक कुकी की तुलना करके, वे सटीक रूप से भविष्यवाणी कर सकते हैं कि अंतिम कुकी का स्वाद कैसा होगा। वे खराब बैचों को जल्दी रोक सकते हैं और भारी मात्रा में समय और पैसा बचा सकते हैं।

5. परिणाम: "सेलेरिटी" (Celerity)

इन जानकारियों का उपयोग करते हुए, टीम ने सेलेरिटी (Celerity) नामक मॉडल्स का एक नया परिवार बनाया।

उन्होंने इन मॉडल्स को अत्यधिक कुशल (कम कंप्यूटिंग पावर का उपयोग करके समान बुद्धिमत्ता प्राप्त करना) बनाने के लिए प्रशिक्षित किया।
उन्होंने साबित किया कि "कोलैप्स" नियमों का पालन करके, वे सबसे बड़े और सबसे महंगे मॉडल्स के साथ प्रतिस्पर्धा करने वाले मॉडल्स बना सकते हैं, लेकिन बहुत कम बर्बादी के साथ।

सारांश

यह पेपर AI के सीखने के लिए "यूनिवर्सल ग्रामर" खोजने जैसा है।

पहले: AI को प्रशिक्षित करना एक ऐसी क्लास को पढ़ाने की कोशिश करने जैसा था जहाँ हर छात्र को एक अलग, अप्रत्याशित पाठ योजना की आवश्यकता होती थी।
अब: हमने पाया कि यदि हम सही "मेमोरी" और "पढ़ने की गति" सेट करते हैं, तो सबसे छोटे से लेकर सबसे बड़े तक, हर छात्र बिल्कुल एक ही लय में सीखता है।
लाभ: अब हम एक ट्रेनिंग रन के भविष्य की भविष्यवाणी कर सकते हैं, त्रुटियों को तुरंत पहचान सकते हैं, और खराब प्रयोगों पर पैसा बर्बाद करना बंद कर सकते हैं। यह AI प्रशिक्षण को एक अराजक जुए से बदलकर एक सटीक, पूर्वानुमानित विज्ञान में बदल देता है।

यहाँ Bergsma et al. (Cerebras Systems) के शोध पत्र "Scaling with Collapse: Efficient and Predictable Training of LLM Families" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) का प्रशिक्षण "स्केलिंग लॉज़" (scaling laws) पर निर्भर करता है जो मॉडल के आकार ( $N$ ) और डेटासेट के आकार ( $D$ ) के आधार पर प्रदर्शन की भविष्यवाणी करते हैं। हालाँकि, जबकि अंतिम लॉस (loss) और इष्टतम हाइपरपैरामीटर अनुमानित होते हैं, विभिन्न मॉडल आकारों के बीच ट्रेनिंग लॉस कर्व (TLC) का स्वरूप (shape) कम समझा गया है।

हाल के कार्य (Qiu et al., 2025) ने दिखाया कि विशिष्ट स्थितियों (Maximal Update Parameterization, $\mu$ P) के तहत छोटे पैमाने के कार्यों पर TLC एक सार्वभौमिक प्रक्षेपवक्र (universal trajectory) पर "कोलैप्स" (collapse) हो सकते हैं। हालाँकि, यह स्पष्ट नहीं था कि क्या यह घटना व्यावहारिक, बड़े पैमाने के LLM प्रशिक्षण में बनी रहती है जहाँ चौड़ाई (width), गहराई (depth), बैच साइज और वेट डिके (weight decay) को संयुक्त रूप से स्केल किया जाता है। इस पूर्वानुमेयता (predictability) के बिना, अभ्यासकर्ताओं को निम्नलिखित में संघर्ष करना पड़ता है:

प्रशिक्षण विकृतियों (जैसे, लॉस स्पाइक्स, संख्यात्मक अस्थिरता) का शीघ्र निदान करना।
यह निर्धारित करना कि मॉडल अंडर-ट्रेन्ड है या ओवर-ट्रेन्ड।
विशाल मॉडलों के लिए पूर्ण रूप से प्रशिक्षण चलाए बिना हाइपरपैरामीटरों को कुशलतापूर्वक ट्यून करना।

2. कार्यप्रणाली (Methodology)

लेखक उन स्थितियों की जांच करते हैं जो मॉडल स्केल के बीच TLC को कोलैप्स करने के लिए आवश्यक हैं और इन स्थितियों के तहत प्रशिक्षित एक नया मॉडल परिवार, Celerity, पेश करते हैं।

मुख्य सैद्धांतिक नियंत्रण (Key Theoretical Controls)

पेपर पहचान करता है कि कोलैप्स प्राप्त करने के लिए तीन महत्वपूर्ण नियंत्रणों को विभिन्न मॉडल आकारों में संरेखित (align) किया जाना चाहिए:

टोकन्स-पर-पैरामीटर (TPP): कुल प्रशिक्षण टोकन ( $D$ ) और मॉडल पैरामीटर्स ( $N$ ) का अनुपात। यह सुधार की सापेक्ष गति को निर्धारित करता है।
AdamW टाइमस्केल ( $\tau$ ): इसे $\tau = \frac{B}{\eta \lambda D}$ $τ = \frac{B}{η λ D}$ के रूप में परिभाषित किया गया है, जहाँ $B$ $B$ बैच साइज है, $\eta$ $η$ लर्निंग रेट है, और $\lambda$ $λ$ वेट डिके है। यह पैरामीटर ग्रेडिएंट्स के ऑप्टिमाइज़र के एक्सपोनेंशियल मूविंग एवरेज (EMA) में बायस-वेरिएंस ट्रेड-ऑफ को नियंत्रित करता है।
- निष्कर्ष: इष्टतम $\tau$ स्थिर नहीं है; यह TPP के साथ पावर लॉ (power law) के रूप में स्केल होता है।
लर्निंग रेट (LR) शेड्यूलर: विशेष रूप से, पेपर एक लीनियर डिके-टू-ज़ीरो (D2Z) शेड्यूलर का समर्थन करता है, जो प्रारंभिक बायस रिडक्शन को देर-चरण के वेरिएंस सप्रेशन के साथ चरणबद्ध करता है।

Celerity मॉडल परिवार

इन सिद्धांतों को प्रदर्शित करने के लिए, लेखकों ने Celerity मॉडल परिवार (300M से 3.9B पैरामीटर्स तक) को निम्नलिखित का उपयोग करके प्रशिक्षित किया:

फिक्स्ड TPP बैंड्स: मॉडल को विशिष्ट TPP अनुपातों (20, 80, और 234) पर प्रशिक्षित किया गया।
इष्टतम $\tau$ स्केलिंग: प्रत्येक TPP बैंड के लिए, $\tau$ को छोटे प्रॉक्सी मॉडलों पर ट्यून किया गया और स्थापित पावर लॉ का उपयोग करके बड़े स्तरों पर स्थानांतरित किया गया।
पैरामीटराइजेशन: CompleteP (एक विस्तार $\mu$ P का जो डेप्थ स्केलिंग को संभालता है) और SwiGLU एक्टिवेशन का उपयोग।
डेटा: जेनेरिक वेब क्रॉल के बजाय शैक्षिक, गणित और कोडिंग डेटा (FineWeb-Edu, StarCoder, आदि) का एक क्यूरेटेड मिश्रण।

अर्ली स्टॉपिंग के लिए प्रेडिक्टिव मॉडलिंग

लेखक नॉर्मलाइज्ड TLC को प्रेडिक्ट करने के लिए एक फंक्शनल फॉर्म प्रस्तावित करते हैं:
$\hat{\ell}(\hat{t}) \approx \left(\frac{1+\epsilon_1}{\hat{t}+\epsilon_1}\right)^m + b \cdot (\eta(\hat{t}) + \epsilon_2)^q$
जहाँ पैरामीटर $b$ और $q$ क्रमशः $\tau$ और TPP के पावर लॉ के रूप में मॉडल किए गए हैं। यह एक छोटे पैमाने के प्रॉक्सी को फिट करके और आंशिक प्रशिक्षण कर्व्स को संरेखित करके एक बड़े मॉडल के अंतिम लॉस की भविष्यवाणी करने की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

कोलैप्स की स्थितियों की पहचान: पेपर सिद्ध करता है कि TLC मॉडल आकारों में कोलैप्स होते हैं यदि और केवल यदि TPP अनुपात, AdamW टाइमस्केल $\tau$ , और LR शेड्यूलर को मॉडल आकारों में सुसंगत (या इष्टतम रूप से स्केल) रखा जाता है।
Celerity परिवार: विशेष रूप से कोलैप्स प्रदर्शित करने के लिए प्रशिक्षित पहले बड़े पैमाने के LLM परिवार का परिचय। Celerity मॉडल कंप्यूट-एफिशिएंसी फ्रंटियर (एक्यूरेसी बनाम FLOPs का पारेटो फ्रंटियर) पर प्रतिस्पर्धी सटीकता प्राप्त करते हैं।
डायग्नोस्टिक टूल के रूप रूप में कोलैप्स: लेखक प्रदर्शित करते हैं कि कोलैप्स्ड कर्व से विचलन प्रशिक्षण संबंधी समस्याओं (जैसे, संख्यात्मक अस्थिरता, कर्नेल बग्स) के लिए एक अत्यधिक संवेदनशील, प्रारंभिक चेतावनी प्रणाली के रूप में कार्य करता है, जो कच्चे लॉस प्लॉट्स में बहुत बाद तक अदृश्य रहते हैं।
कुशल हाइपरपैरामीटर ट्यूनिंग: हाइपरपैरामीटर ट्यूनिंग में अर्ली स्टॉपिंग के लिए एक कार्यप्रणाली। एक छोटे पैमाने के यूनिवर्सल कर्व के साथ आंशिक प्रशिक्षण रन (10–30% टोकन) को संरेखित करके, अभ्यासकर्ता बड़े मॉडलों को पूरा प्रशिक्षित किए बिना अंतिम लॉस और इष्टतम हाइपरपैरामीटर चुन सकते हैं।

4. परिणाम (Results)

कोलैप्स का सत्यापन:
- Llama-2 (विफलता): अलग-अलग TPP और गैर-अनुकूलित $\tau$ के साथ प्रशिक्षित Llama-2 मॉडल (7B–70B) ने कोई कोलैप्स नहीं दिखाया; उनके नॉर्मलाइज्ड कर्व्स काफी विचलित हुए।
- Celerity (सफलता): फिक्स्ड TPP (जैसे, 234) और इष्टतम $\tau$ के साथ प्रशिक्षित Celerity मॉडल सघन कोलैप्स (tight collapse) दिखाते हैं। 300M से 3.9B पैरामीटर्स तक के कर्व्स नॉर्मलाइजेशन के बाद लगभग पूरी तरह से संरेखित होते हैं।
डायग्नोस्टिक क्षमता:
- एक 1.8B Celerity रन में, एक लॉस कर्नेल में संख्यात्मक अस्थिरता के कारण विचलन हुआ। कोलैप्स रेसिड्यूल (चल रहे कर्व और यूनिवर्सल रेफरेंस के बीच का अंतर) ने समस्या का पता 60% प्रशिक्षण पर लगा लिया, जबकि कच्चे लॉस कर्व ने केवल 90% पर दृश्य स्पाइक दिखाया। इसने लक्षित सुधार और रीस्टार्ट की अनुमति दी, जिससे महत्वपूर्ण कंप्यूट बचा।
कंप्यूट दक्षता:
- 234 TPP (उच्च पैरामीटर दक्षता) पर प्रशिक्षित Celerity मॉडल ने कंप्यूट-ऑप्टिमल मॉडलों (20 TPP) के समान सटीकता प्राप्त की, लेकिन ~62% कम पैरामीटर्स के साथ।
- Celerity ने BTLM (जो टास्क-स्पेसिफिक डेटा एनीलिंग मानक बनने से पहले प्रशिक्षित था) को 75% कम ट्रेनिंग FLOPs के साथ पीछे छोड़ दिया।
अर्ली स्टॉपिंग सटीकता:
- प्रेडिक्टिव मॉडल का उपयोग करते हुए, लेखक केवल 10–30% टोकन के प्रशिक्षण के बाद ही इष्टतम हाइपरपैरामीटर सेटिंग (जैसे, बैच साइज या वेट डिके) की पहचान करने में सक्षम थे। यह "करंट बेस्ट" ह्यूरिस्टिक्स के विपरीत है, जो अक्सर बड़े पैमाने के स्वीप में वास्तविक विजेता की भविष्यवाणी करने में विफल रहते हैं।

5. महत्व और प्रभाव (Significance and Impact)

पूर्वानुमेयता का संचालन (Operationalizing Predictability): यह पेपर स्केलिंग लॉ को प्रदर्शन के सैद्धांतिक पूर्वानुमान से परिचालन प्रशिक्षण नियंत्रण (operational training control) की ओर ले जाता है। "कोलैप्स्ड कर्व" को एक संदर्भ प्रक्षेपवक्र के रूप में उपयोग करके, टीमें प्रशिक्षण स्वास्थ्य की वास्तविक समय में निगरानी कर सकती हैं।
लागत में कमी: बड़े पैमाने के LLM विकास में हाइपरपैरामीटर ट्यूनिंग को जल्दी (10–30% प्रशिक्षण पर) रोकने की क्षमता भारी कंप्यूट बचत प्रदान करती है, जहाँ पूर्ण रन अत्यधिक महंगे होते हैं।
मजबूती (Robustness): निष्कर्ष बताते हैं कि सीखने का "रूप" (shape) मौलिक ऑप्टिमाइज़र डायनेमिक्स ( $\tau$ ) और डेटा एक्सपोजर (TPP) द्वारा शासित होता है, न कि विशिष्ट आर्किटेक्चरल विवरणों द्वारा, बशर्ते कि प्रशिक्षण व्यवस्था अनुकूलित हो।
ओपन साइंस: Celerity मॉडल और उनके प्रशिक्षण रेसिपी पूरी तरह से ओपन हैं, जो भविष्य के अनुसंधान के लिए एक पारदर्शी बेसलाइन प्रदान करते हैं, जो उन मॉडलों से अलग है जो मालिकाना डेटा क्यूरेशन या बेंचमार्क-विशिष्ट एनीलिंग पर निर्भर करते हैं।

संक्षेप में, "Scaling with Collapse" यह स्थापित करता है कि सही हाइपरपैरामीटर स्केलिंग (विशेष रूप से $\tau$ और TPP) के साथ, LLM प्रशिक्षण अत्यधिक पूर्वानुमान योग्य हो जाता है। यह पूर्वानुमान एक नए प्रशिक्षण प्रतिमान को सक्षम बनाता है: बड़े पैमाने के रन को निर्देशित करने के लिए छोटे पैमाने के प्रॉक्सी का उपयोग करना, कर्व विचलन के माध्यम से त्रुटियों का तुरंत पता लगाना, और मॉडल विकास की कम्प्यूटेशनल लागत को महत्वपूर्ण रूप से कम करना।