Test-Time Scaling Makes Overtraining Compute-Optimal

यहाँ शोध पत्र "Test-Time Scaling Makes Overtraining Compute-Optimal" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) विकास दो मुख्य रूप से अलग-अलग प्रतिमानों (paradigms) द्वारा संचालित है:

• प्रीट्रेनिंग स्केलिंग लॉज़ (जैसे Chinchilla): ये एक निश्चित कंप्यूट बजट के तहत ट्रेनिंग लॉस को कम करने के लिए मॉडल आकार ($N$) और टोकन ($D$) को अनुकूलित करते हैं। वे एकल-पास इन्फरेंस परिदृश्य ($k=1$) को मानते हैं।
• टेस्ट-टाइम स्केलिंग (Test-Time Scaling): हालिया कार्य दर्शाते हैं कि बार-बार सैंपलिंग ( $k$ सैंपल जेनरेट करना और सबसे अच्छे को चुनना) के माध्यम से इन्फरेंस में अधिक कंप्यूट आवंटित करने से प्रदर्शन में उल्लेखनीय वृद्धि हो सकती है, जो अक्सर छोटे मॉडलों को बड़े मॉडलों से बेहतर प्रदर्शन करने की अनुमति देता है।

अंतराल (The Gap): मौजूदा स्केलिंग लॉज़ प्रीट्रेनिंग निर्णयों ($N, D$) को टेस्ट-टाइम इन्फरेंस रणनीतियों ($k$) के साथ संयुक्त रूप से अनुकूलित नहीं करते हैं।

• ट्रेड-ऑफ (The Trade-off): छोटे मॉडल प्रति इन्फरेंस सैंपल सस्ते होते हैं लेकिन प्रति-सैंपल सटीकता कम होती है। बड़े मॉडल प्रति सैंपल महंगे होते हैं लेकिन अधिक सटीक होते हैं। बार-बार सैंपलिंग का लाभ प्रति-सैंपल गुणवत्ता के फलन (function) के रूप में अत्यधिक नॉन-लीनियर होता है।
• प्रश्न: यदि किसी अभ्यासकर्ता (practitioner) को पता है कि उनका कुल कंप्यूट बजट प्रशिक्षण और एक विशिष्ट टेस्ट-टाइम स्केलिंग बजट (बार-बार सैंपलिंग) दोनों को शामिल करता है, तो क्या इष्टतम प्रीट्रेनिंग रणनीति (मॉडल आकार और टोकन संख्या) बदलनी चाहिए? यह शोध पत्र तर्क देता है कि वर्तमान "चिंचिला-इष्टतम" अनुपात (लगभग 20 टोकन/पैरामीटर) तब उप-इष्टतम (suboptimal) होते हैं जब इन्फरेंस लागतों को ध्यान में रखा जाता है।

2. कार्यप्रणाली: ट्रेन-टू-टेस्ट (T2) स्केलिंग लॉज़

लेखक ट्रेन-टू-टेस्ट (T2) स्केलिंग लॉज़ प्रस्तावित करते हैं, जो एक निश्चित एंड-टू-एंड कंप्यूट बजट ($C_{total} = C_{train} + C_{inf}$) के तहत मॉडल आकार ($N$), डेटासेट आकार ($D$), और इन्फरेंस सैंपल्स की संख्या ($k$) को संयुक्त रूप से अनुकूलित करते हैं।

लागत मॉडल (Cost Model):

• ट्रेनिंग लागत: $C_{train} \approx 6ND$ (मानक चिंचिला धारणा)।
• इन्फरेंस लागत: $C_{inf} \approx 2Nk$ (फॉरवर्ड पास लागत $\times$ सैंपल्स की संख्या)।
• प्रतिबंध (Constraint): एक निश्चित इन्फरेंस बजट के लिए, छोटे मॉडलों को अधिक सैंपल आवंटित किए जाते हैं ($k = C_{inf} / 2N$)।

लेखक इस अनुकूलन समस्या को हल करने के लिए दो पूरक मॉडलिंग दृष्टिकोण प्रस्तावित करते हैं:

दृष्टिकोण 1: टास्क लॉस का पैरामीट्रिक मॉडल (NLL-आधारित)

• अवधारणा: यह $k$ सैंपल्स की संख्या को शामिल करने के लिए चिंचिला लॉस लॉ को विस्तारित करता है।
• फॉर्मूलेशन: लेखक पास@k प्रायिकता के नेगेटिव लॉग को एक पावर-लॉ फंक्शन के रूप में मॉडल करते हैं:
  $$\hat{L}(N, D, k) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{G}{k^\gamma}$$
• तर्क: यह मानता है कि बार-बार सैंपलिंग के कारण नेगेटिव लॉग पास@k में कमी एक पावर लॉ का पालन करती है (यह बीटा वितरण (Beta distribution) के आधार पर समर्थित है जो टास्क कठिनाई को दर्शाता है)।
• अनुकूलन (Optimization): $6ND \le C_{train}$ और $2Nk \le C_{inf}$ के अधीन $\hat{L}$ को न्यूनतम करता है।

दृष्टिकोण 2: टास्क एक्यूरेसी का पैरामीट्रिक मॉडल (Pass@k-आधारित)

• अवधारणा: सीधे अपेक्षित पास@k सटीकता को मॉडल करता है बजाय लॉस के।
• फॉर्मूलेशन:
  1. चिंचिला लॉस $\hat{L}(N, D)$ को एक फिटेड सिग्मॉइड फंक्शन का उपयोग करके सिंगल-पास सटीकता $p$ में मैप करता है: $p = \sigma_\theta(\hat{L}(N, D))$।
  2. पूरे डेटासेट में प्रति-प्रश्न सटीकता के वितरण को बीटा वितरण ($Beta(a, b)$) के रूप में मॉडल करता है, जहाँ पैरामीटर$a, b$ $N$ और $D$ पर निर्भर करते हैं।
  3. इस बीटा वितरण पर इंटीग्रेशन करके अपेक्षित पास@k प्राप्त करता है:
     $$\widehat{Acc}(N, D, k) = 1 - \frac{B(a, b+k)}{B(a, b)}$$
     जहाँ $B$ एक बीटा फंक्शन है।
• अनुकूलन: समान कंप्यूट बाधाओं के अधीन $\widehat{Acc}$ को अधिकतम करता है।

3. मुख्य योगदान

1. एकीकृत ढांचा (Unified Framework): एक एकल कंप्यूट बजट के तहत प्रीट्रेनिंग ($N, D$) और टेस्ट-टाइम स्केलिंग ($k$) के संयुक्त अनुकूलन को औपचारिक रूप दिया।
2. दोहरे मॉडलिंग दृष्टिकोण: दो अलग-अलग विधियों (लॉस-आधारित और एक्यूरेसी-आधारित) को पेश किया, जो अलग-अलग मात्राओं को मॉडल करने के बावजूद सुसंगत सिफारिशें देते हैं।
3. ओवरट्रेनिंग रिजीम पर सत्यापन: यह प्रमाणित करने के लिए कि अनुमानित इष्टतम वास्तविक हैं न कि केवल सैद्धांतिक आर्टिफैक्ट्स, 100 से अधिक मॉडलों का एक टेस्टबेड बनाया (मौजूदा चिंचिला सूट्स को ओवरट्रेनिंग रिजीम में विस्तारित किया)।
4. पोस्ट-ट्रेनिंग मजबूती (Post-Training Robustness): यह प्रदर्शित किया कि T2 स्केलिंग के लाभ सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और मानक फाइन-ट्यूनिंग (FT) के बाद भी बने रहते हैं, भले ही ओवरट्रेन किए गए मॉडलों को फाइन-ट्यून करना कठिन माना जाता है।

4. प्रयोगात्मक परिणाम

लेखकों ने आठ डाउनस्ट्रीम कार्यों पर T2 स्केलिंग का मूल्यांकन किया: (4 वास्तविक बेंचमार्क: LAMBADA, ARC-Easy, SciQ, OpenBookQA; और 4 सिंथेटिक कार्य: नॉलेज रिकॉल, अरिथमेटिक, कॉज़ल रीजनिंग, स्पेशियल रीजनिंग)।

• RQ1: क्या प्रीट्रेनिंग बदलनी चाहिए?

  • हाँ। एक निश्चित टेस्ट-टाइम स्केलिंग बजट को ध्यान में रखते हुए, इष्टतम रणनीति नाटकीय रूप से छोटे, भारी ओवरट्रेन किए गए मॉडलों की ओर स्थानांतरित हो जाती है।
  • चिंचिला नियम (~20 टोकन/पैरामीटर) के बजाय, T2 अक्सर 100–1000 टोकन/पैरामीटर से अधिक के अनुपात की सिफारिश करता है (बजट के आधार पर)।
  • इष्टतम फ्रंटियर छोटे मॉडलों ($N$) की ओर शिफ्ट होता है जिन्हें बहुत अधिक टोकन ($D$) पर प्रशिक्षित किया गया है और कई अधिक सैंपल्स ($k$) के साथ मूल्यांकित किया गया है।

• RQ2: क्या T2 ओवरट्रेन किए गए चेकपॉइंट्स पर एक्सट्रपलेट करता है?

  • लेखकों ने सत्यापन के लिए शून्य से 21 नए "ओवरट्रेन किए गए" चेकपॉइंट्स प्रशिक्षित किए।
  • परिणाम: T2 मॉडल लगातार चिंचिला-इष्टतम चेकपॉइंट्स से बेहतर प्रदर्शन करते रहे।
  • सटीकता: दृष्टिकोण 1 (NLL) ने प्रदर्शन की भविष्यवाणी करने में 2.8% की सापेक्ष त्रुटि दिखाई, जबकि दृष्टिकोण 2 ने 8.4% दिखाई।
  • प्रदर्शन: छोटे ओवरट्रेन किए गए मॉडल (जैसे 37M–149M पैरामीटर्स) बार-बार सैंपलिंग के साथ, समान कार्यों पर बड़े चिंचिला-इष्टतम मॉडलों (जैसे 901M पैरामीटर्स) से काफी बेहतर प्रदर्शन करते हैं।

• RQ3: क्या T2 पोस्ट-ट्रेनिंग में जीवित रहता है?

  • लेखकों ने सर्वश्रेष्ठ ओवरट्रेन और चिंचिला-इष्टतम मॉडलों पर FT और SFT लागू किया।
  • परिणाम: प्रदर्शन का अंतर बना रहा। ओवरट्रेन किए गए मॉडल फाइन-ट्यूनिंग के बाद भी बेहतर रहे, हालांकि "ओवरट्रेनिंग" के लाभ का परिमाण बेस मॉडलों की तुलना में थोड़ा कम हो गया (यह इस तथ्य के अनुरूप है कि ओवरट्रेन किए गए मॉडलों को फाइन-ट्यून करना कठिन होता है)।

5. महत्व और निहितार्थ

• "कंप्यूट-ऑप्टिमल" को फिर से परिभाषित करना: यह शोध पत्र प्रचलित चिंचिला स्केलिंग लॉ को चुनौती देता है, यह तर्क देते हुए कि यह केवल सिंगल-पास इन्फरेंस के लिए इष्टतम है। आधुनिक डिप्लॉयमेंट के लिए, जो टेस्ट-टाइम कंप्यूट (बार-बार सैंपलिंग, वेरिफिकेशन, या रीजनिंग) का उपयोग करते हैं, इष्टतम रणनीति छोटे मॉडलों को बहुत लंबे समय तक प्रशिक्षित करना है।
• व्यावहारिक सिफारिश: जिनके पास एक निश्चित इन्फरेंस बजट है, उन्हें एक सिंगल पास के लिए विशाल मॉडल नहीं बनाना चाहिए। इसके बजाय, उन्हें उच्च टोकन-टू-पैरामीटर अनुपात वाले छोटे मॉडल प्रशिक्षित करने चाहिए और बेहतर सटीकता प्राप्त करने के लिए इन्फरेंस के समय बार-बार सैंपलिंग पर भरोसा करना चाहिए।
• सिद्धांत और व्यवहार को जोड़ना: यह कार्य प्रीट्रेनिंग के सैद्धांतिक स्केलिंग लॉ को डिप्लॉयमेंट रणनीतियों (जैसे कि रीजनिंग के लिए फ्रंटियर मॉडल्स में उपयोग की जाने वाली रणनीतियाँ) की व्यावहारिक वास्तविकताओं से जोड़ता है, जो टेस्ट-टाइम स्केलिंग के युग में कुशल मॉडल डिजाइन के लिए एक ब्लूप्रिंट प्रदान करता है।

संक्षेप में, यह शोध पत्र सिद्ध करता है कि ओवरट्रेनिंग एक गलती नहीं बल्कि एक आवश्यकता है जब टेस्ट-टाइम कंप्यूट को अनुकूलन समीकरण का हिस्सा माना जाता है, जो एक नया "ट्रेन-टू-टेस्ट" स्केलिंग लॉ प्रदान करता है जो वास्तविक डिप्लॉयमेंट बाधाओं के तहत प्रदर्शन को अधिकतम करता है।