Inverse Depth Scaling From Most Layers Being Similar

तकनीकी सारांश: अधिकांश परतों के समान होने से व्युत्क्रम गहराई स्केलिंग (Inverse Depth Scaling)

समस्या विवरण
न्यूरल स्केलिंग लॉ ने यह स्थापित किया है कि लार्ज लैंग्वेज मॉडल (LLM) का प्रदर्शन मॉडल के आकार और डेटासेट के आकार में वृद्धि के साथ अनुमानित रूप से सुधरता है, जो आमतौर पर पावर-लॉ संबंधों का पालन करता है। हालाँकि, ये स्केलिंग लॉ अक्सर मॉडल के आकार को एक अखंड मात्रा (monolithic quantity) के रूप में देखते हैं, जिससे चौड़ाई (width) और गहराई (depth) के विशिष्ट योगदान छिप जाते हैं। जबकि सैद्धांतिक ढांचे प्रस्तावित करते हैं कि गहराई प्रदर्शन में कंपोजिशनल असेंबली (पदानुक्रमित अमूर्तता/hierarchical abstraction), प्रोसीजरल असेंबली (सुचारू गतिकी का विविक्तीकरण/discretization of smooth dynamics), या एन्सेम्बल एवरेजिंग (अतिरेकपूर्ण अनुमान/redundant estimation) के माध्यम से योगदान दे सकती है, लेकिन LLM अपनी गहराई का उपयोग किस तंत्र द्वारा करते हैं, यह स्पष्ट नहीं है। अनुभवजन्य अध्ययन (Empirical studies) बताते हैं कि LLM की परतें अक्सर अतिरेकपूर्ण (redundant) होती हैं, फिर भी इस अतिरेक को विशिष्ट स्केलिंग लॉ से जोड़ने वाला एक मात्रात्मक ढांचा लुप्त था। यह शोध पत्र LLM की गहराई और लॉस (loss) के बीच मात्रात्मक संबंध की जांच करता है ताकि यह निर्धारित किया जा सके कि कौन सा सैद्धांतिक शासन (regime) प्रभावी है।

कार्यप्रणाली
लेखक वास्तविक LLMs के अनुभवजन्य विश्लेषण, नियंत्रित टॉय मॉडल प्रयोगों और सैद्धांतिक विश्लेषण को संयोजित करने वाला एक त्रि-आयामी दृष्टिकोण अपनाते हैं:

1. LLM हिडन स्टेट विश्लेषण: लेखकों ने विभिन्न Pythia मॉडलों (410M से 12B पैरामीटर्स तक) और अन्य परिवारों (Qwen-2.5, OPT) में फाइनवेब (FineWeb) डेटासेट का उपयोग करके हिडन स्टेट डायनेमिक्स का विश्लेषण किया। उन्होंने पड़ोसी हिडन स्टेट्स के बीच कोणीय परिवर्तन, $\theta(h_l, h_{l+1})$, और वृद्धिशील अपडेट के बीच सहसंबंध, $\theta(\Delta h_l, \Delta h_{l+1})$, को मापा। टोकन के विशिष्ट व्यवहार संबंधी क्लस्टर्स की पहचान करने के लिए प्रिंसिपल कंपोनेंट एनालिसिस (PCA) का उपयोग किया गया।
2. अनुभवजन्य लॉस डीकम्पोजिशन (Empirical Loss Decomposition): लेखकों ने एक डीकम्पोज्ड स्केलिंग लॉ प्रस्तावित किया जो लॉस ($L$) को चौड़ाई ($m$), गहराई ($\ell$), और डेटासेट आकार ($D$) के योगदानों में अलग करता है:
   $$L = \frac{c_m}{m^{\alpha_m}} + \frac{c_\ell}{\ell^{\alpha_\ell}} + \frac{c_D}{D^{\alpha_D}} + L_0$$
   उन्होंने $\alpha_\ell$ (डेप्थ स्केलिंग एक्सपोनेंट) का अनुमान लगाने के लिए चिनचिला स्केलिंग प्रयोगों (लगभग 200 डेटा पॉइंट्स) से पुनर्निर्मित डेटा पर इस मॉडल को फिट किया।
3. टॉय मॉडल प्रयोग: तंत्रों को अलग करने के लिए, एक टीचर-स्टूडेंट सेटअप डिज़ाइन किया गया जहाँ एक स्टूडेंट नेटवर्क एक गहरे टीचर की नकल करना सीखता है। टीचर की गतिकी को वेट टायिंग (वेट टायिंग के माध्यम से सुचारू गतिकी प्रेरित करना) या स्वतंत्र वेट्स (एन्सेम्बल एवरेजिंग के लिए नॉन-स्मूथ, रैंडम-वॉक गतिकी प्रेरित करना) के माध्यम से नियंत्रित किया गया। स्टूडेंट की गहराई को बदला गया, और कन्वर्जेंस और स्केलिंग व्यवहारों को देखने के लिए विभिन्न टारगेट डिस्ट्रीब्यूशन टेम्परेचर के तहत प्रशिक्षण कराया गया।

मुख्य योगदान और परिणाम

• व्युत्क्रम गहराई स्केलिंग (Inverse Depth Scaling): प्राथमिक निष्कर्ष यह है कि LLM लॉस लगभग गहराई के व्युत्क्रमानुपाती (inversely proportional) रूप से स्केल होता है ($\alpha_\ell \approx 1$)। फिट किया गया एक्सपोनेंट $\alpha_\ell = 1.2 \pm 0.3$ है, जो एक पावर-लॉ डिके का सुझाव देता है जहाँ गहराई को दोगुना करने से गहराई-सीमित त्रुटि घटक लगभग आधा हो जाता है।
• एन्सेम्बल एवरेजिंग का प्रभुत्व: हिडन स्टेट्स का विश्लेषण प्रकट करता है कि अधिकांश टोकन (99.6%) और परतों के लिए, अपडेट्स नेटवर्क के मध्य भाग में वृद्धिशील और समान होते हैं। महत्वपूर्ण रूप से, पड़ोसी लेयर अपडेट्स के बीच सहसंबंध कमजोर है (कोण $\pi/2$ के करीब हैं), जो प्रोसीजरल असेंबली के लिए आवश्यक सुचारू गतिकी का खंडन करता है। इसके बजाय, ये संकेत एन्सेम्बल एवरेजिंग के अनुरूप हैं, जहाँ परतें रेडंडेंट, नॉइजी एस्टिमेटर्स के रूप में कार्य करती हैं जो औसत के माध्यम से त्रुटि को कम करती हैं।
• कंपोजिशनल और प्रोसीजरल प्रभुत्व का खंडन:
  • कंपोजिशनल असेंबली: डेटा अधिकांश डेटा के लिए "अर्ली स्टॉपिंग" या विशिष्ट पदानुक्रमित अमूर्तता पैटर्न (जैसे, सिंटैक्स $\to$ सिमेंटिक्स $\to$ रीजनिंग) नहीं दिखाता है।
  • प्रोसीजरल असेंबली: हालांकि प्रोसीजरल असेंबली (सुचारू ODEs का विविक्तीकरण) विशिष्ट स्थितियों (जैसे, कम तापमान/अपूर्ण प्रशिक्षण) के तहत सैद्धांतिक रूप से व्युत्क्रम स्केलिंग दे सकती है, लेखकों के टॉय मॉडल प्रयोग दिखाते हैं कि एक बार जब प्रशिक्षण सुचारू गतिकी के साथ अभिसरित (converge) हो जाता है, तो स्केलिंग एक्सपोनेंट $\alpha_\ell \approx 3$ में बदल जाता है। चूंकि वास्तविक LLMs $\alpha_\ell \approx 1$ प्रदर्शित करते हैं, इसलिए प्रोसीजरल असेंबली के प्रमुख तंत्र होने की संभावना कम है।
• मैकेनिस्टिक स्पष्टीकरण: पेपर यह निष्कर्ष निकालता है कि LLM गहराई की अक्षमता इसलिए है क्योंकि अधिकांश परतें कार्यात्मक रूप से समान रूपांतरण करती हैं। गहराई जोड़ने से इन कार्यात्मक समूहों का आकार बढ़ जाता है, और लॉस रिडक्शन 'लॉ ऑफ लार्ज नंबर्स' (त्रुटियों को औसत करने) द्वारा संचालित होता है न कि नई, गहरी अमूर्तताओं के निर्माण द्वारा।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य पिछले अनुभवजन्य अध्ययनों में देखे गए गहराई के "अक्षम" उपयोग का मात्रात्मक स्पष्टीकरण प्रदान करता है। यह स्थापित करके कि LLMs मुख्य रूप से एन्सेम्बल एवरेजिंग रिजीम में काम करते हैं, पेपर सुझाव देता है कि:

1. वास्तुकला संबंधी निहितार्थ (Architectural Implications): वर्तमान रेसिडुअल नेटवर्क आर्किटेक्चर स्वाभाविक रूप से मॉडल्स को कंपोजिशनल लर्निंग के बजाय एन्सेम्बल एवरेजिंग की ओर झुका सकते हैं। दक्षता में सुधार के लिए उन वास्तुशिल्प नवाचारों की आवश्यकता हो सकती है जो गहराई के कंपोजिशनल उपयोग को प्रोत्साहित करें।
2. स्केलिंग लॉ: देखा गया व्युत्क्रम गहराई स्केलिंग ($\alpha_\ell \approx 1$) संयुक्त रूप से चौड़ाई स्केलिंग ($\alpha_m \approx 1$) के साथ, एक निश्चित पैरामीटर बजट के तहत $m \propto \ell$ का इष्टतम चौड़ाई-गहराई संबंध दर्शाता है। यह चिनचिला मॉडल्स में देखी गई अनुभवजन्य $N^{-1//3}$ स्केलिंग के अनुरूप है।
3. सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि उनका लॉस डीकम्पोजिशन प्रथम सिद्धांतों (first principles) के बजाय अनुभवजन्य फिट के आधार पर प्रस्तावित किया गया था। वे स्वीकार करते हैं कि जबकि वे कंपोजिशनल और प्रोसीजरल असेंबली की प्रमुख भूमिका को खारिज करते हैं, समान स्केलिंग व्यवहार उत्पन्न करने वाले अन्य तंत्रों को प्रथम-सिद्धांत व्युत्पत्तियों के बिना कड़ाई से बाहर नहीं किया जा सकता है। इसके अतिरिक्त, अध्ययन "बल्क" परतों पर केंद्रित है, यह स्वीकार करते हुए कि पहली और अंतिम परतें अलग, संभावित रूप से कंपोजिशनल व्यवहार प्रदर्शित कर सकती हैं।

संक्षेप में, पेपर यह तर्क देता है कि LLMs के स्केलिंग की वर्तमान सफलता काफी हद तक त्रुटियों को औसत करने वाली रेडंडेंट परतें जोड़ने का परिणाम है, न कि गहरी प्रतिनिधित्व पदानुक्रम (representational hierarchy) को गहरा करने का, और भविष्य की वास्तुशिल्प प्रगति इस एन्सेम्बल एवरेजिंग के प्रति पूर्वाग्रह को तोड़ने पर निर्भर हो सकती है।