The Diminishing Returns of Early-Exit Decoding in Modern LLMs

यहाँ आधुनिक LLMs में अर्ली-एग्जिट डिकोडिंग के घटते प्रतिफल (Diminishing Returns) पर आधारित शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अर्ली-एग्जिट डिकोडिंग (Early-exit decoding) आधुनिक लार्ज लैंग्वेज मॉडल (LLM) इन्फरेंस में उपयोग की जाने वाली एक तकनीक है, जहाँ मॉडल पर्याप्त आत्मविश्वास प्राप्त करने के बाद एक मध्यवर्ती परत (intermediate layer) पर गणना को रोक देता है, जिसका उद्देश्य लेटेंसी और कंप्यूटेशनल लागत को कम करना है। ऐतिहासिक रूप से, यह विधि दो प्रमुख धारणाओं पर आधारित थी:

1. टोकन रिडंडेंसी (Token Redundancy): कई टोकन (विशेष रूप से "आसान" वाले) जल्दी स्थिर हो जाते हैं, जिससे मध्यवर्ती परतें सटीक भविष्यवाणियाँ करने में सक्षम होती हैं।
2. लेयर रिडंडेंसी (Layer Redundancy): मध्यवर्ती निरूपण (representations) अंतिम-परत के आउटपुट का अनुमान लगाने के लिए पर्याप्त जानकारी रखते हैं, जिससे कई परतें विशिष्ट टोकन के लिए अनावश्यक हो जाती हैं।

समस्या: हालिया LLMs (जैसे Llama 3/4, Qwen 3, GPT-OSS) बेहतर प्रीट्रेनिंग रेसिपी, बड़े डेटासेट और आर्किटेक्चरल बदलावों (जैसे Mixture-of-Experts, State Space Models, गहरे नेटवर्क) का उपयोग करते हैं। ये परिवर्तन लेयर रिडंडेंसी को कम करते हुए प्रतीत होते हैं और सूचना प्रसंस्करण (information processing) को बाद की परतों की ओर स्थानांतरित करते हैं। फलस्वरूप, पारंपरिक अर्ली-एग्जिट विधियों के आधारभूत अनुमान अब प्रभावी नहीं रह सकते हैं, जिससे अर्ली-एग्जिट अप्रभावी या सटीकता को कम करने वाला बन सकता है। वर्तमान में, विशिष्ट अनुकूलन (optimizations) में निवेश करने से पहले किसी मॉडल की अंतर्निहित उपयुक्तता को मापने के लिए कोई मानकीकृत मीट्रिक उपलब्ध नहीं है।

2. कार्यप्रणाली (Methodology)

लेखक बिना किसी अतिरिक्त प्रशिक्षण या आर्किटेक्चरल परिवर्तन के अर्ली-एग्जिट क्षमता का पुनर्मूल्यांकन करने के लिए एक व्यवस्थित ढांचा प्रस्तावित करते हैं।

A. मीट्रिक्स (Metrics)

अंतर्निहित उपयुक्तता को मापने के लिए, शोध पत्र अर्ली-एग्जिट एडेप्टेबिलिटी स्कोर (Early-Exit Adaptability Score - EAS) पेश करता है:

• स्किप रेश्यो ($w_\ell$): छोड़ी गई परतों का अनुपात ($L - \ell / L$), जो संभावित त्वरण (acceleration) को दर्शाता है।
• लेयर-टू-फाइनल सिमिलरिटी ($S_\ell$): एक मध्यवर्ती परत $\ell$ और अंतिम परत $L$ के बीच हिडन स्टेट्स, आउटपुट लॉजिट्स, या टॉप-के (Top-K) उम्मीदवारों के बीच कोसाइन सिमिलरिटी। यह मापता है कि मध्यवर्ती आउटपुट पूर्ण-गहराई वाले आउटपुट से कितना मेल खाता है।
• EAS गणना: सिमिलरिटी (जिसे [0,1] पर मैप किया गया है) और स्किप रेश्यो का भारित ज्यामितीय माध्य (weighted geometric mean) है:
  $$A_\ell = \tilde{S}_\ell^\alpha \cdot w_\ell^{1-\alpha}$$
  अंतिम EAS, सभी उम्मीदवार एग्जिट लेयर्स में $A_\ell$ का औसत है। उच्च EAS बेहतर अंतर्निहित उपयुक्तता का संकेत देता है।

B. बेंचमार्क और मूल्यांकन (Benchmark & Evaluation)

• ओरेकल अर्ली-एग्जिट (Oracle Early-Exit): लेखक एक "ओरेकल" परिदृश्य का अनुकरण करते हैं जहाँ अंतिम परत के साथ ज्ञात समानता के आधार पर एग्जिट लेयर चुनी जाती है, जो प्रदर्शन की ऊपरी सीमा (upper bound) स्थापित करती है।
• डेटासेट्स: रीजनिंग, मैथ, कोड और नॉलेज को कवर करने वाले चार विविध बेंचमार्क: MMLU, GSM8K, HumanEval, और GPQA।
• मॉडेल्स: Llama 2/3/4, Qwen 2/3, GPT-OSS, Mamba (SSM) और विभिन्न MoE मॉडल्स सहित आधुनिक आर्किटेक्चर की एक विस्तृत श्रृंखला।

3. मुख्य योगदान (Key Contributions)

1. नया मीट्रिक और बेंचमार्क: मॉडल की अंतर्निहित क्षमता को मापने के लिए अर्ली-एग्जिट एडेप्टेबिलिटी स्कोर (EAS) और एक ओपन-सोर्स बेंचमार्क फ्रेमवर्क का परिचय।
2. अनुभवजन्य रुझान विश्लेषण (Empirical Trend Analysis): नए मॉडल पीढ़ियों (2024–2026) में अर्ली-एग्जिट प्रभावशीलता में एक घटते रुझान (diminishing trend) का प्रदर्शन।
3. कारक पहचान: अर्ली-एxit क्षमता को प्रभावित करने वाले चार प्राथमिक कारकों का व्यवस्थित विश्लेषण:
   • मॉडल स्केल (Model Scale)
   • मॉडल आर्किटेक्चर (Dense बनाम MoE बनाम SSM)
   • ट्रेनिंग रेसिपीज़ (प्रीट्रेनिंग प्रोग्रेशन और पोस्ट-ट्रेनिंग ट्यूनिंग)
   • वर्कलोड की विशेषताएं (Workload characteristics)

4. मुख्य परिणाम और अवलोकन (Key Results & Observations)

A. आधुनिक LLMs में घटते प्रतिफल (Diminishing Returns in Modern LLMs)

• रुझान: नए मॉडल्स (जैसे Llama 3/4, Qwen 3) पुराने मॉडल्स (जैसे Llama 2) की तुलना में काफी कम EAS प्रदर्शित करते हैं।
• लेयर रिडंडेंसी: आधुनिक मॉडल्स में, लेयर-टू-फाइनल सिमिलरिटी नेटवर्क की अधिकांश गहराई के लिए कम रहती है और केवल अंतिम परतों के पास ही बढ़ती है। यह इंगित करता है कि मध्यवर्ती परतों के पास विश्वसनीय अर्ली-एग्जिट के लिए आवश्यक सिमेंटिक स्थिरता नहीं है।
• आर्किटेक्चर अंतर:
  • Dense Transformers: आम तौर पर उच्चतम अर्ली-एग्जिट क्षमता प्रदान करते हैं।
  • MoE (Mixture-of-Experts): कम क्षमता दिखाते हैं क्योंकि गणना गतिशील रूप से चयनित विशेषज्ञों (experts) में केंद्रित होती है, जिससे अंतिम निर्णय लेने की प्रक्रिया गहरी परतों तक टल जाती है।
  • SSMs (State Space Models): सबसे कम क्षमता प्रदर्शित करते हैं क्योंकि यहाँ अनुक्रमिक स्टेट अपडेट्स (sequential state updates) का गहरा जुड़ाव होता है, जिससे मध्यवर्ती निरूपण बाद के रूपांतरणों पर अत्यधिक निर्भर हो जाते हैं।

B. मॉडल स्केल का प्रभाव (Impact of Model Scale)

• सकारात्मक सहसंबंध: बड़े मॉडल्स (विशेष रूप से 20 बिलियन से अधिक पैरामीटर्स वाले) में उच्च EAS होने की प्रवृत्ति होती है।
• तर्क: बड़े मॉडल्स में अक्सर अधिक लेयर्स और पैरामीटर्स होते हैं, जिससे स्वाभाविक लेयर-वार रिडंडेंसी बढ़ती है, जो अर्ली-एग्जिट के लिए एक व्यापक "सेफ विंडो" बनाती है।

C. ट्रेनिंग रेसिपी का प्रभाव (Impact of Training Recipes)

• प्रीट्रेनिंग: जैसे-जैसे प्रीट्रेनिंग आगे बढ़ती है (उदाहरण के लिए, Pythia चेकपॉइंट्स में), सिमिलरिटी कर्व लीनियर से बदलकर "बो-शेप्ड" (bowed) हो जाता है, जो कार्यात्मक विशेषज्ञता (functional specialization) को दर्शाता है जहाँ मध्यवर्ती परतें जटिल रूपांतरण करने के लिए अलग हो जाती हैं। यह रिडंडेंसी को कम करता है।
• पोस्ट-ट्रेनिंग (Fine-tuning): इंस्ट्रक्शन ट्यूनिंग और अलाइनमेंट (जैसे SFT, RLHF) अर्ली-एग्जिट उपयुक्तता को और कम कर देते हैं। ये प्रक्रियाएं अंतिम डिकोडिंग व्यवहार को अनुकूलित करती हैं, जिससे महत्वपूर्ण कैलिब्रेशन और निर्णय लेने की प्रक्रिया अंतिम परतों की ओर धकेल दी जाती है।

D. वर्कलोड का प्रभाव (Workload Influence)

• अर्ली-एग्जिट पैटर्न काफी हद तक मॉडल-विशिष्ट होते हैं और विशिष्ट कार्य प्रकार (task type) से बहुत कम प्रभावित होते हैं। हालांकि कार्य की कठिनाई पूर्ण सटीकता को प्रभावित करती है, लेकिन मॉडल की सापेक्ष अनुकूलन क्षमता विभिन्न डेटासेट्स में सुसंगत रहती है।

5. महत्व और निहितार्थ (Significance & Implications)

• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र इस धारणा को चुनौती देता है कि अर्ली-एग्जिट सभी LLMs के लिए एक सार्वभौमिक अनुकूलन है। आधुनिक, अत्यधिक ट्यून किए गए या विशिष्ट मॉडल्स के लिए, अर्ली-एग्जिट नगण्य गति वृद्धि दे सकता है या सटीकता से समझौता कर सकता है।
• डिज़ाइन मार्गदर्शन:
  • मॉडल डेवलपर्स के लिए: अर्ली-एग्जिट बड़े-पैमाने वाले (>20B), डेंस, बेस-प्रीट्रेन्ड मॉडल्स के लिए सबसे अधिक व्यवहार्य है।
  • सिस्टम आर्किटेक्ट्स के लिए: अर्ली-एग्जिट मैकेनिज्म लागू करने से पहले, पेशेवरों को मॉडल के EAS का मूल्यांकन करना चाहिए। यदि स्कोर कम है, तो रिट्रेनिंग या सहायक हेड्स (auxiliary heads) जोड़ने की लागत लेटेंसी लाभ से अधिक हो सकती है।
• भविष्य का अनुसंधान: निष्कर्ष बताते हैं कि आधुनिक LLMs में भविष्य के दक्षता लाभ केवल लेयर-स्किपिंग (layer-skipping) पर निर्भर रहने के बजाय अन्य माध्यमों (जैसे स्पेक्युलेटिव डिकोडिंग, क्वांटाइजेशन, या हार्डवेयर ऑप्टिमाइजेशन) से आ सकते हैं।

निष्कर्षतः, जबकि अर्ली-एग्जिट कुछ विशिष्ट मॉडल्स (बड़े, डेंस, बेस मॉडल्स) के लिए एक आशाजनक तकनीक बनी हुई है, इसकी सामान्य प्रयोज्यता आधुनिक LLM आर्किटेक्चर और प्रशिक्षण पद्धतियों के विकसित होने के साथ कम होती जा रही है।