तकनीकी सारांश: सब-1B गणितीय तर्क में फाइन-ट्यूनिंग ट्रैप (The Fine-Tuning Trap)

समस्या विवरण

एज डिवाइसेस (edge devices) पर छोटे भाषा मॉडलों (Small Language Models - SLMs) की तैनाती के लिए कुशल अनुकूलन रणनीतियों की आवश्यकता होती है जो सामान्य क्षमताओं को कम न करें। हालाँकि, यह शोध पत्र 300 मिलियन से कम पैरामीटर्स वाले मॉडलों में एक महत्वपूर्ण भेद्यता की पहचान करता है: फुल फाइन-ट्यूनिंग (Full Fine-Tuning - Full FT) अक्सर "नेगेटिव ट्रांसफर" (negative transfer) उत्पन्न करती है, जो प्रदर्शन को सक्रिय रूप से नुकसान पहुँचाती है और सटीकता को ज़ीरो-शॉट बेसलाइन से भी नीचे गिरा देती है। यह घटना, जिसे "फाइन-ट्यूनिंग ट्रैप" कहा गया है, यह सुझाव देती है कि सब-1B मॉडलों के लिए, मानक फाइन-ट्यूनिंग केवल एक दक्षता का विकल्प नहीं है, बल्कि एक स्थिरता की आवश्यकता है। लेखक तर्क देते हैं कि SLMs "क्षमता संतृप्ति" (capacity saturation) के करीब कार्य करते हैं, जहाँ सघन पूर्व-प्रशिक्षित ज्ञान (dense pre-trained knowledge) नए कार्य-विशिष्ट ग्रेडिएंट्स को अवशोषित करने के लिए कोई अतिरिक्त (redundant) पैरामीटर नहीं छोड़ता है, जिससे मूल भाषाई और तर्क क्षमताओं का विस्थापन हो जाता है।

कार्यप्रणाली (Methodology)

यह अध्ययन 135M से 2B के पैरामीटर रेंज में पांच डिकोडर-ओनली आर्किटेक्चर को बेंचमार्क करने के लिए एक व्यवस्थित अनुभवजन्य ढांचे का उपयोग करता है।

• मॉडल चयन: मूल्यांकन तीन श्रेणियों में फैला हुआ है:
  • टाइनी रिजीम (Tiny Regime <500M): SmolLM2-135M और SmolLM2-360M।
  • ट्रांज़िशन रिजीम (Transition Regime ~500M): Qwen2.5-0.5B (अत्यधिक संरेखित/aligned)।
  • रेफरेंस रिजीम (Reference Regime >1B): OLMo-1B और Gemma-2B।
• कार्य (Tasks): प्राथमिक ध्यान गणितीय तर्क पर है, जिसमें प्रशिक्षण के लिए OrcaMath से 10,000 उदाहरणों का एक स्तरीकृत उपसमुच्चय (stratified subset) उपयोग किया गया है। मूल्यांकन GSM8K (इन-डिस्ट्रीब्यूशन रीजनिंग), SVAMP (आउट-ऑफ-डिस्ट्रीब्यूशन रोबस्टनेस), और MATH (उच्च-कठिनाई वाले प्रश्न) को कवर करता है।
• फाइन-ट्यूनिंग रणनीतियाँ: अध्ययन तुलना करता है:
  • Full FT: सभी पैरामीटर्स को अपडेट करना।
  • PEFT (Parameter-Efficient Fine-Tuning): विशेष रूप से LoRA (Low-Rank Adaptation) और DoRA (Weight-Decomposed LoRA)।
• प्रशिक्षण प्रोटोकॉल: प्रयोग H100 नोड्स पर किए गए। लेखकों ने स्थिरता के लिए विशिष्ट हाइपरपैरामीटर्स का उपयोग किया, जिसमें PEFT के लिए उच्च लर्निंग रेट ($2 \times 10^{-4}$) और Full FT के लिए ($2 \times 10^{-5}$) का उपयोग किया गया, ताकि एडैप्टर के ज़ीरो-इनिशियलाइजेशन बनाम प्रायर (priors) को संरक्षित करने की आवश्यकता के बीच अंतर किया जा सके।
• विश्लेषण: लेखकों ने अनुकूलन स्थिरता (optimization stability) को समझने के लिए ग्रेडिएंट नॉर्म्स, लॉस ट्रेजेक्टरीज और हेसियन स्पेक्ट्रल विश्लेषण (Hessian spectral analysis) के माध्यम से प्रशिक्षण गतिकी का विश्लेषण किया।

मुख्य योगदान

1. स्थिरता सीमा (Stability Threshold) की पहचान: यह शोध पत्र लगभग 500M पैरामीटर्स पर एक "फेज ट्रांजिशन" (Phase Transition) स्थापित करता है। इस सीमा से नीचे, Full FT लगातार विफल होता है, जो अक्सर विनाशकारी विस्मृति (catastrophic forgetting) का कारण बनता है। 1B से ऊपर, Full FT प्रभावकारिता पुनः प्राप्त कर लेता है क्योंकि मॉडलों के पास पर्याप्त "स्लैक" (slack) क्षमता होती है।
2. अस्थिरता का सैद्धांतिक औपचारिककरण: लेखक तीन दृष्टिकोणों के माध्यम से टाइनी मॉडलों में Full FT की विफलता को मॉडल करते हैं:
   • इंट्रूडर डायमेंशन (Intruder Dimensions): अनियंत्रित Full FT अपडेट्स उन ऑर्थोगोनल सबस्पेस ($W_{pre}^\perp$) में जाते हैं जो उच्च-वक्रता (high-curvature) दिशाओं (बड़े हेसियन आइजनवैल्यू) द्वारा चिह्नित होते हैं, जिससे अस्थिरता आती है। PEFT अपडेट्स को प्री-ट्रेंड मैनिफोल्ड के भीतर सीमित रखता है।
   • आर्किटेक्चरल कंडीशनिंग: आधुनिक SLMs अक्सर "डीप एंड थिन" (Deep and Thin) आर्किटेक्चर का उपयोग करते हैं। यह इनपुट-आउटपुट जैकोबियन के कंडीशन नंबर को तेजी से बढ़ाता है, जिससे अत्यधिक ग्रेडिएंट वेरिएंस होता है जिसे Full FT संतुलित नहीं कर पाता, जबकि LoRA अपडेट्स को डिकपल करके इसे कम करता है।
   • विस्मृति को सीमित करना (Bounding Forgetting): PEFT विधियाँ प्री-ट्रेंड वेट्स से विस्थापन ($\delta_{PEFT}$) को सख्ती से बांधती हैं, यह सुनिश्चित करती हैं कि मॉडल एक "ट्रस्ट रीजन" के भीतर रहे, जबकि Full FT में विस्थापन अनबाउंडेड होता है।
3. PEFT की तुलनात्मक गतिकी: अध्ययन विस्तृत विश्लेषण प्रदान करता है कि जहाँ LoRA और DoRA दोनों प्रशिक्षण को स्थिर करते हैं, उनकी ताकत अलग है। DoRA (जो मैग्नीट्यूड और दिशा को डिकपल करता है) जटिल तर्क कार्यों (GSM8K) में उत्कृष्ट है, जबकि LoRA पैटर्न मिलान (OrcaMath) में प्रभावी है।
4. हार्डवेयर और आर्थिक ट्रेड-ऑफ: यह शोध पत्र SLMs के लिए PEFT के मूल्य को पुनर्रिभाषित करता है। उच्च-स्तरीय हार्डवेयर (H100) पर, अनुकूलित डेंस मैट्रिक्स कर्नेल के कारण Full FT वास्तव में वॉल-क्लॉक समय में 2x तेज़ है, जबकि PEFT में कर्नेल ओवरहेड होता है। हालांकि, PEFT पहुंच (accessibility) के लिए आवश्यक है, जो VRAM आवश्यकताओं को ~16GB (Full FT) से घटाकर <4GB कर देता है, जिससे उपभोक्ता हार्डवेयर (जैसे RTX 4090) पर प्रशिक्षण संभव हो जाता है जहाँ Full FT मेमोरी सीमा को पार कर जाएगा।

अनुभवजन्य परिणाम (Empirical Results)

• ऑप्टिमाइजेशन क्लिफ (The Optimization Cliff): 135M मॉडल (SmolLM2) के लिए, Full FT लॉस ~0.82 पर जल्दी स्थिर (plateau) हो गया और अस्थिर ग्रेडिएंट नॉर्म्स दिखा, जबकि PEFT विधियाँ ~0.74 पर अभिसरण (converge) हुईं। OrcaMath पर Full FT की सटीकता गिरकर 4.80% हो गई (6.00% ज़ीरो-शॉट बेसलाइन से नीचे)।
• एलाइनमेंट कोलैप्स (Alignment Collapse): अत्यधिक संरेखित Qwen2.5-0.5B मॉडल पर, Full FT ने उच्च इन-डिस्ट्रीब्यूशन स्कोर प्राप्त किया लेकिन SVAMP रोबस्टनेस बेंचमार्क पर 0.00% सटीकता दर्ज की। यह इंगित करता है कि Full FT ने संकीर्ण कार्य वितरण के साथ सुरक्षा और रोबस्टनेस वेक्टर्स को ओवरराइट कर दिया। PEFT विधियों ने इन क्षमताओं को सुरक्षित रखा।
• गुणात्मक विफलताएं (Qualitative Failures): टाइनी मॉडलों पर Full FT के कारण "रिपीटिशन लूप्स" (अनंत गणना चरण) और "लॉस ऑफ अरिथमेटिक लॉजिक" (निरर्थक मध्यवर्ती गणित) जैसी समस्याएं देखी गईं, जो यह सुझाव देती हैं कि इसने डिस्कोर्स स्ट्रक्चर के लिए जिम्मेदार अटेंशन हेड्स को नुकसान पहुँचाया है।
• रेफरेंस रिजीम सफलता: 1B से अधिक के मॉडलों (OLMo, Gemma) के लिए, Full FT ने PEFT को पछाड़ दिया (उदाहरण के लिए, Gemma-2B Full FT: 19.8% GSM8K बनाम LoRA: 18.5%), जो पुष्टि करता है कि पर्याप्त क्षमता पूर्ण-रैंक अपडेट को बिना किसी पतन के अवशोषित कर सकती है।

महत्व और सिफारिशें

शोध पत्र निष्कर्ष निकालता है कि "स्टेबिलिटी-कैपेसिटी ट्रेड-ऑफ" SLMs के लिए एक सख्त परिचालन सीमा निर्धारित करता है:

1. <500M का खतरा क्षेत्र (Danger Zone): SmolLM2 जैसे मॉडलों के लिए, Full FT सक्रिय रूप से हानिकारक है। तर्क पतन (reasoning collapse) को रोकने के लिए अभ्यासकर्ताओं को डिफ़ॉल्ट रूप से PEFT का उपयोग करना चाहिए।
2. एलाइनमेंट का जनादेश (The Alignment Mandate): संरेखित मॉडलों (जैसे Qwen2.5) के लिए, Full FT रोबस्टनेस और सुरक्षा एलाइनमेंट को नष्ट कर देता है। प्री-ट्रेंड वेट्स के "सेफ्टी सबस्पेस" को संरक्षित करने के लिए PEFT अनिवार्य है, जो एक "सेफ्टी सैंडबॉक्स" के रूप में कार्य करता है।
3. स्केल की वापसी (The Return to Scale): Full FT फिर से तभी व्यवहार्य होता है जब पैरामीटर काउंट 1B से अधिक हो जाता है, जहाँ आंतरिक क्षमता पूर्ण-रैंक अपडेट को अवशोषित कर सकती है।

लेखक सभी संरेखित (aligned) सब-1B मॉडलों के लिए PEFT को डिफ़ॉल्ट रूप से अपनाने की सिफारिश करते हैं और 500M पैरामीटर से छोटे किसी भी आर्किटेक्चर के लिए Full FT के प्रति आगाह करते हैं। वे इस बात पर जोर देते हैं कि भले ही क्लस्टर्स पर Full FT तेज़ हो सकता है, लेकिन PEFT एज डिवाइसेस पर SLM प्रशिक्षण के लोकतंत्रीकरण और विनियमित उद्योगों के लिए आवश्यक सुरक्षा और रोबस्टनेस बनाए रखने के लिए एक महत्वपूर्ण सक्षमकर्ता (enabler) है।