Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

यहाँ शोध पत्र "Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) विशिष्ट क्षमताओं को विकसित करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) के पोस्ट-ट्रेनिंग हेतु एक मानक प्रतिमान (paradigm) है। हालाँकि, SFT अक्सर सीमित सामान्यीकरण (generalization) से ग्रस्त होता है। लेखक तर्क देते हैं कि यह सीमा SFT प्रतिमान की अपनी कमी नहीं, बल्कि इसके डिफ़ॉल्ट ट्रेनिंग ऑब्जेक्टिव की वजह से है: नेगेटिव लॉग लाइकलीहुड (NLL), जिसे $-\log p$ के रूप में परिभाषित किया गया है।

जबकि NLL छोटे पैमाने के वर्गीकरण कार्यों (classification tasks) पर मॉडल को शून्य से प्रशिक्षित करने के लिए सैद्धांतिक रूप से इष्टतम (optimal) है, लेखक का मानना है कि यह पोस्ट-ट्रेनिंग व्यवस्था में इष्टतम धारणाओं का उल्लंघन करता है क्योंकि:

1. प्रीट्रेन्ड प्रायर्स (Pretrained Priors): LLMs पहले से ही विशाल प्रीट्रेनिंग कॉर्पोरा से कार्य-संबंधित प्रायर्स (priors) को समाहित कर चुके होते हैं।
2. नॉइजी सुपरविजन (Noisy Supervision): पोस्ट-ट्रेनिंग में अक्सर 'चेन ऑफ थॉट' (CoT) शामिल होते हैं जहाँ मध्यवर्ती टोकन (intermediate tokens) शोरपूर्ण या अपूर्ण हो सकते हैं, फिर भी NLL मॉडल को हर टोकन को हूबहू दोहराने के लिए मजबूर करता है।

केंद्रीय प्रश्न यह है: क्या NLL सभी SFT के लिए सार्वभौमिक रूप से इष्टतम है, या क्या लॉस फंक्शन की प्रभावशीलता मॉडल की मौजूदा क्षमता और कार्य की प्रकृति पर निर्भर करती है?

2. कार्यप्रणाली (Methodology)

A. यूनिफाइड प्रोबेबिलिटी-बेस्ड ऑब्जेक्टिव फैमिली

लेखक NLL से परे जाकर ऑब्जेक्टिव्स का सामान्यीकरण करते हैं। वे एक परिवार के ऑब्जेक्टिव्स को परिभाषित करते हैं जो एक डिफरेंशिएबल (differentiable), नॉन-इन्क्रीजिंग फंक्शन $f: [0, 1] \to \mathbb{R}$ द्वारा पैरामीटराइज्ड हैं:
$$L_f(\theta) = \mathbb{E}_{(x, \tilde{y}) \sim \mathcal{T}} \left[ f(p_\theta(\tilde{y} | x)) \right]$$
वे विशेष रूप से इस पैरामीट्रिक परिवार का विश्लेषण करते हैं:
$$f_\alpha(p) = \frac{1 - p^\alpha}{\alpha}$$

• जब $\alpha \to 0$, तो $f_\alpha(p) \to -\log p$ (मानक NLL)।
• जब $\alpha = 1$, तो $f_\alpha(p) = 1 - p$ (लीनियर प्रोबेबिलिटी लॉस)।
• जब $\alpha > 1$, तो फंक्शन कॉनकेव (concave) हो जाता है (जैसे, $-p^{10}$)।

B. सैद्धांतिक विश्लेषण: ग्रेडिएंट डायनेमिक्स (Gradient Dynamics)

शोध पत्र मॉडल के लॉजिट्स (logits) के सापेक्ष इन ऑब्जेक्टिव्स के ग्रेडिएंट का विश्लेषण करता है। वे एक वेटिंग टर्म $W_f(p)$ निकालते हैं जो यह निर्धारित करता है कि एक टोकन अपनी अनुमानित संभावना $p$ के आधार पर कितना लर्निंग सिग्नल योगदान देता है:
$$W_f(p) = -f'(p) \cdot p(1-p)$$

• कॉन्वेक्स ऑब्जेक्टिव्स (जैसे, NLL, $\alpha < 1$): $W_f(p)$ कम संभावनाओं ($p < 0.5$) पर अधिकतम होता है। ये प्रायर-अवर्स (Prior-Averse) हैं; ये मॉडल को उन टोकन्स से सीखने के लिए मजबूर करते हैं जिन्हें मॉडल वर्तमान में कम संभावित मानता है।
• कॉनकेव ऑब्जेक्टिव्स (जैसे, $-p$, $\alpha \ge 1$): $W_f(p)$ उच्च संभावनाओं ($p > 0.5$) पर अधिकतम होता है। ये प्रायर-लीनिंग (Prior-Leaning) हैं; ये उन टोकन्स को सुदृढ़ करते हैं जिन्हें मॉडल पहले से ही उच्च आत्मविश्वास के साथ अनुमानित करता है, जिससे कम-संभावना वाले "शोर" (noise) को प्रभावी ढंग से कम किया जाता है।

C. मॉडल-कैपेबिलिटी कॉन्टिनम (The Model-Capability Continuum)

लेखक एक महत्वपूर्ण आयाम पेश करते हैं जो ऑब्जेक्टिव के प्रदर्शन को नियंत्रित करता है: मॉडल-कैपेबिलिटी कॉन्टिनम, जो कार्य के सापेक्ष बेस मॉडल के प्रायर की मजबूती द्वारा परिभाषित है।

1. मॉडल-स्ट्रॉन्ग (MS): बेस मॉडल के पास कार्य के लिए मजबूत प्रायर्स पहले से मौजूद हैं (जैसे, गणितीय डेटा पर प्रीट्रेन किए गए मॉडल्स के लिए गणितीय तर्क)। SFT से पहले सही टोकन्स के लिए अनुमानित संभावनाएँ उच्च होती हैं।
2. मॉडल-वीक (MW): बेस मॉडल के पास कोई प्रासंगिक प्रायर नहीं है (जैसे, नवीन पहेलियाँ या कम-संसाधन वाली भाषाएँ)। अनुमानित संभावनाएँ रैंडम के करीब होती हैं।
3. मॉडल-इंटरमीडिएट (MI): आंशिक प्रायर्स मौजूद हैं (जैसे, मेडिकल रीजनिंग)।

3. मुख्य योगदान (Key Contributions)

1. कॉन्टिनम की खोज: यह शोध पत्र स्थापित करता है कि कोई भी एकल लॉस फंक्शन सार्वभौमिक रूप से इष्टतम नहीं है। ऑब्जेक्टिव का प्रदर्शन इस बात पर निर्भर करता है कि मॉडल "स्ट्रॉन्ग" या "वीक" शासन (regime) में है।
2. प्रायर-लीनिंग बनाम प्रायर-अवर्स:
   • मॉडल-स्ट्रॉन्ग शासन में: प्रायर-लीनिंग ऑब्जेक्टिव्स (जैसे $-p$ या थ्रेशोल्डेड NLL), NLL से बेहतर प्रदर्शन करते हैं। वे कम-संभावना वाले टोकन्स (जो शोर हो सकते हैं) को अनदेखा करते हैं और उच्च-विश्वास वाले भविष्यवाणियों को परिष्कृत करने पर ध्यान केंद्रित करते हैं।
   • मॉडल-वीक शासन में: प्रायर-अवर्स ऑब्जेक्टिव्स (NLL) हावी होते हैं। चूंकि मॉडल के पास कोई पूर्व ज्ञान नहीं है, इसलिए उसे सभी टोकन्स से सीखना होगा, जिनमें वे भी शामिल हैं जिन्हें वह शुरू में कम संभावित मानता है।
3. सैद्धांतिक औचित्य: ग्रेडिएंट फ्लो विश्लेषण का उपयोग करते हुए, लेखक सिद्ध करते हैं कि किन शर्तों के तहत प्रायर-लीनिंग ऑब्जेक्टिव्स स्ट्रॉन्ग शासन में अधिक जोखिम न्यूनीकरण (risk reduction) प्राप्त करते हैं, जबकि MW शासन में NLL बेहतर होता है।
4. थ्रेशोल्डिंग मैकेनिज्म: वे प्रदर्शित करते हैं कि केवल $p < 0.2$ वाले टोकन्स को बाहर करने के लिए NLL को थ्रेशोल्ड करना, प्रायर-लीनिंग ऑब्जेक्टिव्स के व्यवहार की नकल करता है, जो जटिल लॉस फंक्शन्स के मुकाबले एक सरल और प्रभावी विकल्प प्रदान करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 8 मॉडल बैकबोन, 27 बेंचमार्क और 7 डोमेन में व्यापक प्रयोग किए।

• मॉडल-स्ट्रॉन्ग (गणितीय तर्क/Math Reasoning):

  • NuminaMath जैसे डेटासेट पर, प्रायर-लीनिंग ऑब्जेक्टिव ($-p$) और थ्रेशोल्डेड NLL ने मानक NLL की तुलना में लगातार बेहतर प्रदर्शन किया।
  • परिणाम: AIME24 और AMC23 जैसे बेंचमार्क पर मानक NLL की तुलना में सटीकता में 16% तक का पूर्ण सुधार (absolute improvement) देखा गया।
  • तंत्र (Mechanism): मानक NLL शोरपूर्ण, कम-संभावना वाले टोकन्स को फिट करने की कोशिश करने के कारण बाधित हुआ।

• मॉडल-वीक (पहेलियाँ और कम-संसाधन वाली भाषाएँ):

  • सिंथेटिक "figfont" पहेलियों और लो-रिसोर्स लैंग्वेज इंस्ट्रक्शन ट्यूनिंग पर, मानक NLL ने $-p$ की तुलना में काफी बेहतर प्रदर्शन किया।
  • परिणाम: $-p$ सामान्यीकरण करने में विफल रहा क्योंकि इसने मॉडल के शुरुआती (गलत) उच्च-संभावना वाले अनुमानों को सुदृढ़ किया, जबकि NLL ने वितरण (distribution) में सुधार के लिए मजबूर किया।

• मॉडल-इंटरमीडिएट (मेडिकल रीजनिंग):

  • मेडिकल QA जैसे डोमेन में, $-p$ और NLL के बीच प्रदर्शन का अंतर कम हो गया, जिसमें दोनों में से कोई भी लगातार श्रेष्ठ नहीं रहा। यह सुझाव देता है कि यह एक "न्यूट्रल ज़ोन" है जहाँ लॉस का चुनाव डेटा की गुणवत्ता जितना महत्वपूर्ण नहीं है।

• सामान्य इंस्ट्रक्शन ट्यूनिंग:

  • सामान्य संवादात्मक संरेखण (conversational alignment) के प्रयोगों में देखा गया कि जैसे-जैसे मॉडल का स्केल बढ़ा (3B $\to$ 14B), प्रायर-लीनिंग ऑब्जेक्टिव ($-p$) अधिक प्रभावी होता गया, जिससे मॉडल MW से MS शासन की ओर स्थानांतरित हो गया।

5. महत्व और प्रभाव (Significance and Impact)

• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र इस धारणा को चुनौती देता है कि NLL सभी SFT कार्यों के लिए डिफ़ॉल्ट "सर्वश्रेष्ठ" लॉस है। यह तर्क देता है कि इष्टतम ऑब्जेक्टिव संदर्भ-निर्भर (context-dependent) है और मॉडल के प्रीट्रेनिंग संरेखण पर आधारित है।
• व्यावहारिक मार्गदर्शन:
  • स्ट्रॉन्ग मॉडल्स के लिए, जो परिचित कार्यों (Math, Code) पर काम कर रहे हैं, अभ्यासकर्ताओं को प्रायर-लीनिंग ऑब्जेक्टिव्स (जैसे $-p$, $-p^{10}$, या थ्रेशोल्डेड NLL) का उपयोग करना चाहिए ताकि शोरपूर्ण सुपरविजन पर ओवरफिटिंग से बचा जा सके।
  • वीक मॉडल्स या नवीन डोमेन के लिए, व्यापक शिक्षण सुनिश्चित करने के लिए मानक NLL ही सबसे मजबूत विकल्प बना हुआ है।
• RL के साथ सेतु: लेखक उल्लेख करते हैं कि कई रीइन्फोर्समेंट लर्निंग (RL) ऑब्जेक्टिव्स स्पष्ट रूप से प्रायर-लीनिंग अपडेट के रूप में कार्य करते हैं (उच्च-संभावना वाले अनुक्रमों पर ध्यान केंद्रित करना)। यह कार्य RL की जटिलता के बिना समान लाभ प्राप्त करने के लिए एक सुपरवाइज्ड, ऑफ-पॉलिसी फ्रेमवर्क प्रदान करता है।
• दक्षता (Efficiency): प्रस्तावित सुधार (जैसे थ्रेशोल्डिंग) कंप्यूटेशनल रूप से सस्ते और लागू करने में आसान हैं, जो SFT पाइपलाइनों में तत्काल प्रदर्शन लाभ प्रदान करते हैं।

निष्कर्षतः, यह शोध पत्र SFT ऑब्जेक्टिव्स को मॉडल के विशिष्ट क्षमता स्तर के अनुकूल बनाने के लिए एक सिद्धांतपूर्ण, सैद्धांतिक और प्रयोगात्मक ढांचा प्रदान करता है, जो लॉस फंक्शन्स के "वन-साइज़-फिट्स-ऑल" दृष्टिकोण से आगे बढ़ता है।