💬 NLP

Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives

यह शोध पत्र डायनेमिक एंट्रॉपी फाइन-ट्यूनिंग (DEFT) प्रस्तुत करता है, जो एक पैरामीटर-मुक्त उद्देश्य है जो प्लास्टिकिटी-स्टेबिलिटी द्वंद्व को हल करने और मॉडल के प्रदर्शन में सुधार करने के लिए भविष्य कहनेवाला अनिश्चितता (predictive uncertainty) के आधार पर ग्रेडिएंट ट्रस्ट को गतिशील रूप से नियंत्रित करके SFT को सामान्यीकृत एंट्रॉपी लक्ष्यों के साथ एकीकृत करता है।

मूल लेखक: Zecheng Wang, Deyuan Liu, Chunshan Li, Yupeng Zhang, Zhengyun Zhao, Dianhui Chu, Bingning Wang, Dianbo Sui

प्रकाशित 2026-02-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zecheng Wang, Deyuan Liu, Chunshan Li, Yupeng Zhang, Zhengyun Zhao, Dianhui Chu, Bingning Wang, Dianbo Sui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बुद्धिमान लेकिन थोड़े ज़िद्दी छात्र (AI) को एक नए प्रकार की पहेली को हल करना सिखा रहे हैं। आपके पास सही उत्तरों वाली एक पाठ्यपुस्तक (ट्रेनिंग डेटा) है, और आप चाहते हैं कि छात्र इससे सीखे।

लंबे समय तक, इस छात्र को सिखाने का मानक तरीका नेगेटिव लॉग-लाइक्लीहुड (NLL) था। सोचिए कि NLL एक ऐसे शिक्षक की तरह है जो छात्र को हर बार चिल्लाकर डांटता है जब वह गलत होता है, चाहे उसके गलत होने का कारण कुछ भी हो।

यदि छात्र बेतरतीब ढंग से अनुमान लगा रहा था और गलत हुआ, तो शिक्षक ज़ोर से चिल्लाता है। (अच्छा! छात्र को यह नई चीज़ सीखने की ज़रूरत है।)
यदि छात्र 99% आश्वस्त था कि वह सही है, लेकिन पाठ्यपुस्तक में कुछ और लिखा था, तो शिक्षक फिर भी उतनी ही ज़ोर से चिल्लाता है। (बुरा! शायद पाठ्यपुस्तक में कोई गलती है, या छात्र वास्तव में एक बेहतर नियम जानता है। यहाँ चिल्लाना छात्र को भ्रमित कर सकता है और उसे वह सब भुला सकता है जो वह पहले से जानता था।)

यह "एक ही आकार के लिए सभी" (one-size-fits-all) वाला चिल्लाना दो समस्याएँ पैदा करता है:

शोर का बढ़ना (Noise Amplification): छात्र किताब के खराब उदाहरणों से भ्रमित हो जाता है।
अति-सुधार (Over-correction): वह अपने अंतर्ज्ञान (gut feeling) पर भरोसा करना छोड़ देता है, भले ही वह आमतौर पर सही होता है।

इस शोध पत्र के लेखक, DEFT (डायनामिक एंट्रॉपी फाइन-ट्यूनिंग), एक स्मार्ट तरीका प्रस्तावित करते हैं। वे कहते हैं, "ग्रेडिएंट्स को अपना प्रभाव अर्जित करना चाहिए" (Gradients Must Earn Their Influence)। यह कैसे काम करता है, इसके कुछ रोज़मर्रा के उदाहरण यहाँ दिए गए हैं:

1. "ट्रस्ट गेट" (विश्वास द्वार) की अवधारणा

कल्पना कीजिए कि छात्र के मस्तिष्क में एक ट्रस्ट गेट है। यह द्वार तय करता है कि शिक्षक के सुधार को कितना महत्व दिया जाए।

मानक NLL: गेट हमेशा पूरी तरह खुला रहता है। शिक्षक की आवाज़ हमेशा तेज़ होती है, भले ही छात्र उस विषय पर पहले से ही विशेषज्ञ हो।
DEFT: गेट स्मार्ट है। यह इस आधार पर खुलता या बंद होता है कि छात्र अभी कितना आत्मविश्वासी महसूस कर रहा है।

2. सीखने के दो मोड

शोध पत्र बताता है कि छात्र को संचालन के दो अलग-अलग मोड की आवश्यकता है, और DEFT स्वचालित रूप से उनके बीच स्विच करता है:

मोड A: "एक्सप्लोरर" (जब छात्र भ्रमित हो)
- परिदृश्य: छात्र एक ऐसी पहेली देखता है जो उसने पहले कभी नहीं देखी है। वह केवल अनुमान लगा रहा है, और उसका आत्मविश्वास कम है।
- DEFT की कार्रवाई: ट्रस्ट गेट पूरी तरह से खुल जाता है। शिक्षक का सुधार स्पष्ट रूप से सुनाई देता है। छात्र कहता है, "ठीक है, मुझे यह नहीं पता, मैं किताब की बात सुनूँगा और इसे सीखूँगा।"
- उपमा: एक स्पंज की तरह जो पानी सोखता है। जब आप खाली (अनिश्चित) होते हैं, तो आप सब कुछ सोख लेते हैं।
मोड B: "रिफाइनर" (जब छात्र आत्मविश्वासी हो)
- परिदृश्य: छात्र एक गणित की समस्या हल कर रहा है जो उसने हज़ार बार की है। वह 99% सुनिश्चित है कि उत्तर सही है, लेकिन किताब कुछ थोड़ा अलग कहती है।
- DEFT की कार्रवाई: ट्रस्ट गेट संकुचित (narrow) हो जाता है। शिक्षक की आवाज़ को धीमा करके फुसफुसाहट में बदल दिया जाता है। छात्र सोचता है, "मुझे पूरा यकीन है कि मैं सही हूँ। अगर किताब असहमत है, तो शायद किताब गलत है, या मुझे बस एक हल्के से संकेत की ज़रूरत है, न कि एक बड़े धक्के की।"
- उपमा: एक मूर्तिकार की तरह जो मूर्ति को पॉलिश करता है। आप मूर्ति पर हथौड़े से प्रहार नहीं करते (ज़ोरदार सुधार); आप एक बारीक छेनी का उपयोग करते हैं (कोमल शोधन) ताकि उसे पूर्ण बनाया जा सके।

3. जादुई तत्व: "केली ट्रांसफॉर्म" (Cayley Transform)

यह शोध पत्र इस गेट को बिना किसी मानवीय निर्देश के स्वचालित रूप से कैसे बदलता है? इसके लिए वे केली ट्रांसफॉर्म नामक एक गणितीय ट्रिक का उपयोग करते हैं।

इसे छात्र के मस्तिष्क का थर्मामीटर मानिए।

यह पूछने के बजाय कि, "क्या आप भ्रमित हैं?" (जिसे मापना कठिन है), थर्मामीटर छात्र के पूरे मस्तिष्क के तापमान (उनकी समग्र अनिश्चितता/एंट्रॉपी) को मापता है।
यदि मस्तिष्क "गर्म" है (अराजक, अनिश्चित, उच्च एंट्रॉपी), तो थर्मामीटर सीखने के लिए गेट खोल देता है।
यदि मस्तिष्क "ठंडा" है (शांत, केंद्रित, कम एंट्रॉपी), तो थर्मामीटर जो पहले से सीखा गया है उसे सुरक्षित रखने के लिए गेट को बंद कर देता है।

यह थर्मामीटर सुचारू रूप से चलता है। यह केवल "ऑन" या "ऑफ" के रूप में स्विच नहीं करता। यह जैसे-जैसे छात्र कार्य में बेहतर होता जाता है, "एक्सप्लोरर" से "रिफाइनर" की ओर सहजता से बढ़ता है।

4. यह क्यों महत्वपूर्ण है (परिणाम)

इस शोध पत्र का परीक्षण विभिन्न प्रकार के कार्यों पर विभिन्न AI मॉडलों (जैसे LLaMA और Qwen) पर किया गया:

कठिन नए कार्य: जब AI को कुछ बिल्कुल नया सीखना था, तो DEFT ने इसे तेज़ी से सीखने में मदद की क्योंकि इसने कठिन हिस्सों को नज़रअंदाज़ नहीं किया।
विशेषज्ञ कार्य: जब AI किसी चीज़ में पहले से ही अच्छा था (जैसे गणित), तो DEFT ने इसके कौशल को "भूलने" या शोर वाले डेटा से भ्रमित होने से बचाया।
बीच का बिंदु (Sweet Spot): जहाँ AI हर चीज़ में "ठीक-ठाक" है, वहाँ DEFT ने नई चीज़ें सीखने और पुराने कौशल बनाए रखने के बीच एक बेहतरीन संतुलन बनाया, जो अन्य सभी तरीकों से बेहतर रहा।

सारांश

DEFT एक बुद्धिमान गुरु की तरह है जो जानता है कि छात्र को कब ज़ोर देना है और कब उन्हें अपने अंतर्ज्ञान पर भरोसा करने देना है।

पुराना तरीका: "तुम गलत हो! इसे तुरंत ठीक करो!" (भले ही आप सही थे)।
DEFT का तरीका: "आप अनिश्चित लग रहे हैं? यहाँ, मैं आपको यह नई चीज़ सीखने में मदद करता हूँ। लेकिन आप आत्मविश्वासी लग रहे हैं? ठीक है, मैं आपको बस एक छोटा सा सुझाव दूँगा, ताकि आप जो पहले से जानते हैं उसे भूल न जाएँ।"

AI को उसके अपने आत्मविश्वास के आधार पर यह तय करने की अनुमति देकर कि उसे शिक्षक पर कितना भरोसा करना है, यह शोध पत्र खोजने (exploring) और मौजूदा कौशल का उपयोग करने (exploiting) के बीच एक बेहतर संतुलन प्राप्त करता है।

यहाँ शोध पत्र "Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives" (जिसमें DEFT को पेश किया गया है) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) की एक मौलिक सीमा को संबोधित करता है: नेगेटिव लॉग-लाइक्लीहुड (NLL) ऑब्जेक्टिव का उपयोग। NLL यूनिफॉर्म टोकन-लेवल वेटिंग (एकसमान टोकन-स्तरीय भार) लागू करता है, जो मॉडल के आत्मविश्वास या डेटा की गुणवत्ता की परवाह किए बिना सभी टोकनों के साथ समान व्यवहार करता है। यह कठोरता एक "प्लास्टिसिटी-स्टेबिलिटी डिलेमा" (लचीलापन-स्थिरता दुविधा) पैदा करती है, जिसके दो प्राथमिक विफलता मोड हैं:

शोर का प्रवर्धन (अस्थिरता) [Amplification of Noise (Instability)]: NLL कम-संभाव्यता वाले लक्ष्यों (low-probability targets) को अधिकतम ग्रेडिएंट प्रदान करता है। यदि ये लक्ष्य शोर युक्त सुपरविजन या "कॉन्फिडेंट कॉन्फ्लिक्ट्स" (जहाँ प्री-ट्रेंड मॉडल आश्वस्त है लेकिन लेबल असहमत है) का प्रतिनिधित्व करते हैं, तो NLL बड़े पैरामीटर अपडेट करने के लिए मजबूर करता है जो कैटास्ट्रोफिक फॉरगेटिंग (विनाशकारी विस्मृति) का कारण बन सकते हैं।
अकुशल शार्पनिंग (प्लास्टिसिटी) [Inefficient Sharpening (Plasticity)]: जैसे-जैसे मॉडल सही टोकनों में आश्वस्त होता जाता है, NLL के ग्रेडिएंट त्रुटि ( $1-p$ ) के साथ रैखिक रूप से घटते हैं। इसके परिणामस्वरूप घटते प्रतिफल (diminishing returns) मिलते हैं, जिससे उन टोकनों के लिए संभाव्यता वितरण को प्रभावी ढंग से "शार्प" (तीक्ष्ण) करने में विफलता होती है जिन्हें मॉडल पहले से ही अच्छी तरह जानता है, जिससे अभिसरण (convergence) धीमा हो जाता है।

मौजूदा समाधान, जैसे कि ऑफलाइन टोकन फ़िल्टरिंग या स्टैटिक रीवेटिंग (जैसे कि संभाव्यता के आधार पर लीनियर स्केलिंग), नए ज्ञान को सीखने (एक्सप्लोरेशन) और मौजूदा ज्ञान को बनाए रखने (एक्सप्लोइटेशन) के बीच गतिशील रूप से संतुलन बनाने में विफल रहते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत सैद्धांतिक ढांचा और एक व्यावहारिक, पैरामीटर-मुक्त ऑब्जेक्टिव प्रस्तावित करते हैं जिसे डायनामिक एंट्रॉपी फाइन-ट्यूनिंग (DEFT) कहा जाता है।

A. सैद्धांतिक एकीकरण: द डिफॉर्म्ड-लॉग फैमिली (The Deformed-Log Family)

लेखक Tsallis $q$ -logarithm पर आधारित एक परिवार के भीतर विभिन्न टोकन-स्तरीय ऑब्जेक्टिव्स को एकीकृत करते हैं। वे एक सामान्य लॉस फंक्शन $L_\alpha(p) = \frac{1-p^\alpha}{\alpha}$ को परिभाषित करते हैं, जहाँ $\alpha$ एक फोकस इंडेक्स है।

ग्रेडिएंट संरचना: इस लॉस के लिए ग्रेडिएंट एक गेट $\times$ एरर (Gate $\times$ Error) संरचना में विभाजित होता है:
$\nabla L_\alpha \propto \underbrace{p^\alpha}_{\text{Trust Gate}} \times \underbrace{(1-p)}_{\text{Prediction Error}}$
$\alpha$ की भूमिका:
- $\alpha \to 0$ : NLL को पुनः प्राप्त करता है (गेट $\approx 1$ )। अनिश्चित टोकनों के लिए कवरेज को अधिकतम करता है लेकिन शोर के ओवरफिटिंग का जोखिम उठाता है।
- $\alpha \to 1$ : लीनियर प्रोबेबिलिटी लॉस को पुनः प्राप्त करता (गेट $\approx p$ )। कम-आत्मविश्वास वाले टोकनों को दबाता है, उच्च-आत्मविश्वास वाले क्षेत्रों को शार्प करने पर ध्यान केंद्रित करता है।

B. ऑप्टिमाइज़ेशन-एंट्रॉपी द्वैत (The Optimization-Entropy Duality)

शोध पत्र लॉस इंडेक्स $\alpha$ और Tsallis entropy के क्रम के बीच एक द्वैत स्थापित करता है। $L_\alpha$ को मिनिमाइज करना, क्रम $q = 1+\alpha$ की Tsallis entropy को मिनिमाइज करने के समान है।

कम $\alpha$ शैनन एंट्रॉपी (सूचना अधिग्रहण/कवरेज) को लक्षित करता है।
उच्च $\alpha$ ऑर्डर-2 Tsallis एंट्रॉपी (कोलिजन एंट्रॉपी/शार्पनिंग) को लक्षित करता है।

C. स्टेट-डिपेंडेंट ट्रेजेक्टरी (Cayley Transform)

कवरेज और शार्पनिंग के बीच तनाव को हल करने के लिए, लेखक तर्क देते हैं कि $\alpha$ स्थिर नहीं होना चाहिए बल्कि स्टेट-डिपेंडेंट (अवस्था-निर्भर) होना चाहिए, जो मॉडल के आत्मविश्वास $p$ के साथ बदलता है।

ज्यामितीय व्युत्पत्ति: वे फिशर-राओ रेडियस ( $z = \sqrt{1-p}$ ) पर Cayley transform का उपयोग करके एक ट्रेजेक्टरी $\alpha(p)$ व्युत्पन्न करते हैं।
बाउंड्री कंडीशंस (सीमा शर्तें):
- जब $p \to 0$ (अनिश्चित): $\alpha \to 0$ (गेट खुला, NLL जैसा व्यवहार)।
- जब $p \to 1$ (आश्वस्त): $\alpha \to 1$ (गेट बंद, शार्पनिंग व्यवहार)।
फॉर्मूला: इष्टतम ट्रेजेक्टरी इस प्रकार दी गई है:
$\alpha^*(p) = \frac{1 - \sqrt{1-p}}{1 + \sqrt{1-p}} = \tanh\left(\frac{-\ln(1-p)}{4}\right)$
यह फोकस इंडेक्स को नॉर्मलाइज्ड एरर सरप्राइज़ल (normalized error surprisal) के फलन के रूप में व्याख्या करता है।

D. DEFT: द प्रैक्टिकल ऑब्जेक्टिव

चूंकि आदर्श ट्रेजेक्टरी विशिष्ट टारगेट टोकन की संभाव्यता $p$ (जो प्रशिक्षण के दौरान वास्तविक वितरण के लिए अज्ञात है) पर निर्भर करती है, इसलिए लेखक एक पैरामीटर-मुक्त सरोगेट के रूप में DEFT प्रस्तावित करते हैं।

तंत्र: टारगेट टोकन की संभाव्यता $p$ का उपयोग $\alpha$ सेट करने के लिए करने के बजाय, DEFT मॉडल के संपूर्ण प्रेडिक्टिव डिस्ट्रीब्यूशन के कंसंट्रेशन (concentration - Rényi-2 entropy) का उपयोग करता है।
फोकस इंडेक्स:
$\alpha_{\text{DEFT}}(c) = \sum_{v \in V} P_\theta(v|c)^2$
- उच्च अनिश्चितता (डिफ्यूज डिस्ट्रीब्यूशन): $\alpha_{\text{DEFT}}$ छोटा है $\to$ गेट खुलता है $\to$ नए कॉन्सेप्ट्स सीखने को प्राथमिकता देता है (Exploration)।
- उच्च आत्मविश्वास (कंसेंट्रेटेड डिस्ट्रीब्यूशन): $\alpha_{\text{DEFT}}$ 1 के करीब पहुँचता है $\to$ गेट बंद होता है $\to$ ज्ञात ज्ञान को शार्प करने को प्राथमिकता देता है (Exploitation)।
लाभ: यह बिना किसी महंगे ऑफलाइन फ़िल्टरिंग या हाइपरपैरामीटर ट्यूनिंग के लर्निंग सिग्नल्स को अनुकूल रूप से संतुलित करने की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

एकीकृत ढांचा: एक डिफॉर्म्ड-लॉग फैमिली जो SFT ऑब्जेक्टिव्स की "गेट $\times$ एरर" संरचना को स्पष्ट रूप से प्रकट करती है, जो NLL, लीनियर प्रोबेबिलिटी लॉस और जनरलाइज्ड क्रॉस-एंट्रॉपी को एकीकृत करती है।
स्टेट-डिपेंडेंट गेटिंग: मॉडल के आत्मविश्वास के आधार पर कवरेज और शार्पनिंग के बीच सहजता से इंटरपोलेट करने के लिए Cayley transform का उपयोग करके एक डायनामिक ट्रस्ट गेट का सैद्धांतिक व्युत्पत्ति।
DEFT एल्गोरिदम: एक व्यावहारिक, पैरामीटर-मुक्त विधि जो डिस्ट्रीब्यूशन-लेवल कंसंट्रेशन (Rényi-2 entropy) का उपयोग करके आदर्श स्टेट-डिपेंडेंट ट्रेजेक्टरी का अनुमान लगाती है।
सैद्धांतिक गारंटी: ऑप्टिमाइज़ेशन-एंट्रॉपी द्वैत और Cayley transform ट्रेजेक्टरी के लिए ज्यामितीय औचित्य के प्रमाण।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सात मॉडल बैकबोन (LLaMA-3, Qwen2.5, DeepSeekMath सहित) और पूर्व ज्ञान की शक्ति के आधार पर तीन अलग-अलग रेजिम्स में DEFT का मूल्यांकन किया:

मॉडल-स्ट्रॉन्ग (जैसे गणित कार्य जहाँ मॉडल पहले से ही डोमेन जानता है):
- मानक NLL शोर के कारण मजबूत प्रायर (priors) के विस्मरण (forgetting) का कारण बनता है।
- DEFT और Cayley-Transform, शोर युक्त ग्रेडिएंट्स को दबाकर और सही भविष्यवाणियों को शार्प करके, NLL और लीनियर स्केलिंग ( $-p$ ) की तुलना में काफी बेहतर प्रदर्शन करते हैं।
- परिणाम: DEFT ने उच्चतम औसत सटीकता प्राप्त की (जैसे, LLaMA-3.1-8B पर NLL के 6.49% के मुकाबले 11.35%)।
मॉडल-वीक (जैसे नवीन तर्क कार्य):
- लीनियर स्केलिंग ( $-p$ ) विफल हो जाती है क्योंकि यह नए सीखने के लिए आवश्यक कम-संभाव्यता वाले टोकनों के ग्रेडिएंट को दबा देती है।
- DEFT NLL की तरह व्यवहार करने के लिए अनुकूलित होता है (खुला गेट) ताकि नया ज्ञान प्राप्त किया जा सके, जो सभी बेसलाइन्स को महत्वपूर्ण रूप से पीछे छोड़ देता है।
मॉडल-इंटरमीडिएट और मिक्स्ड:
- DEFT लगातार सर्वश्रेष्ठ संतुलन प्राप्त करता है, जो सामान्य तर्क और डोमेन-विशिष्ट बेंचमार्क दोनों में स्टैटिक ऑब्जेक्टिव्स से बेहतर प्रदर्शन करता है।
जनरलाइजेशन (OOD):
- क्रॉस-डोमेन ट्रांसफर (Math $\to$ Medical) में, DEFT ने बेहतर मजबूती प्रदर्शित की, NLL की तुलना में प्री-ट्रेंड क्षमताओं को बेहतर ढंग से संरक्षित किया, जो कैटास्ट्रोफिक फॉरगेटिंग से ग्रस्त था।

5. महत्व (Significance)

यह कार्य SFT के दृष्टिकोण को एक स्टैटिक लॉस फंक्शन से एक डायनामिक, स्टेट-अवेयर प्रोसेस (अवस्था-जागरूक प्रक्रिया) में मौलिक रूप से बदल देता है।

प्लास्टिसिटी-स्टेबिलिटी डिलेमा को हल करता है: यह बिना किसी मैनुअल हस्तक्षेप के यह स्वचालित रूप से तय करने के लिए एक गणितीय रूप से समर्थित तरीका प्रदान करता है कि कब नया ज्ञान सीखना है और कब मौजूदा ज्ञान को परिष्कृत करना है।
पैरामीटर-फ्री एफिशिएंसी: ऑफलाइन डेटा फ़िल्टरिंग या जटिल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता वाले तरीकों के विपरीत, DEFT एक ड्रॉप-इन रिप्लेसमेंट है जो स्वचालित रूप से अनुकूलित होता है।
मजबूती (Robustness): यह "कॉन्फिडेंट कॉन्फ्लिक्ट" समस्या के लिए एक समाधान प्रदान करता है, जो उच्च-आत्मविश्वास वाले क्षेत्रों में शोर युक्त लेबल के प्रति मॉडल के ओवरफिटिंग को रोकता है, जो सुरक्षा-महत्वपूर्ण या विशिष्ट डोमेन में विश्वसनीय LLMs को तैनात करने के लिए महत्वपूर्ण है।

संक्षेप में, DEFT यह प्रदर्शित करता है कि ग्रेडिएंट्स को मॉडल की अनिश्चितता की वर्तमान अवस्था द्वारा नियंत्रित होकर अपना प्रभाव "अर्जित" (earn) करना चाहिए, जिससे अधिक कुशल, स्थिर और मजबूत फाइन-ट्यूनिंग संभव होती है।