🤖 machine learning

Rethinking the Role of Temperature in Large Language Model Distillation

यह शोध पत्र यह प्रदर्शित करके LLM डिस्टिलेशन में रिवर्स KL डाइवर्जेंस (Reverse KL divergence) के प्रति प्रचलित प्राथमिकता को चुनौती देता है कि टेम्परेचर स्केलिंग (temperature scaling) को शामिल करना प्रदर्शन परिदृश्य को मौलिक रूप से बदल देता है, जिससे फॉरवर्ड KL (Forward KL), उच्च तापमान पर लगातार रिवर्स KL से बेहतर प्रदर्शन करने में सक्षम होता है और सरल KL-आधारित तरीकों को अत्याधुनिक दृष्टिकोणों के बराबर लाने में सक्षम बनाता है।

मूल लेखक: Hoang-Chau Luong, Lingwei Chen

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hoang-Chau Luong, Lingwei Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक युवा प्रशिक्षु (छात्र) को खाना बनाना सिखाने की कोशिश कर रहे हैं, जिसमें आप उन्हें एक विश्व स्तरीय शेफ (शिक्षक) को देखते हुए सिखाते हैं।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इस प्रक्रिया को नॉलेज डिस्टिलेशन (Knowledge Distillation) कहा जाता है। लक्ष्य यह है कि शेफ के विशाल ज्ञान को छात्र के छोटे मस्तिष्क में इस तरह समाहित किया जाए कि छात्र लगभग उतना ही अच्छा खाना बना सके, लेकिन बहुत अधिक तेज़ी से।

लंबे समय तक, शोधकर्ताओं का मानना था कि इसे करने का एक "परफेक्ट" तरीका है। उन्हें लगा कि सबसे अच्छा तरीका यह है कि प्रशिक्षु शेफ के सटीक अंतिम निर्णय की नकल करे (जैसे, "शेफ ने तीखी सॉस चुनी, इसलिए मुझे भी तीखी सॉस ही चुननी चाहिए")। इसे रिवर्स KL (RKL) कहा जाता है।

हालाँकि, इस पेपर के लेखक, होआंग-चाउ लुओंग और लिंगवेई चेन ने पाया कि सब कुछ एक महत्वपूर्ण चीज़ को भूल गए थे: टेम्परेचर (तापमान/ताप)।

गुप्त सामग्री: टेम्परेचर (तापमान)

टेम्परेचर को गर्मी के रूप में नहीं, बल्कि निश्चितता के लिए एक डिमर स्विच (dimmer switch) के रूप में सोचें।

लो टेम्परेचर (डिफ़ॉल्ट): शेफ बहुत आत्मविश्वासी है। वे कहते हैं, "मुझे 99% यकीन है कि यह तीखी सॉस है।" प्रशिक्षु केवल शीर्ष विकल्प को सुनता है और बाकी सब को अनदेखा कर देता है।
हाई टेम्परेचर: शेफ सहज हो जाता है। वे कहते हैं, "यह ज्यादातर तीखी सॉस है, लेकिन शायद थोड़ी सी मीठी सॉस और बहुत थोड़ी सी नमकीन सॉस भी काम कर सकती है।"

यह "सहज" अवस्था डार्क नॉलेज (Dark Knowledge) को प्रकट करती है: तीखी सॉस क्यों चुनी गई (जैसे, "यह तीखी है, लेकिन मीठी सॉस दूसरा सबसे अच्छा विकल्प है") इसके बारे में सूक्ष्म संकेत।

बड़ी खोज: स्क्रिप्ट को पलटना

पेपर तर्क देता है कि वर्षों तक, शोधकर्ताओं ने दो शिक्षण विधियों (FKL बनाम RKL) की तुलना करते समय "डिमर स्विच" को पूरी तरह से नीचे (लो टेम्परेचर) रखा था। इन परिस्थितियों में, रिवर्स KL (RKL) विधि बेहतर दिखाई देती थी।

लेकिन यहाँ एक मोड़ है: जब लेखकों ने टेम्परेचर बढ़ाया (शेफ को उन सूक्ष्म संकेतों को साझा करने दिया), तो परिणाम पूरी तरह से बदल गए।

पुराना तरीका (लो टेम्परेचर): प्रशिक्षु केवल शीर्ष विकल्प देखता था। रिवर्स KL विधि अच्छी तरह से काम करती थी क्योंकि यह उस एक शीर्ष विकल्प को सही करने पर केंद्रित थी।
नया तरीका (हाई टेम्परेचर): प्रशिक्षु अब पूरी तस्वीर देखता है (तीखी, मीठी, नमकीन)।
- फॉरवर्ड KL (FKL) विधि, जिसे पहले "कमजोर" माना जाता था, अचानक चैंपियन बन गई। यह अतिरिक्त जानकारी पर फलती-फूलती है, और केवल विजेता को ही नहीं, बल्कि सॉस के बीच के संबंधों को भी सीखती है।
- रिवर्स KL (RKL) विधि में बहुत अधिक सुधार नहीं हुआ। यह उस छात्र की तरह था जिसे केवल शीर्ष उत्तर की परवाह थी; अधिक विकल्प देने से उन्हें बेहतर सीखने में मदद नहीं मिली, बल्कि इसने गणित को भ्रमित कर दिया।

एक सरल उपमा: बहुविकल्पीय परीक्षा (Multiple Choice Test)

कल्पिए कि शिक्षक एक परीक्षा दे रहा है।

लो टेम्परेचर पर (मानक): शिक्षक एक मोटे काले मार्कर से सही उत्तर पर गोला लगाता है।
- RKL छात्र: "मैं काला गोला देख सकता हूँ! मैं भी वही गोला लगाऊँगा।" (अच्छे से काम करता है)।
- FKL छात्र: "मैं काला गोला देख रहा हूँ, लेकिन मैं अन्य विकल्पों को भी देख रहा हूँ कि क्या वे करीब हैं। मैं भ्रमित हूँ क्योंकि शिक्षक ने मुझे उनके बारे में नहीं बताया।" (खराब प्रदर्शन करता है)।
हाई टेम्परेचर पर (पेपर की अंतर्दृष्टि): शिक्षक एक हाइलाइटर का उपयोग करता है। वे सही उत्तर को हाइलाइट करते हैं, लेकिन दूसरे सबसे अच्छे उत्तर और तीसरे सबसे अच्छे उत्तर को भी हल्का सा शेड (रंग) देते हैं ताकि यह दिखाया जा सके कि वे कितने करीब थे।
- FKL छात्र: "आह! अब मैं पूरी तस्वीर देख सकता हूँ! मैं समझ गया कि अगर 'तीखी' उपलब्ध नहीं है, तो 'मीठी' एक अच्छा बैकअप होगा। अब मैं पहले से बेहतर खाना बना सकता हूँ!" (बहुत बेहतर प्रदर्शन करता है)।
- RKL छात्र: "मैं अभी भी बस काले गोले को चाहता हूँ। शेडिंग मेरे लिए केवल अतिरिक्त शोर (noise) है।" (लगभग समान प्रदर्शन करता है)।

AI के लिए इसका क्या अर्थ है

पेपर तीन मुख्य दावे करता है:

टेम्परेचर नियम बदल देता है: यह मौलिक रूप से इस बात को बदल देता है कि गणित कैसे काम करता है। यह "कमजोर" विधि (FKL) को "मजबूत" विधि (RKL) में बदल देता है, लेकिन केवल तभी जब आप उच्च तापमान का उपयोग करते हैं।
"सर्वश्रेष्ठ" विधि एक भ्रम थी: यह विचार कि रिवर्स KL हमेशा बेहतर होता है, गलत परिस्थितियों (लो टेम्परेचर) में परीक्षण करने के कारण पैदा हुआ एक भ्रम था।
यह सभी की मदद करता है: तापमान बढ़ाने से न केवल "कमजोर" विधि को मदद मिलती है; यह लगभग सभी मानक शिक्षण विधियों को बेहतर बनाता है, जिससे सरल, पुराने तरीके भी नवीनतम, सबसे जटिल AI मॉडलों के साथ प्रतिस्पर्धा कर सकते हैं।

निचोड़ (The Bottom Line)

लेखक कोई नया, जटिल AI मॉडल नहीं बना रहे हैं। वे बस इतना कह रहे हैं: "AI को सिखाते समय लाइट बंद करना बंद करें।"

टेम्परेचर को एडजस्ट करके ताकि शिक्षक मॉडल अधिक सूक्ष्म जानकारी साझा कर सकें, हम सरल, कुशल AI मॉडल्स को हमारी सोच से कहीं अधिक तेज़ी से और बेहतर तरीके से सीख सकते हैं। यह हमें याद दिलाता है कि कभी-कभी, किसी सिस्टम को बेहतर बनाने का सबसे अच्छा तरीका एक बड़ा इंजन बनाना नहीं, बल्कि बस उसकी गर्मी (heat) बढ़ाना होता है।

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल डिस्टिलेशन में तापमान की भूमिका पर पुनर्विचार

समस्या विवरण

नॉलेज डिस्टिलेशन (KD) एक बड़े लैंग्वेज मॉडल (LLM) को छोटे स्टूडेंट मॉडल में ज्ञान स्थानांतरित करने के लिए एक मानक प्रतिमान (paradigm) है। क्लासिकल KD का एक महत्वपूर्ण घटक तापमान पैरामीटर ( $\tau$ ) है, जो टीचर के प्रोबेबिलिटी डिस्ट्रीब्यूशन को 'सॉफ्टन' (soften) करता है ताकि "डार्क नॉलेज" (शीर्ष भविष्यवाणी से परे सूचनात्मक संकेत) को प्रकट किया जा सके। हालिया LLM डिस्टिलेशन साहित्य में, तापमान को अक्सर छोड़ दिया जाता है या इसे $\tau=1$ पर स्थिर रखा जाता है।

यह परंपरा एक प्रचलित अनुभवजन्य निष्कर्ष की ओर ले गई है कि रिवर्स कुलबैक-लीब्लर (RKL) डाइवर्जेंस, LLM डिस्टिलेशन के लिए स्वाभाविक रूप से फॉरवर्ड KL (FKL) से बेहतर है। लेखक तर्क देते हैं कि यह निष्कर्ष संभवतः अपर्याप्त रूप से सॉफ्ट किए गए टीचर डिस्ट्रीब्यूशन ( $\tau=1$ ) के तहत इन उद्देश्यों के मूल्यांकन का एक आर्टिफैक्ट (artifact) है। $\tau=1$ पर, टीचर के सॉफ्ट टारगेट्स 'शार्प' होते हैं, जो गैर-लक्ष्य (non-target) प्रोबेबिलिटी मास को दबा देते हैं जिस पर FKL निर्भर करता है। इससे FKL को संभावित रूप से इसलिए कमतर दिखाया जाता है क्योंकि यह उसकी अंतर्निहित सीमाओं के कारण नहीं, बल्कि मूल्यांकन सेटिंग के कारण होता है। यह शोध यह निर्धारित करना चाहता है कि क्या FKL को व्यवस्थित रूप से कम करके आंका गया है और तापमान मौलिक रूप से FKL और RKL के बीच तुलना को कैसे बदलता है।

कार्यप्रणाली (Methodology)

लेखक KD तापमान और KL-आधारित उद्देश्यों के बीच परस्पर क्रिया की जांच करने के लिए सैद्धांतिक विश्लेषण और अनुभवजन्य मूल्यांकन के संयोजन का उपयोग करते हैं।

सैद्धांतिक विश्लेषण

पेपर स्टूडेंट लॉजिट्स (logits) के सापेक्ष FKL ( $L_{FKL} = D_{KL}(p_\tau \| q_\tau)$ ) और RKL ( $L_{RKL} = D_{KL}(q_\tau \| p_\tau)$ ) के ग्रेडिएंट्स का विश्लेषण करता है।

हाई-टेम्परेचर रिजीम (High-Temperature Regime): लेखक सिद्ध करते हैं कि जैसे-जैसे $\tau \to \infty$ , FKL और RKL दोनों के ग्रेडिएंट्स समान लॉजिट-मैचिंग व्यवहार ( $\nabla L \propto \frac{1}{V\tau^2}(z_s - z_t)$ ) की ओर अभिसरित (converge) होते हैं, जिससे दोनों उद्देश्य समान हो जाते हैं।
लो-टेम्परेचर रिजीम ( $\tau \approx 1$ ): उद्देश्य काफी भिन्न हो जाते हैं।
- FKL: ग्रेडिएंट सीधे सॉफ्ट किए गए टीचर डिस्ट्रीब्यूशन ( $p_\tau$ ) और स्टूडेंट डिस्ट्रीब्यूशन ( $q_\tau$ ) के बीच के अंतर पर निर्भर करता है। $\tau$ को बढ़ाने से स्वयं सुपरविजन टारगेट बदल जाता है, जिससे प्रोबेबिलिटी मास गैर-प्रमुख टोकन्स में पुनर्वितरित होता है और FKL के लिए सिग्नल समृद्ध होता है।
- RKL: ग्रेडिएंट स्टूडेंट डिस्ट्रीब्यूशन ( $q_\tau$ ) द्वारा भारित (weighted) टीचर-स्टूडेंट लॉजिट गैप्स द्वारा संचालित होता है। यहाँ, तापमान मुख्य रूप से ग्रेडिएंट को रीस्केल करने और स्टूडेंट-साइड वेट्स को स्मूथ करने का कार्य करता है, न कि FKL की तरह मूल रूप से टारगेट डिस्ट्रीब्यूशन को बदलने का।

अनुभवजन्य मूल्यांकन (Empirical Evaluation)

GPT-2 और OPT मॉडल परिवारों (जैसे, GPT-2 XL $\to$ GPT-2 Base, OPT 6.7B $\to$ OPT 1.3B) का उपयोग करके इंस्ट्रक्शन-फॉलोइंग बेंचमार्क (Dolly Eval, Self-Instruct, Vicuna Eval, Super-NI, UnNI) पर प्रयोग किए गए।

सेटअप: ऑफ-पॉलिसी डिस्टिलेशन जहाँ स्टूडेंट्स को फिक्स्ड टीचर-जेनरेटेड रिस्पॉन्स पर प्रशिक्षित किया गया।
चर (Variables): अध्ययन $\tau=1$ पर मानक उद्देश्यों (FKL, RKL, Sym-KL, JS, SFKL, SRKL, AKL, AB, DRKL) की तुलना $\tau \in \{1.5, \dots, 4.0\}$ के ग्रिड सर्च वाले टेम्परेचर-ट्यून्ड वेरिएंट्स से करता है।
मेट्रिक्स: पांच रैंडम सीड्स पर औसत ROUGE-L स्कोर।

मुख्य योगदान

1. तापमान का असममित प्रभाव (Asymmetric Effect of Temperature)

पेपर स्थापित करता है कि तापमान FKL और RKL को असममित रूप से प्रभावित करता है।

FKL: तापमान टीचर से गैर-प्रमुख टोकन जानकारी को उजागर करके लर्निंग सिग्नल को काफी समृद्ध करता है। यह बदलता है कि FKL क्या सीखता है।
RKL: तापमान मुख्य रूप से ग्रेडिएंट्स को रीस्केल करता है और वेट्स को स्मूथ करता है, बिना प्रोबेबिलिटी टारगेट के रूप में सॉफ्ट टीचर डिस्ट्रीब्यूशन तक सीधी पहुंच प्रदान किए। यह बदलता है कि RKL कैसे सीखता है।

2. प्रदर्शन रैंकिंग का उलटना (Reversal of Performance Rankings)

लेखक प्रदर्शित करते हैं कि RKL की FKL पर श्रेष्ठता तापमान पर अत्यधिक निर्भर है।

$\tau=1$ पर, RKL लगातार FKL से बेहतर प्रदर्शन करता है, जो पूर्व साहित्य के अनुरूप है।
उच्च तापमान पर (आमतौर पर $\tau \in [2.5, 3.5]$ ), FKL सभी मॉडल स्केल्स और बेंचमार्क्स में लगातार RKL से आगे निकल जाता है। उदाहरण के लिए, GPT-2 Base पर, FKL $\tau=3.0$ पर 19.41 से बढ़कर 20.97 ROUGE-L हुआ, जबकि RKL लगभग स्थिर रहा।

3. KL-आधारित उद्देश्यों का व्यापक सुधार

तापमान केवल एक सुधार नहीं है बल्कि एक सामान्य कारक है जो KL-आधारित उद्देश्यों के एक विस्तृत परिवार (जिसमें Sym-KL, JS, SFKL और AKL शामिल हैं) को बेहतर बनाता है।

उपयुक्त तापमान ट्यूनिंग के साथ सरल KL-आधारित विधियाँ AB-KD और DRKL जैसे हालिया स्टेट-ऑफ-द-आर्ट (SOTA) तरीकों के प्रतिस्पर्धी प्रदर्शन प्राप्त करती हैं।
उदाहरण के लिए, GPT-2 Base पर, $JS+\tau$ ने 25.63 का औसत ROUGE-L प्राप्त किया, जो AB (23.91) और DRKL (25.16) से अधिक है।

परिणाम

प्रदर्शन लाभ: तापमान ट्यूनिंग ने FKL-आधारित उद्देश्यों (जैसे, GPT-2 Base पर FKL के लिए +5.83, AKL के लिए +6.62) के लिए महत्वपूर्ण लाभ दिए। RKL-आधारित उद्देश्यों के लिए लाभ मामूली थे (जैसे, RKL के लिए +0.49)।
गुणात्मक सुधार: Unnatural Instructions बेंचमार्क पर केस स्टडीज ने दिखाया कि टेम्परेचर-ट्यून्ड मॉडल्स अपने $\tau=1$ समकक्षों की तुलना में आउटपुट फॉर्मेट और एंटिटी एक्सट्रैक्शन के संबंध में निर्देशों का बेहतर पालन करते हैं, जिससे हैलुसिनेशन (hallucinations) और ओमिशन (omissions) कम होते हैं।
रैंकिंग शिफ्ट: तापमान के परिचय ने डिस्टिलेशन उद्देश्यों की सापेक्ष रैंकिंग को बदल दिया, जो यह सुझाव देता है कि $\tau=1$ पर किए गए पिछले तुलनात्मक अध्ययन FKL-आधारित विधियों की वास्तविक क्षमता को प्रतिबिंबित नहीं कर सकते हैं।

महत्व और दावे

पेपर का दावा है कि KD तापमान केवल एक मामूली कार्यान्वयन विवरण नहीं है, बल्कि एक केंद्रीय, ऑब्जेक्ट-डिपेंडेंट फैक्टर है जिसे LLM डिस्टिलेशन के लिए निष्पक्ष तुलना हेतु विचार किया जाना चाहिए।

FKL का पुनर्मूल्यांकन: लेखक तर्क देते हैं कि तापमान के अभाव के कारण LLM डिस्टिलेशन कम्युनिटी में FKL को व्यवस्थित रूप से कम करके आंका गया है। जब उचित रूप से सॉफ्ट किया जाता है, तो FKL, RKL से बेहतर प्रदर्शन कर सकता है।
सरलता बनाम जटिलता: निष्कर्षों से पता चलता है कि सरल KL-आधारित उद्देश्य, उपयुक्त तापमान स्केलिंग के साथ मिलकर, हालिया SOTA फ्रेमवर्क्स के साथ प्रतिस्पर्धा कर सकते हैं, जो भविष्य के अनुसंधान के लिए डिज़ाइन स्पेस को सरल बनाने की क्षमता रखते हैं।
निष्पक्ष बेंचमार्किंग: पेपर का दावा है कि भविष्य के डिस्टिलेशन ऑब्जेक्ट्स के तुलनात्मक अध्ययन में तापमान ट्यूनिंग को शामिल किया जाना चाहिए ताकि RKL जैसे विशिष्ट उद्देश्यों की अंतर्निहित श्रेष्ठता के बारे में पक्षपाती निष्कर्षों से बचा जा सके।

लेखक अपनी सीमाओं को स्वीकार करते हैं, जिसमें उल्लेख है कि प्रयोग 7B पैरामीटर्स तक के टीचर मॉडल्स तक सीमित थे और इनमें ऑन-पॉलिसी सैंपलिंग या मजबूत स्टूडेंट इनिशियलाइजेशन को शामिल नहीं किया गया था, जो भविष्य के कार्य के लिए मार्ग प्रशस्त करते हैं।