🤖 machine learning

Consistently Informative Soft-Label Temperature for Knowledge Distillation

यह शोध पत्र CIST का प्रस्ताव करता है, जो एक नॉलेज डिस्टिलेशन विधि है जो निरंतर सूचनात्मक सॉफ्ट लेबल उत्पन्न करने के लिए शिक्षक और छात्र दोनों नेटवर्क के लिए सैंपल-वार एडेप्टिव टेम्परेचर का उपयोग करती है और डिस्टिलेशन ऑब्जेक्टिव को गतिशील रूप से रीवेट करती है, जिससे फिक्स्ड-टेम्परेचर दृष्टिकोणों की सीमाओं को दूर किया जाता है और नगण्य कम्प्यूटेशनल ओवरहेड के साथ विजन और लैंग्वेज कार्यों में प्रदर्शन में सुधार किया जाता है।

मूल लेखक: Hoang-Chau Luong, Nghia Van Vo, Kaiqi Zhao, Lingwei Chen

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hoang-Chau Luong, Nghia Van Vo, Kaiqi Zhao, Lingwei Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक युवा, ऊर्जावान प्रशिक्षु (छात्र) को जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं, जिसमें उसे एक बुद्धिमान, अनुभवी गुरु (शिक्षक) को देखते हुए सीखने के लिए कहा गया है।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इस प्रक्रिया को नॉलेज डिस्टिलेशन (Knowledge Distillation) कहा जाता है। लक्ष्य यह है कि गुरु के विशाल ज्ञान को छात्र के छोटे मस्तिष्क में इस तरह समाहित किया जाए कि वह फोन जैसे छोटे उपकरणों पर तेजी से और कुशलता से काम कर सके।

समस्या: "एक ही आकार सबके लिए" वाली गलती (The "One-Size-Fits-All" Mistake)

पारंपरिक रूप से, जब गुरु किसी अवधारणा को समझाते हैं, तो वे एक निश्चित "वॉल्यूम नॉब" का उपयोग करते हैं जिसे टेम्परेचर (Temperature) कहा जाता है।

कम वॉल्यूम (Low Volume): गुरु बहुत स्पष्ट और आत्मविश्वास के साथ बोलते हैं। "यह निश्चित रूप से एक कुत्ता है!" (लेकिन वे शायद यह नहीं बताते कि यह बिल्ली क्यों नहीं है)।
उच्च वॉल्यूम (High Volume): गुरु बहुत कोमलता से और अस्पष्ट रूप से बोलते हैं। "यह एक कुत्ता हो सकता है, शायद एक भेड़िया, या शायद एक लोमड़ी..." (यह जानवरों के बीच के संबंधों को प्रकट करता है, जिसे "डार्क नॉलेज" कहा जाता है, लेकिन यह बहुत भ्रमित करने वाला भी हो सकता है)।

पुराना तरीका हर एक पाठ के लिए एक ही वॉल्यूम नॉब का उपयोग करता है, चाहे स्थिति कैसी भी हो। यह तर्क देता है कि यह एक गलती है क्योंकि:

कुछ पाठ बहुत तेज़ हैं: आसान उदाहरणों के लिए, गुरु पहले से ही इतने आश्वस्त होते हैं कि वॉल्यूम बढ़ाने से कोई मदद नहीं मिलती; प्रशिक्षु केवल एक उबाऊ, तीखा "कुत्ता!" सुनता है, जिसमें कोई अतिरिक्त जानकारी नहीं होती।
कुछ पाठ बहुत धीमे हैं: कठिन उदाहरणों के लिए, गुरु अनिश्चित होते हैं। यदि वॉल्यूम बहुत अधिक है, तो गुरु ऐसे लग सकते हैं जैसे वे बेतरतीब ढंग से अनुमान लगा रहे हों ("यह एक कुत्ता है, एक बिल्ली है, एक कार है...") जिससे प्रशिक्षु भ्रमित हो जाता है।

यह एक अराजक कक्षा बनाता है जहाँ कुछ पाठ बेकार होते हैं और कुछ बहुत अधिक बोझिल।

समाधान: CIST (स्मार्ट वॉल्यूम कंट्रोलर)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे CIST (Consistently Informative Soft-label Temperature) कहा जाता है। CIST को एक स्मार्ट, स्वचालित वॉल्यूम कंट्रोलर के रूप में समझें जो हर एक पाठ के लिए व्यक्तिगत रूप से गुरु की आवाज़ को समायोजित करता है।

CIST तीन सरल तरीकों का उपयोग करके काम करता है:

1. गुरु के लिए "बिल्कुल सही" वॉल्यूम

CIST देखता है कि गुरु किसी विशिष्ट जानवर के बारे में कितने आश्वस्त हैं।

यदि गुरु बहुत आश्वस्त हैं (उत्तर स्पष्ट है), तो CIST वॉल्यूम को बढ़ा देता है। यह तीखे "कुत्ता!" को एक सहायक "यह ज्यादातर एक कुत्ता है, लेकिन थोड़ा भेड़िये जैसा दिखता है" में बदल देता है। यह प्रशिक्षु को उपयोगी अतिरिक्त संकेत देता है।
यदि गुरु अनिश्चित हैं (जानवर कठिन है), तो CIST वॉल्यूम को कम कर देता है। यह गुरु को बेतरतीब ढंग से अनुमान लगाते हुए सुनाई देने से रोकता है, जिससे पाठ केंद्रित और स्पष्ट रहता है।
परिणाम: हर पाठ में विवरण की सही मात्रा होती है, चाहे वह कितना भी आसान या कठिन क्यों न हो।

2. शिक्षक और छात्र के लिए अलग-अलग माइक्रोफोन

पुराने दिनों में, गुरु और प्रशिक्षु को बिल्कुल एक ही वॉल्यूम पर बोलना पड़ता था। लेकिन गुरु बहुत बड़े होते हैं और प्रशिक्षु बहुत छोटा; उनकी "तेज़ी/लौडनेस" की क्षमताएं अलग होती हैं।

CIST उन्हें अलग-अलग वॉल्यूम नॉब देता है। गुरु उस वॉल्यूम पर बोलते हैं जो उनके लिए सही है, और प्रशिक्षु उस वॉल्यूम पर सुनता है जो उनके लिए सही है।
परिणाम: प्रशिक्षु को गुरु के सटीक पैमाने से मेल खाने के लिए मजबूर होने की आवश्यकता नहीं है; उन्हें बस जानवरों के बीच के संबंधों को सीखने की आवश्यकता है।

3. "फोकस फिल्टर" (पाठ्यक्रम)

सभी पाठ सीखने के लिए समान रूप से अच्छे नहीं होते।

यदि गुरु बहुत आश्वस्त हैं और प्रशिक्षु ध्यान दे रहा है, तो CIST कहता है, "इस पर ध्यान दें!" (यह इस पाठ को अधिक महत्व देता है)।
यदि गुरु भ्रमित हैं या प्रशिक्षु बहुत संघर्ष कर रहा है, तो CIST कहता है, "आइए इसे अभी के लिए छोड़ दें" (यह इस पाठ को कम महत्व देता है)।
परिणाम: प्रशिक्षु अपनी ऊर्जा सबसे सहायक और विश्वसनीय पाठों पर केंद्रित करता है, शोर वाले या भ्रमित करने वाले पाठों को अनदेखा करता है।

परिणाम: एक स्मार्ट प्रशिक्षु

शोधकर्ताओं ने इस विचार का परीक्षण दो प्रकार के कार्यों पर किया:

विज़न (देखना): कंप्यूटर को छवियों (जैसे बिल्ली, कुत्ता और कार) को पहचानने के लिए सिखाना (CIFAR-100 और ImageNet जैसे डेटासेट का उपयोग करके)।
लैंग्वेज (बोलना): बड़े भाषा मॉडलों (Large Language Models) को निर्देशों का पालन करने के लिए बेहतर बनाना।

निष्कर्ष स्पष्ट थे:

बेहतर ग्रेड: CIST के साथ प्रशिक्षित प्रशिक्षुओं ने पुराने "फिक्स्ड वॉल्यूम" तरीके से प्रशिक्षित प्रशिक्षुओं की तुलना में लगातार उच्च अंक प्राप्त किए।
कोई अतिरिक्त लागत नहीं: अन्य फैंसी तरीकों के विपरीत जिनमें अतिरिक्त हार्डवेयर या धीमी ट्रेनिंग की आवश्यकता होती है, CIST मूल तरीके जितना ही तेज़ और सस्ता है। यह बिना अतिरिक्त ट्यूशन फीस दिए बेहतर शिक्षा प्राप्त करने जैसा है।
दृश्य प्रमाण: जब शोधकर्ताओं ने देखा कि कंप्यूटर क्या "देख" रहा था (Grad-CAM नामक उपकरण का उपयोग करके), तो CIST-प्रशिक्षित छात्र वास्तव में जानवरों (जैसे मछली या कुत्ते) पर ध्यान केंद्रित कर रहे थे, जबकि पुराने छात्र अक्सर बैकग्राउंड पर ध्यान देते थे या भ्रमित हो जाते थे।

संक्षेप में

यह शोध पत्र कहता है कि हर सीखने के उदाहरण के साथ एक जैसा व्यवहार करना अक्षम है। CIST का उपयोग करके, हम शिक्षक को प्रत्येक छात्र की आवश्यकताओं के लिए अपने स्पष्टीकरण को समायोजित करने का एक स्मार्ट तरीका देते हैं, जिससे यह सुनिश्चित होता है कि छात्र हर पाठ से सही मात्रा में जानकारी सीखे, जिससे एक स्मार्ट और अधिक कुशल AI बनता है।

तकनीकी सारांश: नॉलेज डिस्टिलेशन के लिए निरंतर सूचनात्मक सॉफ्ट-लेबल तापमान (CIST)

समस्या विवरण (Problem Statement)
नॉलेज डिस्टिलेशन (KD) एक उच्च-क्षमता वाले टीचर मॉडल से एक संक्षिप्त स्टूडेंट मॉडल में "डार्क नॉलेज" को स्थानांतरित करता है, जो आमतौर पर सॉफ्टमैक्स ऑपरेशन से पहले लॉजिट्स (logits) को स्मूथ करने के लिए एक तापमान हाइपरपैरामीटर ( $\tau$ ) का उपयोग करता है। लेखक मानक KD में दो महत्वपूर्ण सीमाओं की पहचान करते हैं:

एन्ट्रॉपी विसंगति (Entropy Inconsistency): मानक KD सभी नमूनों (samples) के लिए एक ही वैश्विक, स्थिर तापमान का उपयोग करता है। हालाँकि, क्योंकि टीचर के लॉजिट स्केल विभिन्न नमूनों के लिए काफी भिन्न होते हैं (जटिलता, आत्मविश्वास या मॉडल बायस के कारण), एक स्थिर $\tau$ अत्यधिक असंगत एन्ट्रॉपी वाले सॉफ्ट लेबल उत्पन्न करता है। कुछ भविष्यवाणियां अत्यधिक शार्प (कम एन्ट्रॉपी) रहती हैं, जो बहुत कम इंटर-क्लास जानकारी प्रदान करती हैं, जबकि अन्य अत्यधिक स्मूथ (उच्च एन्ट्रॉपी) हो जाती हैं, जो रैंडम नॉइज़ की तरह दिखने लगती हैं और क्लास-डिस्क्रिमिनेटिव सिग्नल खो देती हैं।
कठोर लॉजिट-स्केल संरेखण (Rigid Logit-Scale Alignment): मानक KD अक्सर टीचर और स्टूडेंट दोनों के बीच समान तापमान साझा करता है। यह दोनों मॉडलों के बीच क्षमता के अंतर के बावजूद लॉजिट स्केल्स के कठोर संरेखण को अनिवार्य रूप से लागू करता है, जिससे ग्रेडिएंट अपडेट सब-ऑप्टिमाइज़ हो सकते हैं।

कार्यप्रणाली: CIST
लेखक CIST (कॉन्सिस्टेंटली इन्फॉर्मेटिव सॉफ्ट-लेबल टेम्परेचर) प्रस्तावित करते हैं, जो एक लॉजिट-आधारित KD फ्रेमवर्क है जिसे टीचर-लेबल एन्ट्रॉपी को स्थिर करने और कठोर संरेखण को शिथिल करने के लिए डिज़ाइन किया गया है। CIST तीन मुख्य घटकों से बना है:

टीचर के लिए सैंपल-वार अनुकूलित तापमान (Sample-wise Adaptive Temperature for the Teacher):
एक सैद्धांतिक प्रस्ताव से प्रेरित होकर, जो यह दर्शाता है कि टीचर-लेबल एन्ट्रॉपी डोमिनेंट लॉजिट और तापमान के अनुपात द्वारा नियंत्रित होती है, CIST प्रत्येक नमूना $i$ के लिए एक अद्वितीय तापमान $\tau^t_i$ असाइन करता है। इसकी गणना डोमिनेंट टीचर लॉजिट ( $v_{i,m}$ ) को एक स्थिरांक $\rho$ तक सामान्य करके की जाती है:
$\tau^t_i = \frac{v_{i,m}}{\rho}$
यह सुनिश्चित करता है कि उच्च-विश्वास वाली भविष्यवाणियों (बड़े लॉजिट्स) को अधिक स्मूथिंग मिले, जबकि कम-विश्वास वाली भविष्यवाणियों को कम स्मूथिंग मिले, जिसके परिणामस्वरूप पूरे डेटासेट में लगातार सूचनात्मक सॉफ्ट लेबल प्राप्त होते हैं।
स्वतंत्र टीचर-स्टूडेंट तापमान (Independent Teacher–Student Temperatures):
मानक KD के विपरीत, CIST टीचर ( $\tau^t_i$ ) और स्टूडेंट ( $\tau^s_i$ ) के लिए अलग-अलग एडेप्टिव तापमान असाइन करता है। स्टूडेंट तापमान स्टूडेंट के लॉजिट्स ( $z_{i,m'}$ ) के अधिकतम परिमाण से प्राप्त किया जाता है:
$\tau^s_i = \frac{z_{i,m'}}{\rho}$
यह लॉजिट स्केल्स को अलग करता है, जिससे स्टूडेंट को टीचर के पूर्ण लॉजिट मैग्नीट्यूड को दोहराने के लिए मजबूर किए बिना टीचर के इंटर-क्लास रिलेशनल स्ट्रक्चर से मेल खाने की अनुमति मिलती है।
कॉन्फिडेंस-अवेयर करिकुलम रेगुलराइजेशन (Confidence-Aware Curriculum Regularization):
KL डाइवर्जेंस लॉस और हार्ड-लेबल क्रॉस-एन्ट्रॉपी लॉस के बीच एक स्थिर संतुलन बनाए रखने के लिए, CIST प्रत्येक नमूने के लिए डिस्टिलेशन ऑब्जेक्टिव को रीवेट (reweight) करता है। KL टर्म को टीचर और स्टूडेंट तापमान के गुणनफल द्वारा स्केल किया जाता है:
$L_{KL} = \tau^t_i \tau^s_i \cdot KL(p^{\tau^t_i}_i \parallel q^{\tau^s_i}_i)$
यह एक करिकुलम मैकेनिज्म के रूप में कार्य करता है: उन नमूनों के लिए जहाँ टीचर कॉन्फिडेंट है और स्टूडेंट भी कॉन्फिडेंट प्रतिक्रिया देता है, उन्हें उच्च वेट दिया जाता है, जबकि अनिश्चित या कठिन नमूनों को डाउन-वेट किया जाता है।

प्रमुख योगदान (Key Contributions)

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): लेखक प्रदर्शित करते हैं कि फिक्स्ड-टेम्परेचर KD, इनकंसिस्टेंट टीचर-लेबल एन्ट्रॉपी को प्रेरित करता है, जिससे अनइंफॉर्मेटिव सॉफ्ट सुपरविजन होता है। वे डोमिनेंट लॉजिट्स और तापमान के अनुपात के आधार पर एडेप्टिव स्मूथिंग के लिए एक सिद्धांत आधारित आधार प्रदान करते हैं।
फ्रेमवर्क डिज़ाइन (Framework Design): CIST एक नया फ्रेमवर्क पेश करता है जो सैंपल-वाइज टेम्परेचर एडैप्टेशन, इंडिपेंडेंट टीचर-स्टूडेंट टेम्परेचर और कॉन्फिडेंस-अवेयर लॉस रीवेटिंग को जोड़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि को विजन (CIFAR-100, ImageNet) और लैंग्वेज (Dolly, Vicuna, आदि पर इंस्ट्रक्शन-फॉलोइंग) डिस्टिलेशन कार्यों पर मान्य किया गया है।

प्रायोगिक परिणाम (Experimental Results)

विज़न टास्क (Vision Tasks): CIFAR-100 पर, CIST (MLKD के साथ मिलकर) होमोजेनियस और हेटेरोजेनियस टीचर-स्टूडेंट पेयर्स में मानक KD और मजबूत बेसलाइन्स (DKD, CTKD और फीचर-आधारित विधियों जैसे ReviewKD सहित) को लगातार पछाड़ता है। उदाहरण के लिए, इसने ResNet32x4→ResNet8x4 पेयर पर मानक KD पर +3.63% का सुधार हासिल किया। ImageNet पर, CIST ने टॉप-1 एक्यूरेसी में सबसे मजबूत लॉजिट-आधारित बेसलाइन्स (DKD, KD+LS) और फीचर-आधारित विधियों (OFD, ReviewKD) को पीछे छोड़ दिया, जिसमें ResNet50-MobileNetV1 पर +2.25% तक की बढ़त देखी गई।
लैंग्वेज टास्क (Language Tasks): इंस्ट्रक्शन-फॉलोइंग डिस्टिलेशन में, CIST ने GPT-2 और OPT टीचर-स्टूडेंट पेयर्स के लिए कई बेंचमार्क (Dolly, Vicuna, Super-Natural Instructions, Unnatural Instructions) में लगातार पहले या दूसरे स्थान पर कब्जा किया, और सर्वश्रेष्ठ औसत स्कोर प्राप्त किया।
दक्षता (Efficiency): CIST मानक KD की तुलना में नगण्य कम्प्यूटेशनल ओवरहेड पेश करता है, क्योंकि इसमें कई फीचर-आधारित विधियों के विपरीत कोई सहायक मॉड्यूल या अतिरिक्त ट्रेन करने योग्य पैरामीटर की आवश्यकता नहीं होती है।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि टीचर-लेबल एन्ट्रॉपी को स्थिर करना प्रदर्शन लाभ का प्राथमिक चालक है। विधि ने हाइपरपैरामीटर $\rho$ के प्रति मजबूती दिखाई और t-SNE विज़ुअलाइज़ेशन के माध्यम से बेहतर फीचर डिस्क्रिमिनेबिलिटी और Grad-CAM के माध्यम से अधिक सटीक स्पेशियल अटेंशन का प्रदर्शन किया।

महत्व (Significance)
पेपर का दावा है कि CIST एक मौलिक, अक्सर अनदेखी की जाने वाली सीमा को संबोधित करता है: यह धारणा कि एक सिंगल ग्लोबल टेम्परेचर सभी नमूनों के लिए उपयुक्त है। लगातार सूचनात्मक सॉफ्ट लेबल सुनिश्चित करके और कठोर लॉजिट-स्केल मैचिंग को शिथिल करके, CIST एक अधिक विश्वसनीय और प्रभावी सुपरविजन सिग्नल प्रदान करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण मानक लॉजिट-आधारित डिस्टिलेशन की सरलता और दक्षता को बनाए रखते हुए विविध आर्किटेक्चर और मोडैलिटीज (विजन और लैंग्वेज) में प्रदर्शन में सुधार करता है।