🤖 machine learning

Distill on a Diet: Efficient Knowledge Distillation via Learnable Data Pruning

यह शोध पत्र IF-Beta का प्रस्ताव करता है, जो एक कुशल नॉलेज डिस्टिलेशन फ्रेमवर्क है जो डेटा प्रूनिंग को अनुकूलित करने के लिए इन्फ्लुएंस फंक्शन्स और एक सीखने योग्य बीटा-डिस्ट्रीब्यूशन-आधारित सैंपलिंग पॉलिसी का लाभ उठाता है, जिससे छात्र मॉडल (स्टूडेंट मॉडल्स) जो काफी कम डेटा और कंप्यूट पर प्रशिक्षित किए गए हैं, उन मॉडल्स से बेहतर प्रदर्शन करने में सक्षम होते हैं जो पूर्ण डेटासेट पर डिस्टिल किए गए हैं।

मूल लेखक: Yifan Wu, Yiqi Wang, Xichen Ye, Wenjing Yan, Xiaoqiang Li, Cheng Jin, Xiangyu Yue, Weizhong Zhang

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yifan Wu, Yiqi Wang, Xichen Ye, Wenjing Yan, Xiaoqiang Li, Cheng Jin, Xiangyu Yue, Weizhong Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक "डाइट" के साथ छात्र को सिखाना

कल्पive कि आप एक मास्टर शेफ (शिक्षक/Teacher) हैं जो एक प्रशिक्षु (छात्र/Student) को एक उत्तम व्यंजन बनाना सिखाने की कोशिश कर रहे हैं। आमतौर पर, प्रशिक्षु को सिखाने के लिए, आपको उन्हें अपनी विशाल कुकबुक की हर एक रेसिपी पर अभ्यास करवाना पड़ता है। इसमें बहुत समय लगता है, बहुत अधिक ईंधन (कंप्यूटिंग पावर) जलता है, और यह थका देने वाला होता है।

नॉलेज डिस्टिलेशन (Knowledge Distillation - KD) वह प्रक्रिया है जिसमें मास्टर शेफ प्रशिक्षु का मार्गदर्शन करता है। लक्ष्य यह है कि प्रशिक्षु इतना कुशल हो जाए कि वह लगभग मास्टर जितना ही अच्छा खाना बना सके, लेकिन बहुत कम समय और कम उपकरणों के साथ।

हालाँकि, यह पेपर एक समस्या की ओर इशारा करता है: भले ही अंतिम प्रशिक्षु छोटा और कुशल होता है, लेकिन प्रशिक्षण प्रक्रिया अभी भी बहुत बड़ी होती है क्योंकि प्रशिक्षु को पूरी कुकबुक पढ़नी पड़ती है। लेखकों ने पूछा: "क्या होगा अगर हम प्रशिक्षु को केवल सबसे महत्वपूर्ण रेसिपीज़ का एक सावधानीपूर्वक चुना गया 'डाइट' (आहार) दे सकें? क्या वे उतना ही अच्छा सीख सकते हैं, लेकिन कम प्रयास और कम समय में?"

यही "डिस्टिल ऑन अ डाइट" (Distill on a Diet) का मूल विचार है।

वर्तमान विधियों के साथ समस्या

इस पेपर से पहले, लोग प्रशिक्षु के लिए सबसे अच्छी रेसिपी चुनने के लिए दो मुख्य तरीकों का उपयोग करते थे, जिनमें दोनों की अपनी खामियां थीं:

"री-ट्रेनिंग" (पुनः प्रशिक्षण) विधि: यह जानने के लिए कि कौन सी रेसिपी कठिन या आसान है, आपको पहले प्रशिक्षु को पूरी किताब में खाना बनाना सिखाना होगा। यह तो समय बचाने के उद्देश्य को ही खत्म कर देता है! यह वैसा ही है जैसे किसी जासूस को एक महीने तक प्रशिक्षु को देखते रहने के लिए काम पर रखना, सिर्फ यह पता लगाने के लिए कि उन्हें कौन सी रेसिपी दिखानी चाहिए।
"रूल ऑफ थंब" (नियम आधारित) विधि: कुछ लोग सरल नियमों का उपयोग करते हैं, जैसे "मध्यम-कठिनाई वाली रेसिपी चुनें।" लेकिन यह कठोर है। कभी-कभी "मध्यम" रेसिपी सबसे अच्छी नहीं होतीं; कभी-कभी आपको बहुत आसान और बहुत कठिन का मिश्रण चाहिए होता है। यह एक सख्त डाइट प्लान की तरह है जो आपके शरीर की वास्तविक आवश्यकता के अनुसार नहीं बदलता।

समाधान: IF-Beta

लेखक एक नई प्रणाली प्रस्तावित करते हैं जिसे IF-Beta कहा जाता है। यह बिना मॉडल को पहले से री-ट्रेन किए, एक आदर्श "डाइट" चुनने के लिए दो स्मार्ट विचारों को जोड़ता है।

1. "इन्फ्लुएंस फंक्शन" (भविष्य बताने वाला क्रिस्टल बॉल)

कल्पना कीजिए कि आपके पास एक क्रिस्टल बॉल है जो बता सकती है: "यदि हम कुकबुक से इस विशिष्ट रेसिपी को हटा दें, तो क्या प्रशिक्षु का खाना बनाना खराब हो जाएगा या बेहतर?"

पेपर में, इसे इन्फ्लुएंस फंक्शन (Influence Function - IF) कहा गया है।

पुराना तरीका: यह क्रिस्टल बॉल आमतौर पर या तो टूटी हुई होती थी या इसे इस्तेमाल करना बहुत महंगा होता था।
नया तरीका: लेखकों ने इस क्रिस्टल बॉल को कुशलतापूर्वक काम करने का एक तरीका खोजा है। वे फ्लैट वैलिडेशन मिनिमा (Flat Validation Minima - FVM) नामक तकनीक का उपयोग करते हैं। इसे शिक्षक की अंतर्दृण (intuition) को "तेज" करने के रूप में समझें। शिक्षक के ज्ञान के परिदृश्य (landscape) को अधिक "सपाट" और स्थिर बनाकर, क्रिस्टल बॉल सटीक भविष्यवाणी कर सकती है कि कौन से डेटा पॉइंट्स वास्तव में महत्वपूर्ण हैं, बिना प्रशिक्षु को संघर्ष करते हुए देखे।

2. "बीटा पॉलिसी" (एक लचीला शेफ)

एक बार जब आप जान लेते हैं कि कौन सी रेसिपी महत्वपूर्ण हैं (क्रिस्टल बॉल के माध्यम से), तो आप उन्हें कैसे चुनते हैं?

पुराना तरीका: एक कठोर रूलर (पैमाना) का उपयोग करें। "शीर्ष 10% कठिन उदाहरण लें" या "स्कोर 5 और 7 के बीच सब कुछ लें।" यह एक ऐसी डाइट की तरह है जो कहती है "ठीक 3 सेब और 2 केले खाएं," चाहे आपकी भूख कैसी भी हो।
नया तरीका: लेखक एक बीटा पॉलिसी (Beta Policy) का उपयोग करते हैं। एक लचीले, खिंचने वाले जाल (net) की कल्पना करें जो अपना आकार बदल सकता है। एक कठोर रूलर के बजाय, यह जाल सबसे अच्छे डेटा को पकड़ने के लिए अपना परफेक्ट आकार सीखता है। यह ज्यादातर कठिन उदाहरणों को पकड़ने के लिए, या ज्यादातर आसान उदाहरणों को, या एक आदर्श मिश्रण को पकड़ने के लिए फैल सकता है, जो भी स्थिति के लिए सबसे अच्छा काम करता है। यह एक "सीखने योग्य" डाइट है जो स्थिति के अनुसार ढल जाती है।

यह कैसे काम करता है (द "बाइलेवल" डांस)

यह सिस्टम आदर्श डाइट खोजने के लिए दो-चरणीय नृत्य की तरह काम करता है:

इनर लूप (अभ्यास): सिस्टम डेटा के एक छोटे, अस्थायी डाइट पर प्रशिक्षु के सीखने का तेजी से अनुकरण करता है। इसे सुपर फास्ट बनाने के लिए, यह एक नया पूरा दिमाग नहीं बनाता; यह बस शिक्षक के स्थिर ज्ञान के ऊपर एक सरल "लीनियर हेड" (जैसे एक त्वरित मानसिक नोट) को प्रशिक्षित करता है।
आउटर लूप (कोच): सिस्टम यह जांचता है कि प्रशिक्षु ने इस अस्थायी डाइट पर कैसा प्रदर्शन किया। यदि डाइट अच्छी थी, तो "कोच" (बीटा पॉलिसी) अगली बार और भी बेहतर डेटा को पकड़ने के लिए जाल के आकार को समायोजित करता है। यदि डाइट खराब थी, तो कोच जाल को फिर से आकार देता है।

यह बहुत तेजी से होता है, जिससे सिस्टम पूर्ण प्रशिक्षण की भारी लागत के बिना डेटा के इष्टतम उपसमूह (subset) को खोज पाता है।

परिणाम: कम भोजन, बेहतर खाना

लेखकों ने प्रसिद्ध इमेज डेटासेट्स (जैसे CIFAR और ImageNet) पर इस पेपर का परीक्षण किया। परिणाम आश्चर्यजनक थे:

पूरे डेटा से बेहतर: कई मामलों में, जो प्रशिक्षु केवल 50% से 70% डेटा (IF-Beta डाइट का उपयोग करके) पर प्रशिक्षित हुआ, उसने वास्तव में 100% डेटा पर प्रशिक्षित प्रशिक्षु से बेहतर प्रदर्शन किया।
तेज और सस्ता: चूंकि उन्होंने कम डेटा का उपयोग किया, इसलिए प्रशिक्षण में काफी कम समय और कंप्यूटिंग पावर लगी।
प्रतिस्पर्धा को पछाड़ना: IF-Beta ने सभी अन्य विधियों को हरा दिया, जिसमें वे विधियाँ भी शामिल थीं जिनमें महंगी री-ट्रेनिंग या कठोर नियमों की आवश्यकता थी।

निष्कर्ष

यह पेपर तर्क देता है कि डेटा की मात्रा से अधिक डेटा की गुणवत्ता मायने रखती है। ठीक वैसे ही जैसे एक इंसान लाइब्रेरी की हर किताब पढ़ने के बजाय कुछ उच्च-गुणवत्ता वाले गुरुओं और उदाहरणों के साथ एक कौशल को तेजी से सीख सकता है, एक मशीन लर्निंग मॉडल भी बेहतर सीख सकता है यदि हम उसके प्रशिक्षण डेटा की सावधानीपूर्वक देखभाल करें।

लेखक इसे "डिस्टिल ऑन अ डाइट" कहते हैं क्योंकि वे छात्र मॉडल को डेटा का एक छोटा, अधिक पौष्टिक और सावधानीपूर्वक चुना गया हिस्सा खिला रहे हैं, जिससे वह पूरे डेटासेट को जबरदस्ती खिलाने की तुलना में अधिक मजबूत और तेज बन सकता है।

तकनीकी सारांश: डिस्टिल ऑन अ डाइट: लर्नबल डेटा प्रूनिंग के माध्यम से कुशल नॉलेज डिस्टिलेशन

समस्या विवरण

नॉलेज डिस्टिलेशन (KD) एक मानक तकनीक है जिसका उपयोग बड़े टीचर मॉडल्स को कॉम्पैक्ट स्टूडेंट मॉडल्स में कंप्रेस करने के लिए किया जाता है ताकि कुशल इन्फरेंस प्राप्त हो सके। हालांकि, प्रशिक्षण प्रक्रिया स्वयं अत्यधिक कम्प्यूटेशनल रूपली महंगी बनी रहती है, क्योंकि स्टूडेंट्स को आमतौर पर एक बड़े टीचर के मार्गदर्शन में पूरे डेटासेट पर डिस्टिल किया जाता है। जबकि डेटा प्रूनिंग (प्रशिक्षण नमूनों के एक उपसमूह का चयन करना) लागत को कम करने के लिए एक आशाजनक मार्ग प्रदान करती है, मौजूदा विधियां KD के संदर्भ में दो महत्वपूर्ण बाधाओं का सामना करती हैं:

स्कोर एस्टीमेशन में एफिशिएंसी-इफेक्टिवनेस ट्रेड-ऑफ: EL2N, Forgetting, या AUM जैसे उच्च-सटीकता वाले मेट्रिक्स ट्रेनिंग डायनेमिक्स (जैसे, प्रति-एप्रेडिक्शन) पर निर्भर करते हैं जो तब उपलब्ध नहीं होते जब केवल एक प्री-ट्रेन्ड टीचर प्रदान किया गया हो। इन स्कोर्स की गणना करने के लिए टीचर को महंगे तरीके से फिर से प्रशिक्षित करने की आवश्यकता होती है, जो प्रूनिंग से मिलने वाले दक्षता लाभ को समाप्त कर देता है। इसके विपरीत, क्रॉस-एंट्रॉपी (CE) लॉस जैसे सरल मेट्रिक्स सस्ते तो हैं लेकिन अविश्वसनीय भी हैं, क्योंकि ओवर-पैरामीटराइज्ड नेटवर्क कठिन या गलत लेबल वाले नमूनों पर ओवरफिट हो सकते हैं, जिसके परिणामस्वरूप कम लॉस वैल्यू मिलती है जो वास्तविक नमूना कठिनाई को नहीं दर्शाती है।
कठोर और उप-इष्टतम सैंपलिंग: मौजूदा प्रूनिंग रणनीतियां अक्सर निश्चित ह्यूरिस्टिक्स (जैसे, टॉप-k चयन, फिक्स्ड कटऑफ के साथ स्ट्रैटिफाइड सैंपलिंग, या स्लाइडिंग विंडोज) पर निर्भर करती हैं। ये कठोर नियम विभिन्न KD सेटिंग्स के विशिष्ट डेटा वितरण और टीचर-स्टूडेंट डायनेमिक्स के अनुकूल नहीं हो पाते हैं, जिससे उप-इष्टतम (suboptimal) उपसमूह प्राप्त होते हैं।

कार्यप्रणाली: IF-Beta

लेखक IF-Beta प्रस्तावित करते हैं, जो उपरोक्त चुनौतियों को हल करने के लिए इन्फ्लुएंस फंक्शन्स (IF) को एक लर्नबल प्रोबेबिलिस्टिक सैंपलिंग पॉलिसी के साथ एकीकृत करता है।

1. पोस्ट-हॉक एस्टिमेटर के रूप में इन्फ्लुएंस फंक्शन (IF)

पुनः प्रशिक्षण (retraining) से बचने के लिए, यह पेपर एक प्री-ट्रेन्ड टीचर से सीधे नमूना महत्व (sample importance) का अनुमान लगाने के लिए इन्फ्लुएंस फंक्शन्स का उपयोग करता है।

फ्लैट वैलिडेशन मिनिमा (FVM): डीप नेटवर्क्स में IF एस्टीमेशन को स्थिर करने के लिए, लेखक शार्पनेस-अवेयर मिनिमाइजेशन (SAM) का उपयोग करके वैलिडेशन सेट पर प्री-ट्रेन्ड टीचर को फाइन-ट्यून करते हैं। यह लॉस लैंडस्केप में स्थानीय सपाटपन (local flatness) को लागू करता है, जो मानक IF विधियों की तुलना में प्रभाव अनुमानों की विश्वसनीयता में काफी सुधार करता है।
स्कोर कंप्यूटेशन: वैलिडेशन सेट पर एक ट्रेनिंग सैंपल $z_{tr}$ का प्रभाव, फाइन-ट्यून किए गए टीचर पैरामीटर्स के सापेक्ष लॉस के ग्रेडिएंट और इनवर्स हेसियन (दक्षता के लिए डायगोनल फिशर इंफॉर्मेशन मैट्रिक्स के माध्यम से अनुमानित) का उपयोग करके अनुमानित किया जाता है। इससे एक ऐसा स्कोर प्राप्त होता है जहाँ कम मान अधिक कठिन/सूचनात्मक नमूनों को दर्शाते हैं।

2. लर्नबल बीटा पॉलिसी (Learnable Beta Policy)

निश्चित ह्यूरिस्टिक चयन के बजाय, IF-Beta एक बीटा वितरण द्वारा पैरामीटराइज्ड बीटा पॉलिसी पेश करता है।

अनुकूली सैंपलिंग (Adaptive Sampling): $[0, 1]$ पर मैप किए गए नॉर्मलाइज्ड इन्फ्लुएंस स्कोर्स के दिए जाने पर, प्रत्येक नमूने के लिए चयन की संभावना को एक बीटा वितरण $Beta(\alpha(\phi), \beta(\phi))$ द्वारा मॉडल किया जाता है। $\alpha$ और $\beta$ के पैरामीटर्स को लर्नबल पैरामीटर्स $\phi$ द्वारा नियंत्रित किया जाता है, जिससे पॉलिसी को विशिष्ट KD कार्य के अनुसार अपने आकार (जैसे, कठिन नमूनों, आसान नमूनों, या एक विशिष्ट विंडो पर ध्यान केंद्रित करना) को अनुकूलित करने की अनुमति मिलती है।
बाइलेवल ऑप्टिमाइजेशन: पॉलिसी पैरामीटर्स $\phi$ $ϕ$ के अनुकूलन को एक बाइलेवल समस्या के रूप में तैयार किया गया है:
- इनर लूप: वर्तमान पॉलिसी द्वारा सैंपल किए गए उपसमूह पर एक स्टूडेंट मॉडल (विशेष रूप से, फ्रोजन टीचर फीचर्स पर एक लीनियर क्लासिफायर) को प्रशिक्षित करता है, जो KD लॉस को कम करता है।
  कौशल (efficiency) बनाए रखने के लिए, इनर लूप पूर्ण न्यूरल नेटवर्क को पुनः प्रशिक्षित नहीं करता है। इसके बजाय, यह फ्रोजन टीचर फीचर्स पर जुड़े एक हल्के वजन वाले लीनियर क्लासिफायर को ऑप्टिमाइज़ करता है। यह "प्रॉक्सि-स्टूडेंट" फॉर्मूलेशन नगण्य कम्प्यूटेशनल लागत के साथ KD डायनेमिक्स को कैप्चर करता है।
- आउटर लूप: $\phi$ को अपडेट करता है ताकि सैंपल किए गए उपसमूह पर प्रशिक्षित स्टूडेंट के वैलिडेशन प्रदर्शन को अधिकतम किया जा सके।

मुख्य योगदान

KD के लिए IF: यह पेपर प्रदर्शित करता है कि इन्फ्लुएंस फंक्शन्स, जब FVM के माध्यम से स्थिर किए जाते हैं, तो वे KD के लिए एक प्रभावी और कुशल पोस्ट-हॉक स्कोर एस्टिमेटर के रूप में कार्य करते हैं, जिससे ट्रेजेक्टरी-आधारित मेट्रिक्स के लिए आवश्यक महंगे टीचर रिट्रेनिंग की आवश्यकता समाप्त हो जाती है।
लर्नबल बीटा पॉलिसी: लेखक डेटा प्रूनिंग के लिए एक पैरामीटराइज्ड बीटा वितरण पेश करते हैं, जो बाइलेवल ऑप्टिमाइजेशन के माध्यम से एक अनुकूली सैंपलिंग वितरण को सीखकर निश्चित ह्यूरिस्टिक नियमों (जैसे टॉप-k या फिक्स्ड विंडोज) की कठोरता को दूर करता है।
कुशल बाइलेवल ऑप्टिमाइजेशन: इनर लूप को फ्रोजन फीचर्स पर एक लीनियर क्लासिफायर के रूप में स्वरूपित करके, यह फ्रेमवर्क सर्च चरण के दौरान पूर्ण स्टूडेंट रिट्रेनिंग की अत्यधिक लागत के बिना प्रूनिंग पॉलिसी के कुशल अनुकूलन को प्राप्त करता है।

प्रयोगात्मक परिणाम

विभिन्न टीचर-स्टूडेंट आर्किटेक्चर (ResNet, WideResNet, ViT) के साथ CIFAR-10, CIFAR-100 और ImageNet पर व्यापक प्रयोगों से पता चलता है:

श्रेष्ठ प्रदर्शन: IF-Beta विभिन्न प्रूनिंग रेश्यो में बेसलाइन्स (जिसमें रिट्रेनिंग-फ्री मेथड्स जैसे Medium-Difficulty और रिट्रेनिंग-बेस्ड मेथड्स जैसे DUAL शामिल हैं) को लगातार पछाड़ता है।
पूर्ण-डेटा डिस्टिलेशन से बेहतर: उल्लेखनीय रूप से, IF-Beta उन स्टूडेंट्स को सक्षम बनाता है जो काफी कम डेटा और कंप्यूट पर प्रशिक्षित किए गए हैं, फिर भी पूर्ण-डेटा डिस्टिलेशन के प्रदर्शन को पार कर जाते हैं। उदाहरण के लिए, CIFAR-10 पर, केवल 70% डेटा रखने से 95.69% सटीकता प्राप्त हुई, जबकि फुल-डेटा डिस्टिलेशन के लिए यह 95.50% थी।
कंप्यूट दक्षता: प्रूनिंग प्रक्रिया की लागत को शामिल करने के बाद भी, IF-Beta पूर्ण-डेटा डिस्टिलेशन के प्रदर्शन तक काफी कम समय में पहुँच जाता है (उदाहरण के लिए, CIFAR-10 पर 0.806x लागत)।
सामान्यीकरण (Generalization): यह विधि गैर-KD स्टैंडर्ड सुपरवाइज्ड लर्निंग सेटिंग्स और विभिन्न KD ऑब्जेक्टिव्स (Relational, FitNets, Attention Transfer) के लिए सामान्यीकृत होती है, जो यह प्रदर्शित करती है कि डेटा उपसमूह की गुणवत्ता विशिष्ट डिस्टिलेशन एल्गोरिदम से स्वतंत्र एक महत्वपूर्ण कारक है।

महत्व और दावे

पेपर तर्क देता है कि प्रशिक्षण डेटा की गुणवत्ता अक्सर डिस्टिलेशन एल्गोरिदम के विशिष्ट विवरणों की तुलना में अधिक महत्वपूर्ण होती है। सबसे सूचनात्मक नमूनों को कुशलतापूर्वक पहचानकर और चुनकर, IF-Beta डेटा क्यूरेशन को आधुनिक प्रशिक्षण पाइपलाइनों के लिए एक सिद्धांतपूर्ण और व्यावहारिक लीवर के रूप में स्थापित करता है। यह कार्य सुझाव देता है कि "डिस्टिलिंग ऑन अ डाइट"—पूरे डेटासेट के बजाय सावधानीपूर्वक प्रून किए गए उपसमूह का उपयोग करना—बेहतर सामान्यीकरण और कम कम्प्यूटेशनल लागत प्रदान कर सकता है, जो इस धारणा को चुनौती देता है कि अधिक डेटा हमेशा बेहतर डिस्टिलेशन परिणामों के बराबर होता है।