Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets

तकनीकी सारांश: रोबस्ट ट्राजेक्टरी डिस्टिलेशन (Robust Trajectory Distillation)

समस्या विवरण (Problem Statement)

डेटासेट डिस्टिलेशन (DD) बड़े पैमाने के डेटासेट्स को संक्षिप्त, सूचना-समृद्ध सिंथेटिक सबसेट्स में सघन करने का लक्ष्य रखता है ताकि कुशल मॉडल प्रशिक्षण और पुन: उपयोग को सक्षम किया जा सके। हालांकि, मौजूदा DD फ्रेमवर्क अंतर्निहित रूप से स्वच्छ पर्यवेक्षण (clean supervision) की धारणा पर आधारित हैं। वास्तविक दुनिया के परिदृश्यों में, जो शोर वाले लेबल (noisy labels) (क्राउडसोर्सिंग त्रुटियों, मानवीय पूर्वाग्रह या अर्थ संबंधी अस्पष्टता के कारण) द्वारा चिह्नित होते हैं, मानक DD विधियाँ उपयोगी संकेतों के साथ दूषित जुड़ावों को भी सघन करने का जोखिम उठाती हैं, जिससे उनकी मजबूती (robustness) और सामान्यीकरण (generalization) में गिरावट आती है।

शोर वाले लेबल सीखने की वर्तमान तकनीकें (जैसे, सैंपल चयन, लॉस वेटिंग, लेबल सुधार) जब DD पर लागू होती हैं, तो अक्सर तीन सीमाओं से ग्रस्त होती हैं:

1. टाइट कपलिंग (Tight Coupling): वे शोर अनुमान (noise estimation) को मॉडल अनुकूलन के साथ मजबूती से जोड़ देती हैं, जिससे एक आत्म-संदर्भित फीडबैक लूप बनता है जो कन्फर्मेशन बायस (confirmation bias) को बढ़ाता है।
2. स्वच्छ एंकर्स पर निर्भरता (Dependency on Clean Anchors): कई विधियों के लिए स्वच्छ सत्यापन उपसमूहों (clean validation subsets) या भारी पुनरावृत्ति परिशोधन (iterative refinement) की आवश्यकता होती है, जो स्केलेबिलिटी को सीमित करता है।
3. क्षमता बाधाएं (Capacity Constraints): डिस्टिल्ड डेटासेट्स, जो आमतौर पर फिक्स्ड-साइज़ इमेज टेंसर के रूप में पैरामीटराइज्ड होते हैं, प्रतिनिधित्व क्षमता (representational capacity) को सीमित करते हैं, जिससे शोर और स्वच्छ संकेतों के अलग होने से पहले ही सूचना का समयपूर्व संपीड़न हो जाता है।

मुख्य चुनौती बिना रीलेबलिंग या स्वच्छ उपसमूहों के, शोर वाले पर्यवेक्षण के तहत डिस्टिल्ड डेटा की गुणवत्ता (सिंथेटिक डेटा की फिडेलिटी) और क्षमता (अवशोषित उच्च-गुणवत्ता वाली पर्यवेक्षण की मात्रा) दोनों में सुधार करना है।

कार्यप्रणाली (Methodology)

लेखक रोबस्ट ट्राजेक्टरी डिस्टिलेशन का प्रस्ताव करते हैं, जो एक ट्राजेक्टरी-मैचिंग DD पाइपलाइन में एकीकृत दो पूरक मॉड्यूल के माध्यम से शोर को दबाने और हस्तांतरणीय ज्ञान (transferable knowledge) को संरक्षित करने के लिए संयुक्त रूप से कार्य करता है। यह फ्रेमवर्क एक बाइलेवल ऑप्टिमाइजेशन स्कीम के माध्यम से संचालित होता है जहाँ एक छात्र मॉडल (student model) को सिंथेटिक डेटासेट $S$ पर प्रशिक्षित किया जाता है ताकि वह शोर वाले वास्तविक डेटासेट $D_{real}$ पर प्रशिक्षित शिक्षक मॉडल (teacher model) की लर्निंग डायनेमिक्स से मेल खा सके।

1. सिलेक्टिव गाइडेंस रीवेटिंग (Selective Guidance Reweighting - SGR)

SGR विश्वसनीयता अनुमानों के आधार पर सैंपल-विशिष्ट भार (weights) असाइन करके शिक्षक की ट्राजेक्टरी को परिष्कृत करता है, जिससे यह सुनिश्चित होता है कि शिक्षक स्वच्छ मार्गदर्शन संकेत प्रदान करे। यह एक हाइब्रिड एस्टिमेटर का उपयोग करता है जो निम्नलिखित को जोड़ता है:

• डायनेमिक कंसिस्टेंसी ($W_{knn}$): फीचर स्पेस में K-निकटतम पड़ोसियों (K-Nearest Neighbors) पर आधारित। यह एक सैंपल के देखे गए लेबल और उसके पड़ोसियों के अनुमानित लेबल के बीच सहमति को जेन्सन-शैनन डायवर्जेंस (Jensen-Shannon divergence) का उपयोग करके मापता है।
• स्टेटिक प्रायर ($W_{ssft}$): "सेकंड-स्प्लिट फॉरगेटिंग टाइम" (SSFT) से प्राप्त। यह सैंपल की कठिनाई को रिकॉर्ड करके मापता है कि किस शुरुआती एपोक (epoch) में एक सैंपल को सही ढंग से वर्गीकृत किया गया था ($t_{learn}$) और किस शुरुआती एपोक में उसे बाद में गलत वर्गीकृत किया गया ($t_{forget}$)। जो सैंपल देर से सीखे जाते हैं और जल्दी भूल जाते हैं, उन्हें कम भार दिया जाता है।

ये स्कोर एक समय-निर्भर कॉनवेक्स इंटरपोलेशन ($W_t$) के माध्यम से फ्यूज किए जाते हैं जो प्रशिक्षण के दौरान स्टेटिक प्रायर से डायनेमिक कंसिस्टेंसी की ओर संक्रमण करता है। यह प्रगतिशील रीवेटिंग शिक्षक ट्राजेक्टरी के साथ स्वच्छ पर्यवेक्षण को प्राथमिकता देती है।

2. टीचर-इंस्पायर्ड ऑक्जिलरी टारगेट्स (Teacher-Inspired Auxiliary Targets - TIAT)

जबकि SGR शिक्षक के सिग्नल की गुणवत्ता में सुधार करता है, TIAT इन सिग्नल्स के छात्र द्वारा अवशोषण को संबोधित करता है। यह ऑक्जिलरी रेगुलाइजेशन को इंजेक्ट करता है ताकि यह सुनिश्चित हो सके कि डिस्टिल्ड डेटासेट रिप्रेजेंटेशन स्पेस में स्वच्छ पर्यवेक्षण के साथ संरेखित रहे।

• प्रोबेबिलिस्टिक कॉन्फिडेंस एग्रीगेशन: फ्रेमवर्क कई शिक्षक ट्राजेक्टरीज के माध्यम से रिलायबिलिटी वेट्स को एकत्रित करता है ताकि एक सैंपल के समग्र विश्वास (confidence) का अनुमान लगाया जा सके।
• अनसर्टेन्टी-अवेयर सिलेक्शन: उच्च स्टेटिक रिलायबिलिटी और विभिन्न ट्राजेक्टरीज में कॉन्फिडेंस स्कोर में कम वेरिएंस के आधार पर नमूनों का एक विश्वसनीय उपसमूह ($D_{sub}$) चुना जाता है।
• ऑक्जिलरी लॉस: शिक्षक मॉडल को $D_{sub}$ पर फाइन-ट्यून किया जाता है ताकि एक "स्वच्छर" चेकपॉइंट ($\theta^{ft}$) बनाया जा सके। एक ऑक्जिलरी लॉस की गणना की जाती है ताकि छात्र की ट्राजेक्टरी को मानक ट्राजेक्टरी मैचिंग लॉस के अलावा इस परिष्कृत चेकपॉइंट के साथ संरेखित किया जा सके।

कुल ऑब्जेक्टिव स्टैंडर्ड ट्राजेक्टरी एलाइनमेंट लॉस ($\mathcal{L}_{match}$) और ऑक्जिलरी लॉस ($\mathcal{L}_{aux}$) को जोड़ता है, जिसे एक गुणांक $\beta$ द्वारा संतुलित किया जाता है।

मुख्य योगदान (Key Contributions)

1. प्रोग्रेसिव हाइब्रिड रीवेटिंग: एक ऐसी प्रक्रिया का परिचय जो डायनेमिक (KNN-आधारित) और स्टेटिक (फॉरगेटिंग-टाइम-आधारित) सैंपल रीवेटिंग को एकीकृत करती है। यह बिना रीलेबलिंग के शोर वाले लेबल को मजबूती से दबाने के लिए पूरक शिक्षक-ट्राजेक्टरी सिग्नल्स को फ्यूज करती है।
2. ऑक्जिलरी गाइडेंस रेगुलाइजेशन: एक नवीन मॉड्यूल (TIAT) जो डिस्टिलेशन के दौरान स्वच्छ ट्राजेक्टरीज के साथ निरंतरता को लागू करता है। अनसर्टेन्टी-फिल्टर्ड ऑक्जिलरी सुपरविजन का उपयोग करके, यह स्वच्छ सिग्नल्स के प्रभाव को बढ़ाता है और एरर एम्प्लीफिकेशन को कम करता है।
3. लेबल-प्रिजर्विंग और लाइटवेट डिज़ाइन: इस फ्रेमवर्क के लिए न तो रीलेबलिंग की आवश्यकता है और न ही भारी रिट्रेनिंग शेड्यूल्स की, जो इसे बड़े पैमाने के, वास्तविक दुनिया के शोर वाले डेटासेट्स के लिए व्यावहारिक बनाता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): प्रयोगों से पता चलता है कि यह विधि सिमेट्रिक नॉइज़, एसिमेट्रिक नॉइज़ और वास्तविक दुनिया के शोर वाले डेटासेट्स (CIFAR-N) के तहत अत्याधुनिक DD बेसलाइन्स (जैसे, DATM, DANCE) की तुलना में निरंतर सुधार प्रदर्शित करती है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन CIFAR-10, CIFAR-100, CIFAR-N, और Tiny-ImageNet पर सिमेट्रिक (20%, 40%) और एसिमेट्रिक नॉइज़ व्यवस्था के तहत किया गया।

• प्रदर्शन लाभ: प्रस्तावित विधि लगातार मजबूत बेसलाइन्स से बेहतर प्रदर्शन करती है। उदाहरण के लिए, 40% सिमेट्रिक नॉइज़ और 1000 IPC के साथ CIFAR-10 पर, इसने DATM के 76.7% की तुलना में 81.4% सटीकता प्राप्त की। 40% एसिमेट्रिक नॉइज़ के तहत, इसने 75.0% (बनाम DATM का 71.4%) प्राप्त किया।
• वास्तविक दुनिया का शोर: CIFAR-N (मानव-एनोटेटेड शोर) पर, विधि ने उत्कृष्ट लचीलापन दिखाया, विशेष रूपकर जैसे-जैसे शोर की दर बढ़ती है (जैसे, ~40% शोर के साथ "वर्स्ट" केस), उच्च IPC पर सर्वश्रेष्ठ बेसलाइन पर 3% से अधिक का अंतर बनाए रखा।
• एब्लेशन स्टडीज (Ablation Studies):
  • बेसलाइन में SGR जोड़ने से सभी प्रकार के शोर के तहत स्थिर लाभ मिला, विशेष रूप से गंभीर शोर परिदृश्यों (जैसे, 10 IPC पर 40% शोर के साथ +4.7%) में महत्वपूर्ण सुधार हुआ।
  • TIAT जोड़ने से प्रदर्शन में और वृद्धि हुई, विशेष रूप से उच्च-शोर वाले शासन में, जो अनसर्टेन्टी-फिल्टर्ड ऑक्जिलरी सुपरविजन के लाभ की पुष्टि करता है।
  • विविध सैंपलिंग: अलग-अलग स्टेटिक-डायनेमिक बैलेंस कोएफिशिएंट्स ($\alpha_{max}$) के साथ कई शिक्षक ट्राजेक्टरीज को प्रशिक्षित करना फिक्स्ड सैंपलिंग रणनीतियों की तुलना में अधिक मजबूत साबित हुआ।
• दक्षता: यह विधि नगण्य अतिरिक्त पीक GPU मेमोरी लेती है। कंप्यूटेशनल ओवरहेड मध्यम है (उदाहरण के लिए, 500 IPC के साथ CIFAR-10 पर ~1.5x रनटाइम), जो मुख्य रूप से रिलायबिलिटी एस्टीमेशन और ऑक्जिलरी टारगेट कंस्ट्रक्शन के कारण है।

महत्व (Significance)

यह शोध पत्र इस कार्य को शोर वाले पर्यवेक्षण के तहत डेटासेट डिस्टिलेशन की अनछुए विषय के समाधान के रूप में प्रस्तुत करता है। ट्राजेक्टरी-आधारित रीवेटिंग और ऑक्जिलरी रेगुलेशन के माध्यम से ऑप्टिमाइजेशन लूप से शोर अनुमान को अलग करके, यह फ्रेमवर्क उच्च-गुणवत्ता वाले सिंथेटिक डेटासेट उत्पन्न करने के लिए एक मजबूत, प्लग-एंड-प्ले दृष्टिकोण प्रदान करता है। लेखक दावा करते हैं कि यह शोर-प्रतिरोधी डेटासेट डिस्टिलेशन के लिए भविष्य के अनुसंधान का मार्ग प्रशस्त करता है, जिससे स्वच्छ पर्यवेक्षण उपलब्ध न होने पर भी कुशल मॉडल रिट्रेनिंग और डेटा शेयरिंग संभव हो सकेगी।