तकनीकी सारांश: टेम्पोरल नेगेटिव नॉलेज ट्रांसफर के माध्यम से एंटी-शॉर्टकट डिस्टिलेशन (Anti-Shortcut Distillation)

1. समस्या विवरण (Problem Statement)

नॉलेज डिस्टिलेशन (KD) पारंपरिक रूप से एक एकतरफा आकर्षक बल (unilateral attractive force) के रूप में कार्य करता है, जो एक संकुचित छात्र (student) को एक अभिसरित (converged), उच्च-क्षमता वाले शिक्षक (teacher) के निरूपणों (representations) या लॉजिट्स (logits) की नकल करने के लिए प्रशिक्षित करता है। हालांकि हाल के तरीकों ने स्थानांतरित किए जाने वाले ज्ञान के प्रकारों का विस्तार किया है (जैसे मध्यवर्ती विशेषताएं, अटेंशन मैप्स, रिलेशनल ज्योमेट्री), वे एक महत्वपूर्ण ज्यामितीय सीमा साझा करते हैं: वे इस बारे में मौन हैं कि छात्र को किन निरूपणात्मक दिशाओं (representational directions) से बचना चाहिए।

शिक्षक नेटवर्क स्वयं एक टेम्पोरल ऑप्टिमाइज़ेशन प्रक्षेपवक्र (trajectory) से गुजरते हैं। प्रशिक्षण के शुरुआती चरणों में, नेटवर्क "शॉर्टकट" संकेतों (जैसे स्थानीय बनावट, रंग सांख्यिकी, बैकग्राउंड कोरिलेशन) का लाभ उठाने की प्रवृत्ति रखते हैं, इससे पहले कि वे मजबूत, आकार-आधारित (shape-biased) सिमेंटिक फीचर्स में परिवर्तित हों। एक मानक KD प्रक्रिया केवल अंतिम, अभिसरित शिक्षक अवस्था का अवलोकन करती है, जिससे शिक्षक के प्रक्षेपवक्र में निहित "नेगेटिव नॉलेज" (negative knowledge) छूट जाता है—विशेष रूप से, वे दिशाएं जिन्हें शुरुआत में जोर दिया गया था लेकिन अभिसरण (convergence) पर कम कर दिया गया। फलस्वरूप, मानक KD के तहत प्रशिक्षित छात्र इन स्प्यूरियस कोरिलेशन (spurious correlations) को पुनः प्राप्त कर सकता है, जिससे डेटा भ्रष्टाचार (data corruption) और वितरण बदलाव (distribution shifts) के तहत मजबूती कम हो जाती है।

2. कार्यप्रणाली: एंटी-शॉर्टकट डिस्टिलेशन (ASD)

लेखक एंटी-शॉर्टकट डिस्टिलेशन (ASD) का प्रस्ताव करते हैं, जो एक 'पुश-पुल' (push–pull) फ्रेमवर्क है जो शिक्षक के प्रशिक्षण प्रक्षेपवक्र को स्पष्ट पर्यवेक्षण (supervision) में बदल देता है। ASD दो फ्रीज किए गए शिक्षक चेकपॉइंट्स का उपयोग करता है:

1. $T_{final}$: अभिसरित शिक्षक, जो एक सकारात्मक सिमेंटिक एंकर के रूप में कार्य करता है।
2. $T_{early}$: एक प्रारंभिक-चरण का चेकपॉइंट, जो एक टेम्पोरल नेगेटिव रेफरेंस के रूप में कार्य करता है जो शॉर्टकट-बायस्ड संकेतों को उजागर करता है।

यह विधि इनपुट $x$ के लिए टेम्पोरल डिस्प्लेसमेंट (temporal displacement) को निम्नानुसार परिभाषित करती है:
$$\Delta h(x) = h_{early}(x) - h_{final}(x)$$
यह वेक्टर उन घटकों का प्रतिनिधित्व करता है जो प्रारंभिक अवस्था द्वारा जोर दिए गए थे लेकिन अभिसरण द्वारा दबा दिए गए थे। ASD इन संकेतों का लाभ उठाने के लिए दो पूरक नुकसानों (losses) को जोड़ता है:

A. टेम्पोरल कॉन्ट्रास्टिव लॉस ($L_{TC}$)

यह लॉस एक इंफोNCE (InfoNCE) ऑब्जेक्टिव का उपयोग करके सैंपल स्तर पर कार्य करता है। एक दिए गए इनपुट के लिए, छात्र फीचर को $T_{final}$ फीचर की ओर खींचा जाता है (पॉजिटिव) और स्पष्ट रूप से $T_{early}$ फीचर से दूर धकेला जाता है (टेम्पोरल नेगेटिव)।

• तंत्र (Mechanism): इंफोNCE लॉस का डिनोमिनेटर (denominator) उसी सैंपल के $T_{early}$ फीचर को एक नेगेटिव के रूप में शामिल करता है, साथ ही $T_{final}$ के इन-बैच और मेमोरी-बैंक फीचर्स को भी शामिल करता है।
• लक्ष्य: यह सुनिश्चित करना कि छात्र का निरूपण उसी इनपुट के लिए मजबूत, अभिसरित अवस्था के करीब हो न कि शॉर्टकट-प्रोन प्रारंभिक अवस्था के।

B. शॉर्टकट सप्रेशन लॉस ($L_{SS}$)

यह लॉस छात्र के फीचर स्पेस की ज्यामिति को नियंत्रित करने के लिए सबस्पेस स्तर पर कार्य करता है।

• तंत्र: यह विधि मिनी-बैच पर टेम्पोरल डिस्प्लेसमेंट्स का अनसेंटर्ड सेकंड-मोमेंट मैट्रिक्स कंप्यूट करती है: $\hat{C}_{sc} = \frac{1}{|B|} \sum \Delta h(x_i)\Delta h(x_i)^\top$। इस मैट्रिक्स के टॉप-$K$ आइजनवेक्टर्स ($U_K$) "शॉर्टकट सबस्पेस" को स्पैन करते हैं।
• उद्देश्य: $L_{SS}$ इस बात पर दंड लगाता है यदि छात्र फीचर का नॉर्मलाइज्ड प्रोजेक्शन इस सबस्पेस पर मार्जिन $\epsilon$ से अधिक हो जाता है।
• लक्ष्य: यह सुनिश्चित करना कि छात्र शॉर्टकट निर्भरता की प्रमुख दिशाओं के साथ संरेखित (align) न हो, भले ही सैंपल-स्तरीय कॉन्ट्रास्टिव लॉस संतुष्ट हो।

C. प्रशिक्षण उद्देश्य (Training Objective)

कुल लॉस क्रॉस-एंट्रॉपी, $T_{final}$ से मानक लॉजिट डिस्टिलेशन, और दो सहायक ASD टर्म्स को जोड़ता है, जिसमें सहायक टर्म्स को प्रशिक्षण के दौरान लीनियरली वॉर्म-अप किया जाता है:
$$L_{ASD} = L_{CE} + \alpha_{kd} L_{KD} + \beta(t) \alpha_{tc} L_{TC} + \gamma(t) \alpha_{ss} L_{SS}$$
एक ट्रेन करने योग्य प्रोजेक्टर हेट्रोजेनियस टीचर-स्टूडेंट पेयर्स के बीच डायमेंशन मिसमैच को संभालता है और इन्फरेंस के समय हटा दिया जाता है।

3. सैद्धांतिक विश्लेषण (Theoretical Analysis)

पेपर इस बात का सैद्धांतिक औचित्य प्रदान करता है कि $\Delta h$ शॉर्टकट सबस्पेस की पहचान क्यों करता है:

• दो-सबस्पेस डिकंपोजिशन (Two-Subspace Decomposition): यह मानते हुए कि शिक्षक फीचर्स रोबस्ट सबस्पेस ($R$) और शॉर्टकट सबस्पेस ($S$) में विभाजित होते हैं, लेखक दिखाते हैं कि यदि प्रारंभिक और अंतिम अवस्थाओं के बीच फीचर वेरिएंस में परिवर्तन शॉर्टकट घटक द्वारा डोमिनेट होता है, तो $E[\Delta h \Delta h^\top]$ का टॉप आइजनस्पेस शॉर्टकट सबस्पेस $S$ के साथ मेल खाता है।
• ज्यामितीय व्याख्या (Geometric Interpretation): $L_{SS}$ एक कोणीय मार्जिन (angular margin) लागू करता है, यह सुनिश्चित करता है कि छात्र फीचर शॉर्टकट सबस्पेस से कम से कम $\arccos(\epsilon)$ की दूरी पर रहे।
• सूचना-सैद्धांतिक दृष्टिकोण (Information-Theoretic View): दिखाया गया है कि $L_{TC}$ छात्र और $T_{final}$ के बीच म्यूचुअल इंफॉर्मेशन को लोअर-बाउंड करता है, जबकि बिना बाउंड को खराब किए $T_{early}$ के साथ समानता के लिए एक स्पष्ट दंड जोड़ता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

ASD का मूल्यांकन CIFAR-100, ImageNet-100, और TinyImageNet पर 13 टीचर-स्टूडेंट पेयर्स के साथ-साथ सिमेंटिक सेगमेंटेशन (ADE20K) पर किया गया।

• क्लीन एक्यूरेसी (Clean Accuracy): ASD ने 13 में से 10 पेयर्स पर उच्चतम टॉप-1 एक्यूरेसी हासिल की और 13 में से 12 पेयर्स पर मानक KD को पछाड़ दिया। इसने क्रॉस-आर्किटेक्चर पेयर्स (जैसे WRN-40-2 $\to$ ShuffleNet-V2) में विशेष ताकत दिखाई, जहाँ इसने KD की तुलना में +1.33 प्रतिशत अंक का सुधार किया।
• मजबूती (Robustness): CIFAR-100-C (करप्शन रोबस्टनेस) पर, ASD ने सबसे चुनौतीपूर्ण क्रॉस-आर्किटेक्चर पेयर (86.1 mCE) पर सबसे कम मीन करप्शन एरर (mCE) प्राप्त किया।
• सेगमेंटेशन: ADE20K पर, ASD ने ResNet-18 और MobileNetV2 छात्रों के लिए KD और अन्य स्टेट-ऑफ-द-आर्ट डिस्टिलेशन विधियों की तुलना में mIoU में सुधार किया।
• मैकेनिस्टिक डायग्नोस्टिक्स (Mechanistic Diagnostics):
  • एंटी-अलाइनमेंट (Anti-alignment): ASD छात्र शॉर्टकट दिशा के साथ व्यवस्थित रूप से एंटी-अलाइन्ड थे ($\cos(h_S, \Delta h) = -0.36$), जबकि KD छात्र लगभग शून्य अलाइनमेंट ($0.00$) दिखाते थे।
  • रोबस्ट सबस्पेस प्रोजेक्शन: ASD छात्र KD छात्रों (0.12) की तुलना में रोबस्ट सबस्पेस पर काफी अधिक प्रोजेक्ट हुए (0.45)।
  • टेक्सचर शिफ्ट: ASD ने टेक्सचर-शिफ्टेड इनपुट्स के तहत KD की तुलना में कम एक्यूरेसी गिरावट प्रदर्शित की।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि ASD मौलिक रूप से नॉलेज डिस्टिलेशन के प्रतिमान को शुद्ध रूप से आकर्षक प्रक्रिया से एक पुश-पुल (push–pull) तंत्र में बदल देता है। शिक्षक के अपने ऑप्टिमाइज़ेशन प्रक्षेपवक्र को "नेगेटिव नॉलेज" के स्रोत के रूप में उपयोग करके, ASD लेबल वाले डेटा या बाहरी बायस-अवेयर ऑब्जेक्टिव्स की आवश्यकता के बिना स्प्यूरियस कोरिलेशन को स्पष्ट रूप से पहचानता है और दबाता है।

लेखकों द्वारा हाइलाइट किए गए मुख्य योगदानों में शामिल हैं:

1. साइंड KD फ्रेमवर्क (Signed KD Framework): पहला तरीका जो प्रारंभिक शिक्षक चेकपॉइंट को एक पॉजिटिव टारगेट के बजाय एक टेम्पोरल नेगेटिव रेफरेंस के रूप में मानता है।
2. लेबल-फ्री शॉर्टकट इंडिकेटर: स्प्यूरियस कोरिलेशन को दबाने के लिए $\Delta h = h_{early} - h_{final}$ को एक मजबूत, लेबल-फ्री सिग्नल के रूप में पहचानना।
3. ज्यामितीय औचित्य: विशिष्ट स्थितियों के तहत डिस्प्लेसमेंट मैट्रिक्स के टॉप आइजनस्पेस को शॉर्टकट सबस्पेस से जोड़ने वाला एक सैद्धांतिक प्रमाण।
4. अनुभवजन्य श्रेष्ठता: यह प्रदर्शित करना कि शॉर्टकट्स को दबाने से क्लीन एक्यूरेसी और मजबूती दोनों एक साथ सुधरती है, जो इस धारणा को चुनौती देती है कि मजबूती के लिए सटीकता का त्याग करना आवश्यक है।

लेखक सीमाओं को भी नोट करते हैं, विशेष रूप से कि ASD तब संघर्ष कर सकता है जब छात्र क्षमता इतनी गंभीर रूप से संकुचित (जैसे, ResNet-32$\times$4 $\to$ ResNet-8$\times$4) हो कि लो-लेवल संकेत डिस्पेंसेबल शॉर्टकट्स के बजाय आवश्यक डिस्क्रिमिनेटिव स्कैफोल्डिंग बन जाएं। वे एक अतिरिक्त चेकपॉइंट को स्टोर करने और प्रति-बैच आइजनडिकम्पोजिशन कंप्यूट करने की मामूली कम्प्यूटेशनल लागत को भी स्वीकार करते हैं।