💻 computer science

Distilling Vision Transformers for Distortion-Robust Representation Learning

यह शोध पत्र एक एसिमेट्रिक नॉलेज डिस्टिलेशन फ्रेमवर्क प्रस्तावित करता है जो एक विजन ट्रांसफार्मर स्टूडेंट को अपने मल्टी-लेवल फीचर्स (ग्लोबल, पैच और अटेंशन) को क्लीन इमेजेस प्रोसेस करने वाले एक प्रीट्रेन्ड टीचर के फीचर्स के साथ अलाइन करके डिस्टॉर्शन-रोबस्ट रिप्रेजेंटेशन्स सीखने में सक्षम बनाता है।

मूल लेखक: Konstantinos Alexis, Giorgos Giannopoulos, Dimitrios Gunopulos

प्रकाशित 2026-04-27

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Konstantinos Alexis, Giorgos Giannopoulos, Dimitrios Gunopulos

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुंदर सिम्फनी (symphony) सुनने की कोशिश कर रहे हैं, लेकिन कोई इसे एक टूटे हुए, शोर-शराबे वाले रेडियो के माध्यम से, या शायद एक मोटी दीवार के पीछे से बजा रहा है। आप लय को सुन सकते हैं, लेकिन धुन धुंधली है, और वाद्ययंत्रों को पहचानना कठिन है।

यह शोध पत्र आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में एक समान समस्या को संबोधित करता है: एक कंप्यूटर किसी छवि (image) की स्पष्ट धुन को कैसे "सुन" सकता है जब वह छवि "शोर" (noise), धुंधलेपन (blur), या गायब हिस्सों से ढकी हो?

यहाँ बताया गया है कि शोधकर्ताओं ने सरल उपमाओं (analogies) का उपयोग करके इस समस्या को कैसे हल किया।

1. समस्या: "धुंधली खिड़की" का प्रभाव (The "Foggy Window" Effect)

अधिकांश AI मॉडल उन छात्रों की तरह हैं जिन्होंने केवल पूर्ण, हाई-डेफिनिशन फोटोग्राफ्स का अध्ययन किया है। वे एक उज्ज्वल, स्पष्ट स्टूडियो फोटो में बिल्ली को पहचानने में बहुत कुशल होते हैं। हालाँकि, यदि आप उसी छात्र को एक धुंधली खिड़की के माध्यम से बिल्ली की फोटो दिखाएं, या एक ऐसी फोटो दिखाएं जो अत्यधिक धुंधली हो, तो वे घबरा जाते हैं। वे बिल्ली को "देख" नहीं पाते क्योंकि "शोर" (धुंध या धुंधलापन) ने पैटर्न पहचानने की उनकी क्षमता को तोड़ दिया है।

वास्तविक दुनिया में—जैसे कि मेडिकल एक्स-रे, सैटेलाइट इमेजरी, या सेल्फ-ड्राइविंग कार कैमरों में—छवियाँ शायद ही कभी पूर्ण होती हैं। वे अक्सर दानेदार, धुंधली या आंशिक रूप से बाधित होती हैं।

2. समाधान: "गुरु और शिष्य" (ज्ञान आसवन - Knowledge Distillation)

AI को केवल यह बताने के बजाय कि, "इस धुंधली फोटो को देखो और अनुमान लगाओ कि यह क्या है," शोधकर्ताओं ने नॉलेज डिस्टिलेशन (Knowledge Distillation) नामक एक चतुर शिक्षण पद्धति का उपयोग किया।

एक महारथी कलाकार (शिक्षक/Master) और एक शिष्य (Apprentice) की कल्पना करें:

महारथी (The Master): उसे एक एकदम स्पष्ट, पूर्ण पेंटिंग दी जाती है। वह हर ब्रशस्ट्रोक और हर विवरण को देख सकता है।
शिष्य (The Apprentice): उसे उसी सटीक पेंटिंग का एक अत्यधिक धब्बेदार, धुंधला और खरोंच वाला संस्करण दिया जाता है।

लक्ष्य यह नहीं है कि शिष्य उस पेंटिंग को "साफ" करने की कोशिश करे (जो कठिन है और अक्सर विफल हो जाता है)। इसके बजाय, लक्ष्य यह है कि शिष्य महारथी की तरह सोचना सीखे। भले ही शिष्य एक बिखराव (mess) को देख रहा हो, उसे प्रशिक्षित किया जाता है ताकि वह उन्हीं "विचारों" या "अवधारणाओं" को उत्पन्न कर सके जो महारथी साफ संस्करण को देखते समय उत्पन्न करता है।

3. सफलता का रहस्य: सीखने के तीन स्तर

शोधकर्ताओं ने केवल शिष्य को "विषय का अनुमान लगाने" के लिए नहीं कहा। उन्होंने उन्हें तीन अलग-अलग स्तरों पर महारथी की नकल करने के लिए प्रशिक्षित किया:

"बड़ी तस्वीर" (ग्लोबल अलाइनमेंट - Global Alignment): शिष्य यह कहना सीखता है, "भले ही यह धुंधला है, मैं जानता हूँ कि इसका 'वाइब' (vibe) एक जंगल का है," ठीक वैसे ही जैसे महारथी कहेगा।
"विवरण" (पैच-लेवल अलाइनमेंट - Patch-level Alignment): शिष्य सीखता है, "मैं व्यक्तिगत पत्तों को नहीं देख सकता, लेकिन मुझे पता है कि पेड़ों की बनावट (texture) कहाँ होनी चाहिए।"
"केंद्रित दृष्टि" (अटेंशन अलाइनमेंट - Attention Alignment): यह सबसे चतुर हिस्सा है। महारथी कलाकार स्वाभाविक रूप से पेंटिंग के सबसे महत्वपूर्ण हिस्सों (जैसे किसी व्यक्ति की आँखें) की ओर देखता है। शोधकर्ता शिष्य को उसी स्थान पर देखने के लिए मजबूर करते हैं। भले ही छवि शोर-शराबे वाली हो, शिष्य "शोर" को अनदेखा करना और छवि के सार्थक हिस्सों पर अपनी "आँखें" केंद्रित करना सीख जाता है।

4. यह क्यों मायने रखता है? (परिणाम)

शोधकर्ताओं ने इस "शिष्य" का परीक्षण सैटेलाइट तस्वीरों से लेकर मेडिकल स्कैन तक सब पर किया। उन्होंने तीन अद्भुत चीजें पाईं:

यह अविश्वसनीय रूप से कठिन है: जब 90% पिक्सेल गायब थे (जैसे कि छेद वाली स्क्रीन के माध्यम से देखना), तब भी AI समझ सका कि क्या हो रहा है।
यह एक तेज़ सीखने वाला है: क्योंकि शिष्य को गहराई से "सोचने" के लिए प्रशिक्षित किया गया था, इसलिए उन्हें नए कार्य सीखने के लिए हजारों लेबल किए गए उदाहरणों की आवश्यकता नहीं थी। वे संकेतों की एक छोटी सी संख्या से ही सीख सकते थे।
यह नए संसारों में काम करता है: इस पद्धति का उपयोग करके सामान्य तस्वीरों पर प्रशिक्षित एक AI, मेडिकल छवियों या पृथ्वी के हवाई दृश्यों को समझने में आश्चर्यजनक रूप से अच्छा था, भले ही उसने पहले उन्हें कभी न देखा हो।

सारांश

संक्षेप में, यह शोध पत्र AI को अराजकता के पार देखना सिखाता है। एक "महारथी" द्वारा एक "शिष्य" को मार्गदर्शन देने के माध्यम से, उन्होंने कंप्यूटरों के लिए एक ऐसा तरीका बनाया है जिससे वे एक अव्यवस्थित, विकृत दुनिया के शोर के पीछे छिपे स्पष्ट और सार्थक सत्य को खोज सकें।

तकनीकी सारांश: विरूपण-रोधी प्रतिनिधित्व शिक्षण के लिए विजन ट्रांसफॉर्मर्स का आसिमेट्रिक डिस्टिलेशन (Distilling Vision Transformers for Distortion-Robust Representation Learning)

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क, जिनमें अत्याधुनिक विजन ट्रांसफॉर्मर्स (ViTs) भी शामिल हैं, शोर (noise), धुंधलापन (blur), अवरोध (occlusion), या पिक्सेल मास्किंग जैसे इमेज करप्शन (image corruptions) के प्रति अत्यधिक संवेदनशील होते हैं। महत्वपूर्ण वास्तविक दुनिया के डोमेन में—जैसे कि मेडिकल इमेजिंग, रिमोट सेंसिंग और ऑटोनॉमस ड्राइविंग—उच्च गुणवत्ता वाला "साफ" (clean) डेटा अक्सर उपलब्ध नहीं होता है, जिससे मॉडल को अत्यधिक खराब हो चुके अवलोकनों पर काम करने के लिए मजबूर होना पड़ता है। मौजूदा विधियाँ आमतौर पर सुपरवाइज्ड फाइन-ट्यूनिंग (जो करप्शन के दौरान प्रदर्शन खो देती है) या पिक्सेल-लेवल रिकंस्ट्रक्शन (जो सिमेंटिक कार्यों के लिए एक अप्रत्यक्ष उद्देश्य है) पर निर्भर करती हैं। यहाँ संबोधित मुख्य चुनौती यह है: क्या हम बिना प्रशिक्षण के दौरान सीधे 'क्लीन' डेटा देखे बिना, विकृत (distorted) छवियों से साफ सिमेंटिक प्रतिनिधित्व (semantic representations) को पुनः प्राप्त कर सकते हैं?

2. कार्यप्रणाली (Methodology)

लेखक एक असिमेट्रिक नॉलेज डिस्टिलेशन फ्रेमवर्क (asymmetric knowledge distillation framework) प्रस्तावित करते हैं जो रोबस्टनेस (robustness) को लेटेंट स्पेस (latent space) में एक "रिप्रेजेंटेशन रिकवरी" समस्या के रूप में मानता है।

आर्किटेक्चर: सेटअप में एक टीचर-स्टूडेंट पैराडाइम का उपयोग किया गया है। टीचर ( $f_\phi$ ) और स्टूडेंट ( $f_\theta$ ) दोनों को एक ही प्री-ट्रेन्ड विजन ट्रांसफॉर्मर (विशेष रूप से DINO-ViT-B/16) से इनिशियलाइज़ किया गया है।
असिमेट्रिक इनपुट: टीचर फ्रीज (frozen) है और केवल साफ छवियों ( $x$ ) को प्रोसेस करता है, जो एक स्थिर सिमेंटिक एंकर के रूप में कार्य करता है। स्टूडेंट उन्हीं छवियों के विकृत संस्करणों ( $\tilde{x}$ ) को प्रोसेस करता है।
मल्टी-लेवल डिस्टिलेशन ऑब्जेक्टिव: करप्टेड इनपुट और क्लीन सिमेंटिक्स के बीच के अंतर को पाटने के लिए, लेखक एक पदानुक्रमित (hierarchical) लॉस फंक्शन $\mathcal{L}$ $L$ पेश करते हैं जो तीन घटकों से बना है:
1. ग्लोबल सिमेंटिक अलाइनमेंट ( $\mathcal{L}_{cls}$ ): क्लास टोकन्स ( $h_{cls}$ ) को अलाइन करने के लिए मीन स्क्वेर्ड एरर (MSE) का उपयोग करता है, जिससे यह सुनिश्चित होता है कि स्टूडेंट समग्र श्रेणीगत सामग्री (categorical content) को कैप्चर करे।
2. लोकल स्पेशियल अलाइनमेंट ( $\mathcal{L}_{patch}$ ): पैच-लेवल टोकन्स को अलाइन करने के लिए MSE का उपयोग करता है, जो मॉडल को स्थानिक संरचना (spatial structure) को ग्लोबल एवरेज में ढहने से रोकता है और इमेज लेआउट को सुरक्षित रखता है।
3. अटेंशन स्ट्रक्चर अलाइनमेंट ( $\mathcal{L}_{attn}$ ): सभी हेड्स (heads) में क्लास टोकन के अटेंशन मैप्स को अलाइन करने के लिए कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करता है। यह सुनिश्चित करता है कि स्टूडेंट भी उसी सिमेंटिक क्षेत्र की ओर "देखे" जिसकी ओर टीचर देख रहा है।
ऑप्टिमाइज़ेशन: कुल लॉस एक भारित योग (weighted sum) है: $\mathcal{L} = \lambda_{cls}\mathcal{L}_{cls} + \lambda_{patch}\mathcal{L}_{patch} + \lambda_{attn}\mathcal{L}_{attn}$ , जिसमें MSE और KL डाइवर्जेंस के विभिन्न परिमाणों (magnitudes) को संतुलित करने के लिए $\lambda_{attn}$ को काफी अधिक (50) रखा गया है।

3. प्रमुख योगदान (Key Contributions)

नया फ्रेमवर्क: एक सेल्फ-सुपरवाइज्ड, असिमेट्रिक डिस्टिलेशन विधि जो बिना किसी क्लीन ट्रेनिंग टारगेट के, करप्टेड इनपुट्स से क्लीन फीचर्स को रिकवर करती है।
मल्टी-टारगेट सुपरविजन: केवल फीचर मैचिंग से आगे बढ़ते हुए, इसमें अटेंशन-मैप डिस्टिलेशन को शामिल किया गया है, जो समृद्ध रिलेशनल क्यूज़ (relational cues) प्रदान करता है।
लेटेंट रिकवरी के माध्यम से रोबस्टनेस: यह प्रदर्शित करना कि पिक्सेल-लेवल डिनोइजिंग की तुलना में सिमेंटिक फीचर स्पेस में काम करना डाउनस्ट्रीम कार्यों के लिए अधिक प्रभावी है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन ImageNet-100 (इन-डोमेन) और कई ट्रांसफर डेटासेट्स (CIFAR, STL-10, RESISC45, और CAMELYON17) पर किया गया।

इन-डोमेन रोबस्टनेस: प्रस्तावित विधि ने विभिन्न विकृतियों (रैंडम मास्किंग, गौसियन नॉइज़ और गौसियन ब्लर) के तहत सुपरवाइज्ड फाइन-ट्यूनिंग और स्टेट-ऑफ-द-आर्ट "कॉन्ट्रास्टिव इनवर्जन" (CI) बेसलाइन को लगातार पछाड़ दिया।
ट्रांसफेरेबिलिटी: सीखे गए एनकोडर्स ने गंभीर विकृतियों के बावजूद रिमोट सेंसिंग (RESISC45) और मेडिकल (CAMELYON17) डेटासेट्स में बेहतर सामान्यीकरण (generalization) दिखाया।
एब्लेशन स्टडीज: परिणामों ने पुष्टि की कि तीनों डिस्टिलेशन स्तर पूरक (complementary) हैं; केवल ग्लोबल अलाइनमेंट के मुकाबले लोकल और अटेंशन अलाइनमेंट जोड़ने से प्रदर्शन में काफी सुधार होता है।
लेबल एफिशिएंसी: डिस्टिल्ड रिप्रेजेंटेशन अत्यधिक "लेबल-एफिशिएंट" हैं। केवल 5% से 10% उपलब्ध लेबल्स के साथ भी, मॉडल का प्रदर्शन एक पूरी तरह से सुपरवाइज्ड मॉडल के करीब पहुँच गया।
इंटरप्रिटेबिलिटी: अटेंशन मैप विश्लेषण (चित्र 4) ने दिखाया कि जहाँ शोर (noise) के तहत सुपरवाइज्ड मॉडल्स का अटेंशन बिखरा हुआ हो जाता है, वहीं डिस्टिल्ड स्टूडेंट एक स्पष्ट, सिमेंटिक रूप से प्रासंगिक फोकस बनाए रखता है।

5. महत्व (Significance)

यह कार्य "डर्टी" डेटा वातावरण में विजन मॉडल्स को प्रशिक्षित करने के लिए एक अत्यधिक व्यावहारिक समाधान प्रदान करता है। डिस्टिलेशन के माध्यम से प्री-ट्रेन्ड मॉडल्स के सिमेंटिक प्रायर्स (priors) का लाभ उठाकर, यह ऐसे रोबस्ट एनकोडर्स का निर्माण सक्षम बनाता है जो:

सेल्फ-सुपरवाइज्ड हैं: उन्हें प्री-ट्रेनिंग चरण के दौरान क्लीन इमेज या ह्यूमन लेबल्स की आवश्यकता नहीं होती है।
जनरलाइजेबल हैं: वे विविध डोमेन (नेचुरल, मेडिकल, एरियल) में काम करते हैं।
रिसोर्स-एफिशिएंट हैं: वे डाउनस्ट्रीम कार्यों में उच्च सटीकता प्राप्त करने के लिए काफी कम लेबल्स की आवश्यकता रखते हैं, जो उन्हें उन विशेष क्षेत्रों के लिए आदर्श बनाता है जहाँ एनोटेशन महंगा है।