तकनीकी सारांश: वर्टिकल फ्यूजन (VFusion) - सुदृढ़ ViT वर्गीकरण के लिए

1. समस्या विवरण

विज़न ट्रांसफॉर्मर्स (ViTs) ने कंप्यूटर विज़न में अत्याधुनिक प्रदर्शन (state-of-the-art performance) प्राप्त किया है, फिर भी वे मुख्य रूप से 'ब्लैक-बॉक्स' फीचर एक्सट्रैक्टर्स के रूप में तैनात किए जाते हैं जहाँ केवल अंतिम परत (final layer) के प्रतिनिधित्व का उपयोग किया जाता है। यह परंपरा इस अंतर्निहित धारणा पर निर्भर करती है कि अंतिम परत सभी कार्य-प्रासंगिक सूचनाओं को इष्टतम रूप से संकुचित करती है। हालाँकि, हालिया अवलोकन बताते हैं कि मध्यवर्ती परतें (intermediate layers) पूरक सूचनाओं को एनकोड करती हैं, विशेष रूप से वितरण बदलावों (distribution shifts) और नमूना कठिनाई (sample difficulty) के प्रति मजबूती के संबंध में।

वर्तमान एन्सेंबल रणनीतियाँ (क्षैतिज एन्सेंबलिंग/horizontal ensembling) कई स्वतंत्र मॉडलों के भविष्यवाणियों को जोड़कर प्रदर्शन में सुधार करती हैं, लेकिन वे उच्च कम्प्यूटेशनल लागत वहन करती हैं और एक ही मॉडल के भीतर उपलब्ध "ऊर्ध्वाधर" (vertical) संकेत की अनदेखी करती हैं। इसके अलावा, जबकि कनवल्शनल न्यूरल नेटवर्क्स (CNNs) में मध्यवर्ती परतों ने त्रुटियों को सुधारने में उपयोगिता दिखाई है, ViT में उनका अनुप्रयोग कम समझा गया है क्योंकि ViT आर्किटेक्चर में अधिक समान प्रतिनिधित्व प्रोफाइल और उच्च अतिरेक (redundancy) होता है। संबोधित किया जाने वाला केंद्रीय प्रश्न यह है कि क्या मध्यवर्ती ViT परतों में सुधारात्मक संकेत (recoverable signals) मौजूद हैं जो अंतिम-परत की विफलताओं को सुधारने में सक्षम हैं, और यदि ऐसा है, तो बिना प्रेडिक्टिव डाइवर्सिटी (परतों के बीच असहमति) पर निर्भर हुए इन संकेतों को प्रभावी ढंग से कैसे एकत्रित किया जाए।

2. कार्यप्रणाली

2.1. रिकवरेबिलिटी विश्लेषण (Recoverability Analysis)

लेखकों ने सबसे पहले रिकवरेबिलिटी को मात्रात्मक रूप से परिभाषित किया है, जिसे मध्यवर्ती प्रोब्स (probes) की उस क्षमता के रूप में परिभाषित किया गया है जिसके माध्यम से वे उन नमूनों को सही ढंग से वर्गीकृत कर सकें जिन्हें अंतिम-परत प्रोब द्वारा गलत वर्गीकृत किया गया था। 16 विविध डेटासेट्स पर, उन्होंने पाया कि मध्यवर्ती प्रोब्स अंतिम-परत की 18% से 76% त्रुटियों को रिकवर करते हैं।

महत्वपूर्ण रूप से, विश्लेषण यह स्पष्ट करता है कि यह लाभ प्रेडिक्टिव डाइवर्सिटी (अर्थात, परतें अलग-अलग प्रकार की त्रुटियाँ करती हैं) द्वारा संचालित नहीं है। इसके बजाय, यह एक रिडंडेंसी-करेक्टनेस कोरेस्पोंडेंस (redundancy-correctness correspondence) से उत्पन्न होता है: आंतरिक परतें एक साझा विभेदक संकेत (shared discriminative signal) के स्थिर, थोड़े विचलित (perturbed) प्रोब्स के रूप में कार्य करती हैं। उच्च रिकवरेबिलिटी उच्च "करेक्शन एंट्रॉपी" (गहराई के माध्यम से वितरित सुधार क्षमता) के साथ सह-संबंधित है, लेकिन ज्यामितिक असहमति (गलत वर्गीकृत नमूनों के लॉजिट्स के बीच कोसाइन दूरी) के साथ नकारात्मक रूप से जुड़ी है। इसका तात्पर्य यह है कि परतें सह-संबंधित हैं लेकिन एक जैसी नहीं हैं, जो एक रेडंडेंट (redundant) लेकिन सूचनात्मक ट्रेस प्रदान करती हैं जो सही निर्णय सीमा (decision boundary) का प्रतिनिधित्व करती है।

2.2. VFusion आर्किटेक्चर

इस अतिरेक (redundancy) का लाभ उठाने के लिए, लेखक VFusion प्रस्तावित करते हैं, जो एक ऊर्ध्वाधर एकत्रीकरण रणनीति है जो ViT पदानुक्रम के भीतर आंतरिक विशेषताओं को एक सुदृढ़ वैश्विक टोकन (global token) में संश्लेषित करती है। यह ढांचा तीन घटकों से बना है:

1. परत चयन (Layer Selection): फ्रोजन बैकबोन से परतों का एक उपसमूह $S$ चुना जाता है। रणनीतियों में होलिस्टिक (सभी परतें), लास्ट-हाफ (अंतिम आधी परतें), और स्ट्राइडेड (strided) शामिल हैं। लेखक पूर्ण सूचना ट्रेस को बनाए रखने के लिए होलिस्टिक रणनीति की सिफारिश करते हैं।
2. परत फ्यूजन (Layer Fusion): चुनी गई परत के प्रतिनिधित्व (विशेष रूप से [CLS] टोकन) को एक वेक्टर $v$ में संयोजित (concatenate) किया जाता है। एक सीखने योग्य फ्यूजन एनकोडर $E$ (एक मल्टी-लेयर पर्सेप्ट्रॉन) इस उच्च-आयामी वेक्टर को एक निम्न-आयामी लेटेंट स्पेस $z$ में मैप करता है। यह एनकोडर एक शोर-निवारण फिल्टर (noise-suppression filter) के रूप में कार्य करता है, जो साझा कार्य-प्रासंगिक संकेत ($s^{(\ell)}$) को अलग करने के लिए कार्य-अप्रासंगिक अवशेषों ($r^{(\ell)}$) को हटा देता है।
3. सुपरवाइज्ड ट्रेनिंग (Supervised Training): फ्यूजन एनकोडर और एक हल्का क्लासिफायर हेड फ्रोजन बैकबोन पर संयुक्त रूप से प्रशिक्षित होते हैं। प्रशिक्षण उद्देश्य मानक क्रॉस-एन्ट्रॉपी लॉस ($L_{CE}$) को एक ऑर्थोगोनल नियमितीकरण ($L_{orth}$) के साथ जोड़ता है। यह रेगुलराइज़र लेटेंट आयामों में रैखिक निर्भरता को दंडित करता है, जिससे मॉडल को फ्यूज्ड प्रतिनिधित्व के पूरक, डिकोरिलेटेड (decorrelated) घटकों को सीखने के लिए प्रोत्साहित किया जाता है।

3. प्रमुख योगदान

• रिकवरेबिलिटी का परिमाणीकरण: यह पेपर ViTs में रिकवरेबिलिटी की अवधारणा को पेश करता है और उसे मापता है, यह प्रदर्शित करते हुए कि मध्यवर्ती परतें 16 डेटासेट्स में अंतिम-परत के 18% से 76% गलत वर्गीकरणों को सुधार सकती हैं।
• तंत्र की पहचान (Mechanism Identification): यह अनुभवजन्य रूप से स्थापित करता है कि सुधारात्मक संकेत रेडंडेंसी-करेक्टनेस कोरेस्पोंडेंस (स्थिर, साझा संकेत) से उत्पन्न होते हैं न कि प्रेडिक्टिव डाइवर्सिटी से, जो इस धारणा को चुनौती देता है कि एन्सेंबल लाभ के लिए स्वतंत्र मॉडल असहमति आवश्यक है।
• VFusion का प्रस्ताव: एक हल्का, सिद्धांतवादी ऊर्ध्वाधर एकत्रीकरण तरीका जो आंतरिक पदानुक्रम विशेषताओं को एक एकल वैश्विक टोकन में संश्लेषित करता है, जो इन-डिस्ट्रीब्यूशन (ID) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) दोनों सेटिंग्स में स्थापित एकत्रीकरण बेसलाइन्स (जैसे सुपर लर्नर, न्यूरल लॉजिट कंट्रोलर, मिक्सचर ऑफ एक्सपर्ट्स) से बेहतर प्रदर्शन करता है।
• सामान्यीकरण और दक्षता: यह विधि मॉडल के आकार (ViT-S, B, L), बैकबोन परिवारों (सुपरवाइज्ड IN21k, सेल्फ-सुपरवाइज्ड DINOv2, मल्टीमॉडल CLIP), और प्री-ट्रेनिंग व्यवस्थाओं में सामान्य होती है। यह क्षैतिज एन्सेंबलिंग की तुलना में न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ ये लाभ प्राप्त करती है।
• अनुभवजन्य दिशा-निर्देश: अध्ययन परत चयन के लिए दिशा-निर्देश प्रदान करता है, यह दिखाते हुए कि होलिस्टिक (निरंतर) परत चयन सर्वोत्तम प्रदर्शन देता है, जबकि स्ट्राइडेड सबसैंपलिंग कम प्रभावी है।

4. प्रयोगात्मक परिणाम

• इन-डिस्ट्रीब्यूशन प्रदर्शन: 16 वर्गीकरण बेंचमार्क पर, VFusion ने औसतन 91.4% सटीकता प्राप्त की, जो सर्वश्रेष्ठ व्यक्तिगत परत प्रोब से 1.9% और सबसे मजबूत बेसलाइन (सुपर लर्नर) से 1.7% बेहतर है। उल्लेखनीय रूप से, VFusion ने सर्वश्रेष्ठ व्यक्तिगत परत और सैद्धांतिक ओरकल (जहाँ एक नमूना तब सही होता है जब कोई भी परत सही भविष्यवाणी करती है) के बीच के सटीकता अंतर को 45% तक कम कर दिया।
• आउट-ऑफ-डिस्ट्रीब्यूशन मजबूती: कोवेरिएट और सबपॉपुलेशन शिफ्ट (5 डेटासेट) के तहत, VFusion ने उच्चतम औसत सटीकता (84.6%) प्राप्त की, जो C-100C और IN-200C जैसे फाइन-ग्रेन्ड कार्यों पर सर्वश्रेष्ठ एकल परत से 1.3% तक आगे निकल गई।
• एब्लेशन अध्ययन (Ablation Studies):
  • परत चयन: होलिस्टिक चयन सबसे अच्छा रहा; अंतिम आधे हिस्से तक सीमित करने से मामूली गिरावट (0.3%) हुई, जबकि स्ट्राइडेड चयन से बड़ी गिरावट (0.9%) हुई।
  • बैकबोन सामान्यीकरण: लाभ ViT-S, B, और L स्केल्स और विभिन्न प्री-ट्रेनिंग प्रतिमानों में सुसंगत थे। सबसे बड़े सुधार सेल्फ-सुपरवाइज्ड (DINOv2) और मल्टीमॉडल (CLIP) बैकबोन के साथ देखे गए।
  • क्षैतिज बनाम ऊर्ध्वाधर: जबकि विभिन्न बैकबोन के बीच क्षैतिज फ्यूजन (HFusion) ने पूर्णतः सर्वश्रेष्ठ परिणाम दिए, VFusion (एक ही बैकबोन के भीतर ऊर्ध्वाधर फ्यूजन) प्रतिस्पर्धी रहा, जिसने सुपर लर्नर जैसे लॉजिट-स्तर के एकत्रीकरण तरीकों को औसतन 0.5% से पछाड़ दिया।

5. महत्व और दावे

यह पेपर दावा करता है कि ViTs में लेटेंट रेडंडेंसी (latent redundancy) एक सीमा के बजाय एक लाभकारी संपत्ति है। एक एकल बैकबोन के भीतर आंतरिक पदानुक्रम को स्थिर, रेडंडेंट प्रोब्स की एक श्रृंखला के रूप में मानकर, VFusion इस सूचना को संकुचित करने के लिए प्रभावी ढंग से कार्य करता है ताकि एक वैश्विक टोकन बनाया जा सके जो अक्सर किसी भी एकल परत की प्रेडिक्टिव क्षमता से अधिक होता है।

लेखक इस बात पर जोर देते हैं कि VFusion, क्षैतिज एन्सेंबल विधियों के लिए एक सुदृढ़ और कुशल विकल्प प्रदान करता है। क्षैतिज एन्सेंबलिंग के विपरीत, जिसके लिए कई विविध प्री-ट्रेंड मॉडलों तक पहुंच की आवश्यकता होती है (जो चिकित्सा इमेजिंग जैसे विशिष्ट डोमेन में अक्सर उपलब्ध नहीं होते) और उच्च कम्प्यूटेशनल लागत आती है, VFusion एक ही फ्रोजन बैकबोन के भीतर कार्य करता है। यह बिना किसी आर्किटेक्चरल परिवर्तन या बैकबोन के व्यापक फाइन-ट्यूनिंग के, ऑफ-द-शेल्फ प्री-ट्रेंड मॉडल्स की उपयोगिता को अधिकतम करने का एक सिद्धांतवादी तरीका प्रदान करता है।

कार्य यह निष्कर्ष निकालता है कि एक एकल ViT के भीतर "वर्टिकल सिग्नल" पर्याप्त है और इन प्रस्तुतियों को फीचर-लेवल कंप्रेशन के माध्यम से एकत्रित करना, सरल परत चयन या लॉजिट एवरेजिंग की तुलना में एक बेहतर रणनीति है, विशेष रूप से फाइन-ग्रेन्ड और डिग्रेडेड इमेज कार्यों के लिए।