Rethinking Incompleteness: Formalizing Protocol Divergence and Train-Once Learning for Robust IMVC

तकनीकी सारांश: IMVC में अपूर्णता (Incompleteness) पर पुनर्विचार

समस्या की परिभाषा
इनकम्प्लीट मल्टी-व्यू क्लस्टरिंग (IMVC) उस चुनौती का समाधान करता है जहाँ डेटा के क्लस्टरिंग में नमूनों (samples) के कुछ व्यूज़ (modalities) अनुपलब्ध होते हैं। वर्तमान IMVC अनुसंधान में प्रभावी प्रतिमान (paradigm) क्रॉस-व्यू रिकंस्ट्रक्शन (cross-view reconstruction) पर निर्भर करता है, जहाँ पूर्ण नमूनों का उपयोग करके लुप्त व्यूज़ को पुनः प्राप्त किया जाता है। हालाँकि, यह शोध पत्र इन विधियों के वर्तमान मूल्यांकन और सैद्धांतिक समझ में दो महत्वपूर्ण दोषों की पहचान करता है:

1. प्रति-कॉन्फ़िगरेशन रिट्रेनिंग ट्रैप (The Per-Configuration Retraining Trap): मौजूदा विधियों का मूल्यांकन आमतौर पर प्रत्येक विशिष्ट 'मिसिंग-डेटा प्रोटोकॉल' और 'मिसिंग रेट' के संयोजन के लिए एक अलग मॉडल को फिर से प्रशिक्षित करके किया जाता है। यह दृष्टिकोण वास्तविक दुनिया की तैनाती के लिए अत्यधिक गणनात्मक रूप से कठिन (prohibitive) है, जहाँ लुप्त डेटा का वितरण अक्सर गैर-स्थिर (non-stationary) या अज्ञात होता है।
2. अपूर्णता विचलन (Incompleteness Divergence): शोध पत्र का तर्क है कि "नाममात्र मिसिंग रेट" ($r$) डेटा की अपूर्णता को चित्रित करने के लिए एक अपर्याप्त मीट्रिक है। समान नाममात्र $r$ वाले विभिन्न मूल्यांकन प्रोटोकॉल पूर्णतः देखे गए नमूनों (fully observed samples) के अनुपात ($p_c$) में नाटकीय रूप से भिन्न परिणाम दे सकते हैं। लेखक इसे अपूर्णता विचलन के रूप में औपचारिक रूप देते हैं, यह दिखाते हुए कि प्रोटोकॉल समान नाममात्र दर पर भी $p_c$ में 50$\times$ तक भिन्न हो सकते हैं।

सैद्धांतिक अंतर्दृष्टि: प्रशिक्षण क्षमता की सीमा (The Trainability Bound)
लेखक रिकंस्ट्रक्शन-आधारित विधियों के एक व्यापक वर्ग (Class 1, जिसे $\mathcal{F}_{rec}$ कहा गया है) के लिए सिद्ध करते हैं कि जब पूर्ण नमूनों का अनुपात ($p_c$) एक महत्वपूर्ण थ्रेशोल्ड से नीचे गिर जाता है (विशेष रूप से, जब $p_c \to 0$), तो सीखना संरचनात्मक रूप से इल-पोस्ड (structurally ill-posed) हो जाता है।

• तंत्र (Mechanism): रिकंस्ट्रक्शन लॉस मुख्य रूप से एक ही नमूने के भीतर क्रॉस-व्यू सह-अस्तित्व (co-occurrence) से पर्यवेक्षण (supervision) प्राप्त करता है। यदि किसी नमूने में दो से कम व्यूज़ हैं, तो वह रिकंस्ट्रक्शन ऑब्जेक्टिव में कोई ग्रेडिएंट सिग्नल योगदान नहीं देता है।
• परिणाम (Consequence): जैसे-जैसे $p_c$ घटता है, अपेक्षित ग्रेडिएंट सिग्नल लुप्त हो जाता है। शोध पत्र सिद्ध करता है कि उन प्रोटोकॉल के लिए जहाँ $p_c \to 0$, अपेक्षित पैरामीटर विस्थापन (parameter displacement) $p_c$ के आनुपातिक पदों द्वारा सीमित होता है, जिससे हाइपरपैरामीटर ट्यूनिंग के बावजूद क्लस्टरिंग सटीकता लगभग रैंडम (यादृच्छिक) स्तर पर पहुँच जाती है। यह एक संरचनात्मक गुण है, न कि ट्यूनिंग की त्रुटि।
• भेद (Distinction): शोध पत्र प्रशिक्षण क्षमता की विफलता (trainability failure) (जहाँ कम $p_c$ के कारण ग्रेडिएंट सिग्नल लुप्त हो जाता है, जो $\mathcal{F}_{rec}$ को प्रभावित करता है) और क्षमता की विफलता (capability failure) (सूचना-सैद्धांतिक सीमाएँ जहाँ देखे गए व्यूज़ में क्लस्टर लेबल के बारे में पर्याप्त जानकारी नहीं होती, जो सभी विधियों को प्रभावित करती है) के बीच अंतर करता है।

कार्यप्रणाली: CRAFT
इस 'ट्रेनैबिलिटी बाउंड' से बचने के लिए, लेखक CRAFT (Complete-data Robust Attention-masked Fusion Transformer) प्रस्तावित करते हैं। CRAFT को दो संरचनात्मक शर्तों को पूरा करने के लिए डिज़ाइन किया गया है जो यह सुनिश्चित करती हैं कि पूर्ण डेटा पर प्रशिक्षित एक एकल मॉडल इन्फरेंस (inference) के समय किसी भी मिसिंग पैटर्न पर सामान्यीकरण (generalize) कर सके:

1. प्रति-नमूना स्वतंत्रता (Per-Sample Independence - C1): नमूना $i$ का प्रतिनिधित्व केवल उसके अपने देखे गए व्यूज़ और साझा मापदंडों (shared parameters) से संगणना किया जाता है। यह अन्य नमूनों के अवलोकन पैटर्न या क्रॉस-सैंपल सह-अस्तित्व पर निर्भर नहीं है।
2. मास्क-अवेयर वेरिएबल-लेंथ फ्यूजन (Mask-Aware Variable-Length Fusion - C2): लुप्त व्यूज़ को ज़ीरो-पैडिंग या हैलुसिनेशन के बजाय अटेंशन मास्किंग (attention masking) के माध्यम से आंतरिक गणना से बाहर रखा जाता है। यह सुनिश्चित करता है कि लुप्त व्यूज़ फ्यूज्ड रिप्रेजेंटेशन में बिल्कुल शून्य योगदान दें, जिससे शोर या अमान्य सिग्नल के इंजेक्शन को रोका जा सके।

आर्किटेक्चर विवरण:

• प्रति-व्यू एनकोडिंग (Per-View Encoding): व्यू-विशिष्ट MLPs प्रत्येक व्यू को एक साझा एम्बेडिंग स्पेस में मैप करते हैं।
• ट्रांसफॉर्मर फ्यूजन (Transformer Fusion): एक ट्रांसफॉर्मर एनकोडर व्यू एम्बेडिंग्स (प्लस एक लर्नेबल [CLS] टोकन) के अनुक्रम को प्रोसेस करता है। इन्फरेंस के समय, एक की-पैडिंग मास्क (key-padding mask) लुप्त व्यूज़ के लिए अटेंशन लॉजिट्स को $-\infty$ पर सेट कर देता है, जिससे वे अटेंशन मैकेनिज्म से प्रभावी रूप से हट जाते हैं।
• पूर्ण डेटा पर दो-चरणीय प्रशिक्षण (Two-Stage Training on Complete Data):
  • चरण 1: पूर्ण नमूनों पर प्रति-व्यू रिकंस्ट्रक्शन लॉस और क्रॉस-व्यू कंसिस्टेंसी लॉस (SimSiam-शैली) का उपयोग करके रिप्रेजेंटेशन सीखता है।
  • चरण 2: सेल्फ-लेबल क्रॉस-एन्ट्रॉपी, एंट्रॉपी रेगुलराइजेशन और वैकल्पिक मास्कड फाइन-ट्यूनिंग (MFT) का उपयोग करके क्लस्टर हेड को फाइन-ट्यून करता है ताकि प्रशिक्षण वितरण को इन्फरेंस-टाइम मिसिंग पैटर्न के साथ संरेखित किया जा सके।

मुख्य योगदान

1. अपूर्णता विचलन का औपचारिकीकरण: प्रभावी मिसिंग रेट ($\hat{r}$) और पूर्ण-नमूना अनुपात ($p_c$) को अलग-अलग कारण चर (causal variables) के रूप में पेश करना, जो यह प्रकट करता है कि मानक प्रोटोकॉल रिकंस्ट्रक्शन-आधारित विधियों के प्रशिक्षण जोखिमों को छिपा देते हैं।
2. पतन का सैद्धांतिक प्रमाण (Theoretical Proof of Collapse): यह कठोर प्रमाण कि रिकंस्ट्रक्शन-आधारित लर्निंग $p_c$ द्वारा संरचनात्मक रूप से सीमित है, जो यह समझाता है कि मौजूदा विधियाँ स्पार्स-डेटा शासन (sparse-data regimes) (जहाँ $p_c < 1\%$) में क्यों विफल होती हैं।
3. CRAFT आर्किटेक्चर: एक ट्रांसफॉर्मर-आधारित ढांचा जो लॉस फंक्शन इंजीनियरिंग के बजाय आर्किटेक्चरल डिज़ाइन (C1 और C2) के माध्यम से मजबूत IMVC प्राप्त करता है, जिससे "एक बार प्रशिक्षित करें, कई बार तैनात करें" (Train-Once, Deploy-Many) प्रतिमान सक्षम होता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): चार अलग-अलग मूल्यांकन प्रोटोकॉल के तहत सात बेंचमार्क (CUB, HandWritten, MultiFashion, और YTF-31 सहित) पर व्यापक प्रयोग।

परिणाम

• बेसलाइन्स का पतन (Collapse of Baselines): मानक $\mathcal{F}_{rec}$ बेसलाइन्स (जैसे, COMPLETER, DCP, DCG, HSACC) सख्त प्रोटोकॉल के तहत लगभग रैंडम सटीकता (अक्सर $<40\%$) तक गिर जाते हैं, भले ही नाममात्र मिसिंग रेट मध्यम हो।
• CRAFT का प्रदर्शन: पूर्ण डेटा पर एक बार प्रशिक्षित किया गया एकल CRAFT चेकपॉइंट, सभी 16 परीक्षण किए गए (प्रोटोकॉल, रेट) कॉन्फ़िगरेशन में प्रति-कॉन्फ़िगरेशन रिट्रेंड बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन करता है।
• दक्षता (Efficiency): CRAFT, प्रत्येक कॉन्फ़िगरेशन के लिए अलग मॉडल को फिर से प्रशिक्षित करने के बेसलाइन दृष्टिकोण की तुलना में प्रशिक्षण ओवरहेड को 8.8$\times$ कम कर देता है।
• मजबूती (Robustness): CRAFT उच्च सटीकता बनाए रखता है, भले ही $p_c = 0$ हो, जो यह दर्शाता है कि मिसिंग डेटा के प्रति मजबूती एक अंतर्निहित आर्किटेक्चरल गुण हो सकती है।

महत्व और दावे
शोध पत्र का दावा है कि IMVC में वर्तमान "प्रति-कॉन्फ़िगरेशन रिट्रेनिंग" प्रतिमान नाजुक है और रिकंस्ट्रक्शन-आधारित विधियों की एक मौलिक भेद्यता को छिपाता है। मजबूती के भार को लॉस फंक्शन से आर्किटेक्चर पर स्थानांतरित करके, CRAFT यह प्रदर्शित करता है कि विशिष्ट मिसिंग-डेटा वितरण के लिए पुन: प्रशिक्षण के बिना भी मजबूत IMVC प्राप्त करना संभव है। लेखक सुझाव देते हैं कि भविष्य के IMVC अनुसंधान को $p_c$ को एक मानक मीट्रिक के रूप में रिपोर्ट करना चाहिए और एल्गोरिद्मिक रिकवरी तंत्र के बजाय आर्किटेक्चरल सुधारों (जैसे प्रति-नमूना स्वतंत्रता और मास्क-अवेयर फ्यूजन) को प्राथमिकता देनी चाहिए। यह कार्य अनसुपरवाइज्ड IMVC तक सीमित है; लेखक नोट करते हैं कि इन सिद्धांतों को सुपरवाइज्ड मल्टी-व्यू क्लासिफिकेशन या अन्य मल्टी-मोडल सेटिंग्स में विस्तारित करना भविष्य के कार्य के लिए एक दिशा है।