🤖 machine learning

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

यह शोधपत्र एक मल्टी-मोडल को-लर्निंग फ्रेमवर्क प्रस्तुत करता है जिसे वर्गीकरण कार्यों में मनमानी अनुपलब्ध मोडालिटीज को संभालने के लिए डिज़ाइन किया गया है, जो फ्यूजन के बजाय इंटर-मोडल सहयोग को प्राथमिकता देता है, और दो पूरक दृष्टिकोण प्रदान करता है जो मोडालिटी की अनुपस्थिति के विभिन्न स्तरों पर महत्वपूर्ण मजबूती लाभ प्रदर्शित करते हैं।

मूल लेखक: Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

प्रकाशित 2026-07-28

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को हल करने की कोशिश कर रहे हैं, लेकिन केवल एक तस्वीर के बजाय, आपके पास दोस्तों की एक टीम है, जिनमें से प्रत्येक के पास पहेली का एक अलग हिस्सा है। एक दोस्त के पास आसमान है, दूसरे के पास समुद्र है, और तीसरे के पास पहाड़ हैं। यदि आप उनके सभी टुकड़ों को एक साथ रखते हैं, तो आपको एक पूर्ण, संपूर्ण चित्र प्राप्त होता है। मल्टी-मोडल (multi-modal) AI इसी तरह काम करता है: यह विभिन्न प्रकार के डेटा—जैसे फोटो, ध्वनि और सेंसर रीडिंग—को जोड़ता है ताकि बेहतर निर्णय लिए जा सकें। लेकिन यहाँ एक पेच है: वास्तविक दुनिया में, चीजें हमेशा योजना के अनुसार नहीं चलती हैं। हो सकता कि कैमरा टूट जाए, माइक्रोफ़ोन गीला हो जाए, या कोई सेंसर बैटरी खत्म होने के कारण बंद हो जाए। अचानक, आपकी टीम के कुछ सदस्य गायब हो जाते हैं, और पहेली अधूरी रह जाती है। यदि आपका AI केवल तभी काम करने के लिए प्रशिक्षित है जब सभी मौजूद हों, तो जैसे ही कोई हिस्सा गायब होगा, वह विफल हो जाएगा। यह रोबोट, सेल्फ-ड्राइविंग कारों और चिकित्सा उपकरणों के लिए एक बहुत बड़ी समस्या है जिन्हें अपने उपकरणों के विफल होने पर भी विश्वसनीय रूप से काम करने की आवश्यकता होती है।

आप जो शोध पत्र पढ़ने जा रहे हैं, वह इसी सिरदर्द का समाधान करता है। यह सवाल उठाता है: हम AI को कैसे सिखा सकते हैं कि जब उसके पास कुछ डेटा स्रोत कम हों, तब भी वह स्मार्ट और सटीक बना रहे? लेखक इन प्रणालियों को प्रशिक्षित करने का एक चतुर नया तरीका प्रस्तावित करते हैं, उन्हें गायब टुकड़ों को "गोंद" से जोड़ने के लिए मजबूर करने के बजाय, बल्कि विभिन्न डेटा स्रोतों को एक-दूसरे से बात करने और एक-दूसरे की मदद करने के लिए शिक्षित करके। वे इसे "को-लर्निंग" (co-learning) कहते हैं। इसे एक स्टडी ग्रुप की तरह समझें जहाँ गणित में अच्छा छात्र इतिहास में अच्छे छात्र की मदद करता है, ताकि यदि इतिहास का छात्र अनुपस्थित हो, तो गणित का छात्र फिर भी पूरी कहानी समझा सके। शोधकर्ताओं ने अपने विचारों का परीक्षण दो बहुत अलग चुनौतियों पर किया: उपग्रह डेटा (satellite data) से फसलों के प्रकारों की पहचान करना और पहनने योग्य सेंसर (wearable sensors) से मानवीय गतिविधियों को पहचानना। उन्होंने पाया कि उनके नए तरीके AI को बहुत अधिक लचीला बनाते हैं, जिससे डेटा गड़बबड़ या अधूरा होने पर भी यह सही रास्ते पर रहता है।

समस्या: जब टीम का एक सदस्य खो जाता है

आर्टिफिशियल इंटेलिजेंस की दुनिया में, "मल्टी-मोडल क्लासिफिकेशन" एक ऐसे जासूस की तरह है जो केस सुलझाने के लिए कई इंद्रियों का उपयोग करता है। केवल अपराध स्थल की फोटो देखने के बजाय, जासूस ऑडियो रिकॉर्डिंग सुनता है, गवाहों के बयान पढ़ता है और मौसम की रिपोर्ट भी देखता है। इन सभी सुरागों को जोड़कर, जासूस (या AI) बेहतर अनुमान लगा सकता है कि क्या हुआ था। हालाँकि, वास्तविक जीवन अव्यवस्थित है। अर्थ ऑब्जर्वेशन (Earth Observation) के क्षेत्र में, एक उपग्रह कैमरा बादलों से ढका हो सकता है, या रडार विफल हो सकता है। मानव-केंद्रित अध्ययनों में, एक पहनने योग्य सेंसर की बैटरी खत्म हो सकती है या वह डिस्कनेक्ट हो सकता है।

बड़ी समस्या यह है कि अधिकांश AI मॉडल इस धारणा के साथ प्रशिक्षित होते हैं कि सभी सुराग हमेशा मौजूद रहेंगे। यदि आप एक मॉडल को पांच प्रकार के डेटा के साथ प्रशिक्षित करते हैं और फिर उसे केवल तीन के साथ उपयोग करने का प्रयास करते हैं, तो वह अक्सर भ्रमित हो जाता है और भयानक गलतियाँ करता है। इसे ठीक करने के पिछले प्रयासों में आमतौर पर "रोबस्ट फ्यूजन" (robust fusion) पर ध्यान केंद्रित किया गया था, जो एक ऐसी मेज बनाने जैसा है जो एक पैर हटाने पर भी खड़ी रहती है। इस शोध पत्र के लेखक तर्क देते हैं कि इस दृष्टिकोण की सीमाएँ हैं, विशेष रूप से जब आपके पास कई अलग-अलग प्रकार के डेटा हों और उनमें से कोई भी संयोजन गायब हो सकता है। वे जानना चाहते थे: क्या होगा यदि हम केवल छेद को भरने (patch) की कोशिश करने के बजाय, शेष डेटा स्रोतों को एक-दूसरे की भरपाई करने के लिए शिक्षित करें?

समाधान: डेटा के लिए एक स्टडी ग्रुप

लेखक "को-लर्निंग फॉर मिसिंग एर्बिट्ररी मोडैलिटीज" (Co-Learning for Missing Arbitrary Modalities) नामक एक ढांचा पेश करते हैं। सभी डेटा को एक विशाल ढेर में मिलाने के लिए मजबूर करने के बजाय, वे प्रत्येक प्रकार के डेटा (जैसे ऑप्टिकल इमेज, रडार, मौसम) के लिए एक विशेष मॉडल की टीम स्थापित करते हैं। इन मॉडलों को एक साथ काम करने, और जो वे जानते हैं उसे साझा करने के लिए प्रशिक्षित किया जाता है।

उन्होंने इस टीम वर्क को सफल बनाने के लिए दो विशिष्ट रणनीतियाँ, या "तरीके" विकसित किए:

को-मिस (Co-Miss - को-लर्निंग फॉर मिसिंग): यह तरीका एक कठोर ड्रिल की तरह है। प्रशिक्षण के दौरान, AI को लगातार गायब डेटा के साथ अभ्यास करने के लिए मजबूर किया जाता है। यह ऐसा है जैसे शिक्षक रैंडम तरीके से इतिहास के छात्र से कहता है, "आज तुम अनुपस्थित हो," और गणित के छात्र को फिर भी पूरा पाठ समझाना पड़ता है। AI यह सीखने के लिए प्रशिक्षित होता है कि पूर्ण टीम ने क्या कहा होता, भले ही टीम के कुछ हिस्से गायब हों। इसे "मिसिंग डिस्टिलेशन" (missing distillation) कहा जाता है। यह तब अविश्वसनीय रूप से अच्छा काम करता है जब केवल एक या कुछ ही हिस्से गायब होते हैं।
फुलको (FullCo - फुल को-लर्निंग): यह तरीका सबसे खराब परिदृश्यों के लिए डिज़ाइन किया गया है, जहाँ लगभग पूरी टीम गायब हो जाती है। यह "म्युचुअल डिस्टिलेशन" (mutual distillation) नामक तकनीक का उपयोग करता है, जहाँ प्रत्येक डेटा मॉडल अन्यों से और अंतिम समूह के निर्णय से सीखने की कोशिश करता है। यह एक राउंड-रॉबिन स्टडी सेशन की तरह है जहाँ हर कोई सबको सिखाता है। यह दृष्टिकोण तब चमकता है जब AI के पास बहुत कम जानकारी बचती है, जैसे कि जब केवल एक सेंसर ही काम कर रहा हो।

दोनों तरीके दो स्तरों पर सीखने पर निर्भर करते हैं। फीचर लेवल पर, मॉडल यह पहचानने के लिए सीखते हैं कि क्या "साझा" (shared) है (जैसे एक पेड़ का सामान्य आकार, जिसे फोटो और रडार दोनों देख सकते हैं) और क्या "विशिष्ट" (specific) है (जैसे छाल की बनावट, जिसे केवल फोटो देख सकती है)। डिसीजन लेवल पर, वे नॉलेज डिस्टिलेशन का उपयोग करते हैं, जहाँ मॉडल अंतिम उत्तर पर सहमत होने की कोशिश करते हैं, जिससे वे एक-दूसरे को सही रास्ते पर रहने में मदद करते हैं, भले ही डेटा कम हो।

परिणाम: तूफान में भी मजबूत

शोधकर्ताओं ने अपने विचारों का परीक्षण दो वास्तविक दुनिया के डेटासेट पर किया। पहला था Multi-CropHarvest, जिसमें चार अलग-अलग सेंसरों का उपयोग करके फसलों के प्रकारों की पहचान की जाती है: ऑप्टिकल इमेज, रडार, मौसम का डेटा और टोपोग्राफिक मैप्स। दूसरा था HL-Opportunity, जो शरीर पर लगे 19 अलग-अलग सेंसरों वाला एक डेटासेट है, जिसका उपयोग "सैंडविच बनाने" या "सफाई करने" जैसी गतिविधियों को पहचानने के लिए किया जाता है।

परिणाम उत्साहजनक थे। जब AI का परीक्षण सभी डेटा मौजूद होने पर किया गया, तो इसने बहुत अच्छा प्रदर्शन किया। लेकिन असली परीक्षा तब हुई जब उन्होंने डेटा हटाना शुरू किया:

"मिनिमल मिसिंग" (Minimal Missing) परिदृश्य में (जहाँ केवल एक सेंसर विफल हुआ), Co-Miss विधि स्टार रही। इसने अपनी सटीकता में बहुत कम कमी दिखाई, जिससे साबित हुआ कि इसके "ड्रिल" दृष्टिकोण ने इसे छोटी गड़बड़ियों के लिए पूरी तरह तैयार किया।
"एक्सट्रीम मिसिंग" (Extreme Missing) परिदृश्य में (जहाँ लगभग सभी सेंसर विफल हो गए, केवल एक बचा), FullCo विधि ने बढ़त बनाई। जबकि अन्य विधियाँ क्रैश हो गईं और उनका प्रदर्शन काफी गिर गया, FullCo ने अपना आधार बनाए रखा, जिससे पता चला कि इसकी "म्युचुअल टीचिंग" रणनीति ने इसे तूफान में जीवित रहने में मदद की।

उदाहरण के लिए, फसल पहचान कार्य में, जब AI को केवल एक सेंसर के साथ छोड़ दिया गया, तो पारंपरिक तरीकों के प्रदर्शन में लगभग 40 अंक की गिरावट आई। लेखकों के तरीकों में बहुत कम गिरावट आई, जिसमें FullCo केवल 24 अंक गिरा। 19 सेंसरों वाले गतिविधि पहचान कार्य में, FullCo विधि ने उच्च स्तर की सटीकता बनाए रखी, भले ही अधिकांश सेंसर चले गए हों, और कई अन्य अत्याधुनिक (state-of-the-art) दृष्टिकोणों से बेहतर प्रदर्शन किया।

इसका क्या अर्थ है

यह शोध पत्र सुझाव देता है कि केवल डेटा को "जोड़ने" के बजाय डेटा स्रोतों को सहयोग करना सिखाने पर ध्यान केंद्रित करके, हम बहुत अधिक मजबूत AI सिस्टम बना सकते हैं। लेखकों ने पाया कि उनके तरीके विभिन्न लापता-डेटा परिदृश्यों में मौजूदा सर्वोत्तम तकनीकों के बराबर या उनसे बेहतर रहे।

हालाँकि, उन्होंने एक ट्रेड-ऑफ (trade-off) भी नोट किया। Co-Miss विधि, जो छोटे डेटा गायब होने की समस्याओं के लिए उत्कृष्ट है, प्रशिक्षण के लिए कम्प्यूटेशनल रूप से महंगी है क्योंकि इसे गायब डेटा के हर संभावित संयोजन का अनुकरण करना पड़ता है। यदि आपके पास 10 सेंसर हैं, तो अभ्यास करने के लिए 1,000 से अधिक संयोजन हैं! इस कारण से, वे FullCo की सिफारिश करते हैं जहाँ डेटा गंभीर रूप से गायब हो सकता है या जहाँ सेंसर की संख्या अधिक हो।

अंततः, यह कार्य दिखाता है कि विश्वसनीय AI का भविष्य केवल अधिक डेटा होने के बारे में नहीं है; यह हमारे पास मौजूद डेटा को यह सिखाने के बारे में है कि चीजें गलत होने पर एक-दूसरे की मदद कैसे की जाए। चाहे वह बादलों के बीच देखने की कोशिश करने वाला उपग्रह हो या आपकी वर्कआउट को ट्रैक करने के लिए आपकी स्मार्टवॉच जब उसकी बैटरी खत्म होने वाली हो, ये को-लर्निंग रणनीतियाँ एक ऐसे AI का मार्ग प्रशस्त करती हैं जो रोशनी बुझने पर हार नहीं मानता।

तकनीकी सारांश: मल्टी-मोडल वर्गीकरण में लुप्त मनमाने मोडैलिटीज के लिए को-लर्निंग (Co-Learning)

1. समस्या की परिभाषा

मल्टी-मोडल वर्गीकरण विविध डेटा स्रोतों से पूरक जानकारी का लाभ उठाकर भविष्य कहनेवाला प्रदर्शन (predictive performance) बढ़ाने के लिए उपयोग किया जाता है। हालांकि, वास्तविक दुनिया के अनुप्रयोग अक्सर परिचालन संबंधी बाधाओं (जैसे, सेंसर विफलता, गोपनीयता प्रतिबंध, क्लाउड कवर जैसे पर्यावरणीय कारक) के कारण प्रशिक्षण और अनुमान (inference) के बीच असंगत मोडैलिटी उपलब्धता का सामना करते हैं।

जबकि पूर्व शोध ने मुख्य रूप से बाइमोडल (bimodal) सेटअप को संबोधित किया है या मजबूत फ्यूजन प्रक्रियाओं (जैसे, मोडैलिटी ड्रॉपआउट) को डिजाइन करने पर ध्यान केंद्रित किया है, लुप्त मनमाने मोडैलिटीज (missing arbitrary modalities) को संभालने में एक महत्वपूर्ण अंतर बना हुआ है। यह परिदृश्य तब होता है जब अनुमान के समय प्रशिक्षण मोडैलिटीज का कोई भी उपसमुच्चय (subset) अनुपस्थित हो सकता है, जो एक मोडैलिटी के नुकसान (न्यूनतम) से लेकर केवल एक को छोड़कर सभी के नुकसान (चरम) तक फैला हुआ है। मौजूदा विधियां अक्सर विशिष्ट लुप्त पैटर्न या बाइमोडल बाधाओं से परे सामान्यीकरण करने में विफल रहती हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक मल्टी-मोडल को-लर्निंग फ्रेमवर्क का प्रस्ताव करते हैं जो पारंपरिक मल्टी-मोडल फ्यूजन के बजाय इंटर-मोडल सहयोग को प्राथमिकता देता है। मूल दर्शन यह है कि प्रत्येक मोडैलिटी को एक केंद्रीय फ्यूजन तंत्र पर निर्भर रहने के बजाय दूसरों में योगदान देने और उनसे लाभ उठाने के लिए प्रोत्साहित किया जाए।

2.1. आर्किटेक्चर अवलोकन

फ्रेमवर्क डिसाइज-लेवल (लेट) फ्यूजन का उपयोग करता है। यह प्रत्येक इनपुट $X_m$ को प्रोसेस करने के लिए मोडैलिटी-समर्पित एनकोडर्स ( $E_m$ ) का उपयोग करता है। ये एनकोडर स्पष्ट रूप से दो प्रकार के फीचर रिप्रेजेंटेशन सीखते हैं:

साझा फीचर्स ( $z^{sha}_m$ ): क्लास-प्रासंगिक फीचर्स जो मोडैलिटीज के बीच अपरिवर्तित (invariant) रहते हैं।
विशिष्ट फीचर्स ( $z^{spe}_m$ ): क्लास-प्रासंगिक फीचर्स जो एक विशिष्ट मोडैलिटी के लिए अद्वितीय होते हैं।

अंतिम भविष्यवाणी प्रति-मोडैलिटी प्रोबेबिलिटी एस्टीमेट्स ( $\hat{y}_m$ ) के औसत द्वारा प्राप्त की जाती है।

2.2. लर्निंग मानदंड (Learning Criteria)

मॉडल को फीचर-लेवल और डिसाइज-लेवल लॉस फंक्शन्स के संयोजन का उपयोग करके अनुकूलित किया जाता है:

A. फीचर-लेवल लर्निंग (को-लर्निंग)

मोडैलिटी डिस्क्रिमिनेंट लॉस ( $L_{mod}$ ): एक ऑक्सिलरी क्लासिफायर विशिष्ट फीचर्स ( $z^{spe}_m$ ) से मोडैलिटी सोर्स की भविष्यवाणी करता है, जो मॉडल को मोडैलिटी-यूनिक रिप्रेजेंटेशन सीखने के लिए मजबूर करता है।
वॉल्यूम-बेस्ड कॉन्ट्रास्टिव लॉस ( $L_{cont}$ ): GRAM पर आधारित, यह लॉस सभी मोडैलिटीज के बीच साझा फीचर्स के ग्रामियन मैट्रिक्स (Gramian matrix) के वॉल्यूम को कम करता है। यह सुनिश्चित करता है कि विभिन्न मोडैलिटीज के साझा फीचर्स एम्बेडिंग स्पेस में करीब हों, जिससे एक एकीकृत प्रतिनिधित्व को बढ़ावा मिलता है।

B. डिसाइज-लेवल लर्निंग (नॉलेज डिस्टिलेशन)
लेखक लुप्त मोडैलिटीज को संभालने के लिए दो अलग-अलग रणनीतियों का परिचय देते हैं, जिसके परिणामस्वरूप दो प्रस्तावित विधियां प्राप्त होती हैं:

Co-Miss (लुप्त होने के लिए को-लर्निंग):
- रणनीति: मिसिंग डिस्टिलेशन (Missing Distillation) का उपयोग करती है।
- तंत्र: प्रशिक्षण के दौरान, मॉडल मोडैलिटी ड्रॉपआउट (ModDrop) का उपयोग करके सभी संभावित लुप्त मोडैलिटी संयोजनों ( $2^M - 1$ मामले) का व्यापक रूप से अनुकरण करता है।
- उद्देश्य: एक लुप्त उपसमुच्चय से प्राप्त भविष्यवाणी ( $\hat{y}_{miss}$ ) को ग्राउंड ट्रुथ और फुल-मोडैलिटी डेटा से प्राप्त सर्वसम्मति ( $\hat{y}_{full}$ ) दोनों की नकल करने के लिए मजबूर किया जाता है।
- लॉस: $L_{miss} = L_{CE}(y, \hat{y}_{miss}) + \lambda \cdot L_{KD}(\hat{y}_{full}, \hat{y}_{miss})$ ।
FullCo (फुल को-लर्निंग):
- रणनीति: म्युचुअल डिस्टिलेशन (Mutual Distillation) का उपयोग करती है।
- तंत्र: चरम लुप्त स्थितियों के लिए डिज़ाइन किया गया। प्रत्येक व्यक्तिगत प्रति-मोडैलिटी भविष्यवाणी ( $\hat{y}_m$ ) को फुल-मोडैलिटी सर्वसम्मति ( $\hat{y}_{full}$ ) और ग्राउंड ट्रुथ की नकल करने के लिए प्रशिक्षित किया जाता है।
- उद्देश्य: यह सुनिश्चित करता है कि यहाँ तक कि एक एकल उपलब्ध मोडैलिटी भी पूर्ण सेट के प्रदर्शन के करीब पहुँच सके।
- लॉस: $L_{mut} = \frac{1}{M} \sum L_{CE}(y, \hat{y}_m) + \lambda \cdot L_{KD}(\hat{y}_{full}, \hat{y}_m)$ ।

3. प्रमुख योगदान

मनमाने लुप्त पैटर्न के लिए सामान्यीकरण: यह कार्य "लुप्त मनमाने मोडैलिटीज" के सामान्य परिदृश्य को संबोधित करता है, जिसमें न्यूनतम, मध्यम और चरम लुप्त स्थितियां शामिल हैं, न कि केवल बाइमोडल सेटअप तक सीमित है।
दोहरी-रणनीति फ्रेमवर्क: दो पूरक विधियों का परिचय:
- Co-Miss: न्यूनतम लुप्त स्थितियों (एक मोडैलिटी अनुपस्थित) के लिए अनुकूलित।
- FullCo: चरम लुप्त स्थितियों (सभी-के-लिए-एक-बचा हुआ) के लिए अनुकूलित।
फीचर-डिसाइज सिनर्जी: अधूरे डेटा के बावजूद प्रभावी ढंग से कार्य करने वाले मजबूत प्रतिनिधित्व बनाने के लिए वॉल्यूम-बेस्ड कॉन्ट्रास्टिव लर्निंग (फीचर-लेवल) को नॉलेज डिस्टिलेशन (डिसाइज-लेवल) के साथ एकीकृत करना।
व्यापक मूल्यांकन: दो विविध बेंचमार्क पर सत्यापन: Multi-CropHarvest (4 मोडैलिटीज: ऑप्टिकल, रडार, वेदर, टोपोग्राफिक) और HL-Opportunity (मानव गतिविधि पहचान के लिए 19 सेंसर मोडैलिटीज)।

4. प्रयोगात्मक परिणाम

विधियों का सात स्टेट-ऑफ-द-आर्ट प्रतिस्पर्धियों और मानक बेसलाइन्स (यूनिमोडल, फीचर-फ्यूजन, डिसाइज-फ्यूजन) के विरुद्ध मूल्यांकन किया गया।

Multi-CropHarvest (4 मोडैलिटीज):
- Co-Miss ने फुल-मोडैलिटी और न्यूनतम लुप्त स्थितियों में सर्वश्रेष्ठ प्रदर्शन किया।
- FullCo ने मध्यम और चरम लुप्त स्थितियों में सभी विधियों को पछाड़ दिया।
- दोनों विधियों ने सभी स्थितियों में सर्वश्रेष्ठ औसत रैंकिंग (1.5) के लिए टाई किया, जो प्रतिस्पर्धियों (जैसे, DSensD+, DML) की तुलना में मैक्रो मिसिंग F1 स्कोर में ~4 अंकों का सुधार दिखाता है।
HL-Opportunity (19 मोडैलिटीज):
- 19 सेंसरों के बीच उच्च रेडंडेंसी के कारण, जब केवल एक मोडैलिटी गायब होती है तो प्रदर्शन में गिरावट न्यूनतम थी।
- FullCo ने सभी स्थितियों में दूसरा सर्वश्रेष्ठ परिणाम प्राप्त किया (फुल और मध्यम मामलों में सर्वश्रेष्ठ के सांख्यिकीय रूप से समान) और सर्वश्रेष्ठ औसत रैंकिंग (2.4) प्राप्त की।
- चरम लुप्त स्थितियों में, FullCo मजबूत बना रहा, जबकि बेसलाइन विधियों के प्रदर्शन में भारी गिरावट आई।
एब्लेशन स्टडीज (Ablation Studies):
- कॉन्ट्रास्टिव लॉस ( $L_{cont}$ ) को मजबूती के लिए सबसे महत्वपूर्ण घटक के रूप में पहचाना गया।
- गंभीर लुप्त स्थितियों को संभालने के लिए डिसाइज-लेवल डिस्टिलेशन महत्वपूर्ण था, जबकि फीचर-लेवल कोलाबोरेशन न्यूनतम/मध्यम स्थितियों के लिए कुंजी था।
- वॉल्यूम-बेस्ड कॉन्ट्रास्टिव लॉस लुप्त परिदृश्यों के लिए मानक पेयरवाइज कॉन्ट्रास्टिव लॉस की तुलना में श्रेष्ठ साबित हुआ।

5. महत्व और दावे

पेपर का दावा है कि प्रस्तावित को-लर्निंग रणनीतियां उन वास्तविक दुनिया के परिदृश्यों में मल्टी-मोडल वर्गीकरण मॉडल की मजबूती को प्रभावी ढंग से बढ़ाती हैं जहाँ डेटा की उपलब्धता अनिश्चित होती है।

पूरक ताकतें: अध्ययन इस बात पर जोर देता है कि कोई भी एक विधि सभी परिदृश्यों में हावी नहीं होती है; Co-Miss वहां उत्कृष्ट है जहां डेटा हानि कम होती है, जबकि FullCo वहां बेहतर है जहां डेटा हानि गंभीर होती है।
व्यावहारिक प्रयोज्यता: ये विधियां अर्थ अवलोकन (Earth Observation - जहाँ क्लाउड कवर या सैटेलाइट गैप डेटा हानि का कारण बनते हैं) और मानव-केंद्रित सेंसिंग (जहाँ सेंसर विफल हो सकते हैं या बैटरी खत्म हो सकती है) जैसे डोमेन के लिए एक व्यवहार्य समाधान प्रदान करती हैं।
सीमाएं: लेखक स्वीकार करते हैं कि Co-Miss में लुप्त मामलों के व्यापक अनुकरण के कारण स्केलेबिलिटी की सीमा ( $O(2^M)$ ट्रेनिंग कॉम्प्लेक्सिटी) है, जिससे कई मोडैलिटीज ( $M \ge 10$ ) या चरम लुप्त स्थितियों के लिए FullCo को अनुशंसित किया जाता है।

कार्य यह निष्कर्ष निकालता है कि को-लर्निंग (फीचर शेयरिंग) को नॉलेज डिस्टिलेशन (डिसाइज अलाइनमेंट) के साथ जोड़ना, मनमाने डेटा अपूर्णता को संभालने में सक्षम लचीले मल्टी-मोडल सिस्टम बनाने के लिए एक सहक्रियात्मक (synergistic) दृष्टिकोण प्रदान करता है।