🤖 machine learning
SynIB: Informational Bottleneck for Maximizing Synergy in Multimodal Learning
यह शोध पत्र SynIB को प्रस्तुत करता है, जो एक सूचना-सैद्धांतिक प्रशिक्षण उद्देश्य (information-theoretic training objective) है जो किसी भी एकल मोडैलिटी (modality) के मास्क होने पर मॉडल के आत्मविश्वास को दंडित करके मल्टीमॉडल सिनर्जी (multimodal synergy) को अधिकतम करता है, जिससे मॉडल को यूनिमोडल संकेतों के बजाय क्रॉस-मोडल इंटरैक्शन पर निर्भर करने के लिए मजबूर किया जाता है और सिनर्जी-डिपेंडेंट कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार होता है।