💻 computer science
Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing
यह शोध पत्र Mixture of Probes (MoP) को प्रस्तुत करता है, जो एक नया ढांचा है जो केवल प्रशिक्षण के दौरान उपलब्ध विशेषाधिकार प्राप्त मोडालिटीज़ का लाभ उठाकर, संरचित प्रोबिंग और एक विशेष क्रॉस-मोडल प्रशिक्षण रणनीति के माध्यम से मोडालिटी-विशिष्ट और सामान्य संकेतों को अलग करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को महत्वपूर्ण रूप से उन्नत करता है, जिससे अनुमान (inference) के समय सहायक मोडालिटीज़ की अनुपस्थिति में भी पर्याप्त प्रदर्शन लाभ प्राप्त होता है।