Inference-Time Dynamic Modality Selection for Incomplete Multimodal Classification
Il paper propone DyMo, un nuovo framework di selezione dinamica delle modalità a tempo di inferenza che risolve il dilemma tra scarto e imputazione dei dati multimodali incompleti massimizzando le informazioni rilevanti per il compito tramite una funzione di ricompensa basata sulla perdita del task, ottenendo prestazioni superiori rispetto agli stati dell'arte su diversi dataset.