Towards Visually Grounded Multimodal Summarization via Cross-Modal Transformer and Gated Attention
Questo articolo introduce SPeCTrA-Sum, un framework unificato di sintesi multimodale che impiega un Processore Visivo Profondo per l'allineamento gerarchico cross-modale e un Predittore di Rilevanza Visiva per la selezione principiale delle immagini al fine di generare sintesi più accurate e semanticamente coerenti.