Towards Visually Grounded Multimodal Summarization via Cross-Modal Transformer and Gated Attention
Este artigo apresenta o SPeCTrA-Sum, um framework unificado de sumarização multimodal que emprega um Processador Visual Profundo para alinhamento cruzado hierárquico e um Preditor de Relevância Visual para seleção de imagens fundamentada, a fim de gerar resumos mais precisos e semanticamente coerentes.