VQA-MHUG: A Gaze Dataset to Study Multimodal Neural Attention in Visual Question Answering
O artigo apresenta o VQA-MHUG, um novo conjunto de dados de olhar humano multimodal para VQA, e demonstra pela primeira vez que a correlação entre a atenção neural e a humana no texto é um preditor significativo do desempenho do modelo, sugerindo a necessidade de aprimorar os mecanismos de atenção textual nas arquiteturas de visão e linguagem.