VQA-MHUG: A Gaze Dataset to Study Multimodal Neural Attention in Visual Question Answering

O artigo apresenta o VQA-MHUG, um novo conjunto de dados de olhar humano multimodal para VQA, e demonstra pela primeira vez que a correlação entre a atenção neural e a humana no texto é um preditor significativo do desempenho do modelo, sugerindo a necessidade de aprimorar os mecanismos de atenção textual nas arquiteturas de visão e linguagem.

O essencial

Imagine que você está tentando ensinar um robô muito inteligente a responder perguntas sobre fotos. Você mostra uma foto de um cachorro e pergunta: "Qual é a cor do cachorro?". O robô olha para a foto, lê a pergunta e tenta adivinhar a resposta.

O problema é que, às vezes, o robô "olha" para a foto de um jeito estranho ou "lê" a pergunta de forma errada, e acaba dando a resposta errada, mesmo que a resposta esteja óbvia para nós.

É aqui que entra o estudo VQA-MHUG, descrito neste artigo. Vamos explicar como eles fizeram isso e o que descobriram, usando algumas analogias do dia a dia.

1. O Problema: O Robô e os Óculos Mágicos

Antes deste estudo, os cientistas só conseguiam ver onde os robôs olhavam nas fotos. Era como se eles tivessem óculos mágicos que mostravam um ponto brilhante na imagem indicando o que o robô estava focando.

Mas havia um buraco nessa história: ninguém sabia como os robôs liam a pergunta escrita. Eles olhavam para a palavra "cachorro" ou para a palavra "cor"? Eles liam a pergunta inteira de uma vez ou pulavam palavras?

Para consertar isso, os pesquisadores precisavam de um novo tipo de "óculos mágico" que mostrasse o que os humanos fazem quando olham para a foto e leem a pergunta.

2. A Solução: O Grande Experimento de 49 Pessoas

Os autores criaram um novo banco de dados chamado VQA-MHUG. Para isso, eles reuniram 49 voluntários em um laboratório.

• O Cenário: Cada pessoa sentou na frente de uma tela.
• A Tarefa: Eles viram uma foto e uma pergunta (ex: "Quantas bananas estão maduras?").
• A Tecnologia: Usaram um rastreador de olhos super rápido (como um detector de movimento de alta precisão) para anotar exatamente para onde os olhos das pessoas iam.
  • Para onde eles olhavam na foto?
  • Para quais palavras eles olhavam na pergunta?

É como se eles tivessem filmado o "mapa do tesouro" dos olhos humanos. Agora, eles tinham um mapa de como um humano "lê" e "vê" para resolver o problema.

3. A Descoberta: O Segredo da Leitura

Depois de ter esse mapa humano, eles compararam com 5 modelos de inteligência artificial (robôs) mais famosos da atualidade. Eles queriam ver: "O robô está olhando para as mesmas coisas que a pessoa?"

Aqui está a grande surpresa, a parte mais importante do estudo:

• O que todos esperavam: Achavam que o segredo para o robô acertar era olhar para a foto no lugar certo (como olhar para a banana na foto).
• O que eles descobriram: O segredo real estava na leitura da pergunta.

A Analogia do Detetive:
Imagine que você é um detetive tentando resolver um crime.

• O Robô antigo olhava para a cena do crime (a foto) com muita atenção, mas lia a ficha do suspeito (a pergunta) de qualquer jeito, pulando palavras importantes.
• O Estudo mostrou: Os robôs que acertavam mais não eram necessariamente os que olhavam melhor para a foto, mas sim os que liam a pergunta de forma mais parecida com a humana.

Se o robô "lê" a pergunta como um humano lê (prestando atenção nas palavras-chave, na ordem das palavras), ele acerta muito mais. Se ele ignora a pergunta e foca só na foto, ele erra.

4. Por que isso é importante?

Antes, os cientistas pensavam que o problema era apenas fazer os robôs "verem" melhor as imagens. Este estudo diz: "Esperem! Vocês precisam ensinar os robôs a 'lerem' melhor também!"

É como se você estivesse tentando ensinar um aluno a fazer matemática. Você pode dar a ele uma calculadora super potente (a visão da foto), mas se ele não souber ler o enunciado do problema (a pergunta), ele nunca vai acertar a conta.

Resumo em uma frase

Os pesquisadores criaram um mapa de como os olhos humanos se movem ao ler perguntas e ver fotos, e descobriram que, para os robôs ficarem mais inteligentes, eles precisam aprender a ler as perguntas da mesma forma que nós, e não apenas olhar para as imagens.

O Futuro

Agora, os cientistas sabem que precisam criar robôs que "leiam" com mais atenção. Isso pode ajudar a criar assistentes virtuais melhores, sistemas de educação que entendem como os alunos pensam e até interfaces que se adaptam ao que estamos olhando e lendo.

Em resumo: Para um robô ser bom em responder perguntas, ele precisa aprender a ler como um humano, não apenas a ver como uma câmera.

Resumo técnico

1. O Problema

A Resposta a Perguntas sobre Imagens (VQA - Visual Question Answering) é uma tarefa complexa na interseção entre Processamento de Linguagem Natural (PLN) e Visão Computacional (VC). Embora os mecanismos de atenção neural tenham revolucionado o desempenho dos modelos de VQA, a compreensão de como e por que essas atenções funcionam permanece limitada.

O principal gargalo identificado pelos autores é a falta de dados humanos multimodais. Trabalhos anteriores focaram quase exclusivamente na atenção humana sobre imagens, utilizando frequentemente dados de rastreamento de mouse como substituto (proxy) para o olhar humano. No entanto, dados de mouse demonstraram ser imprecisos, superestimando áreas relevantes e ignorando informações de fundo. Além disso, não existia nenhum conjunto de dados público que fornecesse dados de olhar humano (eye-tracking) simultaneamente sobre as imagens e as perguntas textuais. Isso impediu a análise de como a atenção neural ao texto se compara à humana e como isso impacta o desempenho final do modelo.

2. Metodologia

A. Coleta do Dataset VQA-MHUG

Os autores introduzem o VQA-MHUG, o primeiro conjunto de dados de olhar humano multimodal para VQA.

• Participantes: Estudo realizado com 49 participantes (18 mulheres, 31 homens), com visão normal ou corrigida.
• Equipamento: Eye tracker EyeLink 1000 Plus de alta velocidade (2 kHz).
• Estímulos: 3.990 pares de imagem-pergunta extraídos do conjunto de validação VQAv2.
• Seleção de Dados: Os pares foram selecionados para focar em questões que máquinas têm dificuldade, mas humanos respondem facilmente. O conjunto foi balanceado por tipo de raciocínio (12 categorias, incluindo uma nova categoria de "leitura" de texto na imagem) e dificuldade da máquina.
• Processo: Os participantes leram a pergunta e visualizaram a imagem, com o tempo de visualização ilimitado, mas instruídos a avançar assim que compreendessem a tarefa. Foram coletados 11.970 amostras de olhar.
• Validação: Os mapas de atenção gerados foram validados ao mascarar regiões irrelevantes das imagens; participantes conseguiram responder com precisão comparável àquela com imagens completas, confirmando que os mapas capturam as regiões essenciais.

B. Análise Comparativa (Humanos vs. Máquinas)

Os autores compararam os dados humanos do VQA-MHUG com a atenção interna de cinco modelos de ponta (SOTA) de VQA (2017-2020):

1. MFB (Multimodal Factorized Bilinear Pooling)
2. BAN (Bilinear Attention Network)
3. Pythia
4. MCAN (Modular Co-Attention Network) com características de região (MCANR)
5. MCAN com características de grade (MCANG)

Métricas de Avaliação:

• Correlação de Rank de Spearman ($\rho$): Para comparar a classificação de importância entre regiões de imagem/palavras.
• Divergência Jensen-Shannon (JSD): Para medir a distância entre as distribuições de atenção.
• Regressão Logística Ordinal (OLR): Um modelo estatístico para prever a probabilidade de um modelo acertar a resposta com base na correlação de atenção ao texto e à imagem, tratando a precisão como uma variável ordinal.

3. Contribuições Principais

1. VQA-MHUG: A criação e disponibilização pública do primeiro dataset de olhar humano multimodal (texto + imagem) para tarefas de VQA.
2. Análise de Atenção ao Texto: A descoberta de que a similaridade entre a atenção neural e a humana sobre o texto é um preditor significativo de desempenho, algo nunca antes analisado devido à falta de dados.
3. Insights Arquiteturais: Demonstração de que diferentes arquiteturas aprendem estratégias de atenção distintas e que a similaridade com humanos nem sempre garante o melhor desempenho global, mas a atenção ao texto é crucial para todos os modelos.

4. Resultados Chave

• Atenção à Imagem: Modelos que usam características de região (como MCANR) tendem a ter maior correlação com a atenção humana na imagem do que modelos baseados em grade. Curiosamente, o modelo com maior acurácia geral (MCANG - grade) apresentou a menor correlação com a atenção humana na imagem, sugerindo que a similaridade visual não é o único fator de sucesso.
• Atenção ao Texto (Descoberta Crítica):
  • Para todos os cinco modelos, uma maior correlação com a atenção humana ao texto é um preditor significativo de acurácia.
  • A Regressão Logística Ordinal mostrou que, à medida que a correlação com a atenção humana ao texto diminui, a probabilidade do modelo prever a resposta corretamente cai drasticamente (p < 0.001 para a maioria dos modelos).
  • Modelos como Pythia e MFB mostraram maior similaridade à atenção humana no texto do que os modelos MCAN, que, apesar de terem alta acurácia, apresentam padrões de leitura de texto menos humanos.
• Correlação Inter-Modal: A interação entre a correlação de texto e imagem também se mostrou um preditor significativo para alguns modelos (MCANG e Pythia).
• Qualidade dos Dados: Os mapas de atenção do VQA-MHUG mostraram alta correlação com o dataset AiR-D (outro dataset de eye-tracking), validando a qualidade dos dados. Em contraste, datasets baseados em mouse (SALICON, VQA-HAT) apresentaram correlação significativamente menor e superestimaram áreas relevantes.

5. Significado e Conclusão

O trabalho estabelece um novo paradigma para a pesquisa em VQA e atenção multimodal. A descoberta de que a atenção ao texto é um fator limitante e preditivo de desempenho desafia a visão focada apenas na imagem.

Implicações Futuras:

• Melhoria de Modelos: Projetar mecanismos de atenção neural que imitem mais de perto a leitura humana de perguntas pode levar a ganhos significativos de desempenho em VQA.
• Interpretabilidade: O dataset permite investigar falhas de modelos onde a atenção ao texto é desalinhada com a humana.
• Aplicações: Os dados podem ser usados para desenvolver interfaces de usuário mais inteligentes e sistemas de aprendizado adaptativo que consideram o comportamento de leitura e visualização humana.

Em resumo, o VQA-MHUG preenche uma lacuna crítica de dados e revela que, para que as máquinas "raciocinem" melhor sobre imagens e perguntas, elas precisam aprender a "ler" as perguntas de maneira mais semelhante aos humanos.