💻 computer science

Attention Alignment Between Humans and Vision-Language Models

Este estudo revela que, embora os decodificadores baseados em LSTM em modelos de visão-linguagem alcancem um alinhamento superior com a atenção espacial humana em comparação aos decodificadores Transformer, estes últimos exibem uma concentração espacial mais nítida e melhor diferenciação de tarefas, com um compromisso emergindo onde modelos com menor alinhamento de fixação (CNN-Transformers) melhor predizem a atividade neural sintética no córtex visual primário.

Autores originais: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Publicado 2026-06-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a olhar para uma foto da mesma forma que um humano faz. Você quer que os olhos do robô pousem nos mesmos pontos que uma pessoa faria ao olhar para uma foto de uma rua movimentada ou de uma reunião familiar.

Este artigo é como um experimento científico onde pesquisadores construíram vários "cérebros de robôs" diferentes para ver qual deles se parece mais com um humano. Eles não construíram apenas um; eles construíram toda uma família de robôs misturando e combinando partes diferentes, como trocar a lente da câmera (o Encoder/Codificador) e a parte do cérebro que decide onde focar (o Decoder/Decodificador).

Aqui está o detalhamento de suas descobertas, usando analogias simples:

1. As Duas Partes Principais do Robô

Pense no sistema de visão do robô como uma câmera e um diretor:

O Encoder (A Câmera): Esta é a parte que recebe a imagem e a divide em pedaços. Os pesquisadores testaram dois tipos:
- CNN (O Scanner Local): Como uma pessoa olhando para uma foto um pequeno quadrado por vez, notando detalhes como bordas e texturas.
- ViT (O Observador Global): Como uma pessoa dando um passo atrás para ver a imagem inteira de uma vez, entendendo o quadro geral imediatamente.
O Decoder (O Diretor): Esta é a parte que decide: "Ok, agora que eu vejo a imagem, o que devo dizer e para onde devo olhar em seguida?" Eles testaram dois tipos:
- LSTM (O Diretor de Fluxo Único): Este diretor tenta segurar toda a informação visual em uma mão e espremê-la em um único "ponto de foco" para cada palavra que fala.
- Transformer (O Time de Diretores): Este diretor tem uma equipe de especialistas (chamados de "cabeças") que olham para a imagem ao mesmo tempo, cada um focando em um aspecto diferente.

2. A Grande Descoberta: O Diretor Importa Mais do que a Câmera

Os pesquisadores descobriram que quem dirige o show importa muito mais do que o tipo de câmera que está sendo usada.

O "Diretor LSTM" (Fluxo Único): Este robô foi o melhor em imitar os movimentos oculares humanos. Quando os humanos olhavam para uma foto, o mapa de atenção deste robô era muito semelhante a onde os humanos olhavam. Ele alcançou cerca de 85–87% de um match perfeito com o humano.
- O Problema: Embora olhasse para os lugares certos, ele era um pouco "desleixado". Sua atenção era espalhada como um holofote largo e difuso. Ele não dava zoom nitidamente em detalhes específicos e não mudava muito seu foco, independentemente de a tarefa ser "descrever a cena" ou "adivinhar o que a pessoa está olhando".
O "Diretor Transformer" (Time de Especialistas): Este robô era mais nítido e preciso. Ele conseguia focar sua atenção firmemente em pontos específicos, exatamente como um feixe de laser. Ele também mudava seu foco dramaticamente dependendo da tarefa (ex: olhando para um rosto para uma tarefa social vs. olhando para o quarto inteiro para uma descrição).
- O Problema: Apesar de ser mais nítido, ele era muito pior em imitar os movimentos oculares humanos. Ele olhava para o tipo certo de pontos, mas não para os pontos exatos que os humanos escolhiam.

O Veredito: Se você quer um robô que olha para uma foto exatamente onde um humano olha, você quer o "Diretor LSTM". Se você quer um robô que seja preciso e adaptável, mas que olha para pontos diferentes dos humanos, você quer o "Diretor Transformer".

3. A "Câmera" Ainda Ajuda

Embora o Diretor fosse a parte mais importante, a Câmera ainda fazia diferença.

A Câmera CNN (o scanner local) consistentemente ajudou o robô a parecer mais com um humano do que a Câmera ViT (o observador global).
A melhor combinação geral foi a Câmera CNN combinada com o Diretor LSTM. Este robô foi o que mais se aproximou do comportamento humano, atingindo quase 87% do limite humano.

4. O Teste de "Dano Cerebral"

Para ver o quão robustos eram esses robôs, os pesquisadores simularam uma "lesão cerebral" bloqueando o lado esquerdo da visão do robô (como uma condição chamada negligência hemiespacial, onde as pessoas ignoram um lado do espaço).

Os robôs Transformer (o time de diretores) foram muito resistentes. Mesmo com metade de sua visão bloqueada, eles ainda conseguiam entender a imagem porque seus membros da equipe podiam compartilhar a carga.
Os robôs LSTM (o diretor de fluxo único) tiveram mais dificuldades. Como eles dependiam de um grande "resumo" da imagem, bloquear parte da visão os prejudicou mais.

5. A Surpresa: Olhar vs. Pensar

Finalmente, os pesquisadores fizeram uma pergunta difícil: "Um robô que olha como um humano também pensa como um humano?"

Eles usaram uma ferramenta especial para simular como o cérebro humano reagiria às imagens que os robôs estavam olhando.

A Surpresa: O robô que olhava mais como um humano (o LSTM) não foi o que melhor previu a atividade cerebral.
Em vez disso, o robô CNN-Transformer (que olhava menos como um humano) foi na verdade melhor em prever quais partes do cérebro se acenderiam.
O que isso significa: Existe uma diferença entre "para onde olhamos" (comportamento) e "como nosso cérebro processa a imagem" (atividade neural). Um robô pode olhar para uma foto de uma maneira humana, mas processar a informação de uma maneira não humana, e vice-versa.

Resumo

Para olhar como um humano: Use uma câmera de "Scanner Local" (CNN) com um "Diretor de Fluxo Único" (LSTM). É um pouco difuso, mas atinge os pontos certos.
Para ser nítido e adaptável: Use uma câmera de "Observador Global" (ViT) com um "Time de Diretores" (Transformer). É preciso, mas olha para pontos diferentes dos humanos.
A Lição: Só porque os olhos de um robô se movem como os de um humano, não significa que seu cérebro funciona como o de um humano. Essas duas coisas estão relacionadas, mas não são a mesma coisa.

Resumo Técnico: Alinhamento de Atenção entre Humanos e Modelos de Visão-Linguagem

Declaração do Problema

A percepção visual é governada pela interação entre mecanismos sensoriais bottom-up (ascendentes) e objetivos top-down (descendentes). Embora os Modelos de Visão-Linguagem (VLMs) implementem ambos os componentes, permanece incerto como escolhas arquiteturais específicas no codificador (bottom-up) e no decodificador (top-down) moldam o alinhamento da atenção do modelo com a fixação visual humana. Pesquisas anteriores focaram amplamente na saliência bottom-up ou trataram a distribuição de treinamento como o principal motor do alinhamento, frequentemente negligenciando como os vieses arquiteturais influenciam, de forma independente e conjunta, os mecanismos de atenção top-down. Este estudo visa dissociar essas contribuições variando sistematicamente as arquiteturas de codificador e decodificador enquanto controla os dados de treinamento, questionando se configurações arquiteturais específicas produzem mapas de atenção que mimetizam melhor a seleção espacial e a adaptação de tarefas humanas.

Metodologia

Desenho Experimental

Os autores empregaram um desenho fatorial $2 \times 2$ para treinar quatro modelos de legenda de imagens, isolando os efeitos das famílias de codificadores e decodificadores:

Codificadores (Encoders): ResNet-101 (CNN) vs. ViT-B/16 (Vision Transformer).
Decodificadores (Decoders): LSTM com atenção suave aditiva vs. Transformer de 4 camadas com atenção cruzada multi-head.
Modelos de Referência (Baselines): Dois VLMs de última geração (Molmo 7B-D e Qwen3.5 9B) foram avaliados sem ajuste fino (fine-tuning).

Dados e Tarefas

Estímulos: 200 imagens naturais do conjunto de validação COCO 2017.
Dados Humanos: Movimentos oculares foram registrados de 49 participantes usando um EyeLink 1000 Plus (2000 Hz) durante duas tarefas distintas:
1. Tarefa de Descrição (Describe): Descrição geral da cena.
2. Tarefa Social (Social): Inferir o estado de atenção de um ator específico dentro da cena.
Verdade Fundamental (Ground Truth): Mapas de calor de fixação humana foram gerados convoluindo amostras de olhar com um núcleo Gaussiano e realizando o downsampling para $256 \times 256$ .

Protocolo de Treinamento

Todos os quatro modelos customizados passaram por um currículo consistente de quatro fases:

Pré-treinamento: Decodificador treinado em legendas do COCO 2014 (codificador congelado).
Ajuste Fino (Describe): Codificador descongelado; treinado no COCO 2014.
Ajuste Fino (Social): Codificador descongelado; treinado em um conjunto de dados de legendas sociais coletado em laboratório.
Avaliação: Mapas de atenção foram extraídos e comparados com mapas de calor humanos para a tarefa correspondente.

Métricas de Avaliação

Alinhamento de Fixação: Correlação de Spearman entre mapas de atenção do modelo e mapas de calor de fixação humana, normalizados contra o teto de ruído humano-humano.
Dispersão Espacial: Entropia de Shannon normalizada para medir a difusão da atenção (concentração vs. distribuição).
Adaptação de Tarefa: Correlação entre mapas de atenção gerados para a tarefa Social versus a tarefa Describe para avaliar a reconfiguração específica da tarefa.
Robustez: Simulação de negligência hemiespacial através da ablação progressiva da grade espacial do lado esquerdo (7% a 100%) para medir a degradação da legenda.
Predição Neural: Um modelo de codificação ridge em bandas previu respostas de fMRI simuladas via TRIBE usando os mapas de atenção do modelo ("onde") e embeddings do CLIP ("o quê"). A partição de variância foi usada para isolar contribuições únicas e compartilhadas.

Resultados Principais

1. A Arquitetura do Decodificador Domina o Alinhamento

A escolha do decodificador foi o principal preditor de alinhamento com as fixações humanas, explicando uma diferença de 40 a 50 pontos percentuais:

Decodificadores LSTM: Alcançaram o maior alinhamento, atingindo 80–87% do teto de ruído humano (ex: CNN-LSTM: 85–87%).
Decodificadores Transformer: Mostraram um alinhamento significativamente menor, atingindo 40–59% do teto (ex: ViT-Transformer: 39–52%).
Contribuição do Codificador: Os codificadores CNN forneceram uma vantagem secundária de 5 a 20 pontos percentuais sobre os codificadores ViT, dependendo da família de decodificadores. A combinação CNN-LSTM foi a mais alinhada no geral.
Modelos SOTA: Molmo 7B-D (76–82%) e Qwen3.5 9B (53–69%) situaram-se entre os extremos dos modelos treinados, mas não superaram o CNN-LSTM customizado.

2. Dissociação entre Alinhamento e Propriedades Espaciais

Uma descoberta crítica foi o trade-off entre precisão de alinhamento e características espaciais:

Modelos LSTM: Embora altamente alinhados com os locais de fixação humana, seus mapas de atenção eram espacialmente difusos (entropia de Shannon $\approx 0,999$ ), espalhando pesos por quase todas as 196 posições espaciais. Eles também exibiram baixa diferenciação de tarefa, mantendo padrões de atenção semelhantes entre as tarefas Describe e Social.
Modelos Transformer: Apesar do menor alinhamento de fixação, exibiram maior concentração espacial e mais forte diferenciação de tarefa (ex: o ViT-Transformer mostrou os mapas de atenção mais distintos entre as tarefas).

3. Robustez à Lesão

Na simulação de negligência hemiespacial, a robustez acompanhou o grau de processamento distribuído:

ViT-Transformer: A arquitetura mais distribuída foi a mais resiliente à ablação espacial, mantendo a qualidade da legenda mesmo com perda significativa do campo receptivo.
Modelos LSTM: Mostraram a maior degradação sob lesão, particularmente em níveis de severidade elevados, onde todos os patches recebiam peso igual.

4. Precisão Preditiva Neural vs. Alinhamento Comportamental

O estudo encontrou uma dissociação entre o alinhamento comportamental e o poder preditivo neural:

CNN-Transformer: Apesar de ocupar o terceiro lugar em alinhamento de fixação, os mapas de atenção deste modelo melhor predisseram a atividade cerebral sintética (maior $R^2$ de todo o cérebro) na simulação TRIBE.
Modelos LSTM: Embora sejam os melhores alinhados ao olhar humano, não foram os melhores preditores de respostas neurais.
Partição de Variância: O "o quê" (conteúdo visual/semântico via CLIP) explicou a maior parte da variância neural, concentrada em regiões de linguagem e temporais. O "onde" (atenção espacial) explicou unicamente a variância primariamente no córtex visual inicial e redes de atenção dorsal. Os dois sinais foram amplamente compartilhados em regiões de ordem superior, sugerindo menos separação entre as vias "o quê" e "onde" do que o tradicionalmente assumido.

Significância e Alegações

O artigo alega que a arquitetura do decodificador é o fator dominante em determinar quão bem a atenção de um VLM se alinha com a seleção espacial humana, com decodificadores LSTM superando os Transformers em alinhamento comportamental, mas falhando em capturar a nitidez espacial e a adaptabilidade de tarefa dos humanos. Por outro vez, os decodificadores Transformer, embora menos alinhados comportalmente, oferecem superior acuidade espacial e robustez.

Os autores destacam um trade-off fundamental:

Mecanismos Top-down (Decodificadores): Os decodificadores LSTM atuam como um gargalo, forçando uma amostragem ampla e difusa que mimetiza a distribuição de fixação humana, mas carece de nitidez específica da tarefa. Os decodificadores Transformer distribuem a atenção entre as cabeças (heads), permitindo especialização e adaptação de tarefa, mas resultando em menor sobreposição de fixação total.
Mecanismos Bottom-up (Codificadores): As CNNs superam consistentemente as ViTs em alinhamento, reforçando a ideia de que vieses de processamento local podem ser benéficos para mimetizar a seleção visual humana.

Crucialmente, o estudo demonstra que alinhamento de fixação e precisão preditiva neural não são métricas intercambiáveis. Um modelo pode ser menos alinhado aos movimentos oculares humanos e, ainda assim, melhor predizer respostas neurais, sugerindo que diferentes vieses arquiteturais capturam diferentes facetas do processamento humano. Os achados sugerem que os VLMs atuais não capturam totalmente o espectro completo da atenção humana, que requer tanto a amostragem difusa das LSTMs quanto a concentração nítida e adaptável à tarefa dos Transformers.