Attention, not scale, drives human-AI alignment in multimodal language prediction

Resumo Técnico: A Atenção, não a Escala, Impulsiona o Alinhamento Humano-IA na Predição de Linguagem Multimodal

Declaração do Problema
Embora os avanços recentes em IA generativa tenham demonstrado que grandes modelos de linguagem (LLMs) podem simular o comportamento humano em tarefas unimodais, permanece incerto até que ponto os atuais modelos de visão-linguagem (VLMs) replicam o processamento preditivo humano em ambientes ecológicos e multimodais. A compreensão da linguagem humana integra rotineiramente o contexto visual para restringir o espaço do conteúdo semântico subsequente, um processo indexado por movimentos oculares no Paradigma do Mundo Visual (VWP). No entanto, não se sabe se a adição de contexto visual aos modelos computacionais melhora seu alinhamento com as predições humanas, ou se esse alinhamento é impulsionado principalmente pela escala do modelo (contagem de parâmetros) ou por características arquitetônicas específicas, como mecanismos de atenção. Além disso, a extensão em que os padrões de atenção dos modelos correspondem ao olhar humano durante a predição multimodal permanece amplamente inexplorada.

Metodologia
Os autores conduziram um experimento de larga escala, baseado na web, envolvendo 600 participantes humanos e cinco sistemas pré-treinados de última geração (FLAVA, LLaMA com adaptador visual, GPT-4, variantes do CLIP e BLIP).

• Design Experimental: Os participantes visualizaram 100 clipes de filmes de seis segundos de The Prestige e The Usual Suspects. Em uma condição de "Paradigma Multimodal", eles assistiram a clipes de vídeo com áudio sincronizado; nas condições "Unimodais", receberam estímulos apenas de áudio ou apenas visuais. Os participantes avaliaram a relevância do estímulo para prever uma palavra-alvo específica em uma escala de 0 a 100. Os movimentos oculares foram rastreados via webcam durante toda a tarefa.
• Modelos Computacionais: O estudo avaliou modelos em três paradigmas:
  1. Unimodal (Apenas texto): Os modelos processaram legendas ou prompts sem entrada visual.
  2. Multimodal (Texto + Imagem): Os modelos processaram texto sincronizado com quadros de vídeo.
  3. Baseado em Prompt: Para modelos fechados como o GPT-4, as instruções humanas foram usadas como prompts para gerar estimativas de previsibilidade determinísticas (temperatura definida em 0).
• Modelos Testados:
  • FLAVA: Um codificador de visão-linguagem de 1,3 bilhão de parâmetros.
  • LLaMA-Adapter: Um modelo de apenas texto de 7 bilhões de parâmetros com uma camada de adaptador visual.
  • GPT-4: Versões apenas de texto e de texto-imagem.
  • CLIP: Variantes com backbones ResNet (sem atenção) e Vision Transformer (ViT, com atenção) de diversos tamanhos.
  • BLIP: Um modelo que apresenta mecanismos de atenção cruzada (cross-attention).
• Métricas de Análise:
  • Alinhamento: Correlações de Pearson entre as pontuações de previsibilidade do modelo e as classificações de relevância humana, corrigidas contra um "teto humano" (correlação de deixar um participante de fora).
  • Sobreposição de Atenção: Comparação dos mapas de calor de atenção do modelo (provenientes de camadas de transformer) com os mapas de calor de rastreamento ocular humano usando correlação de Spearman, Saliência de Caminho de Varredura Normalizada (NSS) e Ganho de Informação (IG).
  • Alinhamento Semântico: Análise de Similaridade Representacional (RSA) para ligar as representações internas do modelo com julgamentos semânticos humanos de pistas visuais.
  • Ablação: Os pesos de atenção no CLIP ViT foram manipulados (uniforme e embaralhamento de patches) para testar o papel causal da atenção aprendida.

Principais Resultados

1. O Contexto Visual Melhora o Alinhamento: Adicionar contexto visual aumentou significativamente o alinhamento entre as predições do modelo e as humanas em todas as arquiteturas (média $\Delta r \approx 0,18$). O FLAVA multimodal alcançou a maior correlação bruta ($\rho = 0,42$), explicando aproximadamente 72% da variância explicável humana, superando modelos maiores como GPT-4 e LLaMA no cenário multimodal. Crucialmente, o tamanho dos parâmetros não correlacionou com a melhoria do alinhamento; modelos menores e cuidadosamente arquitetados superaram modelos maiores.
2. Mecanismos de Atenção são Críticos: Modelos com backbones Vision Transformer (ViT) (que incorporam atenção) superaram significativamente aqueles com backbones ResNet (sem atenção) na predição de julgamentos humanos, particularmente quando as pistas visuais eram informativas (alta previsibilidade humana). Testes de permutação mostraram uma vantagem consistente do ViT em todos os percentis de previsibilidade.
3. Ablação de Atenção Confirma a Necessidade: Quando a atenção aprendida no CLIP ViT foi substituída por atenção uniforme ou por embaralhamento de patches, a relação positiva entre a confiança do modelo e as classificações humanas inverteu-se, indicando que o conteúdo específico da atenção aprendida, e não apenas a existência do mecanismo, impulsiona o alinhamento.
4. A Atenção do Modelo Espelha o Olhar Humano: Mapas de atenção das camadas de atenção cruzada do BLIP (especificamente a camada 9) mostraram a maior sobreposição com os dados de rastreamento ocular humano, explicando até 70% da variância do teto humano. Esse alinhamento foi maior quando pistas visuais semanticamente salientes estavam presentes.
5. Integração Cross-Modal: A atenção cruzada do BLIP, que integra explicitamente o contexto linguístico na atenção visual, superou os mecanismos de atenção puramente visuais (BLIP-Vision) e os modelos contrastivos (CLIP) no alinhamento com o olhar e julgamentos semânticos humanos. A atenção cruzada permitiu que o modelo rastreasse fixações humanas antecipatórias em pistas semânticas (ex: objetos, ações, cenários).
6. Redução de Entropia: A entrada visual reduziu de forma confiável a entropia preditiva dos modelos (ex: FLAPA $\Delta H = 0,26$ bits), confirmando que o contexto visual restringe a distribuição preditiva do modelo de forma semelhante à maneira como restringe a cognição humana.

Significância e Alegações
O artigo argumenta que a atenção seletiva a pistas informativas, em vez da mera escala do modelo, é o principal impulsionador do alinhamento humano-IA na predição de linguagem multimodal.

• Restrições Arquitetônicas sobre Escala: Os achados desafiam a noção de que escalar parâmetros por si só gera comportamento humano. Em vez disso, o estudo sugere que características arquitetônicas que permitem a integração eficaz de modalidades (especificamente a atenção cruzada) são mais críticas para fundamentar a linguagem no contexto visual.
• Fundamentação Multimodal: Os resultados sugerem que modelos treinados conjuntamente em dados multimodais (como FLAVA e BLIP) podem alcançar um melhor alinhamento comportamental do que modelos treinados apenas em texto e adaptados post-hoc, apoiando a ideia de que o alinhamento corporal ou estrutural é necessário para um processamento multimodal eficaz.
• Atenção como Mecanismo: O estudo fornece evidências de que os mecanismos de atenção de transformer, particularmente a atenção cross-modal, funcionam de forma semelhante à atenção humana ao focar seletivamente em informações visuais semanticamente relevantes para restringir a predição da linguagem. A sobreposição entre a atenção do modelo e o olhar humano sugere que esses modelos não estão apenas processando dados estatisticamente, mas estão engajados em uma forma de processamento preditivo que espelha estratégias cognitivas humanas.
• Limitações e Escopo: Os autores observam que, embora seus modelos aproximem-se do comportamento humano, o alinhamento não é perfeito. Eles destacam que modelos como o CLIP tendem a focar em áreas periféricas quando as pistas preditivas estão ausentes, enquanto humanos e modelos de atenção cruzada centralizam a atenção, sugerindo que as arquiteturas atuais ainda carecem da total flexibilidade do tratamento de incerteza humano.

Em conclusão, o artigo postula que o caminho para uma IA mais humana em configurações multimodais não reside simplesmente no aumento do tamanho do modelo, mas no refinamento dos mecanismos arquitetônicos — especificamente a atenção — que permitem a integração dinâmica e semanticamente guiada de informações visuais e linguísticas.