What Makes Linguistic Representations Good Models of High-Level Visual Perception in the Human Brain?

Enunciado do Problema
Estudos recentes demonstraram que descrições de imagens (legendas) representadas por modelos de linguagem de grande escala (LLMs) podem prever respostas neurais em áreas visuais de alto nível do cérebro humano, desafiando a noção de que a percepção visual depende exclusivamente de características estritamente visuais. No entanto, os fatores específicos que impulsionam essa preditividade cerebral permanecem incertos. Não se sabe se o desempenho é impulsionado pelo conteúdo semântico das legendas, pela fluência e detalhamento do texto, ou pela arquitetura específica do modelo de linguagem utilizado para gerar os embeddings. Além disso, trabalhos anteriores basearam-se exclusivamente em legendas anotadas por humanos do conjunto de dados MS COCO, que são frequentemente curtas e fornecidas por trabalhadores de crowdsourcing, potencialmente limitando a qualidade das representações linguísticas. Este estudo busca investigar sistematicamente como variações no conteúdo das legendas (geradas por diferentes modelos de visão-linguagem) e variações nos modelos de linguagem usados para embutir essas legendas influenciam a preditividade cerebral e o alinhamento comportamental.

Metodologia
Os autores utilizaram o Natural Scenes Dataset (NSD), que contém respostas de fMRI de alta resolução de oito participantes visualizando 906 imagens naturais do conjunto de dados MS COCO. Nenhuma descrição de imagem foi apresentada aos participantes durante os exames de fMRI.

1. Geração de Legendas: Para cada uma das 906 imagens, os autores geraram múltiplas legendas usando cinco Modelos de Visão-Linguagem (VLMs) de código aberto: LLaVA OneVision, Phi-4, Pixtral, Qwen2.5-VL e Molmo. Estas foram comparadas com as legendas originais anotadas por humanos do MS COCO. As legendas geradas variaram sistematicamente em comprimento, fluência (medida por perplexidade), visualidade (baseada nas Normas Sensoriomotoras de Lancaster) e densidade lexical.
2. Geração de Embeddings: Cada legenda foi embutida usando cinco Modelos de Linguagem (LMs) distintos, apenas de texto, para garantir que nenhuma informação visual "contaminasse" as representações linguísticas. Os LMs incluíram:
   • Um modelo de linguagem mascarada precoce (BERT).
   • Dois modelos autorregressivos (GPT-2, Llama3.1).
   • Dois embutidores de texto recentes ajustados para tarefas semânticas (Qwen3 Embedding, KaLM Embedding).
   • Os embeddings foram extraídos de todas as camadas desses modelos.
3. Métricas de Avaliação:
   • Codificação Cerebral: Regressões lineares por voxel (regressão Ridge) foram treinadas para prever ativações neurais em três Regiões de Interesse (ROIs) funcionalmente localizadas: áreas seletivas para faces, corpos e lugares. O desempenho foi medido pela correlação de Pearson entre as ativações previstas e observadas.
   • Alinhamento Cerebral: A Análise de Similaridade Representacional (RSA) foi usada para calcular a correlação de Spearman entre as Matrizes de Dissimilaridade Representacional (RDMs) derivadas dos embeddings das legendas e aquelas derivadas das ativações neurais.
   • Alinhamento Comportamental: A RSA também foi aplicada para comparar os embeddings das legendas contra julgamentos de similaridade de imagens humanas coletados dos mesmos participantes do NSD.
   • Dimensionalidade Intrínseca: Os autores utilizaram o Estimador de Razão Generalizada de Dimensão Intrínseca (GRIDE) para analisar a compressão de informação através das camadas do modelo.

Resultos Principais

• Legendas Geradas por Máquina vs. Anotações Humanas: Legendas geradas por máquinas predisseram significativamente as ativações neurais, muitas vezes superando as legendas humanas anotadas do MS COCO usadas em trabalhos anteriores. Especificamente, as legendas geradas pelo Qwen2.5-VL, Pixtral e Molmo mostraram a maior preditividade. Os autores atribuem o desempenho inferior das legendas do MS COCO parcialmente à sua menor fluência e brevidade, observando que a média de múltiplas legendas do MS COCO melhorou o desempenho para igualar-se às legendas únicas geradas por máquinas.
• Impacto dos Modelos de Linguagem: Embutidores de texto (Qwen3 e KaLM) superaram consistentemente os LMs autorregressivos (GPT-2, Llama3) e o BERT tanto na preditividade cerebral quanto no alinhamento comportamental. Isso sugere que modelos explicitamente ajustados para representação semântica capturam informações relevantes para o cérebro de forma mais eficaz do que aqueles treinados primariamente para a previsão do próximo token.
• Análise por Camadas: Tanto a preditividade cerebral quanto o alinhamento comportamental atingiram o pico em profundidades intermediárias da rede, logo após uma fase de alta dimensionalidade intrínseca. Esta fase de alta dimensionalidade é teorizada como o marco para a emergência de estruturas sintáticas e semânticas abstratas.
• Dissociação em ROIs: Uma "dupla dissociação" foi observada no alinhamento por camadas. O alinhamento com as ROIs seletivas para faces e corpos atingiu o pico nas camadas médias e declinou nas camadas posteriores, enquanto o alinhamento com as ROIs seletivas para lugares aumentou dramaticamente nas camadas mais profundas. Isso sugere que diferentes informações linguísticas são necessárias para modelar padrões de similaridade nessas distintas áreas visuais.
• Superioridade Comportamental: Os embeddings de legendas, particularmente os de embutidores de texto usando legendas geradas por máquinas, alcançaram um maior alinhamento com os julgamentos humanos de similaridade de imagens do que as características de imagem extraídas de modelos de visão de última geração (ResNet-50 e ViT).

Significância e Alegações
O artigo afirma estabelecer que tanto o conteúdo das legendas de imagens quanto o modelo de linguagem específico usado para representá-las são determinantes críticos para o desempenho de modelagem cerebral e comportamental. Os autores demonstram que os embeddings de legendas são uma ferramenta útil para o estudo da percepção visual de alto nível, capazes de prever a atividade neural e julgamentos de similaridade humana com alta precisão.

Crucialmente, o estudo sugere que a preditividade cerebral das representações linguísticas não é meramente um subproduto de vazamento de informação visual, mas é impulsionada pelas propriedades semânticas do texto. A descoberta de que os embutidores de texto superam os modelos autorregressivos indica que a capacidade de representar o significado da sentença é primordial para modelar a percepção visual. Além disso, a análise da dimensionalidade intrínseca fornece evidências de que a emergência da estrutura linguística abstrata (sinalizada por um pico na dimensionalidade intrínseca) é a fase específica onde as representações se tornam mais preditivas da atividade cerebral humana. Finalmente, o estudo oferece a primeira análise dos julgamentos de similaridade do NSD, revelando que as representações linguísticas podem modelar a similaridade percebida por humanos até melhor do que as características visuais, destacando a profunda interação entre linguagem e percepção visual.