Language-aligned models and structured scene descriptions reveal sensitivity to compositional scene structure in the high-level visual cortex

Resumo Técnico

Problema e Motivação
Cenas naturais são definidas não meramente pelos objetos que contêm, mas pelas relações estruturadas entre essas entidades, incluindo disposição espacial, associações semânticas, interações sociais e ações. Embora o sistema visual extraia rapidamente tal informação estrutural para interpretar o significado da cena, permanece incerto se as representações do córtex visual de alto nível codificam essa estrutura composicional ou se refletem primariamente a coocorrência de entidades individuais. Trabalhos anteriores estabeleceram que modelos de visão alinhados à linguagem predizem melhor as respostas cerebrais do que modelos puramente de visão, mas a base dessa vantagem é debatida: pode advir de rótulos semânticos mais ricos ou da capacidade de capturar uma organização relacional estruturada. Este estudo visa dissociar a sensibilidade à organização estruturada da cena da sensibilidade à mera presença de elementos da cena.

Metodologia
Os autores utilizaram dados de fMRI 7T do Natural Scenes Dataset (NSD), compreendendo respostas de oito participantes visualizando 10.000 imagens naturais únicas. O estudo empregou duas abordagens complementares dentro de um framework de codificação:

1. Manipulação Linguística: Para cada imagem, um modelo generativo de visão-linguagem (Qwen 2.5-VL) produziu uma descrição narrativa. Os autores construíram múltiplos espaços de características linguísticas para manipular sistematicamente a estrutura enquanto controlavam o conteúdo lexical:

   • Narrativa Completa: Descrições íntegras e coerentes.
   • Bag-of-Words (Saco de Palavras): As mesmas palavras da narrativa, mas em ordem aleatória, interrompendo a estrutura sintática e relacional.
   • Palavras de Conteúdo: Substantivos, verbos e adjetivos em ordem aleatória (excluindo palavras funcionais).
   • Categorias Isoladas: Modelos treinados apenas em substantivos, verbos ou adjetivos.
   • Descrições Regeneradas: Um controle onde as palavras funcionais foram removidas da narrativa original, e um modelo de linguagem regenerou uma frase gramatical usando apenas as palavras de conteúdo originais. Isso testou se a vantagem narrativa se devia à fluência gramatical genérica ou à organização relacional específica da imagem.
   • Os embeddings de texto foram derivados utilizando codificadores CLIP (ViT-L/14) e RoBERTa.

2. Comparação de Modelos Computacionais: Os autores compararam a preditividade neural entre um modelo de visão alinhado à linguagem (SigLIP2) e um modelo de visão puramente autossupervisionado (DINOv3). Ambos os modelos compartilhavam arquiteturas similares (Vision Transformer Large) e escalas de treinamento semelhantes, mas diferiam em seus objetivos de aprendizado (perda de contraste visão-texto vs. aprendizado visual autossupervisionado).

Codificação e Análise
Modelos de regressão de ridge voxelwise foram ajustados para prever as respostas de fMRI a partir dos espaços de características. O estudo utilizou partição de variância para calcular a variância explicada única ($R^2_{unique}$). Esta métrica isolou a contribuição de um conjunto de características específico (ex: estrutura narrativa) medindo a queda no desempenho de predição quando esse conjunto era removido de um modelo conjunto contendo tanto o conjunto alvo quanto um baseline (ex: bag-of-words). A significância estatística foi avaliada via reamostragem bootstrap não paramétrica e correção de FDR.

Principais Resultados

• A Estrutura Narrativa Supera os Controles Lexicais: Descrições narrativas completas predisseram significativamente as respostas corticais melhor do que os controles de bag-of-words e de palavras de conteúdo em todo o córtex visual de alto nível, incluindo regiões seletivas de categoria (EBA, FFA, PPA, OPA, RSC). Essa vantagem foi mínima no córtex visual primário.
• Especificidade à Estrutura Composicional: A variância única explicada pelas narrativas sobre o bag-of-words não foi impulsionada por palavras funcionais ou fluência genérica. O controle de descrição regenerada mostrou que, embora frases gramaticais reconstruídas a partir de palavras de conteúdo capturassem alguma variância, elas não conseguiram igualar o poder preditivo das narrativas originais específicas da imagem. Isso indica que o cére-se codifica a organização relacional específica da cena, não apenas formas de frases fluentes.
• Contribuições Lexicais: Substantivos explicaram a maior parte da variância, seguidos por verbos e adjetivos. No entanto, combinações não ordenadas de múltiplas classes lexicais capturaram mais informação do que qualquer categoria isolada.
• Convergência com Modelos Alinhados à Linguagem: O SigLIP2 (alinhado à linguagem) superou o DINOv3 (apenas visão) em regiões de alto nível seletivas de categoria. A distribuição espacial dessa vantagem espelhou de perto a distribuição da vantagem narrativa sobre o bag-of-words. Uma forte correlação positiva ($r = 0,66$) foi encontrada entre a variância única explicada pelas descrições estruturadas e a variância única explicada pelo modelo alinhado à linguagem através dos voxels.
• Drivers de Estímulo: As imagens que impulsionaram a variância única tanto para as descrições estruturadas quanto para os modelos alinhados à linguagem foram caracterizadas por pontuações altas em estrutura composicional, relações semânticas e interação social. Estas não eram simplesmente imagens "visualmente ricas", mas aquelas com relações complexas e organizadas entre agentes, objetos e ações.

Significância e Alegações
O artigo afirma que o córtex visual de alto nível representa informações estruturadas de cenas que vão além da simples coocorrência de entidades ou do conteúdo lexical isolado. Os achados sugerem que o sistema visual codifica a organização relacional dos elementos da cena (agentes, ações, disposição espacial) em um todo coerente.

Além disso, o estudo postula que o desempenho superior dos modelos de visão alinhados à linguagem na predição da atividade cerebral não é meramente um artefato de uma cobertura lexical mais ampla, mas reflete sua capacidade de capturar informações relacionais estruturadas semelhantes às representadas no córtex visual humano. A convergência entre a "vantagem narrativa" e a "vantagem do modelo alinhado à linguagem" apoia a visão de que a supervisão por linguagem ajuda a induzir representações em modelos artificiais que se alinham com a codificação relacional estruturada do sistema visual biológico. Os autores concluem que a linguagem natural serve como uma sonda útil para isolar a informação relacional codificada pelo córtex visual, em vez de atuar como um substituto para a visão.