Grounded Concreteness: Human-Like Concreteness Sensitivity in Vision-Language Models

Resumo Técnico: Concretude Ancorada em Modelos de Visão-Linguagem

Problema
O artigo aborda uma tensão central na ciência cognitiva e na inteligência artificial: se o "significado" pode ser recuperado apenas a partir do texto ou se requer ancoragem perceptual. Embora os grandes modelos de linguagem (LLMs) aprendam a partir de distribuições textuais, os conceitos humanos variam em "concretude" — uma dimensão graduada onde palavras concretas (ex: maçã) estão intimamente ligadas à percepção sensorial, enquanto palavras abstratas (ex: justiça) são relacionais e dependentes de contexto. Os autores investigam se os Modelos de Visão-Linguagem (VLMs), que passam por pré-treinamento multimodal, desenvolvem uma sensibilidade mais humana à concretude linguística em comparação com LLMs correspondentes puramente de texto, mesmo quando avaliados usando prompts apenas de texto.

Metodologia
O estudo emprega um design de ablação controlado para isolar o efeito da ancoragem visual.

• Comparação de Modelos: Os autores comparam pares correspondentes dos modelos de texto da Meta, Llama 3.1 (8B e 70B parâmetros), contra seus equivalentes Llama Vision 3.2 (11B e 90B parâmetros). Os modelos de visão utilizam os modelos de texto como backbones, treinados em conjuntos de dados multimodais.
• Protocolo de Avaliação: Crucialmente, todas as avaliações utilizam prompts apenas de texto (sem imagens fornecidas na inferência). Isso garante que quaisquer diferenças de desempenho surjam das representações internas aprendidas durante o pré-treinamento multimodal, e não de uma entrada visual direta durante a tarefa.
• Análise de Três Níveis: Os autores triangulam evidências através de três níveis complementares:
  1. Comportamento de Saída: Medição da precisão em Respostas a Perguntas (QA) em diversos benchmarks (ARC, BoolQ, Winogrande, etc.) agrupados por pontuações de concretude ao nível da sentença derivadas de normas humanas (Brysbaert et al., 2014).
  2. Geometria de Embedding: Análise da organização das representações de tokens em um espaço de baixa dimensão (t-SNE) para testar se os tokens se agrupam por níveis de concretude.
  3. Dinâmica de Atenção: Quantificação da dependência contextual via entropia de atenção. Com base em teorias psicolinguísticas, a hipótese é que tokens abstratos exigem um contexto mais amplo (maior entropia), enquanto tokens concretos dependem de uma atenção focada (menor entropia).
• Alinhamento Humano: Os modelos são instigados a gerar classificações de concretude ao nível do token, que são comparadas com distribuições de normas humanas usando divergência KL simétrica.

Resultos Principais
Em ambas as escalas de modelos (8B/11B e 70B/90B), os VLMs demonstraram uma sensibilidade à concretude superior em comparação com seus equivalentes puramente de texto:

• Desempenho de QA: Os VLMs superaram os LLMs no geral, mas a lacuna de desempenho aumentou significamente conforme a concretude da pergunta aumentava. A vantagem foi mais pronunciada para perguntas envolvendo entidades perceptíveis e relações espaciais, sugerindo que a ancoragem visual fornece um suporte (scaffold) para a semântica concreta.
• Geometria de Representação: Nas projeções t-SNE, as representações de tokens dos VLMs formaram agrupamentos (clusters) mais densos e contíguos para palavras altamente concretas, em comparação com a distribuição difusa observada nos LLMs de texto. Medidas quantitativas de dispersão intra-grupo confirmaram que os VLMs alcançam menor dispersão (agrupamento mais denso) para tokens concretos.
• Padrões de Atenção: Os VLMs exibiram uma correlação negativa mais forte entre a concretude do token e a entropia de atenção. Tokens concretos nos VLMs mostraram menor entropia (atenção mais focada), enquanto tokens abstratos mostraram maior entropia. Essa separação foi mais nítida nos VLMs do que nos LLMs, particularmente nas camadas iniciais a intermediárias da rede.
• Alinhamento Humano: Os VLMs geraram classificações de concretude que se alinharam mais proximamente às normas humanas do que os LLMs. Esse alinhamento melhorou significamente conforme as classificações de concretude humana aumentavam, enquanto a tendência de alinhamento do LLM foi mais fraca e estatisticamente menos confiável.

Significância e Alegações
O artigo alega fornecer uma demonstração controlada de que a supervisão visual durante o treinamento induz uma sensibilidade à concretude mais próxima da humana em modelos de fundação. Ao manter o backbone de linguagem constante, o estudo isola a ancoragem visual como um fator causal em:

1. Robustez Comportamental: Melhorando o desempenho de QA especificamente em conceitos concretos.
2. Estrutura Representacional: Organizando os embeddings em uma geometria que reflete a concretude graduada.
3. Dinâmica de Processamento: Deslocando os mecanismos de atenção para depender menos de um contexto amplo para palavras concretas, consistente com as teorias de codificação dupla e cognição ancorada (Paivio, 1990; Barsalou, 2008).

Os autores posicionam a concretude como um eixo principial e interpretável para diagnosticar comportamentos relacionados à ancoragem, oferecendo uma ponte entre a teoria cognitiva e diagnósticos computacionais. Eles argumentam que os VLMs não apenas deslocam o desempenho global, mas calibram preferencialmente suas representações internas e julgamentos para palavras perceptualmente ancoradas.

Limitações
Os autores reconhecem que o estudo é limitado a uma única família de modelos (Llama), o que pode restringir a generalização para outras arquiteturas ou idiomas. Adicionalmente, a frequência lexical atua como um potencial fator de confusão que não foi totalmente controlado devido aos números de tokens de pré-treinamento inacessíveis. Finalmente, a análise foca em checkpoints finais, deixando inexplorada a trajetória de desenvolvimento da sensibilidade à concretude durante o treinamento.