Resumo Técnico: O Contexto Linguístico Recodifica Representações Visuais em Modelos de Visão-Linguagem

Declaração do Problema

Modelos de visão-linguagem (VLMs) são frequentemente conceituados como sistemas onde consultas linguísticas recuperam ou raciocinam sobre informações visuais estáticas armazenadas em tokens de imagem. O trabalho de interpretabilidade anterior concentrou-se amplamente em como os tokens de linguagem manipulam esses repositórios visuais pré-existentes. No entanto, permanece mal caracterizado se os VLMs recodificam dinamicamente as representações visuais em resposta a uma linguagem direcionada a objetivos, de forma semelhante a como os sistemas visuais biológicos empregam sinais de cima para baixo (top-down), direcionados por objetivos, para dirigir a atenção e alterar o processamento de estímulos. Este artigo investiga a hipótese de que o input linguístico não apenas consulta as representações visuais, mas as modifica ativamente para apoiar objetivos específicos articulados no texto.

Metodologia

Os autores investigam dois mecanismos primários de recodificação visual induzida pela linguagem: a adição de uma representação de "referência" abstrata e a modulação de atributos visuais existentes.

Modelos e Conjuntos de Dados:
O estudo utiliza dois VLMs baseados em transformer: Qwen 2.5 VL 7b e InternVL3 8b. Os experimentos empregam:

1. Conjuntos de Dados Sintéticos: Imagens contendo múltiplos objetos definidos por pares únicos (cor, forma) dispostos em uma grade, permitindo uma análise precisa de tokens ao nível do objeto.
2. Conjunto de Dados de Imagens Naturais: Um subconjunto filtrado do COCO contendo trios de objetos bem separados para testar a generalização além dos cenários sintéticos.

Design Experimental:
Os autores analisam três tipos de tarefas:

• Contagem (Counting): Consultar o número de objetos com um atributo específico.
• Sim/Não (Yes/No): Determinar a presença de um atributo.
• Espacial (Spatial): Identificar um objeto com base em sua relação espacial com um marco de referência.

Técnicas Principais:

1. Probing Linear (Linear Probing): Treinar classificadores binários em estados ocultos para detectar se um token visual corresponde a um objeto "referente" (relevante ao objetivo) versus um não-referente.
2. Vetores de Direcionamento Contrastivos (Contrastive Steering Vectors): Calcular vetores de diferença entre os estados ocultos de um objeto quando este é um referente versus um não-referente. Esses vetores são usados para intervenções causais (adicionar/subtrair vetores dos estados ocultos) para testar se eles direcionam as previsões do modelo.
3. Vetores de Conceitos Visuais: Construir vetores para formas e cores específicas através da média das representações de objetos que possuem esses atributos. As projeções das representações dos objetos nesses vetores medem a força da codificação do atributo.
4. Intervenções Causais:
   • Direcionamento (Steering): Modificar estados ocultos com vetores de referência para inverter as saídas do modelo (ex: mudar um "Sim" para um "Não" ou alterar o objeto identificado em uma consulta espacial).
   • Congelamento (Freezing): Interromper a atualização dos estados ocultos do objeto referente a partir de uma camada específica para medir o impacto na confiança da resposta final (usando análise de logit lens).

Principais Contribuições e Resultados

1. Descoberta de Representações de Referência Abstratas
Os autores identificam uma representação de "referência" linearmente decodificável dentro dos tokens visuais que sinaliza a relevância ao objetivo.

• Decodificabilidade: Probes lineares conseguem distinguir objetos referentes de não-referentes com alta precisão em camadas intermediárias a tardias quando prompts direcionados ao objetivo estão presentes. Prompts de controle (strings vazias ou descrições irrelevantes) falham em eliciar esse sinal, confirmando que a mudança é impulsionada pela consulta específica.
• Causalidade: Vetores de direcionamento contrastivos derivados dessas representações influenciam causalmente o comportamento do modelo. Adicionar um vetor de referência a um objeto não-referente (ou subtraí-lo de um referente) altera com sucesso as previsões do modelo em tarefas de Contagem, Sim/Não e Espacial.
• Generalização: Essas representações de referência são abstratas; vetores extraídos de uma tarefa (ex: Espacial) frequentemente se generalizam para outras (ex: Contagem), e vetores derivados de dados sintéticos conseguem efetivamente direcionar modelos em imagens naturais do COCO.

2. Evidência de Modulação de Atributos
Além de marcar a relevância, o input de linguagem amplifica seletivamente a representação de atributos específicos dentro do objeto referente.

• Modulação Explícita: Quando solicitado a "focar na forma", as projeções dos tokens de objeto nos vetores de conceito de forma aumentam significativamente em relação a uma linha de base, enquanto as projeções de cor permanecem estáveis ou diminuem, e vice-versa para prompts focados em cor.
• Modulação Implícita: Mesmo quando atributos não são explicitamente consultados, selecionar um objeto (ex: "o objeto à frente") amplifica a representação de forma e cor daquele objeto específico em comparação com objetos não selecionados.
• Dinâmica Temporal: A modulação de atributos emerge em camadas posteriores, seguindo a emergência inicial do sinal de referência em camadas médias, sugerindo um processo de dois estágios: identificação do objeto relevante seguido pelo refinamento de suas características.

3. Papel Causal da Modulação
O artigo demonstra que a modulação de atributos medeia a distribuição de resposta do modelo.

• Experimentos de Congelamento: Congelar os estados ocultos dos objetos referentes em camadas tardias (onde a modulação é mais forte) reduz significativamente a confiança do modelo (lacuna de logit) em sua resposta final. Isso confirma que o processamento contínuo e a amplificação desses atributos são causalmente necessários para gerar respostas confiantes.

Significância e Alegações

O artigo argumenta que as representações visuais em VLMs não são repositórios estáticos de informação, mas são dinamicamente moduladas pelo contexto linguístico. As descobertas apoiam um relato mais dinâmico do processamento cross-modalidade onde:

1. Mecanismo de Referência: VLMs constroem representações abstratas para denotar quais objetos são relevantes para uma consulta, um mecanismo que se generaliza através de tarefas e domínios.
2. Mecanismo de Modulação: VLMs amplificam seletivamente atributos relevantes ao objetivo (forma, cor) dentro da representação visual do referente para apoiar o raciocínio subsequente.

Esses mecanismos assemelham-se à recodificação direcionada por objetivos observada em sistemas de visão biológica, onde representações perceptivas são moduladas para apoiar tarefas específicas como categorização ou busca. Os autores concluem que o input linguístico em VLMs pré-treinados serve para recodificar representações visuais ao nível do objeto para apoiar os objetivos ou consultas específicos especificados no texto.

Limitações:
Os autores observam que seus experimentos dependem fortemente de conjuntos de dados sintéticos controlados com layouts espaciais restritos. Os vetores de direcionamento são extraídos desses conjuntos de dados, e os experimentos de modulação focam atualmente apenas em forma e cor, excluindo outros atributos como tamanho ou brilho. Além disso, a tarefa de contagem mostrou taxas de sucesso de intervenção menores, sugerindo que nem todas as tarefas dependem inteiramente do sinal de referência identificado.