Resumo Técnico: Vetores de Função Multimodais para Relações Visuais

Declaração do Problema

Os Grandes Modelos Multimodais (LMMs) exibem capacidades impressionantes de aprendizado em contexto (ICL), mas os mecanismos internos que permitem que eles aprendam e executem tarefas de raciocínio relacional permanecem opacos. Enquanto pesquisas recentes de interpretabilidade mecanística em Grandes Modelos de Linguagem (LLMs) identificaram "vetores de função" (FVs) — representações compactas de tarefas derivadas das ativações de cabeças de atenção — estender essa abordagem para ambientes multimodais é desafiador. Relações visuais (por exemplo, posicionamento espacial como "acima" ou interações agênticas como "segurando") não são sinalizadas explicitamente por pixels; elas devem ser inferidas a partir da fusão de características visuais de alta dimensão e linguagem natural. Os LMMs atuais lutam para adquirir conceitos relacionais sistemáticos mesmo com demonstrações, muitas vezes falhando em superar significativamente os baselines de zero-shot. Este artigo investiga se o paradigma do vetor de função pode ser estendido aos LMMs para extrair, manipular e generalizar o conhecimento relacional visual.

Metodologia

Os autores propõem um framework para identificar e extrair vetores de função específicos de relações das representações internas de LMMs, focando especificamente no OpenFlamingo e Qwen3-VL.

1. Datasets e Tarefa

O estudo utiliza dois datasets:

• Dataset Sintético: 7.000 imagens geradas a partir de recortes de objetos (dataset Big and Small Objects) para instanciar quatro relações espaciais (acima, abaixo, à esquerda de, à direita de).
• Dataset de Imagens Reais (GQA): Subconjuntos do dataset GQA contendo imagens do mundo real anotadas com relações espaciais (7 tipos) e relações agênticas (5 tipos: carregando, segurando, montando, sentado em, vestindo).

A tarefa de avaliação é um prompt de ICL de 4-shot onde o modelo deve identificar um objeto que satisfaça uma relação específica com um objeto de consulta.

2. Análise de Mediação Causal para Extração de Vetores

Para identificar os componentes internos responsáveis pelo raciocínio relacional, os autores empregam análise de mediação causal:

• Média de Ativações: Eles computam a média das ativações das cabeças de atenção através de um conjunto de demonstrações consistentes em contexto para uma relação específica.
• Efeito Indireto Causal (CIE): Eles constroem prompts perturbados com contextos não informativos (pareamentos de objetos aleatórios) e medem a mudança na probabilidade de predição quando a ativação de uma cabeça de atenção específica é substituída pela média de ativação específica da relação.
• Definição de Vetor de Função: Cabeças de atenção com as maiores pontuações de Efeito Indireto Médio (AIE) são identificadas como a sub-rede causal. O vetor de função ($v_t$) para uma relação $t$ é definido como a soma das ativações médias das 10 cabeças de atenção mais influentes.

3. Intervenção e Fine-Tuning

• Intervenção Zero-Shot: Os vetores de função extraídos são injetados nos estados ocultos de prompts zero-shot (que não contêm demonstrações) para testar se eles podem causalmente elicitar predições relacionais corretas.
• Fine-Tuning: Os vetores são otimizados adicionalmente usando um pequeno conjunto de exemplos de treinamento zero-shot (1.000 imagens sintéticas ou ~2.100 imagens GQA) enquanto mantêm os parâmetros do LMM congelados. Este componente de "Aprendizado Rápido" atualiza apenas o vetor de função para maximizar a verossimilhança das respostas corretas.

4. Vetores de Função Compostos para Analogia

Inspirados pela hipótese da representação linear, os autores testam se relações não treinadas (ex: "acima-esquerda") podem ser resolvidas combinando linearmente vetores de relações base treinadas (ex: "acima" + "esquerda"). Eles computam pesos baseados em um único exemplo de analogia de origem para formar um vetor composto ($v_{composite}$), que é então usado para guiar a inferência em uma analogia alvo.

Principais Resultados

1. Identificação de Sub-redes Causais

A análise de mediação causal revelou que apenas um subconjunto pequeno e esparso de cabeças de atenção (concentrado em camadas intermediárias) exerce uma forte influência causal nas predições relacionais. Injetar os vetores de função extraídos nessas camadas específicas melhorou significativamente a precisão zero-shot em comparação ao baseline.

2. Ganhos de Desempenho via Fine-Tuning

O fine-tuning dos vetores de função em dados zero-shot rendeu melhorias substanciais sobre os baselines padrão:

• Dataset Sintético: Vetores com fine-tuning (FFVs) superaram significativamente tanto o baseline zero-shot quanto o baseline de ICL de 4-shot para ambos o OpenFlamingo e Qwen3-VL. Para o Qwen3-VL, os FFVs atingiram 72,2% de precisão comparado a 21,3% para o baseline de ICL.
• Dataset GQA: Os FFVs mais que dobraram a precisão do baseline zero-shot e superaram o ICL de 4-shot em ambas as relações espaciais e agênticas.
• Generalização: A abordagem generalizou-se para novos objetos (não vistos durante o treinamento) e novas relações (ex: "acima-esquerda") ao usar vetores compostos.

3. Analogia e Composicionalidade

O estudo demonstrou que vetores de função específicos de relação podem ser combinados linearmente para resolver problemas de analogia de um-shot envolvendo relações espaciais não treinadas.

• No modelo OpenFlamingo, vetores de função compostos (CFVs) dobraram a precisão do ICL de 4-shot (de 8,1% para 16,8%).
• No Qwen3-VL, os CFVs melhoraram a precisão de 28,7% (4-shot ICL) para 45,1%, superando todos os baselines de ICL.

4. Estudos de Ablação

• Camada de Injeção: O desempenho atingiu o pico quando os vetores foram injetados em camadas intermediárias (ex: camada 19), sugerindo que essas camadas são ideais para disparar computações relacionais.
• Tamanho do Conjunto de Cabeças: Um pequeno subconjunto de cabeças (6–12) produziu desempenho ideal; adicionar mais cabeças introduziu ruído.
• Tamanho do Contexto: O desempenho foi estável entre contextos de 2-shot e 4-shot, com contextos de 8-shot às vezes reduzindo ligeiramente a precisão, sugerindo que um contexto moderado é suficiente para extrair ativações robustas.

Significância e Alegações

O artigo afirma avançar o entendimento da modularidade e controle do modelo em LMMs ao demonstrar que:

1. Codificação Localizada: O conhecimento relacional visual é codificado dentro de estruturas internas localizadas (cabeças de atenção específicas) em vez de ser distribuído difusamente ou puramente emergente.
2. Extraibilidade e Manipulabilidade: Essas representações podem ser sistematicamente extraídas via análise de mediação causal e manipuladas (injetadas ou ajustadas) para alterar o comportamento do modelo sem retreinar o modelo inteiro.
3. Generalização: A abordagem apoia a generalização composicional, permitindo que modelos resolvam novos problemas relacionais (analogia) combinando linearmente vetores aprendidos, sugerindo uma "linguagem da visão" estruturada dentro do espaço interno do modelo.
4. Eficiência: Realizar o fine-tuning apenas dos vetores de função (um pequeno subconjunto de parâmetros) é mais eficaz do que o aprendizado em contexto padrão, oferecendo um caminho para a adaptação eficiente de LMMs para raciocínio relacional.

Os autores concluem que este framework fornece uma prova de conceito para interpretar e melhorar o raciocínio relacional em sistemas multimodais, embora reconheçam limitações quanto ao escopo estreito das relações testadas e a dependência atual de demonstrações contextuais para inferir misturas de vetores.