Resumo Técnico: Diagnóstico Mecanístico de Viés Lexical Espacial em Raciocínio Espacial de Modelos de Linguagem de Grande Escala Multimodais

1. Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) frequentemente falham em tarefas de raciocínio espacial, particularmente em formatos de perguntas de múltipla escolha (MCQ). Enquanto trabalhos anteriores frequentemente atribuem essas falhas a uma fundamentação visual fraca, evidência visual ausente ou atenção visual incorreta, este artigo identifica um modo de falha complementar e sistemático: o Viés Lexical Espacial.

O fenômeno central observado é o comportamento Binário-Estável, mas Ternário-Frágil (BSTF - Binary-Stable but Ternary-Fragile). Nos casos de BSTF, um MLLM responde corretamente a uma pergunta espacial binária (ex: "o objeto está à esquerda ou à direita?") mas falha consistentemente quando uma terceira opção espacial plausível é adicionada (ex: "esquerda, direita, atrás"), mesmo que a resposta correta permaneça a mesma. O modelo seleciona sistematicamente a palavra espacial recém-adicionada como a resposta, independentemente da ordem das opções. Isso sugere que a falha não se deve a uma perda de informação visual, mas sim a uma distorção no processo de decisão do lado da linguagem, desencadeada pela estrutura semântica do vocabulário espacial adicionado.

2. Metodologia

2.1 Estrutura de Diagnóstico

Os autores construíram um pipeline de avaliação controlado usando nove MLLMs de pesos abertos (das famílias LLaVA, Qwen e InternVL) e três conjuntos de dados sintéticos (Sphere–Cube, Sphere–Dog e Sphere–Dog Outdoor).

• Pontuação Estrita: Para eliminar o viés de posição, uma amostra é considerada correta apenas se o modelo responder corretamente em todas as permutações da ordem das opções (ex: todas as 6 permutações para questões ternárias).
• Seleção BSTF: Os casos foram filtrados onde a acurácia robusta binária era perfeita (1.00), mas a adição de uma opção espacial específica causou uma queda de pelo menos 80 pontos percentuais na acurácia ternária. Isso resultou em 55 casos de diagnóstico de alta confiança em 7 modelos.

2.2 Interpretabilidade Mecanística

Para determinar o local da falha, os autores empregaram três ferramentas de diagnóstico:

1. Análise de Atenção Visual: Comparação de mapas de atenção entre prompts binários corretos e ternários errados para verificar se o modelo desvia o foco de objetos relevantes.
2. Sondagem do Fluxo Residual (Residual Stream Probing): Treinamento de sondas lineares nos vetores do fluxo residual do último token para verificar se a relação espacial correta permanece decodificável mesmo quando o modelo produz uma resposta errada.
3. Patching de Ativação e Intervenção Esparsa:
   • Patching: Troca de estados do fluxo residual entre prompts binários corretos e ternários errados camada por camada para identificar onde o sinal de decisão muda.
   • Knockout Esparso: Zeragem de canais específicos do fluxo residual e neurônios MLP na posição do token da opção adicionada para observar se o erro pode ser corrigido.

2.3 Estratégia de Mitigação

Os autores testaram se o viés poderia ser reparado via Otimização de Preferência Direta (DPO) apenas para LLM.

• Dados: Um conjunto de dados de preferência sintético mínimo derivado de um único par de objetos (toro–pirâmide) com quatro variantes de relação.
• Treinamento: Apenas o decodificador do LLM foi atualizado usando adaptadores LoRA; o codificador de visão e o projetor permaneceram congelados.
• Objetivo: Verificar se o ajuste do processo de decisão do lado da linguagem sozinho poderia mitigar o viés sem nova supervisão visual.

3. Principais Descobertas

3.1 A Evidência Visual é Recuperável

• Atenção: Mapas de calor de atenção para prompts binários corretos e ternários errados focam nas mesmas regiões de objetos. A opção espacial adicionada não redireciona a atenção visual para longe das evidências relevantes.
• Sondagem: Pistas lineares recuperam a verdadeira relação espacial do fluxo residual do último token com quase 100% de acurácia (acurácia macro de 0.998) mesmo em casos ternários errados. Isso confirma que a informação visual está presente internamente, mas não é utilizada para a decisão final.

3.2 O Viés é do Lado da Linguagem e Estruturado

• Especificidade: Substituir a opção espacial adicionada por uma palavra irrelevante (ex: "violino") causou apenas uma queda modesta na acurácia (16.7 pp), enquanto a adição de uma opção espacial causou uma queda massiva (97.8 pp). Isso confirma que o viés provém da interação semântica entre palavras espaciais, e não meramente do aumento do número de escolhas.
• Localização:
  • Por Camada: O patching de ativação revelou que a transição de decisão ocorre nas camadas intermediárias a tardias (aprox. 60–64% de profundidade) do LLM.
  • Por Componente: O knockout esparso de apenas 100 canais residuais ou 200 neurônios MLP na posição do token da opção adicionada (em camadas iniciais a intermediárias) pôde restaurar as previsões corretas, identificando "pontos de alavancagem" específicos para o viés.

3.3 O Reparo Apenas via LLM é Eficaz

• Dados Sintéticos: Aplicar LoRA-DPO ao decodificador do LLM usando o conjunto de dados de par único melhorou a acurácia robusta de quatro vias no conjunto de teste sintético em até 100 pontos percentuais (ex: de quase 0% para ~80-100%).
• Generalização: O reparo transferiu-se para benchmarks públicos mais amplos e ruidosos:
  • WhatsUp: +68.0 pontos
  • SpatialMQA-Direct: +32.6 pontos
  • VSR: +20.1 pontos
• Preservação: O reparo manteve a acurácia binária enquanto corrigia as falhas ternárias e de quatro vias, indicando que o modelo aprendeu a resistir ao viés lexical sem perder suas capacidades originais de raciocínio espacial.

4. Significância e Alegações

O artigo afirma mudar a compreensão das falhas de raciocínio espacial em MLLMs de um déficit puramente visual para um viés lexical do lado da linguagem.

• Insight Mecanístico: Fornece evidência causal de que componentes específicos do lado do LLM (canais residuais e neurônios MLP) modulam a seleção de opções espaciais, e que a relação visual correta permanece disponível internamente durante essas falhas.
• Capacidade de Ação: O estudo demonstra que esse viés é passível de ação. Uma atualização leve, apenas no LLM, usando dados sintéticos mínimos pode reparar substancialmente o modo de falha, sugerindo que a robustez do raciocínio espacial pode ser melhorada ajustando o processo de decisão do modelo de linguagem em vez de retreinar toda a arquitetura multimodal.
• Limitações: Os autores observam que suas descobertas são específicas para relações espaciais de quatro direções controladas. Embora o mecanismo seja localizável, o estudo não afirma ter mapeado um circuito completo, e a eficácia do reparo em cenas de mundo aberto mais complexas com relações espaciais mais ricas permanece uma questão aberta.

Em resumo, o trabalho estabelece que os MLLMs frequentemente "sabem" a relação espacial correta, mas são induzidos ao erro pela estrutura lexical das opções de resposta, e que esse modo de falha específico pode ser diagnosticado e mitigado através de intervenções direcionadas no lado do modelo de linguagem.