Tinted Frames: Question Framing Blinds Vision-Language Models

1. O Problema: A "Cegueira" Seletiva dos VLMs

Os Modelos Visão-Linguagem (VLMs) têm demonstrado desempenho impressionante em benchmarks, mas pesquisas recentes sugerem que eles são frequentemente "cegos" ou subutilizam suas entradas visuais, dependendo mais de priores linguísticos do que de evidências visuais reais.

O artigo identifica um fenômeno específico e dinâmico: a cegueira seletiva. Os autores demonstram que a capacidade de um VLM de "olhar" para uma imagem não é uma falha estática da arquitetura, mas sim uma decisão dinâmica baseada no enquadramento da pergunta (question framing).

• O Fenômeno: Quando a mesma questão semântica é apresentada em formatos diferentes (Aberta/Open-ended, Sim/Não/Yes-No, ou Múltipla Escolha/MCQ), o modelo altera drasticamente sua atenção visual.
• A Hipótese: O modelo tende a ignorar a imagem e confiar em priores de texto quando a pergunta é restritiva (Sim/Não ou Múltipla Escolha), mesmo que a tarefa exija o mesmo raciocínio visual que uma pergunta aberta. Isso leva a inconsistências onde o modelo acerta em um formato e falha em outro.

2. Metodologia e Análise Mecanística

Os autores utilizam uma abordagem analítica em três etapas para investigar e mitigar esse problema:

A. Diagnóstico de Inconsistência Cross-Framing (F → Y)

• Protocolo: Eles criaram um conjunto de dados controlado (GQAF e V*F) onde a mesma pergunta semântica é reformatada em três variantes: Aberta, Sim/Não e Múltipla Escolha, mantendo o conteúdo visual e a lógica de raciocínio idênticos.
• Métrica: Calcularam a taxa de Inconsistência Cross-Framing, definida como a frequência com que um modelo responde corretamente a uma pergunta aberta, mas falha quando a mesma pergunta é reformulada como Sim/Não ou Múltipla Escolha.
• Resultado Preliminar: Modelos como Qwen2.5-VL, Gemma3 e GLM4.1V apresentaram taxas de inconsistência significativas (até 38% em alguns benchmarks), especialmente em tarefas que exigem grounding (localização) de objetos.

B. Análise de Atenção Visual (F → A → Y)

Para entender por que isso acontece, os autores utilizaram o método de Attention Rollout (rolagem de atenção) para rastrear a propagação da informação visual através das camadas do modelo.

• Energia Visual (Visual Energy): Mediram a quantidade total de atenção dedicada aos tokens visuais.
• Alocação Espacial: Analisaram onde a atenção é focada (regiões relevantes vs. tokens de fundo ou "sink tokens").
• Descoberta Chave:
  • Em formatos abertos, o modelo dedica alta energia visual e foca nas regiões relevantes (ex: a caixa delimitadora do objeto).
  • Em formatos restritos (Sim/Não e MCQ), há uma queda drástica na energia visual e uma deslocação da atenção para regiões irrelevantes ou tokens semânticos vazios.
  • A atenção torna-se mais difusa (maior entropia) e menos focada no objeto de interesse.
• Intervenção (Attention Steering): Os autores testaram se forçar a atenção restrita a se comportar como a aberta recuperaria a precisão. Ao multiplicar os pesos de atenção nos tokens visuais e nas caixas de delimitação durante a inferência, a precisão do modelo melhorou significativamente, provando que a má alocação de atenção é a causa direta da queda de desempenho.

C. Mitigação via Prompt Tuning (Ajuste de Prompt)

Baseados na descoberta de que o problema está no nível do prompt e não na arquitetura do modelo, propuseram uma solução leve:

• Método: Adicionam um pequeno conjunto de tokens aprendíveis (soft tokens) ao final das perguntas restritivas (Sim/Não e MCQ) durante o treinamento.
• Objetivo de Treinamento: O modelo é treinado com uma função de perda de alinhamento de atenção (além da perda de entropia cruzada padrão). O objetivo é fazer com que os tokens aprendíveis "forcem" o modelo a replicar o padrão de atenção visual robusto observado nas perguntas abertas, mesmo quando a entrada é uma pergunta restritiva.
• Vantagem: O método não altera os pesos do modelo principal (frozen), apenas ajusta os tokens de entrada, tornando-o computacionalmente eficiente.

3. Principais Contribuições e Resultados

1. Reenquadramento da "Cegueira" Visual: O trabalho muda a narrativa de que os VLMs são inerentemente cegos para a ideia de que eles são seletivamente cegos, decidindo não olhar para a imagem dependendo da estrutura da pergunta.
2. Evidência Mecanística: Demonstra-se que a inconsistência entre formatos não é apenas um ruído de saída, mas é causada por uma falha fundamental no processamento visual (desvio de atenção) que ocorre nas camadas intermediárias do modelo.
3. Solução Leve e Eficaz: O método de Prompt Tuning com tokens aprendíveis restaura o grounding visual e melhora a consistência sem necessidade de fine-tuning completo do modelo.
4. Resultados Empíricos:
   • Redução de Inconsistência: A taxa de inconsistência cross-framing foi reduzida significativamente em múltiplos modelos (Qwen, Gemma, LLaVA, GLM) e benchmarks (GQA, SeedBench).
   • Melhoria de Desempenho: Houve ganhos consistentes em benchmarks de grounding fino (como V* e HRBench8k) e em benchmarks gerais de raciocínio.
   • Generalização: O método funcionou bem em modelos de diferentes arquiteturas e tamanhos (de 7B a 12B parâmetros).

4. Significado e Impacto

Este artigo é fundamental para a comunidade de Visão Computacional e Processamento de Linguagem Natural por várias razões:

• Validade dos Benchmarks: Alerta que a avaliação de VLMs baseada apenas em formatos de Múltipla Escolha (MCQ) ou Sim/Não pode superestimar a capacidade de raciocínio visual, pois esses formatos podem induzir o modelo a "pular" a análise visual.
• Interpretabilidade: Oferece uma ferramenta poderosa (análise de atenção via rollout) para diagnosticar como e quando os modelos falham em tarefas visuais.
• Direção Futura: Sugere que a robustez de VLMs pode ser melhorada não apenas com mais dados ou modelos maiores, mas através de estratégias de engenharia de prompt e alinhamento de atenção que garantam que o modelo "olhe" para a imagem independentemente da forma como a pergunta é feita.

Em resumo, o paper prova que o formato da pergunta atua como uma "moldura colorida" que distorce a visão do modelo, e propõe uma correção simples que remove essa distorção, restaurando a capacidade do modelo de raciocinar visualmente de forma consistente.