Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

Resumo Técnico: Os VLMs Estão Vendo ou Apenas Dizendo? Revelando a Ilusão da Reexaminação Visual

Declaração do Problema
Os Modelos Visão-Linguagem (VLMs) demonstraram progresso significativo no raciocínio multimodal, particularmente com o advento de modelos aprimorados por raciocínio que utilizam geração estendida de cadeia de pensamento (CoT) e mecanismos de autorreflexão. Um comportamento comum nesses modelos é a geração de declarações autorreflexivas, como "Espere, deixe-me verificar a figura novamente", durante o processo de raciocínio. Embora destinadas a mitigar alucinações perceptivas e garantir fidelidade à imagem de entrada, uma questão crítica permanece: essas declarações desencadeiam uma reexaminação visual genuína ou são meramente padrões linguísticos aprendidos desprovidos de fundamentação visual real? Se os modelos afirmam reexaminar uma imagem, mas falham em detectar alterações visuais, sua confiabilidade em domínios críticos de segurança fica comprometida.

Metodologia: VISUALSWAP e VS-BENCH
Para investigar esse fenômeno, os autores propõem o VISUALSWAP, um framework de diagnóstico projetado para sondar se os VLMs realmente reatentam às entradas visuais durante a autorreflexão. O framework emprega um protocolo de duas etapas:

1. Inferência Padrão: O modelo gera uma cadeia de raciocínio inicial ($R_a$) com base em uma imagem original ($I_a$) e uma pergunta ($Q$).
2. Sonda de Reexaminação: A entrada visual é substituída por uma imagem semanticamente distinta, mas visualmente similar ($I_b$), mantendo o contexto de raciocínio gerado ($R_a$) e anexando um prompt autorreflexivo (por exemplo, "Espere, deixe-me verificar a figura novamente"). Em seguida, o modelo é solicitado a continuar a geração.

Se o modelo realizar uma reexaminação visual genuína, ele deve detectar a discrepância entre $I_b$ e $R_a$, atualizar seu raciocínio e produzir a resposta correta para $I_b$. Se falhar, isso indica "inércia textual", onde o modelo confia na trajetória de raciocínio anterior em vez da nova evidência visual.

Para apoiar essa avaliação, os autores curaram o VS-BENCH, um benchmark composto por 800 pares de imagens derivados de MathVista, MathVerse, MathVision e MMMU-Pro. Esses pares são construídos para compartilhar similaridade visual de alto nível (layout, estilo) enquanto divergem em detalhes de alta granularidade críticos para a resposta de verdade fundamental, garantindo que a pergunta permaneça válida para ambas as imagens, mas exija respostas diferentes.

Principais Contribuições

1. Framework VISUALSWAP: Uma ferramenta de diagnóstico principiante para avaliar a autenticidade da reexaminação visual em VLMs manipulando entradas visuais durante o processo de raciocínio.
2. Benchmark VS-BENCH: Um conjunto de dados de 800 pares de imagens cuidadosamente construídos que isolam as capacidades de reexaminação visual da resposta a perguntas visuais gerais.
3. Análise Mecanística: Uma investigação sobre os mecanismos de atenção subjacentes à falha, comparando a reflexão gerada pelo próprio modelo contra instruções explícitas de múltiplas voltas do usuário.

Resultados Experimentais
Os autores avaliaram 15 modelos nas famílias Qwen3-VL, Kimi-VL e ERNIE-VL, incluindo variantes "Instruct" e "Thinking". Os resultados revelam um modo de falha crítico:

• Falha Generalizada: Os modelos falham esmagadoramente em detectar trocas de imagens durante a autorreflexão. A degradação de desempenho ($\Delta = Acc_{base} - Acc_{probe}$) atinge até 60% (por exemplo, o ERNIE-4.5-VL-Thinking cai de 79,9% para 19,6%).
• Modelos "Thinking" São Mais Vulneráveis: Contra-intuitivamente, os modelos "Thinking" exibem uma vulnerabilidade quase 3 vezes maior do que suas contrapartes "Instruct". Por exemplo, o Qwen3-VL-32B-Thinking sofre uma queda de 48,3%, comparado a 17,9% para a versão Instruct.
• Escalonamento Não Ajuda: Aumentar o tamanho do modelo não mitiga o problema; modelos maiores frequentemente mostram maior degradação (por exemplo, o Qwen3-VL-235B-Thinking cai 54,6%).
• Restauração via Instrução do Usuário: Quando a reflexão é desencadeada por uma instrução explícita de múltiplas voltas do usuário (por exemplo, "Verifique a imagem novamente") em vez de texto gerado pelo próprio modelo, o desempenho se recupera para níveis próximos à linha de base. Isso confirma que os modelos possuem a capacidade latente de processar a nova imagem, mas falham em ativá-la autonomamente.
• Análise de Atenção: As pontuações de atenção revelam que declarações autorreflexivas elicita apenas aumentos negligenciáveis na atenção aos tokens visuais. Em contraste, instruções explícitas do usuário causam um aumento substancial na atenção visual, explicando a lacuna de desempenho.

Significado e Alegações
O artigo conclui que os VLMs atuais tendem a "dizer" que estão reexaminando uma imagem sem realmente "vê-la". O fenômeno é identificado como uma falha de controle atencional autônomo e não como uma falta de capacidade visual. Os autores argumentam que cadeias de raciocínio estendidas criam uma forte inércia textual que desacopla o modelo da evidência visual durante a decodificação contínua.

O significado deste trabalho reside em expor uma limitação fundamental dos paradigmas atuais de Cadeia de Pensamento (CoT) em configurações multimodais: eles priorizam a coerência textual sobre a entrada visual. As descobertas sugerem que a autorreflexão, conforme atualmente implementada, pode não ser um mecanismo confiável para corrigir alucinações visuais. O artigo postula que uma refundamentação visual autônoma genuína requer mecanismos além do simples prompt linguístico, destacando a necessidade de pesquisas futuras sobre modelos que possam efetivamente interromper suas próprias trajetórias de raciocínio para reengajar com entradas visuais. Os autores enfatizam que esta é uma descoberta diagnóstica sobre o comportamento do modelo, não uma proposta para um novo algoritmo de treinamento, embora observem que intervenções externas (como prompts de múltiplas voltas) podem restaurar com sucesso a fundamentação.