Resumo Técnico: Modelos de Linguagem-Visão de Raciocínio são Robustos a Distrações Visuais Semânticas?

Definição do Problema

Embora os Modelos de Linguagem-Visão (VLMs) de Raciocínio tenham demonstrado um forte desempenho em tarefas multimodais complexas, sua confiabilidade em aplicações do mundo real permanece não comprovada. As avaliações de robustez existentes concentram-se primariamente na robustez perceptiva, testando os modelos contra corrupções de entrada, como ruído, desfoque e efeitos climáticos. Essas corrupções degradam a visibilidade das evidências, mas não introduzem novo conteúdo semântico.

Este artigo identifica um modo de falha crítico e subexplorado: distrações visuais semânticas. Em cenários do mundo real, as entradas frequentemente contêm pistas visuais factualmente corretas, mas irrelevantes para a tarefa (ex: objetos extras, anotações enganosas ou detalhes contextuais). Um modelo pode perceber corretamente a evidência relevante, mas atender a essas pistas plausíveis, porém irrelevantes, incorporá-las em sua cadeia de raciocínio e propagar o erro para uma resposta final incorreta. Isso é particularmente preocupante para VLMs aprimorados por raciocínio, onde processos de raciocínio de longo formato podem amplificar o impacto de detalhes inicialmente irrelevantes, transformando-os em caminhos de raciocínio coerentes, porém incorretos.

Metodologia

1. Distract-Bench Benchmark

Para abordar essa lacuna, os autores introduzem o Distract-Bench, um benchmark verificado por humanos projetado para avaliar a robustez de VLMs à distração semântica que preserva a resposta. A construção do conjunto de dados segue um pipeline de quatro estágios:

• Coleta de Amostras Brutas: 800 pares de imagem-pergunta foram coletados de benchmarks estabelecidos com alto teor de raciocínio (MathVision, MathVista) e benchmarks de domínio geral (MMMU).
• Distratores Semente Projetados por Especialistas: Anotadores humanos criaram 100 exemplos semente injetando distratores semânticos nas imagens. Esses distratores deveriam ser: (1) semanticamente óbvios, (2) factualmente corretos e visualmente plausíveis, (3) irrelevantes para a consulta (preservando a resposta real) e (4) capazes de levar a respostas erradas plausíveis.
• Expansão Sintética Escalável: Usando os exemplos semente como uma base de conhecimento, os autores utilizaram o GPT-5.5 para gerar instruções de edição para as amostras restantes e o GPT-Image2 para sintetizar as imagens editadas. Este processo garantiu que o conteúdo original e a resposta permanecessem inalterados enquanto o distrator era adicionado.
• Verificação de Qualidade Humana: Especialistas verificaram todos os exemplos gerados em relação aos quatro critérios, resultando em um conjunto de dados final de 506 amostras de alta qualidade abrangendo diversos domínios (gráficos, matemática, cenas cotidianas, medicina, etc.).

2. Configuração Experimental

O estudo avaliou 10 VLMs, incluindo:

• Modelos de Raciocínio de Código Aberto: R1-OneVision, Vision-R1, MMR1, MM-Eureka, OpenVLThinker e Qwen3-VL-Thinking.
• Modelos de Base Não-Raciocínio Correspondentes: Qwen2.5-VL (Base), Qwen3-VL (Base), etc., para permitir comparações pareadas controladas.
• Modelos de Código Fechado: GPT-4o e GPT-5.
  Os modelos foram testados sob três condições:

1. Entradas Limpas: Desempenho de linha de base (baseline).
2. Corrupções Visuais Convencionais: 20 tipos de degradações perceptivas (ruído, desfoque, clima, etc.).
3. Distract-Bench: Entradas com distratores semânticos injetados.

3. Métricas

• Robustez Relativa (RR): A fração do desempenho limpo preservado após a perturbação ($RR = P_{O}/P_{I}$).
• Retenção: A taxa na qual um modelo permanece correto em amostras que ele respondeu corretamente na configuração limpa.
• Taxa de Referência de Distração (DRR): Frequência de menções explícitas ao distrator injetado nas saídas do modelo.
• Taxa de Referência Nociva (HFR): Frequência de menções ao distrator associadas a respostas incorretas.

Principais Resultados

1. Modos de Falha Distintos

O estudo revela que a distração semântica expõe um modo de falha de robustez distinto da corrupção visual convencional.

• Corrupção de Visão: Os VLMs de raciocínio herdam amplamente os padrões de robustez de seus modelos de base não-raciocínio. Sob degradação perceptual, a robustez relativa e a sobreposição de erros entre as variantes de base e de raciocínio estão altamente alinhadas (ex: correlação média de Pearson de 0,978 para a família Qwen2.5-VL).
• Distração Semântica: Os VLMs de raciocínio mostram consistentemente menor robustez em comparação com seus modelos de base quando confrontados com distrações semânticas. Por exemplo, na família Qwen2.5-VL, o modelo de base reteve 92,1% de robustez relativa no Distract-Bench, enquanto as variantes de raciocínio caíram para 84,4%–90,3%. Isso indica que as capacidades de raciocínio não conferem imunidade a pistas semânticas irrelevantes; na verdade, elas podem exacerbar a sensibilidade.

2. Sensibilidade a Pistas Irrelevantes à Tarefa

Apesar do forte desempenho em dados limpos, os VLMs de raciocínio são altamente sensíveis a pistas semânticas irrelevantes à tarefa. A queda de precisão para modelos de raciocínio no Distract-Bench (8,1–12,8 pontos percentuais) foi significativamente maior do que para seus equivalentes não-raciocínio (6,3 pontos percentuais). Isso sugere que o raciocínio confiável sob entradas limpas é insuficiente para garantir a seleção robusta de evidências quando pistas visuais plausíveis, mas irrelevantes, estão presentes.

3. Distratores Entram no Processo de Raciocínio

A análise ao nível de saída confirma que as falhas não são inversões de resposta aleatórias, mas são impulsionadas pela integração de distratores na cadeia de raciocínio.

• Maiores Taxas de Referência: Os modelos de raciocínio referenciaram distratores com mais frequência do que os modelos de base (maior DRR).
• Integração Nociva: A Taxa de Referência Nociva (HFR) foi consistentemente maior para os modelos de raciocínio. Nos casos de falha, os modelos frequentemente trataram o distrator como uma evidência válida, usando-o para justificar conclusões incorretas.
• Evidência Qualitativa: Estudos de caso (ex: problemas de geometria com anotações de ângulo injetadas) mostraram que os modelos citariam explicitamente o distrator (ex: "É dito que o ângulo ODC é de 30 graus...") e derivariam uma resposta errada baseada nele, enquanto os modelos de base teriam maior probabilidade de ignorar a pista ou mencioná-la de forma inofensiva.

Significância e Alegações

O artigo afirma que o Distract-Bench redefine a avaliação de robustez para VLMs de raciocínio. Os autores argumentam que o campo deve mudar o foco de pura degradação de percepção (o modelo consegue ver a evidência?) para distração semântica (o modelo consegue ignorar evidências plausíveis, mas irrelevantes?).

As principais alegações incluem:

• Raciocínio mais forte não equivale a maior confiabilidade: Aumentar as capacidades de raciocínio via aprendizado por reforço ou traços supervisionados não torna necessariamente os modelos mais robustos a mudanças de distribuição envolvendo ruído semântico; pode até torná-los mais suscetíveis a "armadilhas de raciocínio".
• O Efeito de "Amplificação do Raciocínio": O raciocínio de longo formato pode amplificar o impacto de evidências irrelevantes. Uma vez que um distrator é selecionado como parte da cadeia de evidências, o processo de raciocínio pode construir uma narrativa coerente, mas incorreta, levando a respostas erradas confiantes.
• Necessidade de Nova Avaliação: VLMs confiáveis para o mundo real requerem avaliação sob distrações semânticas enganosas, não apenas corrupções perceptivas.

Os autores concluem que o desenvolvimento de VLMs que sejam tanto capazes de raciocinar quanto robustos continua sendo uma direção futura crítica, potencialmente exigindo mecanismos aprimorados de seleção de evidências, treinamento consciente de distrações ou verificação em tempo de inferência. Eles declaram explicitamente que seu trabalho é diagnóstico, revelando esses riscos sem propor um método de mitigação específico.