Beyond Shortcuts: Mitigating Visual Illusions in Frozen VLMs via Qualitative Reasoning

1. Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) alcançaram desempenho de última geração em tarefas visuais gerais, mas exibem fragilidade notável quando confrontados com ilusões ópticas.

• Causa Raiz: As falhas não são devidas à falta de dados visuais, mas sim à dependência do modelo de heurísticas de atalho. Em vez de fundamentar o raciocínio em evidências visuais diretas, os modelos priorizam priores linguísticos e protótipos visuais memorizados.
• Modos de Falha: Essa dependência leva a três problemas sistêmicos específicos:
  1. Alucinação Métrica: Estimativas quantitativas não confiáveis (por exemplo, comprimento, ângulo, contagem) levando a conclusões incorretas.
  2. Interferência de Fundo: Padrões contextuais irrelevantes (por exemplo, grades, sombreamento) enviesando a percepção dos objetos-alvo.
  3. Viés de Confirmação: Comprometimento excessivo com uma hipótese inicial impulsionada por priores linguísticos sem verificação suficiente.
• Limitações das Soluções Existentes: Os métodos atuais de robustez frequentemente dependem de aumento de dados ou ajuste fino do modelo. Estes são custosos, específicos de tarefa e incompatíveis com VLMs congelados (modelos pré-treinados usados como backbones gerais), falhando em abordar o próprio processo de raciocínio central.

2. Metodologia: Inferência Qualitativa Estruturada (SQI)

Os autores propõem a Inferência Qualitativa Estruturada (SQI), um framework livre de treinamento e centrado em dados projetado para reestruturar o raciocínio no momento da inferência de VLMs congelados. A SQI substitui a estimativa quantitativa não confiável por raciocínio qualitativo estruturado através de três módulos sistemáticos:

A. Injeção de Restrições Axiomáticas (ACI)

• Função: Suprime o raciocínio baseado em métricas.
• Mecanismo: Proíbe explicitamente o modelo de estimar comprimentos, ângulos ou contagens, que são propensos a distorção em ilusões.
• Objetivo: Força o modelo a depender de comparações qualitativas e aparência visual relativa, em vez de atalhos quantitativos, reduzindo assim as alucinações métricas.

B. Decomposição Hierárquica da Cena (HSD)

• Função: Desacopla variedades visuais-alvo de distratores complexos de fundo.
• Mecanismo: Orienta o modelo a isolar objetos-alvo relevantes, ignorando padrões circundantes (por exemplo, grades, oclusores) que induzem viés perceptivo.
• Objetivo: Alcança fundamentação visual localizada e mitiga a interferência de fundo.

C. Auto-Verificação Contrafactual (CSV)

• Função: Mitiga o viés de confirmação através de raciocínio adversarial.
• Mecanismo: O modelo é instruído a reavaliar seu julgamento inicial considerando interpretações alternativas e "invertendo" o raciocínio (por exemplo, "Se estendidos, eles se alinhariam?").
• Objetivo: Reduz o comprometimento excessivo com previsões iniciais e garante consistência no raciocínio.

Disparo Heurístico Específico de Domínio:
Para lidar com diferentes tipos de ilusão, a SQI emprega um mecanismo de despacho leve que adapta essas restrições qualitativas com base no tipo de consulta (por exemplo, enfatizando consistência direcional para consultas de alinhamento versus isolamento estrito de superfície para consultas de cor).

3. Contribuições Principais

1. Framework Livre de Treinamento: A SQI é o primeiro framework a abordar a robustez a ilusões visuais em VLMs congelados sem exigir qualquer ajuste fino do modelo ou atualização de parâmetros.
2. Reestruturação do Raciocínio: Desloca o paradigma da estimativa quantitativa impulsionada por heurísticas para o raciocínio qualitativo estruturado, abordando diretamente a causa raiz dos erros induzidos por ilusões.
3. Arquitetura de Três Módulos: A integração de Injeção de Restrições Axiomáticas, Decomposição Hierárquica da Cena e Auto-Verificação Contrafactual fornece uma solução abrangente para os três principais modos de falha dos VLMs.
4. Interpretabilidade Diagnóstica: Diferentemente do ajuste fino de caixa-preta, a SQI fornece um processo de raciocínio transparente que pode ser auditado e compreendido.

4. Resultados Experimentais

O framework foi avaliado no Desafio DataCV 2026 (Tarefa I: Compreensão de Ilusão Clássica).

• Classificação: A SQI alcançou 2º lugar geral entre todas as equipes participantes.
• Métricas de Desempenho:
  • Precisão Geral: 69,05% (2º lugar).
  • Imagens Perturbadas (GT=0): 67,62% (Demonstrando forte robustez contra perturbações visuais).
  • Imagens Originais (GT=1): 70,48%.
• Comparação: Embora a equipe de primeiro lugar (snowpine007) tenha tido uma pontuação geral mais alta (71,67%), a SQI demonstrou uma distribuição de desempenho mais equilibrada entre imagens perturbadas e originais, enquanto outras equipes de topo mostraram variância significativa (por exemplo, a Equipe 3 caiu de 81,43% em originais para 51,43% em imagens perturbadas).
• Estudo de Caso: Em um caso de "Ilusão de Alinhamento Ocluído", a SQI identificou com sucesso que segmentos desalinhados estavam na verdade alinhados, decompondo a cena (ignorando o oclusor), analisando a direção qualitativamente e verificando via extensão contrafactual, enquanto VLMs padrão falharam devido à interferência de fundo.

5. Significado

• Paradigma de Robustez: O trabalho sublinha que a fundamentação qualitativa estruturada é um paradigma viável e robusto para o desenvolvimento de sistemas visão-linguagem de próxima geração que são resistentes a ilusões visuais.
• Eficiência: Ao operar como uma augmentação leve de camada de raciocínio em modelos congelados, a SQI oferece uma alternativa econômica ao ajuste fino caro, tornando-se altamente escalável para VLMs de propósito geral.
• Direção Futura: Destaca a importância de deslocar o foco do aprimoramento de representações visuais para a melhoria do processo de raciocínio em si, sugerindo que pesquisas futuras devem priorizar estratégias de alinhamento no momento da inferência em vez da otimização centrada em dados apenas.