Resumo Técnico: Pré-processamento Visual Consciente de Ilusões e Prompting Anti-ilusão para Compreensão de Ilusões Clássicas em Modelos Visuais-Linguísticos

1. Declaração do Problema

Os Modelos Visuais-Linguísticos (VLMs) exibem um viés sistemático em relação a ilusões visuais, frequentemente priorizando fatos memorizados em detrimento da percepção visual real. Como demonstrado pelo framework VI-Probe [18], os VLMs frequentemente sofrem de um dilema "perceber-ou-recordar": eles identificam corretamente ilusões padrão (por exemplo, a ilusão de Ebbinghaus) ao recordar o conceito em vez de analisar a imagem, mas falham em detectar diferenças físicas genuínas quando uma ilusão é perturbada.

Este artigo aborda o Desafio 5th DataCV, Tarefa 1 na CVPR 2026, que formula a compreensão de ilusões clássicas como uma tarefa binária de Resposta a Perguntas Visuais (VQA). O objetivo é desenvolver uma abordagem sem treinamento que permita aos VLMs fornecer respostas objetivas e fundamentadas na percepção sobre sete tipos clássicos de ilusões (Müller-Lyer, Ebbinghaus, Poggendorff, etc.), superando o conflito entre conhecimento prévio e evidência visual.

2. Metodologia

A solução proposta é um pipeline de três etapas, sem treinamento, que depende de manipulação visual e design de prompt, em vez de ajuste fino do modelo.

2.1. Pré-processamento de Imagem Consciente de Ilusões

Em vez de pedir ao VLM para "ver através" de uma ilusão, a ideia central é modificar fisicamente a imagem para enfraquecer ou remover o contexto indutor de ilusão. Isso transforma a tarefa perceptiva em uma comparação visual mais simples.

• Processo de Descoberta: Estratégias foram desenvolvidas por meio de um processo colaborativo multi-VLM (Etapa 1: Análise divergente por Claude-Opus, Qwen3-VL e Gemini-3.1-Pro; Etapa 2: Síntese convergente; Etapa 3: Validação humana). Aproximadamente 60% das estratégias originaram-se de propostas dos modelos, com 40% refinadas por humanos.
• Transformações Específicas por Tipo:
  • Tamanho (Ebbinghaus/Ponzo): Isolar alvos via limiarização de cor/intensidade, depois aplicar uma estratégia de mistura por espelho (sobrepondo as metades esquerda e direita). Tamanhos idênticos produzem uma sobreposição limpa; tamanhos diferentes revelam um anel de borda.
  • Cor (Cornsweet/Contraste Simultâneo): Extrair faixas de borda ou recortar alvos centrais para remover contextos de gradiente circundantes, seguidos por realce de saturação e contraste.
  • Retidão (Hering/Wundt): Isolar linhas-alvo via filtragem de canal de cor e sobrepor grades de referência tracejadas para fornecer pistas de retidão contra um fundo limpo.
  • Alinhamento (Poggendorff): Ajustar uma trajetória linear aos segmentos visíveis e renderizar uma linha de extensão tracejada através da barra oclusora para visualizar o alinhamento.
  • Paralelismo (Café Wall): Sobrepor linhas de referência verticais igualmente espaçadas para detectar desvios angulares.
  • Borda (Kanizsa): Aplicar realce de contraste e nitidez para amplificar bordas reais enquanto mantém contornos ilusórios tênues.

2.2. Engenharia de Prompt Anti-ilusão

Os prompts são projetados para redirecionar o modelo de uma recordação baseada em conhecimento para uma comparação visual qualitativa.

• Nomeação do Mecanismo: Os prompts nomeiam explicitamente o tipo de ilusão (por exemplo, "Esta é uma ilusão de Müller-Lyer") para ativar a consciência.
• Orientação de Características: Instruções direcionam a atenção para características específicas introduzidas pelo pré-processamento (por exemplo, "Compare o anel de borda", "Verifique se a linha vermelha permanece paralela à grade").
• Transformação do Problema: As perguntas são reformuladas para evitar disparar a recordação. Por exemplo, em vez de perguntar "Estas linhas são iguais?", o prompt instrui o modelo a ignorar os círculos indutores de ilusão e comparar apenas os segmentos horizontais.

2.3. Ensemble de Votos Múltiplos

Para mitigar a variância estocástica nas saídas dos VLMs, o sistema consulta o modelo $N$ vezes por imagem e agrega os resultados por meio de votação majoritária.

• Configuração: A submissão final utiliza $N=5$ chamadas de API.
• Racional: Experimentos mostraram ganhos de acurácia de +3,4 pontos percentuais (pp) em $N=5$ comparado a consultas únicas, com retornos decrescentes além deste ponto.

3. Contribuições Chave

1. Framework Sem Treinamento: Um pipeline completo que não requer atualizações de parâmetros, dependendo exclusivamente de pré-processamento de imagem e engenharia de prompt.
2. Desacoplamento Percepção-Memória: Demonstra que alterar fisicamente a representação da imagem é mais eficaz do que apenas orientação baseada em texto para desacoplar VLMs de modelos de ilusão memorizados.
3. Descoberta de Estratégia Multi-VLM: Uma metodologia inovadora que utiliza múltiplos VLMs de ponta como "consultores de raciocínio visual" para descobrir e sintetizar colaborativamente estratégias ótimas de pré-processamento.
4. Especialização Específica por Tipo: O desenvolvimento de pipelines distintos e otimizados para sete categorias diferentes de ilusões, indo além do aprimoramento genérico de imagem.

4. Resultados Experimentais

O método foi avaliado no conjunto de teste oficial de 630 imagens e em um subconjunto de 10% verificado por humanos (63 amostras) usando Claude (claude-opus-4-6).

• Acurácia Geral: Alcançou 90,48% no conjunto de teste oficial e 98,41% no subconjunto verificado por humanos.
• Decomposição por Componente:
  • Original-ACC: 98,57% (alta acurácia em imagens de ilusão padrão).
  • Perturbed-ACC: 82,38% (acurácia em imagens onde a ilusão foi modificada para criar diferenças genuínas).
• Estudo de Ablação:
  • Linha de Base (Zero-shot/Few-shot): ~62–68% de acurácia.
  • Pré-processamento de Imagem: Melhorias incrementais a partir de remoção de ruído (+3,23pp), destaque de alvo (+3,12pp) e linhas de referência (+3,18pp) trouxeram a acurácia para 87,30%.
  • Prompt + Votação: A adição de prompts anti-ilusão e ensemble de 5 votos forneceu o maior ganho em uma única etapa (+11,51pp), atingindo os 98,41% finais no subconjunto.
• Comparação: O pipeline completo superou o aprimoramento visual genérico (74,51%) e várias linhas de base de prompting (CoT, Autoconsistência) por uma margem significativa (23,9pp sobre o aprimoramento genérico), confirmando que transformações específicas por tipo são críticas.

A solução garantiu o 2º lugar no desafio, ficando atrás do 1º lugar por apenas 0,47%.

5. Significado e Alegações

O artigo afirma que, para tarefas onde o conhecimento prévio dos VLMs entra em conflito com a evidência visual, operar sobre a representação da imagem é um caminho mais promissor para o raciocínio fundamentado na percepção do que operar apenas sobre prompts de texto.

• Mecanismo de Desacoplamento: A combinação de pré-processamento e prompting produz efeitos superaditivos. O pré-processamento remove os gatilhos visuais que causam "correspondência de modelos", enquanto os prompts canalizam a atenção do modelo para as comparações visuais relevantes.
• Praticidade: A abordagem oferece uma estratégia prática e sem treinamento para melhorar a robustez dos VLMs em cenários onde associações memorizadas sobrepõem a análise visual ativa.
• Limitações: Os autores reconhecem que a abordagem atual depende de estratégias por tipo semi-automáticas e refinadas manualmente, o que pode limitar a escalabilidade para ilusões não vistas ou de nível de cena naturalística. Além disso, o ensemble de votos múltiplos incorre em um custo computacional 5x maior.

O trabalho sublinha que, embora os VLMs sejam suscetíveis a ilusões devido à sua dependência de atalhos estatísticos e conhecimento prévio, essas falhas podem ser mitigadas reestruturando fisicamente a entrada para alinhar com as forças de processamento visual do modelo.