The Illusion-Illusion: Vision Language Models See Illusions Where There Are None

Resumo Técnico: O Ilusão-Ilusão: Modelos de Linguagem e Visão Veem Ilusões Onde Não Existem

Problema
As ilusões perceptivas servem como ferramentas diagnósticas na ciência cognitiva ao revelarem lacunas entre a realidade e a aparência, iluminando, assim, os mecanismos subjacentes de processamento mental. Embora pesquisas anteriores tenham investigado se sistemas artificiais sucumbem às mesmas ilusões clássicas que os humanos, este artigo argumenta que testar ilusões clássicas é insuficiente para diagnosticar os atuais Modelos de Linguagem e Visão (VLMs). O autor propõe que uma ferramenta diagnóstica mais reveladora é a "ilusão-ilusão" (ou "ilusão-ilusão"): imagens que possuem as características visuais de uma ilusão, mas carecem do truque perceptual real. Nestes casos, a realidade visual coincide com a aparência (por exemplo, linhas que são genuinamente de comprimentos diferentes, um pato que é genuinamente um pato), mas são vizinhas de ilusões famosas. O problema central abordado é se os atuais VLMs percebem erroneamente estas "ilusões-ilusões" como ilusões, revelando uma falha em distinguir entre anomalias perceptivas genuínas e fatos visuais diretos.

Metodologia
O estudo empregou um framework de avaliação comparativa envolvendo dez ilusões visuais representativas que cobrem diversos fenômenos perceptivos (ex: setas de Müller-Lyer, círculos de Ebbinghaus, triângulos de Kanizsa, sombras de xadrez). Para cada ilusão clássica, o autor construiu três tipos de estímulos:

1. A Ilusão: A imagem original desenhada para elicitar um erro perceptivo.
2. A Ilusão-Ilusão: Uma versão modificada onde o "truque" é removido e as propriedades visuais são literais (ex: setas com comprimentos de haste genuinamente diferentes, uma imagem clara de um pato).
3. O Controle: Versões simplificadas desenhadas para verificar a competência básica (ex: identificar um único triângulo).

A avaliação testou oito VLMs atuais: GPT-4o, Claude 3, Gemini Pro Vision, miniGPT, Qwen-VL, InstructBLIP, BLIP2 e LLaVA-1.5. Os modelos foram apresentados com imagens e prompts específicos direcionados ao sujeito da ilusão (ex: "Qual é mais longo, a linha azul ou a linha vermelha?"). Uma condição secundária envolveu o prefixo da frase "Na seguinte ilusão visual" aos prompts para testar a influência do contexto.

O desempenho foi pontuado como binário (0 ou 1) com base no alinhamento com respostas humanas. Para ilusões clássicas, uma pontuação de 1 indicava relatar o percept ilusório ou reconhecer a ilusão. Para ilusões-ilusões e controles, uma pontuação de 1 indicava relatar a verdade literal como um humano faria. O autor observa que esta pontuação é leniente, pecando pelo excesso ao declarar o desempenho do modelo.

Resultados Principais
Os resultados indicam uma divergência significativa entre a percepção humana e as capacidades atuais dos VLMs:

• Falha em Ilusões-Ilusões: Modelos líderes (GPT-4o, Claude 3, Gemini Pro), que reconhecem ou relatam com sucesso ilusões clássicas, também frequentemente classificam erroneamente ilusões-ilusões como ilusões. Por exemplo, quando apresentados com linhas que são genuinamente de comprimentos diferentes, estes modelos frequentemente afirmam que elas têm o mesmo comprimento (mimicando a ilusão) ou descrevem-nas como uma ilusão.
• Fragilidade Contextual: Quando o prompt rotulou explicitamente uma imagem como uma "ilusão visual", o desempenho dos três principais modelos degradou-se significativamente em ilusões-ilusões e controles. Eles relataram predominantemente estas imagens não-ilusórias como ilusões, sugerindo que as suas respostas são fortemente enviesadas pelo prompt textual em vez da evidência visual.
• Falhas de Controle: Contrariando a hipótese de que os controles serviriam como uma linha de base para competência, modelos como GPT-4o, Gemini Pro e Claude 3 frequentemente relataram imagens de controle simples (ex: um único triângulo) como ilusões. Isto sugere que, para estes modelos, o conceito de "ilusão" está a ser aplicado amplamente a imagens que meramente se assemelham à categoria de ilusão, em vez de ser um julgamento perceptivo específico.
• Comportamento do Modelo: O comportamento dos principais modelos não se alinha com um hipotético "Modelo B" (que reconheceria ilusões, mas não ilusões-ilusões). Em vez disso, exibem um padrão mais próximo de um desempenho "plano" ou uma tendência a alucinar ilusões onde elas não existem, particularmente quando estimulados pela palavra "ilusão".

Principais Contribuições
O artigo introduz o conceito de "ilusões-ilusões" como uma nova ferramenta diagnóstica para sistemas artificiais. Ao inverter o uso padrão de ilusões, o autor demonstra que os atuais VLMs sofrem de um modo de falha específico: eles aplicam o padrão de reconhecimento de ilusão a imagens que não o justificam. Este trabalho destaca que a falha em distinguir entre uma ilusão e uma ilusão-ilusão é um indicador mais profundo de erros de processamento do que a mera capacidade de detectar uma ilusão clássica. O estudo fornece um dataset e um protocolo de avaliação mostrando que os modelos frequentemente falham em fundamentar as suas respostas na realidade visual literal quando o contexto sugere que uma ilusão está presente.

Significância e Alegações
O autor alega que estas falhas não são meros detalhes, mas indicativas de erros de processamento mais amplos nos atuais VLMs. O artigo sugere que, quando um modelo falha numa ilusão-ilusão, isso implica que o sistema não está a realizar um reconhecimento "comum" do input. Em vez disso, o modelo provavelmente recorre à correspondência de similaridade de baixo nível com dados de treino, associando as características visuais de uma imagem com o conceito de uma ilusão encontrado no seu corpus de treino, em vez de mimetizar as falhas perceptivas específicas da biologia humana.

A significância deste trabalho reside no desafio à suposição de que a capacidade de um modelo identificar uma ilusão prova que ele possui uma compreensão perceptiva semelhante à humana. O autor argumenta que cair numa ilusão é um traço humano, mas cair numa "ilusão-ilusão" (onde o truque está ausente) é um sinal de um sistema que é "enganado" pela ideia de uma ilusão, e não pelos dados visuais em si. O artigo conclui que estas falhas sugerem que os sistemas atuais ainda não são robustos na distinção entre a aparência de um problema e a realidade do input, uma limitação que se estende para além da visão, abrangendo outras modalidades e domínios.