Where To Look? : Causal Tracing of Vision Encoders in VLM

O Dilema do Detetive: Como os Olhos da IA Realmente Veem?

Imagine que você está tentando ensinar um robô a entender o mundo. Você dá a ele uma câmera e um cérebro, e pede que ele descreva a foto de um cachorro. Durante anos, cientistas têm ficado maravilhados com o fato de que esses "Modelos de Visão-Linguagem" (VLMs) conseguem fazer isso com uma precisão incrível. Mas uma pergunta persistente permanece: Como eles realmente fazem isso? Eles realmente "veem" o cachorro da mesma forma que nós, ou estão apenas adivinhando com base em pistas minúsculas e ocultas?

Para responder a isso, pesquisadores utilizam uma técnica chamada rastreamento causal (causal tracing). Pense nisso como o cenário de "e se" de um detetive. Se você tirar uma informação específica do cérebro do robô e a substituir por uma informação diferente, a resposta muda? Se a resposta mudar drasticamente, aquela peça de informação era "causalmente importante". Geralmente, assumimos que, se um robô está falando de um cachorro, a parte mais importante de seu cérebro deve estar olhando diretamente para o cachorro. Mas e se o robô estiver, na verdade, prestando atenção na grama, no céu ou nas sombras, e apenas adivinhando que o cachorro está lá? Este artigo mergulha nesse mistério, perguntando se as partes da IA que mais importam estão realmente olhando para o lugar certo.

---

Onde Olhar? A Grande Distração da IA

Neste estudo, os pesquisadores do LINGO Research Group decidiram jogar um jogo de "encontre a diferença" com alguns dos modelos de IA mais inteligentes do mundo. Eles queriam saber: Quando uma IA responde a uma pergunta sobre uma imagem, a parte de seu cérebro que faz o trabalho pesado está realmente olhando para o objeto em questão?

Para descobrir, eles usaram um truque inteligente chamado patching de ativação (activation patching). Imagine que o cérebro da IA é uma fábrica gigante com milhares de trabalhadores (chamados de "tokens") passando bilhetes por uma esteira rolante.

1. A Execução Limpa: Eles mostram à IA uma foto clara e uma pergunta, como "Onde está a senhora de camisa azul?". A IA dá uma pontuação para o quão bem ela entende a imagem.
2. A Execução Corrompida: Eles pegam a mesma foto e adicionam um monte de ruído estático (como quando a TV fica com chuviscos) para que a IA fique confusa e sua pontuação caia.
3. A Execução com Patch: Este é o passo mágico. Eles pegam a foto "confusa" e ruidosa, mas esgueiram um único bilhete limpo da foto original na linha de produção da fábrica. Se a IA de repente se lembrar da resposta e a pontuação subir novamente, aquele token específico foi o "herói".

Os pesquisadores então fizeram uma pergunta simples: Esse token herói veio da parte da imagem que mostra a senhora de camisa azul? Para medir isso, eles usaram uma ferramenta matemática chamada IoU (Intersection over Union), que é apenas uma forma sofisticada de perguntar: "Quanto este bilhete se sobrepõe à senhora real?"

A Descoberta Chocante: A IA Está Olhando para Todo Lugar, Exceto para o Lugar Certo

Os resultados foram um pouco como descobrir que seu melhor amigo está resolvendo um problema de matemática olhando para o teto em vez de olhar para os números.

A equipe testou de tudo, desde o clássico modelo CLIP até gigantes massivos e modernos como DeepSeek-VL, Qwen-2.5 e LLaVA. Eles esperavam encontrar que os tokens mais "causais" (os heróis) estariam agrupados exatamente em cima do objeto alvo. Em vez disso, encontraram uma conexão fraca, quase inexistente.

• Os Números Não Mentem: No modelo CLIP, a correlação entre "ser importante" e "estar no lugar certo" foi de apenas 0,062. Isso é praticamente zero.
• O Padrão se Mantém: Mesmo nos modelos maiores e mais inteligentes, os números permaneceram baixos. Para o DeepSeek-VL, a correlação foi de 0,0531 ± 0,0334 com um tipo de ruído e 0,0520 ± 0,0041 com outro. Para o Qwen-2.5, foi 0,0912 ± 0,0422.
• A Surpresa do "Zero Sobreposição": Em um exemplo específico, um token que teve uma influência massiva na resposta (um escore causal de 0,718) tinha quase nenhuma sobreposição com o objeto alvo (um IoU de apenas 0,049). Era como se a IA resolvesse o quebra-cabeça olhando para o fundo, não para o assunto principal.

Os autores sugerem que esses modelos são incrivelmente bons em usar informações visuais, mas não estão necessariamente ancorados (grounded) na localização específica dessa informação. Eles podem estar dependendo de uma rede "distribuída" de pistas — como a cor do céu, a textura do chão ou a "vibe" geral da cena — em vez de focar no objeto específico.

Maior Significa Melhor?

Você pode pensar: "Bem, talvez os modelos antigos e menores fossem apenas ruins nisso, e as novas super-IAs tenham corrigido o problema". Os pesquisadores verificaram isso também. Eles observaram modelos de 2023 até os lançamentos mais recentes de 2025.

O veredito? Não. O padrão não mudou. Mesmo os modelos mais avançados, que conseguem responder a perguntas complexas e seguir instruções perfeitamente, ainda mostram esse descompasso. Os autores observam que o fato de um modelo obter uma pontuação mais alta em um teste não significa que ele desenvolveu um melhor "mapa espacial" da imagem. Parece que um desempenho forte não significa automaticamente que a IA está olhando para o lugar certo; significa apenas que ela é muito boa em adivinhar a resposta certa usando quaisquer pistas que conseguir encontrar.

O Teste da "String": Elas Entendem Formas?

Para investigar ainda mais a fundo, a equipe fez uma pergunta diferente: Se você remover a "aparência" de um objeto, mas mantiver sua forma, a IA ainda o reconhece? Eles utilizaram uma tarefa envolvendo cordas (linhas) onde mantiveram a geometria (a forma e as conexões) a mesma, mas alteraram a aparência.

Eles descobriram que os modelos exploram pistas visuais para entender estruturas visuais. Quando essas pistas baseadas na aparência foram removidas, os modelos tiveram dificuldade em manter sua compreensão da estrutura. Isso sugere que a IA não está realmente "vendo" a forma de uma maneira estrutural profunda e independente de sua aparência; ela depende fortemente desses truques de aparência superficial para entender as conexões. Quando esses truques desaparecem, a IA se perde.

O Que Isso Significa para o Futuro

O artigo conclui com uma mensagem clara, embora um pouco inquietante: Existe um abismo entre "ver" e "raciocinar".

Os modelos não estão quebrados; eles estão apenas trabalhando de uma forma que não esperávamos. Eles são como um detetive que consegue resolver um crime ao notar que o suspeito sempre usa um chapéu vermelho, sem nunca realmente olhar para o rosto do suspeito. As partes "causais" de seus cérebros estão fazendo o trabalho, mas não estão necessariamente olhando para o alvo.

Os autores planejam agora analisar ainda mais modelos e diferentes tipos de arquiteturas de câmera para ver se isso é uma regra universal para todas as IAs modernas ou apenas uma peculiaridade das que eles testaram. Por enquanto, eles sugerem que não devemos assumir que, só porque uma IA consegue descrever uma imagem perfeitamente, ela está realmente "olhando" para o objeto da maneira que pensamos. A IA pode estar olhando para a imagem inteira, mas perdendo o ponto específico que nos interessa.