💻 computer science

How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA

Este artigo introduz um arcabouço mecanístico centrado em operações para analisar falhas de Modelos de Visão-Linguagem em VQA composicional, revelando quatro modos de falha distintos e demonstrando que eles se propagam através de caminhos computacionais dissociados e específicos, estabelecendo, assim, uma base para melhorias de confiabilidade direcionadas.

Autores originais: Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Publicado 2026-07-20

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Detetive, o Mapa e o Cérebro com Falhas

Imagine que você está tentando ensinar um robô a ser um detetive. Você dá a ele a foto de um quarto bagunçado e uma pergunta como: "O gato vermelho está sentado na cadeira azul?". Para responder a isso, o robô não pode apenas adivinhar; ele tem que realizar uma série de etapas mentais. Primeiro, ele tem que encontrar o gato (seleção de objeto). Depois, ele tem que verificar se o gato é vermelho (verificação de atributo). Finalmente, ele tem que olhar para a cadeira e entender a relação espacial entre elas (raciocínio). Este campo de estudo é chamado de Modelagem de Visão-Linguagem, onde computadores tentam entender imagens e textos ao mesmo tempo.

Por muito tempo, esses robôs estavam ficando muito bons em responder perguntas de forma geral. Mas havia um detalhe: às vezes eles estavam "trapaceando". Em vez de realmente olharem para a imagem, eles podiam apenas adivinhar a resposta baseando-se em como as palavras costumam se combinar na linguagem humana. Por exemplo, se perguntado: "O céu é geralmente azul?", o robô poderia dizer "sim" sem sequer olhar para a imagem. Os cientistas queriam saber: quando esses robôs erram, por que eles falham? É porque eles não conseguem ver o objeto? É porque não conseguem entender a relação? Ou estão apenas ignorando a imagem inteiramente? Compreender isso é crucial porque, se quisermos que esses robôs sejam ajudantes confiáveis no mundo real, precisamos saber exatamente qual parte de seu cérebro está falhando para que possamos consertá-la.

A Autópsia Centrada na Operação

Neste artigo, os pesquisadores decidiram parar de apenas olhar para a pontuação final e começar a realizar uma "autópsia mecanística" no cérebro do robô. Eles usaram um conjunto de dados específico chamado GQA, que contém perguntas que exigem o encadeamento de múltiplas etapas, como uma receita. Eles focaram em um modelo chamado Qwen2.5-VL-3B, que é um grande modelo de linguagem com um componente de visão. Em vez de apenas perguntar "Ele acertou?", eles perguntaram: "Como ele chegou lá e onde o sinal quebrou?".

Eles desenvolveram uma maneira inteligente de testar a fiação interna do robô. Imagine o céreamente do robô como uma fábrica com duas linhas de montagem principais: uma é a Linha de Atenção, onde os "olhos" do robô escaneiam a imagem e decidem em quais partes focar, e a outra é a Linha MLP (Rede de Alimentação Direta/Feedforward), onde o robão processa e transforma essa informação em um pensamento final. Os pesquisadores usaram "intervenções causais", que é uma forma elegante de dizer que eles quebraram temporariamente partes específicas do cérebro do robô para ver o que acontecia. Eles bloqueavam a habilidade do robô de olhar para um objeto específico, ou impediam que ele processasse os detalhes desse objeto, e então viam se a resposta mudava.

As Quatro Formas de Falha dos Robôs

Ao quebrar o cérebro do robô de maneiras muito específicas, os autores descobriram que não existem apenas respostas "certas" e "erradas". Existem, na verdade, quatro formas distintas de o robô falhar, e cada falha ocorre em uma parte diferente da fábrica:

A Falha de "Ponto Cego" (Falha de Grounding/Ancoragem):
Isso acontece quando o robô simplesmente não consegue encontrar o objeto na imagem. É como tentar encontrar um carro vermelho específico em um estacionamento, mas os olhos do robô estão fechados. Os pesquisadores descobriram que, quando o robô erra isso, é porque ele nunca chegou a focar nos detalhes visuais do objeto. Esta falha é tratada pela Linha MLP (a fábrica de processamento). Se você bloquear o MLP de processar o objeto, o robô falha completamente. Isso sugere que o robô está lutando para transformar os dados brutos da imagem em um "objeto" reconhecível em sua mente.
A Falha de "Foco Excessivo" (Falha de Raciocínio):
Esta é a mais interessante e contraintuitiva. Aqui, o robô vê o objeto perfeitamente, mas fica preso olhando para ele. Imagine que o robô vê um gato e uma cadeira, mas em vez de pensar "O gato está sobre a cadeira", ele apenas se torna obcecado pela textura do pelo do gato e esquece de compará-lo com a cadeira. O robô está "super-ancorado". O estudo descobriu que essa falha específica percorre a Linha de Atenção (o mecanismo de escaneamento), especificamente nas camadas mais tardias do cérebro. O robô está olhando para a coisa certa, mas falha em usar esse olhar para fazer uma conexão lógica.
A Falha de "Propriedade Errada" (Falha de Extração de Atributo):
Neste cenário, o robô encontra o objeto e sabe exatamente onde ele está, mas erra os detalhes. Ele vê um carrinho dourado, mas o chama de prateado. O robô tem o sinal visual, mas a etapa final de converter esse sinal em uma palavra falha. Isso também acontece na Linha MLP, mas especificamente no final, onde a resposta é gerada. É como se a fábrica tivesse a matéria-prima correta, mas a máquina que carimba o rótulo final estivesse quebrada.
A Falha do "Trapaceiro" (Dominância do Prior de Linguagem):
Às vezes, o robô nem olha para a imagem. Se a pergunta for "A corrente é preta ou amarela?" e o robô souber de seu treinamento que correntes são geralmente pretas, ele apenas chuta "preta" sem verificar a imagem. Os pesquisadores descobriram que, para esses tipos de perguntas, o cérebro visual do robô mal está ativo. Ele está dependendo inteiramente de seu "cérebro de linguagem" para adivinhar a resposta. Este é um bypass completo do sistema visual.

A Grande Divisão de Caminhos

A descoberta mais significativa do artigo é uma "dissociação de caminhos". Os pesquisadores mostraram que diferentes tipos de erros percorrem fios diferentes no cérebro do robô.

Se o robô falha em encontrar o objeto (Grounding) ou falha em descrevê-lo corretamente (Extração de Atributo), o problema está na linha de processamento MLP.
Se o robô falha em raciocinar sobre a relação entre objetos (Raciocínio), o problema está na linha de escaneamento de Atenção.

Isso é um grande negócio porque significa que você não pode consertar todos os erros de um robô com uma única ferramenta. Se você tentar consertar um erro de "raciocínio" ajustando a linha de processamento de objetos, não terá sucesso. Você tem que atingir o fio específico onde o erro está ocorcendo.

Isso Acontece em Todos os Robôs?

Os pesquisadores também verificaram se isso era verdade para um robô diferente, o LLaVA-1.5. Eles descobriram que as falhas de "Trapaceiro" e "Propriedade Errada" aconteceram em ambos os robôs, sugerindo que estes são problemas fundamentais de como o robô gera respostas. No entanto, as falhas de "Ponto Cego" e "Foco Excessivo" apareceram apenas no primeiro robô (Qwen2.5-VL). Por quê? Porque o primeiro robô possui um codificador de visão que mantém informações muito detalhadas e perfeitas em pixels sobre onde os objetos estão. O segundo robô (LLaVA) usa um codificador de visão que resume a imagem de forma mais ampla, perdendo parte desse detalhe espacial fino. Como o segundo robô não possui o mesmo nível de "mapa" detalhado, ele não sofre dos mesmos tipos específicos de erros de "Ponto Cego" ou "Foco Excessivo". Isso sugere que alguns erros só acontecem quando o robô tem um mapa de alta resolução para se perder.

A Conclusão

O artigo conclui que não podemos mais tratar os Modelos de Visão-Linguagem como uma caixa preta única que funciona ou não funciona. Eles são máquinas complexas com diferentes linhas de montagem para diferentes tarefas. Quando falham, falham de maneiras específicas e previsíveis: às vezes não conseguem ver, às vezes não conseguem pensar e, às vezes, apenas chutam. Ao identificar exatamente qual "fio" está quebrado para cada tipo de pergunta, os autores fornecem um roteiro para construir robôs melhores e mais confiáveis que realmente olham para a imagem antes de falar.

Resumo Técnico: Como os VLMs Falham? Desalinhamento Visão-Operação na VQA Composicional

Declaração do Problema

A Resposta Visual a Perguntas (VQA) Composicional exige que os Modelos de Linguagem-Visão (VLMs) executem operações de raciocínio encadeadas — como seleção de objetos, resolução de relações espaciais e verificação de atributos — sobre evidências visuais fundamentadas. Embora os VLMs modernos reportem alta precisão agregada em benchmarks como o GQA, esse desempenho mascara padrões sistemáticos de falha. Os modelos frequentemente obtêm sucesso por meio de atalhos linguísticos em operações fáceis, enquanto falham em tarefas que exigem verdadeiro ancoramento visual (visual grounding) e inferência de múltiplos passos.

As análises existentes concentram-se amplamente em tipos de falhas genéricas (ex: alucinação de objetos) ou no fluxo de informação multimodal, mas carecem de uma compreensão mecanística de como e onde as falhas ocorrem. Especificamente, permanece incerto se diferentes operações composicionais falham através de caminhos computacionais internos distintos (ex: mecanismos de atenção vs. redes feedforward) e como essas falhas se relacionam com as operações de raciocínio específicas que estão sendo realizadas.

A metodologia propõe um framework mecanístico centrado na operação para decompor as falhas dos VLMs com base na operação de raciocínio específica e no caminho computacional interno envolvido. O estudo utiliza o dataset GQA, que fornece anotações de programas funcionais e grafos de cena, permitindo que os autores identifiquem tokens visuais causalmente relevantes para cada etapa de raciocínio, em vez de abater todos os tokens visuais uniformemente.

A metodologia emprega três intervenções causais complementares aplicadas em todas as 36 camadas do modelo Qwen2.5-VL-3B-Instruct:

Ablação de Média Causal (Causal Mean Ablation): Substitui os estados ocultos de tokens de ancoramento específicos (associados a um objeto alvo) por uma linha de base neutra (média das ativações de todos os tokens de visão). Isso mede a dependência causal total da representação visual do objeto.
Nocaute de Atenção (Attention Knockout): Define os pesos de atenção dos tokens de ancoramento do objeto para os tokens de resposta como zero em camadas específicas, isolando o caminho de atenção entre tokens (cross-token attention pathway).
Nocaute de MLP (MLP Knockout): Zera a saída da Rede Feed-Forward (MLP) em posições de tokens específicas (ou na posição do objeto ou na posição da resposta), isolando o caminho de feedforward dentro do token (within-token feedforward pathway).

Os autores definem Força de Ancoramento (Grounding Strength) como a degradação máxima na log-probabilidade da resposta correta sob ablação de média. Eles também calculam o Desvio de Especificidade de Ancoramento (Grounding Specificity Shift - GSS) (Cohen's d) para quantificar a diferença na degradação entre previsões corretas e incorretas, o que serve como a métrica primária para classificar os modos de falha.

Principais Contribuições

1. Taxonomia de Falha Consciente da Operação

O artigo identifica quatro modos de falha mecanisticamente distintos, cada um caracterizado por uma relação única entre a força de ancoramento visual e a correção da resposta:

Falha de Ancoramento (Grounding Failure): Ocorre quando respostas corretas apresentam substancialmente maior força de ancoramento do que as incorretas. O modelo falha porque nunca desenvolve dependência causal do objeto alvo (ex: a operação select).
Falha de Raciocínio (Reasoning Failure): Ocorre quando a relação se inverte; respostas incorretas exibem maior força de ancoramento do que as corretas. O modelo localiza o objeto, mas ancora excessivamente em sua representação visual durante estágios onde a inferência relacional abstrata deveria dominar (ex: a operação relate).
Falha de Extração de Atributo (Attribute Extraction Failure): Ocorre quando a força de ancoramento é alta, independentemente da correção. O modelo ancora o objeto com sucesso, mas a computação final que converte a representação ancorada em uma resposta falha (ex: verify, query, exist).
Falha de Dominância de Prior Linguístico (Language Prior Dominance Failure): Ocorre quando a força de ancoramento é baixa para ambas as respostas, corretas e incorretas. O modelo depende de padrões linguísticos e conhecimento de mundo em vez de computação visual (ex: choose, filter).

2. Dissociação de Caminhos (Pathway Dissociation)

Uma descoberta central é a dissociação de caminhos computacionais entre os modos de falha:

Falhas de Ancoramento e de Extração de Atributo roteiam principalmente através da Rede Feedforward (MLP). Para select, a falha reside no processamento da representação do objeto; para verify e query, a falha reside na capacidade do MLP na posição da resposta de extrair o atributo correto de uma representação bem ancorada.
Falhas de Raciocínio roteiam principalmente através da Atenção de Camadas Tardias (Late-Layer Attention). Para relate, os erros são impulsionados pelo token de resposta atendendo aos tokens visuais do objeto em camadas tardias (28–35), indicando uma dependência excessiva do conteúdo visual em vez de abstração relacional.

3. Validação Trans-Arquitetura e Trans-Benchmark

Benchmark VSR: A validação no benchmark de Raciocínio Espacial Visual (VSR) confirma que os erros de raciocínio espacial são mediados por MLP na etapa de codificação do objeto (especificamente no processamento de tokens de caixa delimitadora/bounding box), e não na etapa de decodificação da resposta. Isso distingue falhas de raciocínio espacial de falhas de extração de atributos.
Análise LLaVA-1.5-7B: Ao ser aplicado ao LLaVA-1.5 (que utiliza um codificador CLIP congelado), os modos de falha de Extração de Atributo e Prior Linguístico permanecem consistentes (independentes de arquitetura). No entanto, as falhas de Ancoramento e Raciocínio desaparecem. Isso sugere que esses modos são dependentes do codificador, surgindo apenas quando o codificador de visão preserva granularidade espacial suficiente para que o modelo de linguagem falhe ao processá-la.

Resultados

Falha de Ancoramento (select): Mostra uma forte associação positiva entre força de ancoramento e correção ( $d = +0,75$ ). A falha é localizada no MLP da posição da resposta, indicando que o reconhecimento do objeto depende de transformações dentro do token em vez de roteamento de atenção.
Falha de Raciocínio (relate): Mostra uma associação negativa ( $d = -0,17$ ), onde respostas incorretas são mais dependentes dos tokens visuais do objeto. O nocaute de atenção amplifica esse efeito, com erros concentrados em camadas tardias, confirmando que o modelo "ancora excessivamente" no conteúdo visual quando deveria raciocinar abstratamente.
Extração de Atributo (verify, query, exist): Mostra alta força de ancoramento absoluta, mas sem discriminação significativa de correção no nocaute de atenção. As falhas são localizadas no MLP na posição da resposta (para verify) ou nas posições do objeto (para exist), indicando uma quebra na conversão de representações ancoradas para atributos específicos.
Prior Linguístico (choose, filter): Mostra força de ancoramento negligenciável e nenhum efeito específico de caminho significativo, confirmando que essas operações ignoram a computação visual.

Significância

O artigo afirma fornecer uma base principiológica para melhorias direcionadas à confiabilidade de VLMs em raciocínio multimídia. Ao demonstrar que diferentes tipos de falha exigem estratégias corretivas fundamentalmente diferentes, o trabalho argumenta contra soluções de "tamanho único". Especificamente:

Intervenções visando o processamento feedforward são necessárias para erros de ancoramento e extração de atributos.
Intervenções visando o roteamento de atenção (particularmente em camadas tardias) são necessárias para erros de raciocínio.
A distinção entre modos de falha de nível de tarefa (independentes de arquitetura) e dependentes do codificador oferece um framework diagnóstico para entender as limitações do modelo com base em suas capacidades de codificação visual.

Os autores enfatizam que sua contribuição é diagnóstica, oferecendo um mapa mecanístico de como os VLMs falham, em vez de propor uma intervenção corretiva específica. Essa compreensão granular é apresentada como um pré-requisito para o desenvolvimento de VLMs mais robustos e confiáveis.