The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images

Resumo Técnico: A Ilusão do Uso de Ferramentas Visuais

Definição do Problema
O paradigma "pensar com imagens" equipa os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) com operações visuais ativas, como o recorte e zoom (crop-and-zoom), para coletar evidências detalhadas além de uma única visão holística. No entanto, observações empíricas revelam um "paradoxo de melhoria marginal": modelos que utilizam essas ferramentas frequentemente obtêm apenas ganhos de precisão marginais ou até negativos em comparação com a inferência direta, apesar de incorrerem em custos de tokens substancialmente maiores. Além disso, as execuções (rollouts) aumentadas por ferramentas falham frequentemente em questões que a inferência direta responde corretamente, muitas vezes ao recortar repetidamente regiões irrelevantes. A questão central abordada é se a evidência visual retornada por essas ferramentas afeta causalmente a previsão final do modelo, ou se o uso da ferramenta é meramente um ritual performativo.

Metodologia: Um Framework de Auditoria Causal
Os autores formulam o uso de ferramentas visuais como um Modelo Causal Estrutural (SCM) sobre a imagem de entrada $I$, a consulta $Q$, uma sequência de ações de ferramenta $T_{1:n}$, observações retornadas $O_{1:n}$ e a resposta final $Y$. Este framework distingue dois caminhos causais da entrada para a saída:

1. Caminhos mediados pela observação ($T \to O \to Y$): Onde o conteúdo visual da observação fundamenta genuinamente a resposta.
2. Atalhos induzidos pela ação ($T \to Y$): Onde a mera presença de uma ação de ferramenta influencia a resposta, independentemente do conteúdo da observação.

Para auditar esses caminhos, o artigo propõe um protocolo de intervenção de três níveis:

• Nível de Política: Compara políticas habilitadas por ferramentas ($\pi_{tool}$) contra políticas de inferência direta ($\pi_{direct}$) para medir o Efeito de Tratamento Médio (ATE) na precisão.
• Nível de Trajetória: Corrompe dinamicamente todas as observações retornadas ($O_i$) durante a execução (por exemplo, substituindo-as por recortes aleatórios da mesma imagem) para medir o efeito total da remoção da evidência visual, incluindo reações de política induzidas, como o esgotamento do orçamento.
• Nível de Passo: Introduz o Ganho de Evidência Visual (VEG), um estimando contrafactual. Para um passo específico $i$, a lacuna de confiança do modelo é medida antes da chamada, após a observação real e após uma observação contrafactual (um recorte de um local diferente). $VEG_i = \Delta M^{real}_i - \Delta M^{cf}_i$ isola a contribuição causal do conteúdo visual específico, filtrando o atalho induzido pela ação.

Principais Contribuições

1. Formulação Causal: O artigo operacionaliza o uso de ferramentas visuais como um grafo causal, desmembrando a utilidade mediada pela observação dos atalhos induzidos pela ação através de um protocolo de intervenção de três níveis.
2. Identificação de Descalibração de Política: O estudo identifica a "descalibração de política" como o gargalo central, caracterizada por dois modos distintos de falha:
   • Chamar Sem Olhar (Calling Without Looking - CWL): O modelo chama ferramentas, mas o conteúdo visual não tem efeito causal na resposta (seja devido à confiança prévia saturada ou chamadas estruturalmente inativas).
   • Olhar Sem Planejar (Looking Without Planning - LWP): O conteúdo visual é informativo, mas o cronograma de chamadas é incoerente (por exemplo, continuando a chamar após a resposta já ter sido determinada ou esgotando o orçamento em regiões não informativas).
3. Diagnóstico de Nível de Trajetória: Um classificador determinístico ordena cada execução em quatro grupos: Sem chamada, Modo 1 (CWL), Modo 2 (LWP) e Calibrado (uso eficaz).
4. Decomposição de Ganhos: Os autores decompõem o ganho agregado de precisão da política em contribuições desses grupos, revelando que as melhorias estão concentradas quase inteiramente na minoria Calibrada.

Resultados
Avaliado em seis modelos representativos (incluindo DeepEyes, Mini-o3, Qwen3-VL e Thyme) e cinco benchmarks de percepção fina:

• Ganhos Marginais: Os ATEs de nível de política são frequentemente pequenos ou negativos. Por exemplo, o DeepEyes mostra melhoria essencialmente nula, enquanto o Mini-o3 e o Qwen3-VL-8B mostram ganhos modestos em benchmarks específicos.
• Ineficácia Causal: Intervenções de nível de trajetória (corrompendo observações) causam quedas massivas de precisão em modelos como Mini-o3 e Qwen3-VL, sugerindo que eles dependem fortemente da estrutura da interface da ferramenta em vez do conteúdo visual, ou que seu planejamento colapsa quando o feedback é corrompido.
• Análise VEG: A análise de nível de passo revela que, para muitos modelos (ex: DeepEyes), o VEG é próximo de zero em todas as chamadas, indicando que o conteúdo visual é ignorado. Para outros (ex: Qwen3-VL-8B), o VEG é alto apenas quando o modelo ainda não está saturado, mas o modelo frequentemente continua chamando após a saturação (Over-Extension).
• A Ilusão: O subconjunto Calibrado (onde as ferramentas são usadas efetivamente) constitui uma minoria das execuções (ex: ~20-45% dependendo do modelo). Os ganhos agregados de precisão relatados nos benchmarks são impulsionados quase exclusivamente por este subconjunto, enquanto a maioria das chamadas de ferramenta está ou desacoplada da resposta (CWL) ou agendada de forma incoerente (LWP).

Significância e Alegações
O artigo afirma expor a "ilusão do uso de ferramentas visuais": os ganhos agregados de precisão observados nos benchmarks criam uma impressão enganosa de que o uso de ferramentas visuais é amplamente e causalmente eficaz. Na realidade, para uma vasta gama de execuções, a evidência visual retornada não media causalmente a resposta.

Os autores propõem a hipótese da armadilha de RL (RL-trap hypothesis), sugerindo que o aprendizado por reforço baseado apenas em resultados (recompensando apenas a resposta final correta) reforça o atalho $T \to Y$ (Modo 1) e falha em penalizar passos intermediários redundantes ou prejudiciais (Modo 2), uma vez que tanto uma trajetória Calibrada quanto uma do Modo 1 recebem a mesma recompensa ao atingirem a mesma resposta final.

A significância deste trabalho reside em deslocar o foco da avaliação de "o modelo chama ferramentas?" para "o modelo pensa com imagens?". O diagnóstico proposto oferece usos operacionais, tais como métricas de avaliação além da precisão, adaptação em tempo de inferência (ignorando ferramentas para o Modo 1 ou interrupção precoce para o Modo 2) e atribuição de crédito consciente do processo para melhorar o treinamento. Os autores observam que suas conclusões são limitadas a modelos de código aberto com acesso white-box para intervenções de nível de passo e focam primariamente na operação de recorte e zoom.