Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) estão cada vez mais sendo acoplados a ferramentas de visão computacional (como estimativa de profundidade, fluxo óptico e correspondência visual) para melhorar o raciocínio visual. No entanto, o artigo identifica uma limitação fundamental: os MLLMs frequentemente falham em aproveitar totalmente os dados gerados por essas ferramentas.

• A Causa Raiz: As abordagens existentes geralmente alimentam as saídas brutas das ferramentas (que são representações densas e de baixo nível, baseadas em pixels ou tokens numéricos) diretamente no modelo. Essas representações estão desalinhadas com a capacidade nativa de raciocínio baseada em linguagem dos MLLMs.
• Consequência: Os modelos tendem a subutilizar o sinal visual, dependendo excessivamente de "priors" linguísticos (o que eles "acham" que deve acontecer) em vez de interpretar os dados visuais reais. Isso resulta em uma percepção fraca, mesmo quando as ferramentas fornecem informações precisas.

2. Metodologia: Programas de Percepção (P2)

Os autores propõem os Programas de Percepção (P2), um método livre de treinamento (training-free) e agnóstico ao modelo que atua como uma camada de tradução entre as ferramentas visuais e o MLLM.

• Conceito Central: Em vez de enviar pixels ou mapas densos, o P2 reescreve as saídas das ferramentas em resumos estruturados, compactos e nativos em linguagem.
• Funcionamento:
  1. Extração de Primitivas: O sistema divide a imagem em primitivas espaciais (ex: patches de uma grade, pontos de correspondência, caixas de detecção).
  2. Leitura e Rótulo: Para cada primitiva, extrai-se uma leitura da ferramenta (ex: valor de profundidade, direção do fluxo) e um rótulo opcional.
  3. Relações Simbólicas: O P2 gera relações simbólicas entre as primitivas (ex: "Patch A está na frente de Patch B" ou "Movimento para a esquerda").
  4. Formato de Saída: O resultado é serializado como um bloco de texto estruturado (semelhante a YAML), que descreve o que está presente, onde está localizado e como as partes se relacionam.
• Vantagem: Isso permite que o MLLM "leia" a modalidade visual diretamente através de texto, alinhando a entrada com sua capacidade nativa de raciocínio linguístico, sem necessidade de ajuste fino (fine-tuning) ou modificações na arquitetura do modelo.

3. Contribuições Principais

1. Representação Unificada (P2): Introdução de um framework simbólico que reformula saídas de ferramentas visuais (profundidade, fluxo óptico, correspondência, detecção de objetos, quebra-cabeças) em resumos linguísticos. O método é aplicável a diferentes escalas de modelos e arquiteturas.
2. Avaliação Abrangente: Demonstração de que o P2 permite um raciocínio robusto em seis tarefas focadas em percepção do benchmark BLINK.
3. Análise de Gargalos: O trabalho prova que o gargalo não é o número de chamadas de ferramentas ou o tamanho do modelo, mas sim a representação da informação visual. O P2 resolve esse gargalo apresentando evidências em uma forma que os MLLMs podem parsear e raciocinar com confiança.

4. Resultados Experimentais

Os resultados foram testados em seis tarefas do benchmark BLINK (Raciocínio Multivista, Profundidade Relativa, Correspondência Visual, Jogo de Quebra-Cabeças, Correspondência Semântica e Localização de Objetos), utilizando modelos de ponta (GPT-5 Mini, Gemini 2.5 Pro) e modelos open-source menores (InternVL3.5, Qwen3VL).

• Ganhos Significativos:
  • Com o GPT-5 Mini, o P2 elevou a precisão de 41,35% para 86,47% em raciocínio multivista e de 52,42% para 81,45% em profundidade relativa.
  • Em modelos menores (ex: InternVL3.5-4B), o P2 proporcionou ganhos absolutos de 21% a 25% em comparação com variantes que usam ferramentas baseadas em imagens.
  • O ganho médio geral em todas as tarefas foi de 19,66%, estabelecendo novos state-of-the-art (SOTA).
• Comparação com SOTA: O P2 superou métodos anteriores que utilizam síntese de programas, cadeias de pensamento (Chain-of-Thought) com ferramentas, ou aprendizado por reforço, muitas vezes usando modelos muito menores.
• Eficiência: O uso de P2 consome significativamente menos tokens por amostra em comparação com métodos que geram código ou desenhos (como o Visual Sketchpad), tornando-o mais eficiente.

5. Significado e Impacto

O artigo oferece uma mudança de paradigma na interação entre MLLMs e ferramentas de visão:

• Mudança de Foco: Em vez de buscar modelos maiores ou mais chamadas de ferramentas, a qualidade da representação dos dados é o fator crítico.
• Plug-and-Play: O P2 é um módulo universal que pode ser inserido em qualquer pipeline existente de ferramentas sem re-treinamento do modelo base.
• Interpretabilidade: Ao converter dados densos em descrições linguísticas claras, o método não apenas melhora a precisão, mas também torna o processo de raciocínio do modelo mais transparente e alinhado com a lógica humana de "pegar dicas" (cues) visuais em vez de processar pixels brutos.

Em resumo, o trabalho demonstra que traduzir sinais visuais complexos para uma linguagem nativa estruturada é a chave para desbloquear o verdadeiro potencial de raciocínio visual dos modelos de linguagem multimodal.