Resumo Técnico: PERIA – Construindo Agentes Visuais Aumentados por Ferramentas para Raciocínio Espacial

Declaração do Problema

Modelos de Linguagem-Visão (VLMs) recentes demonstraram uma forte compreensão multimodal, mas permanecem limitados em tarefas de raciocínio espacial que exigem aquisição ativa de evidências e interação visual de múltipls etapas. Essas tarefas — como o raciocínio sobre mapas de metrô, sondagem visual e reconstrução visual — exigem mais do que o raciocínio sobre representações visuais estáticas. Elas exigem que os modelos fundamentem evidências detalhadas, extraiam detalhes relevantes para a tarefa e raciocinem sobre relações espaciais através de etapas intermediárias.

VLMs existentes aumentados por ferramentas mostram promessa em tarefas estruturadas (ex: compreensão de gráficos) onde as respostas derivam de evidências explícitas. No entanto, eles frequentemente falham em tarefas espaciais complexas porque:

1. Falta de Percepção Global: Eles perdem detalhes visuais locais ou falham em recuperar a estrutura espacial global.
2. Lacuna de Uso de Ferramentas: Simplesmente fornecer acesso a ferramentas visuais não garante um uso competente. VLMs de código aberto frequentemente degradam o desempenho quando recebem acesso bruto a ferramentas sem treinamento dedicado, falhando em selecionar as ferramentas certas, invocá-las corretamente ou integrar o feedback de forma eficaz.
3. Limitações de Treinamento: Métodos existentes utilizam espaços de ferramentas limitados ou dados de domínios específicos, carecendo de uma política unificada para compor ferramentas de percepção e interação para raciocínio espacial geral.

Metodologia: PERIA

Os autores introduzem o PERception-Interaction-reason Agent (PERIA), um agente visual aumentado por ferramentas projetado para preencher a lacuna entre ter ferramentas e usá-las efetivamente. O PERIA organiza a resolução de problemas visuais em um processo unificado de três estágios: Perceber (coletar evidências espaciais globais), Interagir (realizar análise local detalhada e verificação) e Raciocinar (sintetizar observações para produzir uma resposta).

1. Sandbox de Ferramentas

O PERIA opera dentro de um sandbox de ferramentas modular contendo 18 ferramentas divididas em duas famílias complementares:

• Ferramentas de Percepção Visual: Projetadas para expor evidências textuais, simbólicas e espaciais. Exemplos incluem text_spotting, map_text_ocr, grounding_dino (para detecção de objetos) e auto_segment. Essas ferramentas transformam imagens em observações estruturadas (coordenadas, texto, caixas delimitadoras).
• Ferramentas de Interação Visual: Projetadas para manipular o contexto visual, traçar caminhos e verificar relações espaciais. Exemplos incluem image_crop, draw_path, bounding_box e image_highlight. Essas ferramentas permitem que o agente dê zoom, anote ou trace rotas na imagem.

2. Pipeline de Treinamento

O treinamento do PERIA envolve três estágios distintos:

• Estágio A: Construção do Sandbox de Ferramentas: O ambiente é construído com utilitários baseados em funções e agentes de ferramentas leves (ex: PaddleOCR-VL, Grounding DINO, SAM3) para suportar a invocação flexível de ferramentas.
• Estágio B: Síntese de Trajetória de Ajuste Fino Supervisionado (SFT):
  • Um modelo proprietário (GPT-5) é usado para gerar trajetórias de uso de ferramentas executáveis de alta qualidade via uma estratégia de exploração-e-explotação (explore-and-exploit).
  • O processo envolve a expansão de prefixos de raciocínio-ação até que uma resposta correta seja encontrada ou um limite de turnos seja atingido.
  • Um modelo de pesos abertos especialista (Qwen3-VL-235B) diversifica os estilos de raciocínio intermediários (pensamentos/thoughts) enquanto mantém as chamadas de ferramentas e observações fixas, criando um conjunto de dados diversificado para SFT.
• Estágio C: Aprendizado por Reforço com OR-GIGPO:
  • Para otimizar o uso de ferramentas de múltiplas etapas, os autores propõem o Observation-Relaxed Group-in-Group Policy Optimization (OR-GIGPO).
  • Motivação: O padrão Group-in-Group Policy Optimization (GIGPO) depende de correspondência exata de estado. No uso de ferramentas visuais, chamadas de ferramentas semanticamente equivalentes podem retornar observações ligeiramente diferentes (ex: variações de texto OCR), tornando a correspondência exata muito restritiva.
  • Mecanismo: O OR-GIGPO substitui a correspondência exata por uma correspondência relaxada de observação. Ele agrupa os rollouts pelo input da tarefa e utiliza um grupo âncora relaxado para o cálculo de vantagem ao nível do passo, combinando observações que são semanticamente similares (usando métricas de similaridade de string) em vez de idênticas.
  • Atribuição de Crédito: O algoritmo combina vantagens ao nível do episódio (qualidade da trajetória) e vantagens ao nível do passo (qualidade da decisão da ferramenta local) para atribuir crédito através de trajetórias de múltiplas etapas.
  • Design de Recompensa: Uma função de recompensa composta inclui penalidades para repetição, recompensas de formato para tags de uso de ferramenta válidas e recompensas de correção (binária para QA, contínua baseada em NDTW para rastreamento de rota).

Principais Contribuições

1. Framework Unificado: Introdução do PERIA, um framework geral para agentes visuais aumentados por ferramentas que integra ferramentas de percepção e interação para raciocínio, planejamento e verificação em diversas tarefas espaciais.
2. Conjunto de Ferramentas Diversificado e Síntese de Trajetória: Desenvolvimento de um conjunto especializado de ferramentas de percepção-interação e a síntese de um conjunto de dados de trajetória diversificado e de alta qualidade para ajuste fino supervisionado, permitindo a invocação confiável de ferramentas.
3. Algoritmo OR-GIGPO: Proposta do Observation-Relaxed Group-in-Group Policy Optimization, um novo método de aprendizado por reforço que lida com a variabilidade das observações das ferramentas visuais, permitindo uma atribuição de crédito refinada para o uso de ferramentas de múltiplas etapas.
4. Validação Empírica: Demonstração de que o PERIA-8B supera significativamente os baselines fortes e se aproxima do desempenho de modelos proprietários muito maiores.

Resultados Experimentais

Os autores avaliaram o PERIA-8B em 13 benchmarks abrangendo 8 conjuntos de dados, cobrindo tanto tarefas in-distribution (MapTrace, ReasonMap, Visual Probing) quanto out-of-distribution (Ball Tracking, Paper Folding, Cube 3-View, etc.).

• Ganhos de Desempenho: O PERIA-8B melhora o Qwen3-8B (backbone) em 10,0% nos benchmarks in-distribution e 4,4% nos benchmarks out-of-distribution.
• Comparação com SOTA: Supera os baselines de estado da arte anteriores de tamanho similar (ex: VTool-R1, Mini-o3) em 7,0%–14,8%.
• Escalabilidade: O PERIA-8B alcança desempenho comparável a modelos significativamente maiores, como o Qwen3-VL-235B-A22B-Thinking e o GPT-5.
• Estudos de Ablação:
  • OR-GIGPO: Remover o RL (w/o RL) causa uma queda substancial (média de -7,2% em in-distribution), e o OR-GIGPO supera outros algoritmos de RL (GRPO, DAPO) por margens significativas.
  • Acesso a Ferramentas: Remover ferramentas (w/o Tool) leva a um desempenho desequilibrado e esquecimento catastrófico em certos domínios espaciais.
  • SFT: Treinar diretamente com RL sem SFT (w/o SFT) resulta em baixo desempenho, destacando a necessidade de síntese de trajetória supervisionada.
  • Tipos de Ferramentas: Tanto as ferramentas de percepção quanto as de interação são necessárias; remover qualquer uma das famílias degrada o desempenho.

Significância e Alegações

O artigo afirma que o uso de ferramentas visuais treinado é uma direção crítica para construir agentes de raciocínio espacial capazes. O insight principal é que a lacuna entre "ter ferramentas" e "usar ferramentas" é um problema de aprendizado de política. Ao combinar um conjunto de ferramentas diversificado com uma receita de treinamento unificada (SFT + OR-GIGPO), o PERIA permite que os agentes:

• Adquiram evidências espaciais globais.
• Realizem verificações locais detalhadas.
• Raciocinem sobre observações acumuladas para resolver tarefas espaciais complexas.

Os autores enfatizam que sua abordagem permite que modelos menores (8B) rivalizem com modelos proprietários muito maiores, sugerindo que o treinamento eficaz de uso de ferramentas pode proporcionar ganhos além do simples escalonamento do backbone. Eles reconhecem limitações, como o foco em modelos 8B devido a restrições computacionais e o limite atual de 10 turnos de interação, e sugerem trabalhos futuros em extensão para raciocínio 3D, tarefas incorporadas (embodied) e conjuntos de dados de trajetória maiores.