Resumo Técnico: ReGRPO – Otimização de Política Aumentada por Reflexão para Agentes de Uso de Ferramentas

1. Declaração do Problema

Modelos de Visão-Linguagem (VLMs) aumentados por ferramentas visam resolver tarefas complexas, multimodais e de múltiplos passos invocando ferramentas externas (ex: OCR, busca na web, execução de código). No entanto, as abordagens atuais sofrem de duas limitações primárias em relação à robustez e recuperação:

1. Limitações do Ajuste Fino Supervisionado (SFT): Os métodos de SFT existentes (ex: MAT-AGENT) dependem fortemente de trajetórias bem-sucedidas. Eles oferecem pouco ou nenhum sinal para recuperação quando um agente se desvia do caminho ideal ou encontra uma falha de ferramenta (ex: um resultado de OCR vazio devido a um leve deslocamento de layout). O modelo aprende a seguir traços bem-sucedidos, mas carece da capacidade de diagnosticar e reparar erros locais.
2. Limitações do Aprendizado por Reforço (RL) Padrão: As abordagens de RL padrão geralmente fornecem apenas recompensas esparsas ao nível da trajetória (sucesso/falha). Em tarefas de longo horizonte, uma recompensa escalar de falha não identifica qual passo específico falhou ou como corrigi-lo. Essa ambiguidade leva a um aprendizado lento e instável, pois o agente não consegue distinguir entre uma escolha de ferramenta errada e um argumento errado.

O desafio central é permitir que agentes de uso de ferramentas não apenas executem tarefas, mas também consigam diagnosticar falhas, gerar reflexões estruturadas e executar ações corretivas dentro de uma única passagem de inferência sem depender de verificadores externos caros ou tentativa e erro em tempo de teste.

2. Metodologia: ReGRPO

Os autores propõem o ReGRPO (Reflection-augmented Group Relative Policy Optimization), um framework que trata a reflexão diagnóstica como uma variável aprendível, em vez de uma heurística de prompting fixa. A metodologia consiste em três componentes principais:

A. Mecanismo de Dados Reflexivos Estruturados

Para abordar a falta de dados de recuperação no SFT, os autores introduzem um mecanismo de dados que converte falhas de execução de ferramentas em supervisão fundamentada.

• Indução de Falha: Partindo de trajetórias de verdade fundamental (ground-truth), o sistema sintetiza ações de "quase-acerto" perturbando escolhas de ferramentas ou argumentos (ex: deslocando uma caixa delimitadora/bounding box). Estas são executadas em um sandbox para gerar observações de falha reais e fundamentadas (ex: OCR vazio, erros de API).
• Tripletos de Reflexão-do-Pensamento (RoT): Um VLM professor (padrão: GPT-4o) analisa o contexto da falha e gera um triplet estruturado:
  • ErrorType (Tipo de Erro): Diagnóstico categórico (ex: GroundingDrift, ToolMismatch).
  • Evidence (Evidência): Referência explícita à observação visual ou textual que desencadeou o erro (ex: "A saída do OCR para a região #box1 está vazia").
  • FixPlan (Plano de Correção): Uma estratégia concreta para corrigir o erro (ex: "Expandir a caixa delimitadora").
• Supervisão: Esses tripletos são pareados com a ação corrigida para formar uma trajetória de "Falha → Reflexão → Correção", usada para o warm-start de SFT.

B. Treinamento de GRPO Aumentado por Reflexão

O ReGRPO estende o algoritmo de Otimização de Política Relativa de Grupo (GRPO) para otimizar conjuntamente os tokens de reflexão e as ações corretivas.

• Formulação de Trajetória Local: Em vez de pontuar ações atômicas, a política amostra um grupo de $K$ trajetórias locais candidatas. Se uma ação inicial $a^{(0)}$ falha, a política gera uma reflexão $z$ e uma ação corretiva $a^{(1)}$.
• Função de Recompensa Composta: A recompensa $R(\tau)$ equilibra o sucesso da tarefa, a eficiência de execução e a verificação opcional:
  $$R(\tau) = \lambda_{exec} \mathbb{1}_{\{success\}} - \eta C(\tau) + \lambda_{val} V(x_i, \tau)$$
  • Custo de Reflexão ($C(\tau)$): Penaliza o comprimento do token da reflexão $z$, forçando o agente a refletir apenas quando necessário.
  • Valor do Verificador ($V$): Um sinal opcional, apenas para treinamento, computado deterministicamente a partir de metadados (sem chamadas de LLM durante o RL) para estabilizar o aprendizado.
• Otimização: A política é atualizada usando vantagens relativas ao grupo. Ao comparar trajetórias recuperadas contra falhas não recuperadas dentro do mesmo grupo, o modelo aprende quais reflexões são úteis e como gerá-las de forma eficiente.

C. Estágio de Inferência com Zero-Verificador

No deploy, o ReGRPO opera em um modo de caminho único e zero-verificador para garantir eficiência.

• Gatilho Determinístico: Um portão (gate) leve $g_i$ decide se deve abrir um bloco de reflexão-correção local. O gatilho é ativado se:
  1. Um erro de ferramenta é detectado.
  2. A observação está vazia.
  3. A confiança da política na ação ($u_i$) cai abaixo de um limiar adaptativo ($\kappa_i$).
• Recuperação: Se acionado, o agente executa um único bloco local: $a^{(0)} \to o^{(0)} \to z \to a^{(1)} \to o^{(1)}$. Isso permite a autocorreção sem chamadas de verificadores externos ou busca.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Mecanismo de Dados Reflexivos Estruturados: Um pipeline que converte falhas brutas de execução de ferramentas em supervisão "Erro-Reflexão-Correção" fundamentada, permitindo que agentes aprendam estratégias de recuperação desde o início.
2. Algoritmo ReGRPO: Um novo framework de otimização que integra a reflexão estruturada ao objetivo do GRPO. Ele otimiza conjuntamente a geração de reflexão e as ações corretivas, tratando a reflexão como uma variável de decisão, e não como um prompt estático.
3. Desempenho de Estado da Arte: Sob o mesmo backbone (Qwen2-VL-7B) e conjunto de ferramentas, o ReGRPO alcança os melhores resultados entre os controladores de código aberto comparados nos benchmarks GTA e GAIA, superando bases fortes como MAT-AGENT e SPORT.

4. Resultados Experimentais

Os autores avaliaram o ReGRPO em dois benchmarks multimodais:

• GTA (229 tarefas): Foca em percepção visual e operações locais (ex: ler recibos).
• GAIA (446 tarefas): Foca em compreensão de documentos, navegação web e raciocínio lógico através de PDFs, PPTX e XLSX.

Principais Descobertas:

• Desempenho: O ReGRPO padrão sem verificador ($\lambda_{val}=0$) alcançou 67,66% de Acurácia de Resposta no GTA e 23,35% no GAIA. Isso representa uma melhoria significativa sobre a base SPORT (+7,40% no GTA, +2,74% no GAIA).
• Estudos de Ablação:
  • RoT SFT: Adicionar dados de reflexão estruturada para o warm-start de SFT melhorou o desempenho em relação ao SFT padrão, demonstrando o valor do diagnóstico de erro explícito.
  • Estruturada vs. Livre: A reflexão estruturada (com restrição de esquema) superou a reflexão de formato livre, indicando que o esquema ErrorType-Evidence-FixPlan é crucial para um aprendizado eficaz.
  • Independência de Verificador: Embora adicionar uma recompensa de verificador opcional derivada do professor tenha proporcionado ganhos marginais, o pipeline principal do ReGRPO permaneceu altamente eficaz sem ele, validando a estratégia de implantação zero-verificador.

5. Significância e Alegações

O artigo afirma que o ReGRPO aborda uma lacuna crítica em agentes de uso de ferramentas: a capacidade de recuperar de falhas sem depender de traços supervisionados frágeis ou verificação externa cara.

• Internalização da Correção: Diferente de métodos anteriores que tratam a reflexão como uma heurística de tempo de teste, o ReGRPO internaliza o loop de correção nos parâmetros da política. O modelo aprende quando refletir e como gerar diagnósticos fundamentados que levam a uma recuperação bem-sucedida.
• Eficiência: Ao usar um gatilho determinístico e uma estratégia de execução de caminho único, o ReGRPO mantém baixa latência e eficiência de implantação, evitando o overhead computacional de verificadores externos ou busca de múltiplos caminhos.
• Generalização: O framework é projetado para ser agnóstico ao modelo em relação ao backbone (demonstrado no Qwen2-VL-7B) e ao conjunto de ferramentas, oferecendo uma abordagem escalável para treinar agentes multimodais robustos e autocorretivos.

Os autores concluem que a reflexão estruturada, quando otimizada via otimização de política relativa de grupo, fornece um mecanismo robusto para lidar com as mudanças de distribuição e falhas de ferramentas inerentes a tarefas de múltiplos passos do mundo real.