Resumo Técnico: PEARL (Plan Exploration and Adaptive Reinforcement Learning for Multihop Tool Use)

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado um potencial significativo quando aumentados com ferramentas externas, eles enfrentam obstáculos substanciais em cenários complexos de invocação de ferramentas de múltiplos turnos. As abordagens atuais frequentemente sofrem de:

• Planejamento Fraco: Os agentes frequentemente adotam estratégias míopes de um único passo, falhando em formular ou aderir a planos coerentes de longo horizonte.
• Erros de Execução: Os modelos exibem "alucinação de ferramenta" (invocando ferramentas inexistentes), geram parâmetros errôneos e lutam para gerenciar dependências entre chamadas de ferramentas sequenciais.
• Baixa Adaptabilidade: Quando ocorrem erros de execução, os agentes frequentemente falham em diagnosticar o problema ou ajustar dinamicamente sua estratégia, levando a loops de falha repetitivos.

Os métodos existentes, amplamente dependentes de ajuste fino supervisionado (SFT) ou aprendizagem por imitação, são frágeis quando confrontados com cenários novos ou quando exigem recuperação complexa de erros. Há uma necessidade crítica de um framework que desacople a execução robusta do planejamento estratégico e utilize aprendizagem adaptativa para otimizar ambos.

Metodologia: O Framework PEARL

O PEARL (Plan Exploration and Adaptive Reinforcement Learning) aborda esses desafios através de uma arquitetura de dois estágios baseada em princípios que separa a Geração de Plano Estratégico da Execução Informada.

1. Formulação da Tarefa

O objetivo do agente é resolver uma consulta complexa $q$ usando um conjunto de ferramentas $\mathcal{T}$ ao gerar uma sequência ordenada de subtarefas (um plano) $P = ((s_1, \tau_1), \dots, (s_n, \tau_n))$, onde $s_i$ é um objetivo em linguagem natural e $\tau_i$ é a ferramenta selecionada.

2. Estágio 1: Geração de Plano Estratégico (RL Online)

Um modelo de Planejador dedicado ($\pi_\theta$) é treinado para gerar todo o plano de múltiplos passos antes do início da execução.

• Algoritmo de Otimização: O Planejador é otimizado usando Group Relative Policy Optimization (GRPO), uma variante do Proximal Policy Optimization (PPO). O GRPO aumenta a estabilidade do treinamento ao normalizar as estimativas de vantagem através de um grupo de planos candidatos gerados para a mesma entrada.
• Design de Recompensa: Uma nova função de recompensa centrada no planejamento é empregada para fornecer feedback denso, passo a passo.
  • A recompensa compara o plano gerado contra um plano de verdade fundamental (ground-truth).
  • Ela atribui uma recompensa normalizada ($1/m$) para cada ferramenta selecionada corretamente no passo $i$, onde $m$ é o número de passos no plano ideal.
  • Este design otimiza diretamente a correção estrutural e semântica da cadeia de ferramentas, resolvendo o problema de atribuição de crédito em planejamento de longo horizonte.

3. Estágio 2: Execução Informada (Offline + Online)

Um modelo Executor ($\pi_\phi$) é responsável por realizar o plano gerado pelo Planejador.

• Exploração de Ferramentas Offline: Antes de qualquer execução de tarefa, o agente se envolve em uma fase proativa de tentativa e erro com cada ferramenta disponível. Ele tenta sistematicamente várias configurações de parâmetros para aprender padrões de uso válidos, restrições de argumentos e condições de falha. Isso constrói um "manual do usuário aprendido" que fundamenta o executor na realidade, reduzindo drasticamente alucinações e erros de parâmetros.
• Execução Passo a Passo Online: O Executor recebe a saída do Planejador e o executa iterativamente. Ele aproveita o conhecimento adquirido durante a fase offline para construir chamadas de ferramentas válidas com parâmetros corretos, utilizando o histórico dos resultados de execuções anteriores para informar os passos subsequentes.

Principais Contribuições

1. Framework Inovador: O PEARL integra a exploração de ferramentas offline para execução robusta com o aprendizado por reforço online para planejamento estratégico adaptativo, desacoplando efetivamente esses dois problemas complexos.
2. Mecanismo de Recompensa Centrado no Planejamento: Os autores projetaram uma função de recompensa específica que permite a otimização direta de planos de ferramentas de múltiplos passos via RL. Isso guia o agente em direção a estratégias ideais ao fornecer feedback denso sobre a qualidade do plano, em vez de depender apenas de sinais esparsos de sucesso final da tarefa.
3. Desempenho de Estado da Arte: O framework estabelece novos benchmarks de desempenho, demonstrando que o design arquitetônico especializado pode superar o simples escalonamento de modelos.

Resultados Experimentais

Os autores avaliaram o PEARL em dois benchmarks: ToolHop (raciocínio de ferramentas multi-hop) e T-Eval (capacidades de utilização de ferramentas).

• Desempenho no ToolHop: O PEARL-7B alcançou uma Taxa de Sucesso (SR) de 56,5%, superando significativamente a linha de base Qwen2.5-7B-SFT especificamente ajustada (46,2%) e modelos proprietários maiores como o GPT-4o (49,0%). Crucialmente, manteve uma baixa Taxa de Erro de Invocação (IER) de 3,8%, validando a eficácia da fase de exploração offline.
• Generalização no T-Eval: No benchmark de generalização, o PEARL-7B alcançou 77,0% de SR, superando modelos proprietários líderes (GPT-4o com 76,0%, Claude 3.5 Sonnet com 71,0%) e modelos de código aberto. Sua IER caiu para 1,0%, indicando alta confiabilidade em tarefas não vistas.
• Generalização do Planejador: Experimentos mostraram que planos gerados pelo Planejador do PEARL melhoraram significativamente o desempenho de outros modelos poderosos (ex: GPT-4o e Qwen2.5-72B) quando usados como executores, confirmando a transferibilidade das estratégias de planejamento aprendidas.
• Estudos de Ablação:
  • Remover a recompensa centrada no planejamento fez a SR despencar de 56,5% para 23,4%, destacando seu papel crítico na atribuição de crédito.
  • Remover a exploração offline fez a IER saltar de 3,8% para 24,1%, provando que o aprendizado preventivo de ferramentas é essencial para uma execução confiável.

Significância e Alegações

O artigo afirma que o PEARL representa um avanço fundamental no enfrentamento dos desafios complexos de planejamento no uso de ferramentas. Ao separar sistematicamente o aprendizado da mecânica das ferramentas (offline) do aprendizado da orquestração estratégica (RL online), o framework produz agentes que são tanto robustos (baixas taxas de erro) quanto estratégicos (altas taxas de sucesso em tarefas de múltiplos passos).

Os autores afirmam que seu trabalho contribui para o desenvolvimento de agentes baseados em LLM mais confiáveis e autônomos. Os resultados sugerem que arquiteturas de treinamento especializadas para planejamento e execução são mais eficazes para tarefas complexas de uso de ferramentas do que simplesmente escalar os parâmetros do modelo ou depender de ajuste fino supervisionado padrão. A alta capacidade de generalização do Planejador do PEARL valida ainda mais a qualidade das estratégias aprendidas, sugerindo um caminho para agentes capazes de lidar com interações digitais cada vez mais complexas e do mundo real.