Resumo Técnico: TIER – Recompensas de Execução Invariantes à Trajetória para Composição de Ferramentas Multi-etapa

Declaração do Problema

Modelos de Linguagem de Grande Porte (LLMs) demonstraram capacidades robustas no uso de ferramentas em etapa única, mas enfrentam dificuldades significativas quando encarregados de composição de ferramentas multi-etapa. À medida que a profundidade das chamadas de ferramentas necessárias aumenta (por exemplo, recuperar informações de voo para determinar um destino e, em seguida, verificar o clima nesse destino), o desempenho degrada-se rapidamente. Abordagens existentes de Aprendizado por Reforço (RL) falham em escalar para esses cenários devido a limitações no design de recompensas:

1. Recompensas baseadas em resultado: Fornecem apenas feedback binário e esparsos (sucesso/fracasso) após a conclusão da tarefa. Isso torna a atribuição de crédito para decisões intermediárias (seleção de ferramenta, especificação de argumentos, ordem de execução) extremamente difícil, levando ao colapso do treinamento além de profundidades rasas (por exemplo, a precisão cai de >94% em 1 etapa para 0% além de 4 etapas).
2. Recompensas supervisionadas por trajetória: Dependem de trajetórias de referência anotadas para fornecer feedback granular. Embora ofereçam sinais mais densos, penalizam soluções alternativas válidas que se desviam do caminho de referência específico. Essa rigidez torna-se um gargalo crítico à medida que o número de caminhos de execução válidos aumenta com a profundidade da composição, causando instabilidade e falha no treinamento em níveis mais profundos.

Metodologia: Framework TIER

Os autores propõem o TIER (Recompensas de Execução Invariantes à Trajetória), um framework de recompensas que deriva supervisão diretamente de esquemas de função e execução em tempo de execução, eliminando a necessidade de trajetórias de referência anotadas.

Princípio Central: Invariância à Trajetória

Uma função de recompensa é invariante à trajetória se seu valor depender apenas de propriedades verificáveis da sequência gerada e do ambiente de ferramentas, e não da similaridade da sequência com uma trajetória de referência. Isso garante que:

• Todos os caminhos de solução válidos recebam a recompensa máxima, independentemente da ordenação ou operações comutativas.
• Soluções inválidas sejam diferenciadas pelas propriedades específicas que violam, fornecendo um sinal de aprendizado graduado sem referência a um caminho "ouro".

Decomposição da Recompensa

A recompensa total $R_{total}$ é computada por sequência de chamada de ferramenta gerada e escalada para $[0, 1]$. Ela se decompõe em quatro componentes distintos:

1. Validade do Formato ($R_{format}$): Uma verificação binária (0 ou 1) garantindo que a Árvore de Sintaxe Abstrata (AST) das chamadas de ferramentas seja bem-formada e analisável. A falha aqui zera todas as recompensas a jusante.
2. Adesão ao Esquema / Análise ($R_{parse}$): Uma pontuação graduada (0 a 3) verificando:
   • Validade do Nome: Se todos os nomes de ferramentas existem no esquema.
   • Correção de Parâmetros e Tipos: Penalizando incompatibilidades nos nomes dos parâmetros e tipos de dados em relação ao esquema da função.
3. Sucesso de Execução ($R_{exec}$): Uma verificação binária (0 ou 1) verificando se cada chamada de ferramenta na sequência executa com sucesso sem erros em tempo de execução. Isso usa uma regra "tudo ou nada" porque uma falha na etapa $k$ invalida chamadas dependentes a jusante.
4. Correção da Resposta ($R_{answer}$): Uma verificação binária (0 ou 5) verificando se a resposta final sintetizada corresponde à verdade fundamental esperada. Este componente é ponderado pesadamente para evitar "hacking de recompensa", onde o modelo satisfaz as restrições de formato e execução, mas falha na tarefa real.

Configuração de Treinamento

• Algoritmo: O framework é otimizado usando um objetivo de gradiente de política estilo GRPO com vantagens normalizadas por grupo.
• Representação Intermediária (IR): Modelos geram chamadas de ferramentas estruturadas como ASTs baseados em JSON, que são analisados e executados contra um backend determinístico.
• Agnosticismo: A formulação da recompensa é independente do algoritmo específico de otimização RL (verificado em GRPO, GRPO Normalizado por Lote e DAPO).

Principais Contribuições

1. Framework de Recompensa TIER: Um sistema de recompensa invariante à trajetória que alavanca esquemas de função e feedback de execução, removendo a dependência de trajetórias de referência anotadas por humanos e custosas.
2. DepthBench: Um novo benchmark especificamente projetado para avaliar a composição de ferramentas multi-etapa, estratificado por profundidade (0 a 6 etapas). Apresenta 1.710 consultas sobre 163 ferramentas criadas manualmente com backends executáveis, permitindo análise sistemática da generalização composicional.
3. Validação Empírica de Supervisão Multi-nível: O artigo demonstra que a aprendizagem de ferramentas composicional requer supervisão concorrente nos níveis sintático (formato), estrutural (esquema) e funcional (execução). Estudos de ablação mostram que a remoção de qualquer componente leva a uma falha catastrófica em composições mais profundas.

Resultados Experimentais

Os autores avaliaram o TIER no DepthBench, BFCL v3 e NestFUL, comparando-o com baselines baseadas em resultado (Simple-RL) e baselines supervisionadas por trajetória (ToolRL).

• Desempenho no DepthBench:
  • TIER: Alcançou >90% de precisão em todas as profundidades de composição (1–6 etapas), incluindo 90% de precisão nas profundidades 5 e 6.
  • Simple-RL (Baseado em resultado): A precisão colapsou de 94% em 1 etapa para 0% além de 4 etapas.
  • ToolRL (Supervisionado por trajetória): O desempenho degradou-se significativamente nas profundidades 5 e 6, atingindo 0% de precisão, confirmando que penalizar caminhos alternativos válidos prejudica a composição profunda.
• Benchmarks Externos:
  • BFCL v3: O TIER alcançou a melhor precisão geral (68,92%), superando o ToolRL (37,27%) e o Simple-RL (66,30%). Notavelmente, o ToolRL falhou nas categorias "Multiturn" e "Irrelevance", onde é necessária tomada de decisão adaptativa.
  • NestFUL: O TIER alcançou uma Precisão de Correspondência Exata de 0,684, superando significativamente o ToolRL (0,476) e ultrapassando modelos muito maiores (por exemplo, GPT-4o, DeepSeek-V3) em um cenário de 3 exemplos.
• Insights de Ablação:
  • Recompensas parciais (por exemplo, adicionar execução sem análise) levaram a "hacking de recompensa", onde modelos rotearam consultas para ferramentas "seguras" para maximizar recompensas de execução enquanto ignoravam a correção.
  • Apenas a recompensa completa e decomposta permitiu convergência estável para alto desempenho, destacando que os componentes são complementares e não intercambiáveis.

Significado e Alegações

O artigo afirma que o design de recompensas é o principal gargalo para a composição de ferramentas multi-etapa em LLMs treinados com RL. Ao mudar da dependência de trajetórias de referência para supervisão fundamentada na execução e invariante à trajetória, o TIER permite que modelos aprendam estratégias complexas de raciocínio multi-etapa que anteriormente eram intratáveis.

Os autores enfatizam que:

• Escalabilidade: O TIER adapta-se naturalmente a interfaces de ferramentas em evolução sem exigir reanotação de dados de referência.
• Generalização: A abordagem transfere-se efetivamente para configurações reais de chamada de função (BFCL v3) e composições de API aninhadas (NestFUL).
• Necessidade de Granularidade: O raciocínio composicional bem-sucedido não é um único objetivo, mas um problema de atribuição de crédito multi-nível que requer supervisão simultânea nos níveis de formato, esquema e execução.

O trabalho conclui que o TIER fornece uma base robusta para o uso escalável de ferramentas multi-etapa, embora reconheça limitações relacionadas a ambientes estocásticos do mundo real e ao foco atual no treinamento de turno único.