Resumo Técnico: Skill-R1: Evolução de Habilidades de Agentes via Aprendizado por Reforço

Declaração do Problema

Modelos de Linguagem (LLMs) Agentes dependem cada vez mais de habilidades—procedimentos reutilizáveis em linguagem natural que orientam o planejamento, o uso de ferramentas e a verificação de ações. No entanto, as abordagens atuais para melhorar essas habilidades enfrentam limitações significativas:

1. Custo e Inviabilidade: A otimização de habilidades frequentemente exige engenharia de prompts ou o ajuste fino (fine-tuning) do próprio LLM da tarefa. Este último é computacionalmente caro, específico do modelo e frequentemente impossível para modelos de código fechado ou proprietários.
2. Ineficiência dos Métodos Atuais: Muitos sistemas tratam a otimização de habilidades como um problema de edição de prompts de uma única tentativa ou dependem de auto-refinamento de rodada única. Essas estratégias frequentemente falham em alinhar-se com recompensas a jusante e não aproveitam a natureza recorrente da melhoria de habilidades.
3. Complexidade de Atribuição de Crédito: A otimização eficaz de habilidades é um problema acoplado de dois níveis. Uma habilidade útil deve melhorar a qualidade das trajetórias de execução (rollouts) sob a condição atual, enquanto uma revisão útil deve traduzir com sucesso os sucessos e fracassos observados em uma habilidade melhor para a próxima rodada.

Os métodos existentes lutam para abordar isso como um problema de decisão recorrente, frequentemente carecendo de um objetivo principiado para a evolução direcional através de múltiplas gerações.

Metodologia: Skill-R1

Os autores propõem o Skill-R1, um framework de aprendizado por reforço projetado para otimização recorrente de habilidades em nível de instância a partir de recompensas verificáveis. A inovação central é o desacoplamento da execução da tarefa da melhoria da habilidade.

Arquitetura Central

• LLM de Tarefa Congelado: O modelo principal de resolução de tarefas ($\pi_{task}$) permanece congelado. Ele gera trajetórias de execução condicionadas à habilidade atual. Isso garante compatibilidade com modelos de código aberto e fechado e elimina a necessidade de gradientes através do modelo de tarefa.
• Gerador de Habilidades Leve: Uma política separada e treinável ($\pi_\theta$) atua como um editor de habilidades. Ela recebe o contexto da tarefa, os rollouts anteriores e seus resultados verificados como entrada para produzir habilidades revisadas.
• Loop de Múltiplas Gerações: O processo opera ao longo de múltiplas gerações ($g$). Em cada geração, a habilidade atual induz um grupo de rollouts a partir do modelo de tarefa congelado. Um verificador pontua esses rollouts, e o histórico de tentativas, erros e recompensas é anexado para orientar a próxima revisão da habilidade.

Otimização de Política Relativa de Grupo de Dois Níveis (GRPO)

Para treinar o gerador de habilidades, os autores introduzem um objetivo GRPO de dois níveis que atribui crédito em dois níveis:

1. Vantagem Intra-Geração ($A_{intra}$): Compara rollouts amostrados sob a mesma habilidade dentro de uma única geração. Isso isola a qualidade do rollout da qualidade da habilidade, semelhante ao GRPO padrão.
2. Vantagem Inter-Geração ($A_{inter}$): Mede a melhoria no desempenho verificado médio da população de rollouts em relação à geração anterior. Isso recompensa revisões que deslocam a distribuição em direção a recompensas mais altas.

O sinal de vantagem final é uma combinação ponderada:
$$A(y^{(i)}_g) = A_{intra}(y^{(i)}_g) + \lambda A_{inter}(g)$$
onde $\lambda$ interpola entre a otimização puramente intra-geração e a melhoria inter-geração. O gerador de habilidades é otimizado para maximizar essa vantagem de dois níveis, incentivando a produção de habilidades que não apenas performam bem imediatamente, mas também evoluem direcionalmente ao longo do tempo.

Contribuições Principais

1. Formulação: O artigo formula a evolução recorrente de habilidades em nível de instância como um problema de otimização de política relativa de grupo de dois níveis, acoplando explicitamente a qualidade da execução dentro das gerações com a melhoria de habilidades entre gerações.
2. Framework: Propõe o Skill-R1, um framework agnóstico ao modelo que treina um gerador de habilidades leve enquanto mantém o LLM de tarefa congelado, tornando-o aplicável a modelos proprietários.
3. Algoritmo: Introduz um processo recorrente de rollout de múltiplas gerações acoplado a um objetivo GRPO de dois níveis que combina vantagens intra e inter-geração para orientar a evolução direcional.
4. Validação Empírica: O framework é avaliado em tarefas de agente com recompensas verificáveis, demonstrando desempenho superior sobre baselines sem habilidades e GRPO padrão.

Resultados Experimentais

Os autores avaliaram o Skill-R1 em dois benchmarks que exigem raciocínio multi-etapa e uso de ferramentas: GAIA (fontes heterogêneas) e WebWalker (navegação web multi-hop).

• Benchmark GAIA:

  • Baseline: GPT-4o-mini sem habilidades alcançou apenas 6,1% de precisão.
  • GRPO Vanilla: Treinar um editor sem decomposição de dois níveis melhorou a precisão para 29,7%.
  • Skill-R1 (Inferência): Usar o framework de múltiplas gerações sem treinamento baseado em gradientes no editor alcançou 30,9%, sugerindo que a própria estrutura de rollout fornece benefícios.
  • Skill-R1 (GRPO): O sistema completo com editores treinados alcançou 41,8% de precisão, um ganho de +12,1 pontos sobre o GRPO Vanilla. Os ganhos foram mais pronunciados em tarefas complexas de Nível 3 (38,5% vs. 0,0% para a baseline sem habilidades).

• Benchmark WebWalker:

  • Baseline: 2,0% de precisão.
  • GRPO Vanilla: 22,0% de precisão.
  • Skill-R1 (GRPO): Alcançou 26,0% de precisão, com melhorias significativas em tarefas de dificuldade média e multi-fonte (29,4% e 28,6%, respectivamente).

• Análise da Evolução:

  • Progresso Geracional: Os ganhos de desempenho foram amplamente monotônicos, com os saltos mais significativos ocorrendo entre as Gerações 1 e 3. Gerações posteriores (4 e 5) melhoraram principalmente a consistência e confiabilidade dos rollouts em vez de descobrir capacidades inteiramente novas.
  • Treinamento vs. Inferência: O editor treinado (GRPO) consistentemente superou o editor apenas de inferência, particularmente no WebWalker. A análise qualitativa mostrou que o editor treinado preservou estruturas executáveis centrais e adicionou salvaguardas, enquanto o editor apenas de inferência tendia a superajustar a detalhes espúrios, levando a artefatos frágeis.

Significado e Alegações

O artigo alega que o Skill-R1 oferece uma alternativa prática e eficiente à adaptação em nível de modelo. Ao tratar a otimização de habilidades como um problema recorrente de dois níveis, o framework permite:

• Compatibilidade com Caixa-Preta: Funciona com modelos de código fechado onde o ajuste fino é impossível.
• Evolução Direcional: Vai além do auto-refinamento heurístico para um processo principiado e orientado por recompensas que melhora habilidades ao longo do tempo.
• Robustez: A estrutura recorrente permite que o sistema refine habilidades com base em evidências agregadas (sucessos e fracassos) em vez de tentativas isoladas.

Os autores concluem que a evolução de habilidades é um mecanismo viável para melhorar o comportamento de agentes, particularmente para tarefas complexas e multi-etapa onde métodos de refinamento de passagem única lutam. Os resultados sugerem que um pequeno número de rodadas de edição pode capturar a maioria das melhorias de capacidade, com iterações subsequentes aprimorando a confiabilidade.