Reinforcement Learning for Self-Improving Agent with Skill Library

O artigo apresenta o SAGE, um novo framework de Aprendizado por Reforço que utiliza um processo de "Rolloout Sequencial" e recompensas integradas a habilidades para permitir que agentes baseados em Grandes Modelos de Linguagem aprendam e acumulem automaticamente um banco de habilidades, resultando em maior precisão e eficiência em tarefas complexas.

O essencial

Imagine que você está ensinando um robô muito inteligente, mas um pouco "teimoso", a fazer tarefas complexas, como organizar sua agenda, comprar presentes e transferir dinheiro, tudo sozinho.

Esse robô é baseado em uma Inteligência Artificial (IA) que já sabe conversar, mas quando colocamos ela no mundo real para trabalhar, ela tende a esquecer o que aprendeu em uma tarefa e ter dificuldade em aplicar esse conhecimento na próxima. É como se ela fosse um estudante genial que estuda para uma prova, passa na prova, mas esquece tudo na hora da próxima.

Os autores deste artigo criaram uma solução chamada SAGE para resolver isso. Vamos entender como funciona usando uma analogia simples:

1. O Problema: O "Caderno de Anotações" Vazio

Antes, os robôs tentavam aprender apenas repetindo as tarefas. Se eles erravam, tentavam de novo. Se acertavam, seguiam em frente. Mas eles não criavam um "manual de instruções" permanente.

• A analogia: Imagine que você está aprendendo a cozinhar. Toda vez que faz um bolo, você lê a receita inteira do zero, do começo ao fim. Se você fizer 10 bolos, você lê a receita 10 vezes, gastando muito tempo e energia, mesmo que a parte de "bater os ovos" seja sempre a mesma.

2. A Solução: A "Biblioteca de Habilidades"

Os pesquisadores decidiram dar ao robô um Caderno de Receitas (Biblioteca de Habilidades).

• Quando o robô descobre uma maneira eficiente de fazer algo (ex: "como transferir dinheiro para um amigo"), ele escreve essa "receita" no caderno.
• Na próxima vez que precisar fazer algo parecido, ele olha no caderno, pega a receita pronta e usa, em vez de inventar tudo de novo.

3. O Desafio: Ensinar o Robô a Usar o Caderno

O problema é que, se você apenas pedir para o robô "escrever no caderno", ele pode não entender bem ou escrever coisas confusas. É como tentar ensinar alguém a usar um novo aplicativo apenas com um manual de instruções escrito em linguagem difícil.

Aqui entra a parte genial do SAGE:

A. A "Corrida de Obstáculos" (Sequential Rollout)

Em vez de fazer o robô praticar uma tarefa de cada vez, eles o colocam em uma corrida de obstáculos com tarefas parecidas.

• A analogia: Imagine que o robô precisa correr por três pistas de obstáculos que são quase idênticas.
  • Na primeira pista, ele tenta resolver o problema e, ao descobrir um atalho, ele escreve esse atalho no caderno.
  • Na segunda pista, ele é obrigado a usar o caderno. Se ele usar o atalho que escreveu na primeira pista e passar rápido, ele ganha pontos extras.
  • Isso força o robô a perceber: "Ah, escrever essa dica no caderno me ajuda a ganhar mais pontos na próxima!"

B. O "Prêmio Duplo" (Skill-integrated Reward)

No treinamento, o robô recebe pontos (recompensas) de duas formas:

1. Pontos por terminar a tarefa: Se ele completa o que foi pedido, ganha pontos.
2. Pontos por usar o caderno: Se ele usa uma "receita" que ele mesmo criou anteriormente para terminar a tarefa, ganha pontos bônus.

Isso ensina o robô que criar e usar atalhos é mais valioso do que apenas fazer tudo do zero.

4. O Resultado: O Mestre da Eficiência

Quando testaram esse sistema (chamado SAGE) em um ambiente de testes chamado "AppWorld" (onde o robô precisa interagir com aplicativos reais como Spotify, Gmail, etc.), os resultados foram impressionantes:

• Mais Acertos: O robô conseguiu completar muito mais tarefas com sucesso (cerca de 9% a mais que os métodos antigos).
• Mais Rápido: Ele gastou metade do tempo (menos passos) para fazer o trabalho.
• Mais Econômico: Ele usou 59% menos "energia" (menos palavras geradas pela IA) para chegar ao resultado.

Resumo em uma frase

O SAGE é como ensinar um funcionário não apenas a fazer o trabalho, mas a criar um manual de instruções enquanto trabalha, e depois recompensá-lo duplamente: uma vez por fazer o trabalho e outra vez por usar o manual que ele mesmo criou para ficar mais rápido e eficiente nas próximas vezes.

Isso transforma uma IA que apenas "reage" em uma IA que evolui e aprende sozinha, ficando cada vez mais inteligente e eficiente com o tempo.

Resumo técnico

1. Problema e Motivação

Os agentes baseados em Grandes Modelos de Linguagem (LLMs) demonstraram capacidades notáveis em raciocínio complexo e interações multi-turno. No entanto, eles enfrentam desafios significativos quando implantados em novos ambientes:

• Falta de Aprendizado Contínuo: Agentes treinados com Aprendizado por Reforço (RL) tradicional tendem a ser limitados aos cenários de treinamento e lutam para adaptar-se ou melhorar continuamente em novos contextos.
• Limitações das Abordagens Atuais de Biblioteca de Habilidades: Embora existam propostas de "bibliotecas de habilidades" (onde agentes aprendem, validam e aplicam novas habilidades), as abordagens atuais dependem predominantemente de prompting (instruções via texto) para gerar e utilizar essas habilidades. Isso limita a qualidade, a consistência e a adaptabilidade da biblioteca, pois fica restrito à capacidade de seguir instruções do modelo base.
• Ineficiência: A execução de tarefas complexas frequentemente envolve sequências longas de ações repetitivas, o que aumenta o custo computacional (tokens) e o número de passos de interação.

O objetivo do trabalho é superar essas limitações criando um agente capaz de autoaperfeiçoamento através de uma biblioteca de habilidades, utilizando Aprendizado por Reforço (RL) para otimizar tanto a geração quanto a utilização dessas habilidades, em vez de depender apenas de prompts.

---

2. Metodologia: O Framework SAGE

Os autores propõem um novo framework de RL chamado SAGE (Skill Augmented GRPO for self-Evolution). O sistema é construído sobre o algoritmo GRPO (Group Relative Policy Optimization) e introduz duas inovações principais para integrar a biblioteca de habilidades no processo de treinamento:

A. Agente de Biblioteca de Habilidades (Skill Library Agent)

Diferente de frameworks anteriores que definem habilidades apenas após a conclusão de uma tarefa, o SAGE utiliza um formato unificado para resolução de tarefas e geração de habilidades.

• Mecanismo: Ao interagir com o ambiente (via chamadas de API), o agente primeiro gera uma função de habilidade (código programático) e, em seguida, chama essa função para executar a tarefa, em vez de chamar múltiplas APIs diretamente.
• Fluxo: O agente pode (1) usar habilidades existentes, (2) gerar novas habilidades, (3) atualizar habilidades falhas e (4) salvar habilidades bem-sucedidas na biblioteca.

B. Rolo Sequencial (Sequential Rollout)

Para permitir que o RL aprenda a importância das habilidades geradas em tarefas anteriores para tarefas futuras, o SAGE não treina em tarefas isoladas.

• Cadeia de Tarefas: O agente é treinado em cadeias de tarefas similares (ex: dois exemplos dentro do mesmo cenário).
• Acúmulo de Conhecimento: As habilidades geradas na primeira tarefa da cadeia são preservadas e disponibilizadas para a segunda tarefa. Isso permite que o sinal de recompensa da segunda tarefa (sucesso ao usar uma habilidade) seja retropropagado para a geração da habilidade na primeira tarefa.

C. Recompensa Integrada à Habilidade (Skill-integrated Reward)

O framework introduz uma função de recompensa composta para incentivar comportamentos específicos:

1. Recompensa Base: Baseada no resultado da tarefa (sucesso/falha).
2. Recompensa de Geração: Bônus se a tarefa 1 gerar uma habilidade que for usada com sucesso na tarefa 2.
3. Recompensa de Uso: Bônus se a tarefa 2 utilizar com sucesso uma habilidade gerada anteriormente.

• Penalidade: Uma penalidade é aplicada se o agente não gerar código e encerrar a tarefa prematuramente.

D. Pipeline de Treinamento

1. Supervised Fine-Tuning (SFT): Devido à dificuldade dos modelos de código aberto em seguir instruções complexas de biblioteca de habilidades via prompting, o modelo é primeiro ajustado (SFT) usando dados de alta qualidade gerados por um modelo especialista (Claude 3.5 Sonnet).
2. RL (SAGE): O modelo ajustado é então refinado usando o framework SAGE com Sequential Rollout e a recompensa integrada.

---

3. Contribuições Principais

1. Novo Framework de RL (SAGE): Uma abordagem que sistematicamente incorpora habilidades no processo de aprendizado por reforço, superando as limitações do prompting tradicional.
2. Mecanismo de Rolo Sequencial: Uma técnica inovadora que conecta tarefas similares em cadeias, permitindo que o agente aprenda a gerar habilidades úteis para tarefas futuras dentro do mesmo ciclo de treinamento.
3. Recompensa Integrada: Um design de recompensa que não apenas avalia o sucesso final, mas também incentiva explicitamente a geração e o uso eficaz de habilidades reutilizáveis.
4. Eficiência e Desempenho: Demonstra que agentes com biblioteca de habilidades treinados com RL superam significativamente tanto métodos sem treinamento quanto métodos de RL sem biblioteca de habilidades.

---

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset AppWorld, que simula interações com aplicativos do mundo real (como Amazon, Spotify, Gmail) através de chamadas de API. O modelo base utilizado foi o Qwen2.5-32B-Instruct.

Principais Métricas de Desempenho (Conjunto de Teste Normal):

• Conclusão de Objetivo do Cenário (SGC): O SAGE alcançou 60.7%, uma melhoria de 8.9% em relação ao baseline GRPO (51.8%) e mais de 3x em relação a abordagens sem treinamento. O SGC mede a capacidade de completar todas as tarefas de um cenário, validando a transferência de habilidades.
• Conclusão de Objetivo da Tarefa (TGC): O SAGE alcançou 72.0%, superando o baseline GRPO (69.2%).
• Eficiência:
  • Passos de Interação: Redução de 26% (12.1 passos vs. 16.4 do baseline).
  • Tokens Gerados: Redução drástica de 59% (1.475 tokens vs. 3.613 do baseline).

Análises Adicionais:

• Uso de Habilidades: Agentes treinados com SAGE demonstraram taxas de sucesso mais de 2x maiores ao utilizar habilidades aprendidas em comparação com modelos base.
• Ablação: A remoção da biblioteca de habilidades ou o uso de recompensas alternativas (apenas baseadas em resultado ou baseadas em cadeia) resultou em desempenho inferior, confirmando a eficácia da recompensa integrada e do rolo sequencial.
• Inicialização: O uso de SFT com dados de especialistas antes do RL foi crucial; iniciar o RL diretamente do modelo base resultou em desempenho pobre.

---

5. Significado e Conclusão

O trabalho SAGE representa um avanço significativo na criação de agentes autônomos que não apenas executam tarefas, mas evoluem durante a operação.

• Mudança de Paradigma: Move-se de uma dependência de prompts estáticos para um sistema dinâmico onde o agente aprende a criar e refinar suas próprias ferramentas (habilidades) através de RL.
• Eficiência Operacional: A capacidade de condensar sequências complexas de ações em funções reutilizáveis reduz drasticamente o custo computacional e o tempo de execução, tornando os agentes mais viáveis para aplicações em escala.
• Generalização: A abordagem demonstra que agentes podem generalizar melhor para cenários não vistos durante o treinamento, desde que existam tarefas similares onde as habilidades possam ser transferidas.

Em resumo, o SAGE estabelece um novo estado da arte para agentes de ferramentas (tool-using agents), provando que a combinação de fine-tuning supervisionado com um framework de RL focado em acumulação de habilidades é a chave para agentes de autoaperfeiçoamento robustos e eficientes.