Resumo Técnico: RESKILL – Reconciliando a Criação de Habilidades com a Otimização de Políticas em RL Agêntico

Declaração do Problema

O Aprendizado por Reforço (RL) Agêntico permite que agentes de Grandes Modelos de Linguagem (LLMs) melhorem continuamente através de recompensas do ambiente. No entanto, uma limitação crítica existe: as políticas resultantes frequentemente falham em acumular sistematicamente estratégias reutilizáveis e transferíveis que se generalizam entre tarefas. Embora habilidades modulares (fragmentos reutilizáveis que codificam estratégias específicas de tarefas) ofereçam uma solução, os métodos de RL aumentados por habilidades existentes tipicamente desacoplam a criação de habilidades da otimização da política.

Este desacoplamento cria um "conflito habilidade-política". Métodos que evoluem habilidades externamente (por exemplo, via testes com intervenção humana ou destilação estática) correm o risco de adotar habilidades que não se alinham com a política em evolução do agente. Por outro lado, métodos que aprendem habilidades sem testes fundamentados podem acumular conhecimento ineficaz. O desafio central é criar um framework onde a evolução da habilidade e o aprendizado da política sejam reconciliados, garantindo que as habilidades sejam criadas, testadas e refinadas dinamicamente em resposta direta ao estado atual de aprendizado da política.

Metodologia: O Framework RESKILL

O RESKILL (Reconciling Skill Creation with Policy Optimization) aborda isso integrando o ciclo de criação de habilidades diretamente no loop de treinamento de RL, especificamente aproveitando a estrutura de grupo da Otimização de Política Relativa de Grupo (GRPO). O framework opera através de três mecanismos integrados:

1. Teste de Habilidade Intra-Grupo

Em vez de usar rollouts de teste dedicados e caros, o RESKILL explora o fato de que o GRPO amostra um grupo de $G$ trajetórias para a mesma tarefa sob a mesma política.

• Mecanismo: Dentro de um único passo de treinamento, diferentes versões de habilidades (por exemplo, um banco existente $S_{old}$ vs. um candidato $S_{new}$) são atribuídas a diferentes rollouts no mesmo grupo via Amostragem de Thompson.
• Benefício: Isso permite uma comparação controlada e de custo zero entre versões de habilidades. Como a tarefa e a política são idênticas em todo o grupo, a única variável é a versão da habilidade, permitindo a atribuição direta das diferenças de desempenho às próprias habilidades.
• Rollouts de Tripla Função: Cada rollout serve simultaneamente para: (i) otimização de política via gradientes de GRPO, (ii) diagnóstico de falhas para o criador de habilidades e (iii) avaliação de bandit para seleção de versão de habilidade.

2. Criação de Habilidade com RL no Loop

O RESKILL adapta o pipeline de "Skill Creator" da Anthropic, mas substitui o feedback humano por sinais automatizados impulsionados por recompensa do loop de RL.

• Reservatório de Experiência: Um reservatório $R$ continuamente atualizado coleta pares de trajetória sucesso-falha anotados com sua versão de habilidade e recompensa.
• Diagnóstico Baseado em Asserções: Em vez de analisar trajetórias individuais, o sistema aplica um conjunto dinâmico de asserções (predicados) baseadas em regras a todo o reservatório para identificar modos de falha prevalentes.
• Revisão Condicional: Um agente baseado em LLM propõe versões candidatas de habilidades (operações de ADD, MODIFY, DELETE) baseadas nesses perfis de falha. Crucialmente, os gatilhos propostos são validados contra o reservatório para garantir que possuam cobertura de ativação suficiente antes de entrarem na fase de teste.

3. Amostragem de Thompson Adaptativa para Evolução de Habilidades

Para gerenciar o equilíbrio entre explorar novas versões de habilidades e explorar as versões conhecidas como eficazes conforme a política evolui, o RESKILL emprega Amostragem de Thompson com desconto adaptativo.

• Alocação: Em cada passo, a probabilidade de atribuir um rollout a uma nova versão de habilidade é determinada pela probabilidade posterior de que a nova versão seja superior ($Pr(p_{new} > p_{old})$).
• Desconto Adaptativo: Como a política evolui durante a janela de avaliação, observações antigas tornam-se obsoletas. O RESKILL introduz um parâmetro de memória $M$ para descontar evidências anteriores. O fator de desconto $w_t$ é ajustado com base no número de novos episódios $n_t$: se $n_t$ for pequeno, a evidência passada é retida; se $n_t$ for grande, a evidência passada é agressivamente descontada para refletir as capacidades atuais da política.
• Aceitar/Rejeitar: Ao final de um ciclo de evolução, uma nova versão de habilidade é aceita apenas se seu desempenho esperado sob a posterior descontada exceder o da versão antiga.

Principais Contribuições

1. Co-evolução Reconciliada: O RESKILL é o primeiro framework que integra a criação de habilidades diretamente no loop de otimização da política, eliminando o risco de desalinhamento habilidade-política encontrado em abordagens desacopladas.
2. Teste de Custo Zero: Ao utilizar a estrutura de grupo do GRPO, o RESKILL permite a comparação controlada de versões de habilidades sem exigir orçamentos de rollout adicionais ou fases de teste dedicadas.
3. Ciclo de Vida de Habilidade Adaptativo: O framework automatiza o ciclo de vida completo das habilidades — criação, teste, refinamento e poda — com base no desempenho da política em tempo real e sinais de recompensa.
4. Robustez à Deriva de Política: A introdução do desconto adaptativo na Amostragem de Thompson permite que o sistema lide com a não-estacionariedade da política em evolução, garantindo que as avaliações de habilidades permaneçam relevantes.

Resultados Experimentais

O RESKILL foi avaliado em cinco domínios: raciocínio incorporado (ALFWorld), busca agêntica (NQ, HotpotQA e cinco conjuntos de dados não vistos), descoberta científica (ScienceWorld), codificação (InterCode-SQL) e compras na web (WANDS).

• Ganhos de Desempenho: O RESKILL superou consistentemente os baselines, incluindo GRPO vanilla, RL baseado em memória (MEMRL) e métodos baseados em habilidades existentes (SKILLRL, INSPO).
  • No ALFWorld, o RESKILL alcançou uma taxa de sucesso de 90,0% (modelo 4B) e 92,7% (modelo 8B), superando o baseline mais forte (SKILLRL) por margens significativas.
  • Na Busca Agêntica, o RESKILL melhorou o desempenho em 2,5–2,3% sobre o SKILLRL em divisões vistas e alcançou ganhos ainda maiores em divisões não vistas.
• Generalização para Tarefas Não Vistas: Os melhorias mais substanciais foram observadas em tarefas não vistas e difíceis. Por exemplo, em tarefas não vistas do ALFWorld, o RESKILL (8B) alcançou 95,3%, um gap de 12,7% sobre o SKILLRL (82,6%). Isso sugere que a evolução reconciliada retém apenas versões de habilidades que generalizam melhor.
• Adaptação Cross-Domain: Em um experimento de adaptação em tempo de teste, uma política treinada no ALFWorld foi congelada e aplicada ao ScienceWorld. O RESKILL adaptou rapidamente seu banco de habilidades para o novo domínio sem atualizações de política, enquanto o modelo baseline falhou em evoluir.
• Eficiência: O RESKILL manteve velocidades de treinamento e inferência competitivas em relação ao GRPO. Seu mecanismo de gatilho condicional garantiu que apenas as habilidades relevantes fossem carregadas, mantendo os comprimentos de contexto compactos em comparação com métodos que carregam todas as habilidades incondicionalmente.

Significância e Alegações

O artigo afirma que o RESKILL demonstra que a criação de habilidades e o aprendizado de política não devem ser tratados como processos separados. Ao reconciliar esses dois processos, o sistema desenvolve uma capacidade geral de seguir e beneficiar-se de novas habilidades, levando a um desempenho superior em tarefas complexas, não vistas e fora de domínio.

Os autores enfatizam que os ganhos derivam principalmente do mecanismo de co-evolução reconciliada, e não do LLM específico usado para a criação de habilidades (estudos de ablação mostraram que o desempenho permaneceu alto mesmo quando o criador de habilidades era o próprio modelo base). O framework estabelece um novo paradigma para o RL agêntico onde as habilidades não são instruções estáticas, mas componentes dinâmicos e evolutivos que co-se adaptam com a política do agente.