Resumo Técnico: SkillRise

Problema

Agentes de Grandes Modelos de Linguagem (LLMs) frequentemente encontram fluxos de tarefas relacionadas, porém distintas, que compartilham regularidades subjacentes e padrões de solução reutilizáveis. No entanto, o Aprendizado por Reforço (RL) agêntico padrão geralmente trata cada tarefa como um episódio independente, descartando a experiência adquirida e forçando o agente a reexplorar do zero. As abordagens existentes para o aprendizado de habilidades sofrem de limitações específicas:

1. Especificidade de Instância: Métodos que tentam repetidamente a mesma tarefa frequentemente produzem conhecimento que é específico para aquela instância, falhando em generalizar entre diferentes instâncias de tarefas.
2. Emaranhamento de Pipeline: Abordagens que utilizam bancos de habilidades externos ou pipelines de múltiplos estágios (envolvendo módulos separados de extração, recuperação e execução) têm dificuldade com a atribuição de crédito. Como o desempenho downstream depende da interação de todos esses estágios, é difícil atribuir o sucesso ou o fracasso especificamente à qualidade das habilidades extraídas.
3. Falta de Otimização de Ponta a Ponta: Há uma necessidade de um framework unificado que possa aprender conjuntamente a resolver tarefas e a curar habilidades transferíveis sem pipelines de gerenciamento externo complexos.

Metodologia: SkillRise

Os autores apresentam o SkillRise, um framework de aprendizado por reforço unificado e de ponta a ponta projetado para a evolução de habilidades entre tarefas. O framework opera em uma sequência de instâncias de tarefas relacionadas, porém distintas, organizadas do simples ao desafiador.

1. Construção de Sequência de Tarefas Cruzadas

As tarefas são agrupadas por metadados de família fornecidos pelo ambiente (ex: categorias de produtos no WebShop, tipos de objetos no ALFWorld) e ordenadas por dificuldade. Isso cria uma sequência $x = (x_1, \dots, x_K)$ onde a experiência de tarefas anteriores é destinada a apoiar as tarefas posteriores.

2. Rollout de Política Única com Evolução de Habilidade

Uma política única $\pi_\theta$ alterna entre dois papéis dentro da sequência:

• Resolução de Tarefa: O agente resolve a tarefa atual $x_i$ usando um documento de habilidade textual em evolução $S_{i-1}$ (que resume as habilidades de tarefas anteriores) como contexto.
• Curadoria de Habilidade: Após a conclusão da tarefa, a mesma política reescreve o documento de habilidade $S_{i-1}$ em uma nova versão $S_i$. Este processo envolve:
  • Preservar habilidades úteis do documento anterior.
  • Consolidar procedimentos bem-sucedidos ou modos de falha revelados na trajetória atual.
  • Remover detalhes específicos da instância (abstração) para garantir a reutilização.
  • O documento revisado $S_i$ torna-se o único canal de informação para a próxima tarefa $x_{i+1}$.

3. Atribuição de Crédito Desacoplada

Para otimizar ambos os papéis de forma eficaz, o SkillRise emprega um mecanismo de atribuição de crédito desacoplado e temporalmente alinhado:

• Resolução de Tarefa: Supervisionada exclusivamente pela recompensa imediata $r_i$ da tarefa atual.
• Curadoria de Habilidade: Supervisionada pela soma descontada das recompensas de tarefas subsequentes ($\sum_{j=i+1}^K \gamma^{j-i} r_j$). Isso garante que a política de curadoria seja otimizada para sua capacidade de transferir valor para tarefas futuras, não apenas para a atual.
• Otimização: O framework utiliza uma abordagem de vantagem relativa ao grupo, comparando retornos entre tentativas independentes que compartilham a mesma posição de tarefa e fase (resolução vs. curadoria) para calcular vantagens, que são então usadas em uma função objetivo com clipping (semelhante ao PPO) para atualizar a política.

Principais Contribuições

1. Formulação: O artigo formula o aprendizado de habilidades entre tarefas sobre sequências ordenadas de instâncias de tarefas distintas, onde os resultados das tarefas posteriores avaliam diretamente a transferibilidade das habilidades curadas de interações anteriores.
2. Framework: Desenvolvimento do SkillRise, um framework de RL de ponta a ponta que utiliza uma única política tanto para resolução quanto para curadoria, aliado a uma atribuição de crédito entre tarefas desacoplada e otimização de grupo consciente de papel.
3. Eficiência: O design elimina a necessidade de pipelines de gerenciamento de habilidades externos (ex: módulos de recuperação ou modelos de professor separados), oferecendo um paradigma de treinamento compacto.

Resultados Experimentais

Os autores avaliaram o SkillRise em três benchmarks interativos baseados em texto: ALFWorld, WebShop e ScienceWorld, utilizando modelos Qwen3-1.7B e Qwen3-4B.

• Desempenho Geral: O SkillRise alcançou o melhor desempenho de Pass@1 em todos os benchmarks, superando o baseline mais forte (GiGPO) em 2,3 a 8,5 pontos percentuais.
  • ALFWorld: 85,9% (vs. 83,6% para GiGPO).
  • WebShop: 84,4% (vs. 77,3% para GiGPO).
  • ScienceWorld: 54,6% (vs. 46,1% para GiGPO).
• Generalização Dentro da Tarefa: Apesar de ser treinado em sequências de tarefas distintas, o SkillRise superou métodos treinados explicitamente em tentativas repetidas da mesma tarefa (ex: LaMer) quando avaliado em Pass@2 e Pass@3 para tarefas não vistas. Isso sugere que a política de curadoria aprendida captura uma estratégia geral para converter resultados de interação em habilidades acionáveis.
• Escalonamento de Teste de Tempo para Tarefas Cruzadas: O desempenho melhorou monotonicamente conforme o comprimento da sequência de tarefas relacionadas ($K$) aumentava no tempo de teste (ex: de 83,6% em $K=2$ para 87,5% em $K=6$ no ALFWorld). Métodos concorrentes não mostraram tal crescimento, indicando que o SkillRise reutiliza e refina efetivamente habilidades transferíveis entre tarefas.
• Eficiência: Comparado a pipelines de múltiplos estágios como RetroAgent e SkillRL, o SkillRise alcançou taxas de sucesso comparáveis ou superiores, exigindo apenas 1/6 do tempo de execução, pois remove o overhead de manutenção de memória externa e recuperação.

Significância e Alegações

O artigo afirma que o SkillRise fornece um paradigma de treinamento simples e eficiente para agentes de LLM extraírem, refinarem e reutilizarem habilidades transferíveis entre tarefas. Sua principal significância reside em demonstrar que:

• O aprendizado de habilidades entre tarefas pode ser alcançado através de uma política unificada de ponta a ponta sem pipelines externos complexos.
• Desacoplar os sinais de supervisão para resolução (resultado atual) e curadoria (resultados downstream) é crítico para aprender regularidades transferíveis.
• Agentes podem exibir "escalonamento de tempo de teste", onde o desempenho melhora com sequências mais longas de tarefas relacionadas, mesmo quando cada tarefa é tentada apenas uma vez, sugerindo um mecanismo robusto de autoaperfeiçoamento através do acúmulo de experiência.

Os autores observam limitações, incluindo a dependência atual de metadados de família de tarefas para a construção de sequências e a restrição dos experimentos a modelos de até 4B parâmetros e benchmarks baseados em texto.