Resumo Técnico: Geração de Habilidades e Otimização de Política Co-evolutivas (SAPO)

1. Definição do Problema

O artigo aborda uma limitação crítica nos métodos existentes de aprendizado por reforço (RL) aumentado por habilidades para agentes de linguagem. Embora abordagens anteriores (ex: SkillRL, Skill0, D2Skill) utilizem conhecimento procedural reutilizável (habilidades) para melhorar o desempenho do agente, elas sofrem de três problemas principais:

1. Injeção de Habilidade Não Validada: Métodos existentes frequentemente inserem novas habilidades geradas em um banco de habilidades recuperável imediatamente, baseando-se na suposição implícita de que as habilidades produzidas por modelos de linguagem (LLMs) proprietários fortes são confiáveis. Experimentos preliminares no artigo revelam que essa suposição é falha: mesmo habilidades geradas por modelos de fronteira (ex: GPT-5.4) exibem utilidade altamente mista, com muitas fornecendo pouco benefício ou degradando ativamente o desempenho.
2. Feedback Atrasado e Não Contextual: Os métodos atuais rastreiam a utilidade da habilidade apenas após o armazenamento, utilizando feedback de rollout atrasado. Além disso, esses sinais de feedback tipicamente refletem o efeito agregado de múltiplas habilidades recuperadas, em vez da contribuição marginal de uma única habilidade. Isso torna difícil distinguir se uma habilidade é útil isoladamente ou se é meramente redundante dado o contexto de recuperação atual.
3. Alto Custo e Dependência: Depender de LLMs de fronteira proprietários para a geração contínua de habilidades durante o treinamento online acarreta custos significativos de API. Adicionalmente, os métodos existentes carecem de um mecanismo para podar habilidades obsoletas ou reclassificar candidatos de forma eficiente sem rollouts contrafatuais caros.

2. Metodologia: Otimização de Política Aumentada por Habilidade (SAPO)

Os autores propõem o SAPO, um framework de RL online que integra indução, validação e manutenção de habilidades em um loop unificado. A inovação central é a validação de habilidade pré-armazenamento usando o orçamento padrão de rollout, eliminando a necessidade de rollouts contrafatuais adicionais.

2.1 Rollouts Online e Validação de Grupo Pareado

O SAPO opera em unidades de indução (consultas ou grupos de consultas semanticamente similares). Para cada unidade, ele divide o orçamento de rollout ($G$) em dois grupos pareados sob a mesma tarefa e contexto de habilidade recuperada:

• Rollouts Base ($Y_{base}$): Gerados usando a política atual $\pi_\theta$ condicionada apenas à tarefa e ao conjunto de habilidades existentes atualmente recuperadas ($S_{i,j}$).
• Rollouts Aumentados por Habilidade ($Y_{skill}$): Gerados usando a mesma política e contexto, mas com uma habilidade candidata ($\hat{s}_i$) induzida a partir das trajetórias base adicionada ao contexto.

A habilidade candidata é induzida pela própria política com base nos padrões de falha observados nos rollouts base.

2.2 Estimativa de Utilidade Marginal

O framework estima a utilidade marginal dependente do contexto da habilidade candidata calculando a lacuna de recompensa entre os dois grupos pareados:
$$u(x_{i,j}, \hat{s}_i) = \text{AvgReward}(Y_{skill}) - \text{AvgReward}(Y_{base})$$
Esta métrica isola o valor específico adicionado pela habilidade candidata além das habilidades recuperadas existentes. Se a utilidade for positiva e a habilidade for distinta das habilidades de longo prazo existentes, ela é promovida ao banco de longo prazo ($B_{long}$); caso contrário, é descartada.

2.3 Política como Geradora e Avaliadora de Habilidades

O SAPO utiliza o sinal de utilidade para treinar a política $\pi_\theta$ em duas capacidades, reduzindo a dependência de modelos proprietários:

1. Geradora de Habilidades: A política é treinada com um objetivo de peso de utilidade assimétrico (inspirado em W-REINFORCE). Ela é reforçada para gerar habilidades com utilidade marginal positiva e suprimida para utilidade negativa. Isso permite que a política de pesos abertos aprenda a gerar habilidades de alta qualidade ao longo do tempo.
2. Avaliadora de Habilidades: A probabilidade da política gerar uma sequência de habilidade específica serve como uma pontuação de qualidade aprendida.
   • Treinamento: A política é destilada para prever a utilidade de uma habilidade com base apenas na tarefa e no contexto (omitindo evidências de rollout) para permitir inferência eficiente.
   • Manutenção e Recuperação: Esta pontuação de verossimilhança é usada para podar habilidades obsoletas do banco de longo prazo e para reclassificar habilidades candidatas durante a seleção em tempo de recuperação, garantindo que apenas as habilidades mais relevantes e não redundantes sejam utilizadas.

3. Principais Contribuições

1. Identificação de Utilidade Mista: O artigo demonstra empiricamente que as habilidades geradas por LLMs de fronteira não são inerentemente confiáveis, com utilidade marginal média frequentemente próxima de zero, e que a injeção não validada prejudica o aprendizado.
2. Framework SAPO: Um novo framework de RL online que valida habilidades antes do armazenamento usando uma estratégia de rollout de grupo pareado, estimando a utilidade marginal sem overhead de rollout extra.
3. Geração de Habilidade Autossupervisionada: O método treina a própria política do agente para atuar como geradora e avaliadora de habilidades, substituindo efetivamente chamadas de API proprietárias caras para indução de habilidades e permitindo a manutenção de habilidades dependentes do contexto.

4. Resultados Experimentais

Os autores avaliaram o SAPO no ALFWorld (tarefas domésticas incorporadas), WebShop (navegação web) e um conjunto de benchmarks de Perguntas e Respostas Aumentadas por Busca (single-hop e multi-hop).

• Desempenho: O SAPO superou consistentemente os métodos anteriores de RL aumentados por habilidade (SkillRL, Skill0, D2Skill) e bases fortes (ReAct, Reflexion, RLOO, GRPO). No ALFWorld, o SAPO alcançou uma taxa de sucesso de 92,2% (All) e 78,1% (Success), superando o melhor anterior (SkillRL com 85,2% e 72,7% respectivamente).
• Dinâmica de Treinamento: O SAPO demonstrou convergência mais rápida e maior desempenho de validação final em comparação ao SkillRL, particularmente nos estágios iniciais onde o filtro baseado em utilidade fornece orientação confiável.
• Qualidade da Habilidade: A análise mostrou que, embora a política SAPO (usando um modelo de pesos abertos menor) tenha começado com habilidades de utilidade menor que o GPT-5.4, ela aprendeu rapidamente a gerar habilidades com utilidade comparável ou superior, provando a eficácia do treinamento ponderado por utilidade.
• Estudos de Ablação: A remoção de qualquer um dos três componentes principais (Validação, Treinamento do Gerador ou Pontuação) resultou em degradação do desempenho, confirmando que a validação de habilidade, a geração baseada em política e a manutenção baseada em verossimilhança são todos essenciais.

5. Significância e Alegações

O artigo afirma que o SAPO aborda a natureza de "caixa preta" da geração de habilidades nos agentes de RL atuais. Ao validar explicitamente a utilidade marginal de uma habilidade dentro de seu contexto de recuperação específico, o framework evita que habilidades de baixa qualidade ou redundantes poluam a memória do agente.

Crucialmente, os autores enfatizam que o SAPO alcança esses ganhos sem custos de rollout adicionais (ao reutilizar o orçamento padrão para validação) e sem chamadas repetidas a LLMs proprietários (ao treinar a política para gerar e pontuar habilidades). Isso torna a abordagem escalável e de baixo custo para a evolução de longo prazo do agente, mudando o paradigma de "gerar e esperar" para "validar e evoluir".