Resumo Técnico: SKILLMASTER

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) atuais lutam com o domínio autônomo de habilidades. Embora as habilidades sirvam como mecanismos eficazes para melhorar o desempenho em tarefas complexas, os frameworks existentes tratam as habilidades como recursos externos gerenciados por professores externos, regras desenhadas manualmente ou módulos auxiliares. Nessas configurações, a política do agente limita-se a recuperar e invocar habilidades pré-definidas; ele não consegue desenvolver, refinar ou internalizar ativamente essas habilidades com base em sua própria experiência.

Essa dependência de gerenciamento externo cria três desafios principais:

1. Falta de Internalização: O gerenciamento de habilidades é um procedimento de manutenção externo ao agente, em vez de uma capacidade aprendível dentro da política do agente.
2. Feedback Esparsos para Qualidade da Habilidade: Recompensas de resultado da tarefa (sucesso/fracasso) são muito grosseiras para determinar se uma edição específica de habilidade (proposta ou atualização) foi benéfica. Uma tarefa pode ter sucesso devido à sorte ou falhar devido a fatores não relacionados, não fornecendo nenhum sinal explícito sobre a qualidade da própria habilidade.
3. Interferência na Otimização: Otimizar conjuntamente a execução da tarefa e o gerenciamento de habilidades em uma única política é difícil porque elas possuem estruturas de recompensa diferentes (recompensas binárias do ambiente vs. recompensas contínuas de qualidade da habilidade), o que frequentemente leva a um treinamento instável.

Metodologia: SKILLMASTER

Os autores propõem o SKILLMASTER, um framework de treinamento que integra o gerenciamento de habilidades diretamente no ciclo de aprendizado do agente, permitindo que o agente crie, refine e selecione habilidades de forma autônoma. O framework consiste em três componentes principais:

1. Revisão de Habilidade Informada por Trajetória

O SKILLMASTER amplia o treinamento padrão de Aprendizado por Reforço (RL) com uma Fase de Domínio de Habilidade explícita, anexada após cada episódio.

• Fase de Ação: O agente interage com o ambiente, recuperando habilidades relevantes de um banco de habilidades ($B$) para guiar as ações.
• Fase de Domínio de Habilidade: Ao término do episódio, o agente revisa a descrição da tarefa, as habilidades recuperadas, a trajetória e o resultado. Ele é instruído a produzir exatamente uma chamada de ferramenta: propose_skill (adicionar nova), update_skill (revisar existente) ou keep_skill (manter atual).
• Mecanismo: Esta fase utiliza Raciocínio Integrado a Ferramentas (TIR), permitindo que o agente trate o banco de habilidades como um objeto mutável que pode editar por meio de chamadas de função estruturadas, em vez de um banco de dados estático.

2. Recompensa de Utilidade Contrafactual de Habilidade

Para resolver o problema de feedback esparsos, os autores introduzem uma Recompensa de Utilidade a Jusante baseada em avaliação contrafactual.

• Tarefas de Sondagem: Quando uma edição de habilidade é proposta, o sistema seleciona $K$ "tarefas de sondagem" semanticamente relacionadas (por exemplo, da mesma família de tarefas).
• Comparação Contrafactual: O sistema avalia as tarefas de sondagem duas vezes: uma vez com o banco de habilidades original ($B$) e uma vez com o banco modificado ($B'$).
• Sinal de Recompensa: A recompensa é calculada com base em duas métricas:
  1. Taxa de Sucesso: A modificação ajuda tarefas que anteriormente falhavam a ter sucesso?
  2. Eficiência: A modificação reduz a contagem de etapas para tarefas que já eram solucionáveis?
• Fórmula: A recompensa de utilidade ($R_{utility}$) combina o delta de desempenho médio ($\bar{\delta}$) entre as sondagens com um termo de consistência direcional, garantindo que as edições sejam recompensadas apenas se melhorarem consistentemente o desempenho a jusante.

3. DualAdv-GRPO (Otimização Desacoplada)

Para abordar a instabilidade da otimização conjunta de objetivos heterogêneos (execução da tarefa vs. edição de habilidade), os autores propõem o DualAdv-GRPO.

• Estimativa de Vantagem de Duplo Fluxo: A Otimização de Política Relativa de Grupo (GRPO) padrão normaliza as recompensas através de um grupo de trajetórias. O SKILLMASTER separa isso em dois fluxos:
  • Vantagens de Ação ($A_{act}$): Normalizadas usando apenas recompensas do ambiente ($r_{env}$).
  • Vantagens de Habilidade ($A_{skill}$): Normalizadas usando apenas recompensas de domínio de habilidade ($R_{skill}$).
• Mesclagem: Essas vantagens normalizadas são mescladas no nível do token usando um peso ajustável $\gamma$. Os tokens de ação recebem $A_{act}$, enquanto os tokens de gerenciamento de habilidades recebem $\gamma \cdot A_{skill}$. Isso impede que as recompensas de habilidade esparsas e contínuas distorçam o sinal de aprendizado para ações imediatas da tarefa, permitindo um treinamento conjunto estável.

Contribuições Principais

1. Framework SKILLMASTER: Uma política unificada que aprende tanto a execução da tarefa quanto o gerenciamento de habilidades de ponta a ponta, removendo a necessidade de professores externos.
2. Recompensa de Utilidade a Jusante: Um mecanismo de recompensa inovador que avalia edições de habilidades por meio de comparações contrafactuais em tarefas de sondagem, fornecendo sinais explícitos e densos para a qualidade da habilidade.
3. DualAdv-GRPO: Um algoritmo de otimização que desacopla a normalização de vantagens para ações da tarefa e decisões de habilidade, estabilizando o treinamento conjunto de objetivos heterogêneos.
4. Desempenho Empírico: Resultados state-of-the-art demonstrados em ALFWorld e WebShop, mostrando que agentes podem melhorar autonomamente seu próprio conhecimento procedural.

Resultados Experimentais

O framework foi avaliado em dois benchmarks: ALFWorld (manipulação corporificada em ambientes domésticos) e WebShop (compras online).

• ALFWorld: O SKILLMASTER alcançou uma taxa de sucesso geral de 98,7%, superando a melhor linha de base (SkillRL, que usa um professor externo) em 8,8 pontos percentuais. Ele alcançou sucesso perfeito (100%) em quatro das seis famílias de tarefas.
• WebShop: A taxa de sucesso melhorou de 72,7% (SkillRL) para 82,0%, com a pontuação geral subindo de 85,2 para 95,0.
• Internalização de Habilidades: Uma descoberta crítica é que os agentes SKILLMASTER podem internalizar habilidades aprendidas. Quando avaliados sem recuperação de habilidades no momento do teste, os agentes mantiveram um desempenho quase idêntico ao quando a recuperação estava habilitada (apenas uma queda de 0,7% no geral), sugerindo que o conhecimento procedural foi absorvido nos parâmetros da política em vez de depender apenas de uma consulta externa.
• Estudos de Ablação: Remover a recompensa de utilidade ou a normalização de vantagens desacoplada degradou significativamente o desempenho, confirmando a necessidade tanto do sinal contrafactual quanto da estratégia de otimização estável.

Significado e Alegações

O artigo alega que o SKILLMASTER representa uma mudança de sistemas de habilidades gerenciados externamente para domínio autônomo de habilidades. Ao tratar o gerenciamento de habilidades como um objetivo aprendível dentro da política do agente, o framework permite que os agentes:

• Identifiquem lacunas em seu conhecimento procedural (por exemplo, perceber que uma estratégia de busca é ineficiente).
• Refinem habilidades existentes com base em evidências de trajetória (por exemplo, corrigir uma instrução de "aquecer" que falha quando um objeto é colocado dentro de um micro-ondas).
• Transferam melhorias para tarefas futuras com edições mínimas ao banco de habilidades.

Os autores posicionam este trabalho como um movimento em direção a agentes de autoaperfeiçoamento capazes de desenvolver e adaptar seus próprios repertórios de habilidades, em vez de meramente invocar ferramentas estáticas fornecidas por sistemas externos. O trabalho reconhece limitações, como a sobrecarga computacional das avaliações de sondagem e a dependência de agrupamentos de tarefas pré-definidos para a seleção de sondagens, mas afirma que o mecanismo central é agnóstico ao domínio e aplicável a qualquer ambiente com tarefas relacionadas.