Resumo Técnico: LifeSkill – Coevolução de Habilidades Orientada por Teste para Agentes de Aprendizado Contínuo Online

1. Definição do Problema

Agentes baseados em Grandes Modelos de Linguagem (LLMs) operando em ambientes dinâmicos e interativos requerem capacidades de aprendizado contínuo (lifelong learning) para se adaptarem a distribuições de tarefas em evolução e acumularem conhecimento a partir da experiência. No entanto, as abordagens existentes sofrem de três limitações críticas:

1. Parâmetros Estáticos: A maioria dos agentes mantém os parâmetros do modelo fixos durante a implantação, dependendo exclusivamente da recuperação de memória externa (ex: Synapse, AWM) para melhorar o desempenho. Isso impede o verdadeiro aprendizado durante a fase de interação.
2. Supervisão de Habilidades Insuficiente: Embora os agentes possam resumir trajetórias ou refletir sobre falhas, a extração de habilidades (skills) reutilizáveis a partir do feedback de interação carece de uma supervisão confiável e fundamentada na execução. Os métodos atuais frequentemente dependem de juízes LLM subjetivos ou resumos heurísticos, em vez do sucesso da tarefa.
3. Representação de Conhecimento Externo: O conhecimento adquirido é tipicamente armazenado como texto externo discreto. Isso impede que o modelo internalize, componha e generalize essas habilidades como parte de seu conhecimento paramétrico, levando à inflação de contexto e à incapacidade de transformar experiência em capacidade duradoura.

O desafio central é permitir que os agentes melhorem continuamente enquanto atuam no ambiente, convertendo o feedback de tempo de teste em crescimento paramétrico persistente sem depender apenas de inferência estática ou recuperação de memória externa.

2. Metodologia: Estrutura LifeSkill

Os autores propõem o LifeSkill, uma estrutura de aprendizado por reforço em dois estágios projetada para Agentes de Aprendizado Contínuo Online. A estrutura opera em um fluxo de tarefas ($D_{stream}$) e mantém dois modelos com o mesmo backbone, mas parâmetros distintos:

• Modelo de Política ($\pi_\theta$): Executa as tarefas.
• Modelo de Extração de Habilidades ($\pi_\phi$): Destila habilidades reutilizáveis de interações falhas.

Esses modelos participam de um ciclo de coevolução em tempo de teste composto por dois mecanismos principais:

A. Aprendizado de Habilidades Guiado por Verificador (VGSL)

Este estágio aborda a falta de supervisão direta para a extração de habilidades.

• Processo: Quando o Modelo de Política falha em uma tarefa ($r=0$), o Modelo de Extração de Habilidades gera habilidades candidatas ($s$) baseadas na trajetória de falha.
• Avaliação: Em vez de usar um juiz LLM subjetivo, cada habilidade candidata é avaliada pela média de sucesso do verificador de múltiplas execuções de política condicionadas à habilidade ($K_\tau$ trajetórias por habilidade).
• Otimização: O Modelo de Extração de Habilidades é treinado usando o objetivo DAPO (Direct Preference Optimization). A utilidade de uma habilidade é definida por sua taxa de sucesso empírica ($R_i$). Habilidades que levam a maiores taxas de sucesso de verificação são recompensadas, treinando o extrator para gerar habilidades que sejam fundamentadas na execução e não meramente plausíveis textualmente.

B. Internalização de Habilidade Online (OSI)

Este estágio aborda o descompasso entre a exploração guiada por habilidades e a necessidade de adaptação paramétrica.

• Processo: Para trajetórias bem-sucedidas onde uma habilidade guiou o agente até uma solução ($r=1$), o texto explícito da habilidade é removido do contexto de entrada.
• Otimização: O Modelo de Política é atualizado usando a recompensa do verificador associada à trajetória, condicionado apenas ao input original da tarefa ($q$), não à habilidade ($s$).
• Objetivo: Isso força o modelo a internalizar as capacidades de raciocínio e os comportamentos descobertos durante a exploração guiada pela habilidade diretamente em seus parâmetros. Isso transforma comportamentos "com andaime" (scaffolded) bem-sucedidos em conhecimento paramétrico "sem andaime" (unscaffolded), eliminando a necessidade de regenerar ou recuperar o texto da habilidade em interações futuras.

3. Principais Contribuições

1. Estrutura LifeSkill: Uma nova estrutura de aprendizado por reforço em dois estágios que permite que agentes de LLM de aprendizado contínuo melhorem durante a implantação, indo além da inferência de parâmetros estáticos com memória externa.
2. Aprendizado de Habilidades Guiado por Verificador: Um método para treinar um extrator de habilidades usando feedback fundamentado na execução (taxas de sucesso do verificador) em vez de pontuação subjetiva, garantindo que as habilidades extraídas sejam praticamente úteis para a resolução de tarefas.
3. Internalização de Habilidade Online: Um mecanismo para converter trajetórias bem-sucedidas guiadas por habilidades em melhorias de política sem andaime, permitindo que o agente absorva capacidades de raciocínio em seus parâmetros e reduza a dependência de texto recuperado.
4. Validação Empírica: Experimentos extensos demonstrando que o acoplamento da extração de habilidades fundamentada na execução com a adaptação paramétrica online produz um desempenho superior em comparação com as linhas de base existentes.

4. Resultados Experimentais

A estrutura foi avaliada no LifelongAgentBench, um benchmark para adaptação contínua em tarefas interativas de longo horizonte em três ambientes: Banco de Dados (DB), Sistema Operacional (OS) e Grafo de Conhecimento (KG).

• Desempenho: O LifeSkill alcançou uma precisão média de 0,59, superando a linha de base mais forte livre de treinamento (Group Self-Consistency) em 10 pontos absolutos e a linha de base mais forte baseada em treinamento (RFT) em 7 pontos absolutos.
• Especificidades do Ambiente:
  • DB: O LifeSkill atingiu 0,82 (vs. 0,63 para a melhor linha de base).
  • OS: O LifeSkill atingiu 0,64 (vs. 0,56 para a melhor linha de base).
  • KG: O LifeSkill pontuou 0,32, ligeiramente abaixo da melhor linha de base livre de treinamento (0,36). Os autores atribuem isso à esparsidade dos sinais de recompensa binária em tarefas de KG de longo horizonte, o que enfraquece o sinal de aprendizado tanto para a extração de habilidades quanto para a internalização.
• Estudos de Ablação:
  • Substituir o VGSL por supervisão de Juiz LLM reduziu o desempenho, confirmando a necessidade de recompensas fundamentadas na execução.
  • Remover o Modelo de Extração de Habilidades causou a maior queda de desempenho, destacando o valor da coevolução de modelos duplos.
  • Desativar o OSI reduziu o desempenho, provando que a extração de habilidades sozinha é insuficiente sem a internalização nos parâmetros.
• Hiperparâmetros: O desempenho melhorou com o aumento do computação em tempo de teste (mais rollouts) até um ponto de saturação (4 rollouts), e os tamanhos de janela ideais variaram por ambiente (DB favoreceu janelas menores para atualizações rápidas; OS favoreceu janelas maiores para estabilidade).

5. Significância e Alegações

O artigo afirma que o LifeSkill representa um passo significativo em direção a um aprendizado contínuo genuíno para agentes de LLM. Ao tratar as habilidades como uma interface de aprendizado intermediária que guia a exploração e é posteriormente internalizada, a estrutura preenche a lacuna entre recuperação de experiência e aprendizado paramétrico.

Os autores enfatizam que sua abordagem permite que os agentes:

• Aprendam quais habilidades extrair das falhas usando verificadores confiáveis e específicos para a tarefa.
• Realizem atualizações de parâmetros online durante a implantação, em vez de depender apenas de memória externa.
• Internalizem comportamentos bem-sucedidos sob o input original da tarefa, reduzindo a dependência de longo prazo de texto recuperado e mitigando a inflação de contexto.

O trabalho sugere que, embora os agentes atuais possam recuperar experiência, o LifeSkill demonstra um caminho para transformar efetivamente essa experiência em capacidade internalizada e duradoura. O trabalho futuro é identificado como a melhoria do desempenho em configurações de recompensa esparsa e longo horizonte, além da redução dos custos de computação em tempo de teste associados à exploração guiada por habilidades.