Ask Only When Needed: Proactive Retrieval from Memory and Skills for Experience-Driven Lifelong Agents

Título: Ask Only When Needed: Recuperação Proativa de Memória e Habilidades para Agentes de Aprendizado ao Longo da Vida Orientados por Experiência

1. O Problema

Os agentes de linguagem estão evoluindo de solucionadores de tarefas isoladas para aprendizado ao longo da vida (lifelong learning) online, onde acumulam experiência através de uma série contínua de interações. No entanto, os métodos existentes enfrentam duas limitações fundamentais:

1. Recuperação Passiva: A maioria dos agentes recupera informações do passado de forma passiva, baseada em regras pré-definidas, inicialização estática (apenas no início da tarefa) ou recuperação contínua a cada passo. Isso leva a:
   • Falha em identificar lacunas de conhecimento durante a interação.
   • Sobrecarga de contexto (demasiadas informações irrelevantes).
   • Incapacidade de buscar proativamente a experiência mais útil para a decisão atual.
2. Atualização Desacoplada: As estratégias de atualização online tratam a memória textual (acúmulo de fatos e episódios) e a otimização de parâmetros (política de decisão) como processos independentes. Na prática, ambos são essenciais para a adaptação contínua, mas atualizá-los isoladamente limita a capacidade do agente de melhorar continuamente.

2. Metodologia: PROACTAGENT

O artigo propõe o PROACTAGENT, um framework de aprendizado ao longo da vida orientado por experiência que unifica a recuperação proativa com a evolução online conjunta. O sistema consiste em dois componentes acoplados:

A. Evolução Online Aprimorada por Experiência (EXPONEVO)

Este componente fecha o ciclo entre ação, acúmulo de experiência e otimização da política.

• Base de Experiência Estruturada: Em vez de um repositório único, a experiência é organizada em repositórios tipados:
  • Memória Fática ($M_f$): Fatos verificáveis e estados do ambiente.
  • Memória Episódica ($M_e$): Planos locais, restrições e eventos temporais específicos.
  • Habilidades Comportamentais ($S$): Divididas em habilidades de Sucesso ($S_+$), Falha ($S_-$) e Comparativas ($S_\Delta$).
• Mecanismo de Recuperação: Uma única consulta retorna evidências complementares (o que é verdade) e orientações acionáveis (o que fazer ou evitar), mitigando redundância.
• Evolução Conjunta: O agente atualiza tanto o que armazena na memória quanto como age, criando um ciclo de reforço onde trajetórias de melhor qualidade geram entradas de memória mais ricas, que por sua vez melhoram a política.

B. Recuperação Baseada em Aprendizado por Reforço Proativo (PROACTRL)

Este componente trata a recuperação como uma ação explícita da política e aprende quando e o que recuperar.

• Mecanismo de Ramificação Pares (Paired-Branch): Para fornecer supervisão em nível de passo (necessária para aprender a decisão de recuperar), o sistema gera pares de trajetórias a partir do mesmo prefixo de interação:
  1. Ramo com Recuperação ($\tau_{ret}$): O agente executa a ação de recuperação.
  2. Ramo sem Recuperação ($\tau_{no-ret}$): O agente suprime a recuperação e continua apenas com a política atual.
• Recompensa de Processo (Process Reward): Compara-se o resultado dos dois ramos.
  • Se o ramo com recuperação tiver um desempenho significativamente melhor, o agente recebe uma recompensa positiva ($\alpha$).
  • Se o ramo sem recuperação for melhor ou igual, a recuperação é penalizada (recompensa negativa ou zero).
  • Isso ensina ao agente a evitar consultas desnecessárias (que sobrecarregam o contexto) e a buscar apenas quando a experiência externa é crítica para o sucesso.
• Otimização: Utiliza-se o algoritmo GRPO (Group Relative Policy Optimization) com essas recompensas de processo para ajustar a política.

3. Principais Contribuições

1. Framework Proativo: Introdução do PROACTAGENT, que permite aos agentes evoluir continuamente a partir do histórico de interações, superando a dependência de experiência invocada passivamente.
2. Arquitetura Dual:
   • EXPONEVO: Unifica o refinamento de memória textual e a otimização de parâmetros em um ciclo iterativo.
   • PROACTRL: Introduz um mecanismo de aprendizado por reforço baseado em ramificação pareada para aprender a decisão de recuperação com supervisão em nível de passo.
3. Base de Experiência Tipada: Propõe uma estrutura de memória que separa fatos, episódios e habilidades (sucesso/falha/comparação), permitindo recuperação mais precisa e menos redundante.
4. Validação Empírica: Demonstração de que o controle proativo de recuperação é mais crítico do que apenas escalar a capacidade do modelo para tarefas de longo horizonte.

4. Resultados Experimentais

O PROACTAGENT foi avaliado em três benchmarks interativos: SciWorld, AlfWorld e StuLife.

• Desempenho em Tarefas:
  • SciWorld: Taxa de sucesso de 73,50% (vs. 55,50% do baseline GRPO+Reflexion).
  • AlfWorld: Taxa de sucesso de 71,28% (vs. 67,18% do baseline).
  • StuLife: Desempenho competitivo com modelos proprietários de ponta, alcançando uma taxa de sucesso de 12,35% e um GPA de Stu de 19,26.
• Eficiência:
  • Redução significativa no número de rodadas de interação: -33,2% no SciWorld e -22,5% no AlfWorld em comparação com o GRPO+Reflexion.
  • Redução no consumo de tokens, indicando que o agente evita consultas desnecessárias.
• Escalabilidade: Um modelo de 3B parâmetros equipado com PROACTAGENT alcançou desempenho comparável a um modelo de 7B parâmetros com recuperação passiva, demonstrando que a inteligência na recuperação compensa lacunas de capacidade do modelo.
• Estudos de Ablação:
  • A remoção do PROACTRL causou a maior queda de desempenho (de 73,50% para 26,50%), confirmando que a recuperação aprendida é o componente mais impactante.
  • A evolução conjunta (EXPONEVO + PROACTRL) superou abordagens que evoluem apenas memória ou apenas parâmetros.

5. Significado e Conclusão

O trabalho demonstra que, para agentes operarem em ambientes complexos e em evolução, a capacidade de controlar proativamente quando e o que recuperar é fundamental. O PROACTAGENT resolve o dilema entre "recuperar tudo" (sobrecarga de contexto) e "não recuperar" (falta de conhecimento), aprendendo a fazer a pergunta certa apenas quando necessário.

A descoberta central é que a evolução conjunta de memória e política, guiada por recompensas de processo baseadas em comparações contrafactuais, permite que agentes de linguagem aprendam a utilizar seu histórico de interações de forma eficiente, alcançando níveis de desempenho que rivalizam com modelos proprietários muito maiores, mas com custos computacionais e de interação significativamente menores.