Resumo Técnico: OPD-Evolver

Definição do Problema

O artigo aborda uma lacuna crítica no desenvolvimento de agentes de autoevolução. Embora a memória tenha se tornado um substrato padrão para agentes armazenarem trajetórias, recuperarem reflexões e acumularem habilidades, os sistemas existentes frequentemente carecem da competência holística para gerenciar efetivamente todo o ciclo de vida da experiência. Os agentes atuais podem reter experiências ou expô-las a prompts, mas frequentemente falham em converter essa experiência em uma melhoria comportamental sustentada.

Os autores identificam que os métodos existentes tipicamente otimizam apenas fragmentos isolados do processo de evolução (por exemplo, recuperação, injeção de contexto ou destilação de parâmetros), em vez das capacidades acopladas necessárias para uma verdadeira autoevolução. Especificamente, eles definem um "agente evoluidor qualificado" como um agente que deve dominar simultaneamente quatro capacidades acopladas:

1. Seleção de Experiência: Identificar memórias úteis de um repositório crescente e ruidoso.
2. Execução Baseada em Experiência: Converter a experiência selecionada em ações multi-turno eficazes.
3. Escrita de Experiência: Extrair conhecimento reutilizável de novas trajetórias e feedbacks.
4. Gestão de Experiência: Pontuar, consolidar, atualizar e aposentar memórias ao longo do tempo.

O desafio central é que as recompensas de tarefas fornecem supervisão direta para a execução, mas não para a seleção, escrita ou gestão de memória a longo prazo. Além disso, treinar essas habilidades acopladas dentro de uma única política sem interferência mútua permanece inexplorado.

Metodologia: OPD-Evolver

Para enfrentar esses desafios, os autores propõem o OPD-Evolver, um framework de coevolução lenta-rápida que cultiva evolvedores de agentes holísticos via autodestilação on-policy.

1. Ciclo de Evolução Rápida (Interação Online)

O ciclo rápido opera durante a interação em tempo de teste sem modificar os parâmetros do modelo ($\theta$). Ele permite que o agente evolua através da interação online com ambientes e uma hierarquia de memória de quatro níveis:

• Trajetórias: Evidência episódica.
• Dicas (Tips): Avisos ou heurísticas locais.
• Habilidades (Skills): Procedimentos abstratos reutilizáveis.
• Ferramentas (Tools): Comandos executáveis ou templates de código.

Neste ciclo, o agente realiza:

• Recuperação & Seleção: Recupera os $K$ melhores candidatos de cada nível via similaridade de embedding e utiliza um seletor aprendido para comprimi-los em um contexto compacto ($S_t$).
• Execução: Age com base na tarefa, histórico e contexto selecionado.
• Escrita & Manutenção: Pós-episódio, o agente decide quais memórias escrever em níveis específicos e realiza periodicamente a manutenção do repositório (busca, fusão, exclusão) para gerenciar o repositório crescente.

2. Ciclo de Evolução Lenta (Destilação On-Policy)

O ciclo lento treina as capacidades intrínsecas de evolvedor do agente destilando a "perspectiva privilegiada de retrospectiva" (privileged hindsight) do fluxo de interação do ciclo rápido. Como o único sinal externo confiável é o resultado terminal da tarefa ($R_t$), o framework utiliza a atribuição de memória calibrada pelo resultado para propagar esse feedback escalar para as quatro decisões acopladas.

• Atribuição Calibrada pelo Resultado: O sistema estima o valor de cada memória ($m$) comparando o desempenho de tarefas onde $m$ foi selecionada versus tarefas onde ela foi recuperada, mas não selecionada. Isso gera um sinal de supervisão de retrospectiva denso ($V(m)$) indicando o que deveria ter sido selecionado, usado, escrito ou preservado.
• Autodestilação de Retrospectiva Unificada: Um "professor privilegiado" (a mesma política com parâmetros de gradiente interrompido) observa toda a evidência de retrospectiva (valores candidatos, trajetórias bem-sucedidas, utilidade futura de memórias escritas e diagnósticos de repositório). A política "estudante" é então treinada para imitar o comportamento do professor nos mesmos estados de rollout, mas sem acesso à retrospectiva privilegiada.
• Função de Perda: O treinamento minimiza a divergência KL a nível de token entre as saídas on-policy do estudante e as saídas do professor condicionadas à retrospectiva privilegiada, moldando conjuntamente a seleção, execução, escrita e gestão.

Principais Contribuições

1. Formulação de Objetivo: O artigo define formalmente o "agente evolvedor qualificado" através de quatro competências acopladas (seleção, execução, escrita, gestão), argumentando que estas não podem ser separadas com segurança.
2. Solução Prática: Introduz o OPD-Evolver, um framework que converte resultados de tarefas atrasados e retrospectiva privilegiada em supervisão para todos os quatro estágios do ciclo de vida via autodestilação on-policy.
3. Validação Experimental: Os autores demonstram que o OPD-Evolver-4B e o OPD-Evolver-9B superam sistemas de memória contemporâneos (ex: ReasoningBank, MemEvolve) e métodos baseados em treinamento (ex: Skill0, GRPO) em diversos benchmarks. Notavelmente, o modelo 9B desafia contrapartes significativamente maiores (ex: QWEN3.5-397B, STEP-3.5-196B) em subconjuntos específicos.

Resultados Experimentais

A avaliação abrange cinco benchmarks: LifelongAgentBench (DB, OS), MemoryArena (Math, Physics), AMA-Bench (CI, SU, SA), InterCode (Bash, CTF, SQL) e MiniHack.

• Ganhos de Desempenho: O OPD-Evolver-9B alcançou os melhores resultados em 9/10 subconjuntos em comparação com as bases de memória de mesmo backbone. Superou a base de memória mais forte (ReasoningBank) em até 11,5% e os métodos baseados em treinamento (Skill0) em aproximadamente 5,8%.
• Eficiência de Escala: O OPD-Evolver-9B excedeu o desempenho do STEP-3.5-196B em 9/10 subconjuntos e superou o QWEN3.5-397B-A17B em 6/10 subconjuntos, demonstrando que a evolução ao nível do ciclo de vida pode tornar agentes compactos competitivos com modelos gigantes.
• Estudos de Ablação: A remoção de qualquer componente (evolução lenta, atribuição de memória, seleção, destilação de escrita ou manutenção) levou à degradação do desempenho. A remoção da atribuição de memória causou a maior queda, destacando a importância da supervisão calibrada pelo resultado.
• Internalização: A análise mostrou que a destilação do ciclo lento internaliza experiências de alto valor, permitindo que o agente execute tarefas com menos passos e taxas de sucesso mais altas, mesmo sem recuperação de memória externa no tempo de teste.

Significância e Alegações

O artigo reivindica uma mudança de construir agentes que meramente armazenam experiência para cultivar agentes que podem continuamente transformar a experiência em sua própria capacidade de evolução. Ao unificar o ciclo de vida da experiência em uma única política treinada via destilação on-policy, o OPD-Evolver permite que agentes aprendam competências transferíveis ao nível do ciclo de vida. Os autores sugerem que esta abordagem vai além do simples aumento de memória, movendo-se em direção a evolvedores de agentes genuinamente qualificados, capazes de autoaperfeiçoamento em domínios heterogêneos.