Resumo Técnico: PEAM - Memória de Agente Embutido Paramétrico

1. Declaração do Problema

Agentes embutidos baseados em Modelos de Linguagem de Grande Escala (LLM) atuais, particularmente em ambientes complexos como Minecraft, dependem fortemente de memória não paramétrica. Nestes sistemas, trajetórias passadas, reflexões e habilidades são armazenadas externamente (por exemplo, em bancos de dados vetoriais ou bibliotecas de habilidades) e re-injetadas no prompt no momento da inferência. Embora isso permita a recuperação, apresenta limitações significativas:

• Latência e Custo: Cada ciclo de decisão requer a recuperação e serialização de experiências passadas, aumentando o uso da janela de contexto e a latência de inferência.
• Política Estática: A política paramétrica subjacente do agente (o modelo base ou módulo treinável) permanece inalterada entre tarefas. Mesmo que uma biblioteca externa cresça, o agente não "aprende" a executar habilidades com mais eficiência; ele meramente as recupera.
• Consolidação Ausente: Sistemas existentes lidam com a aquisição de experiência (via bibliotecas de habilidades), mas carecem de um mecanismo para consolidação — o processo de transformar traços episódicos selecionados em competência paramétrica durável e internalizada.

O artigo postula que a memória durável em sistemas cognitivos surge de dois sistemas complementares: um armazenamento episódico rápido e um armazenamento paramétrico distribuído e lento, acoplados por consolidação offline. O PEAM visa operacionalizar isso para agentes embutidos, criando um caminho para que a experiência se mova da recuperação externa para os parâmetros treináveis do agente.

2. Metodologia

O PEAM (Memória de Agente Embutido Paramétrico) é um framework de dois níveis projetado para internalizar experiência em habilidades paramétricas.

Arquitetura

• Nível Lento (Deliberativo): Um grande LLM (por exemplo, GPT-4o) lida com raciocínio aberto, síntese de código e verificação de resultados. Ele explora o ambiente, detecta falhas e gera trajetórias corrigidas.
• Nível Rápido (Paramétrico): Uma arquitetura multimodal Mixture-of-Experts (MoE) LoRA construída sobre um backbone Qwen3-VL-8B-Instruct. Executa habilidades consolidadas reflexivamente com baixa latência.
• Armazenamento Episódico: Uma memória externa que estagia trajetórias bem-sucedidas e pares de falha-correção gerados pelo nível lento.

Mecanismos Principais

O PEAM aborda três questões críticas: O que internalizar, Quando internalizar e Como internalizar.

A. Como: Consolidação de Sucesso e Correção de Falhas

O PEAM trata a falha como um sinal de treinamento de primeira classe. O armazenamento episódico contém:

1. Trajetórias de Sucesso ($D_{succ}$): Execuções bem-sucedidas verificadas.
2. Pares de Falha-Correção ($D_{cpair}$): Pares de uma trajetória falha ($\tau_f$) e um sucesso subsequente corrigido ($\tau_c$) sob o mesmo contexto.

O módulo rápido atualiza adaptadores isolados por categoria específicos ($\theta_c$) usando um objetivo conjunto:
$$\mathcal{L}_{PEAM}(\theta_c) = \mathcal{L}_{BC}(\theta_c; D^{(c)}_{succ}) + \lambda \mathcal{L}_{PEAM-DPO}(\theta_c; D^{(c)}_{cpair})$$

• Clonagem Comportamental (BC): Garante que o adaptador aprenda o andaime sintético absoluto (por exemplo, wrappers de código) necessário para que o analisador de ações funcione.
• PEAM-DPO (Otimização Direta de Preferência): Uma perda contrastiva onde a trajetória corrigida é preferida à falha. Isso ensina ao agente como corrigir ações, não apenas o que tem sucesso.
• Isolamento: As atualizações são restritas ao adaptador de categoria específico (por exemplo, Criação, Combate), prevenindo interferência com outras habilidades.

B. O que: Pontuação de Merecimento de Parametrização (PV)

Nem todas as experiências devem ser internalizadas. O PEAM usa uma função de pontuação para classificar candidatos com base em:

• Economia de Custo ($U_{cost}$): Custo de recuperação estimado economizado (frequência $\times$ comprimento do código).
• Estabilidade ($U_{stab}$): Consistência do sucesso entre contextos.
• Redundância ($P_{redun}$): Penaliza a similaridade com habilidades já internalizadas.
• Risco de Esquecimento ($R_{forget}$): Um proxy estrutural; se uma habilidade compartilha uma categoria com parâmetros existentes, ela corre o risco de interferência (embora o isolamento mitigue isso, a pontuação considera a identidade da categoria).

Apenas candidatos no quantil superior-$q$ das pontuações PV são considerados para consolidação.

C. Quando: Consolidação Auto-Disparada (STC)

Em vez de um cronograma fixo, o PEAM usa um mecanismo auto-disparado, livre de escala. A consolidação é acionada quando a taxa de falha recente de uma habilidade excede significativamente sua linha de base histórica, determinada por um teste estatístico (escore Z) em vez de um limiar absoluto específico de tarefa. Isso permite que o gatilho seja transferido entre diferentes distribuições de tarefas sem re-ajuste.

3. Contribuições Principais

1. Framework de Memória Paramétrica: O PEAM desloca a memória de agentes embutidos da recuperação no momento da inferência para habilidades residentes em parâmetros, reduzindo latência e consumo de tokens enquanto melhora o desempenho em horizontes longos.
2. Falha como Sinal de Treinamento: Diferentemente de sistemas que convertem falhas em reflexões textuais para prompts, o PEAM treina diretamente em pares de trajetória de falha-correção usando um objetivo conjunto de BC e DPO. Isso permite que o agente aprenda as diferenças comportamentais específicas entre falha e sucesso.
3. Resistência ao Esquecimento Arquitetural: Ao usar adaptadores LoRA fisicamente isolados por categoria, o PEAM alcança aprendizado contínuo no nível de parâmetros. Internalizar uma habilidade de combate não sobrescreve os parâmetros usados para criação, eliminando o esquecimento catastrófico por design em vez de regularização.
4. Gatilhos de Consolidação Livres de Escala: A introdução de um mecanismo de consolidação auto-disparado que depende de estatísticas relativas de falha permite que o agente se auto-evolua sem ajuste manual de limiares específicos de tarefa.

4. Resultados Experimentais

Os experimentos foram conduzidos em Minecraft (1.19) usando o framework VOYAGER, comparando o PEAM com agentes baseados em recuperação (VOYAGER, Optimus-1), variantes de memória não paramétrica (Reflexion) e baselines paramétricas (Ajuste Fino Completo, LoRA Compartilhado, EWC).

• Sucesso em Tarefas: O PEAM alcançou 69,7% de sucesso em tarefas de horizonte longo, superando a baseline de recuperação mais forte (VOYAGER com 54,5%) em +15,2 pontos percentuais (McNemar $p=0,018$).
• Eficiência: O PEAM reduziu a latência mediana por chamada em 42% (5,5s $\to$ 3,2s) e o consumo de tokens por tarefa em 85% (31,2K $\to$ 4,6K) ao eliminar a necessidade de re-injetar bibliotecas de habilidades no momento da inferência.
• Resistência ao Esquecimento: Em experimentos de consolidação sequencial (Criação $\to$ Coleta $\to$ Combate), o PEAM mostrou 0% de esquecimento em habilidades aprendidas anteriormente. Em contraste, as baselines de LoRA compartilhado perderam 32,4% de desempenho, e o ajuste fino completo perdeu 78,5%.
• Insights de Ablação:
  • BC + DPO: Um adaptador DPO puro falhou em gerar código compatível com o analisador (0/12 casos), enquanto o objetivo conjunto teve sucesso (12/12). O termo BC é essencial para manter a sintaxe implantável.
  • Isolamento: A remoção do isolamento por categoria causou esquecimento significativo, confirmando que o isolamento estrutural é o principal motor da retenção.
  • Robustez do Gatilho: O mecanismo auto-disparado manteve desempenho consistente entre diferentes distribuições de tarefas (pesado em criação vs. pesado em combate) sem re-ajuste, ao contrário de baselines de limiar fixo.

5. Significado e Alegações

O artigo alega que o PEAM demonstra um caminho viável para agentes embutidos transitarem de acumular histórias externas para internalizar experiências selecionadas como parte de sua política central.

• Eficiência vs. Recuperação: Os resultados sugerem que, embora uma recuperação mais rica (por exemplo, contexto multimodal) ajude, os benefícios operacionais de internalizar habilidades em parâmetros (latência, redução de tokens e execução direta) fornecem ganhos que a recuperação sozinha não pode capturar.
• Aprendizado Contínuo Estrutural: O trabalho argumenta que a resistência ao esquecimento em agentes embutidos deve ser apoiada por arquitetura (isolamento de parâmetros) e não apenas por técnicas de regularização.
• Descobertas Metodológicas: O artigo destaca que as margens de preferência de passagem direta (pontuações DPO) nem sempre preveem a implantabilidade do código gerado, enfatizando a necessidade de objetivos conjuntos que preservem restrições sintáticas. Também observa que o recorte de trajetórias pode servir como um substituto tratável para avaliação entre distribuições quando dados pareados do mundo real são escassos.

Os autores concluem que agentes embutidos não devem atuar meramente como políticas fixas com memória externa; eles requerem um caminho de consolidação onde a experiência selecionada se torna parte da própria política, permitindo auto-evolução e execução eficiente.