ExpWeaver: LLM Agents Learn from Experience via Latent RAG

Resumo Técnico: ExpWeaver: Agentes de LLM Aprendem com a Experiência via RAG Latente

Declaração do Problema
Integrar interações passadas como experiências reutilizáveis é uma abordagem crítica para aprimorar o planejamento e o raciocínio de agentes de Grandes Modelos de Linguagem (LLMs). No entanto, os métodos existentes estão amplamente confinados ao espaço de texto explícito. As abordagens atuais tipicamente armazenam experiências como resumos textuais e as recuperam via similaridade semântica, concatenando-as na janela de contexto do modelo. Esse paradigma introduz ineficiências significativas:

1. Sobrecarga de Tokens: A concatenação explícita consome um espaço substancial da janela de contexto, limitando o número de experiências recuperáveis e aumentando os custos de inferência.
2. Desacoplamento Arquitetural: A maioria dos métodos utiliza um módulo de Geração Aumentada por Recuperação (RAG) separado (por exemplo, recuperadores baseados em embeddings ou mecanismos de busca) que opera independentemente das representações internas do LLM. Essa separação impede a otimização conjunta da recuperação e da geração em relação ao objetivo da tarefa subsequente.
3. Gargalos de Representação: A recuperação em nível de texto depende da similaridade semântica superficial, o que pode falhar em capturar correspondências estruturais mais profundas em estratégias de resolução de problemas necessárias para tarefas complexas de raciocínio ou codificação.

Metodologia: ExpWeaver
Para abordar essas limitações, os autores propõem o ExpWeaver, um framework que permite que agentes de LLM aprendam com a experiência via geração aumentada por recuperação latente. Diferente de trabalhos anteriores, o ExpWeaver realiza a recuperação diretamente no espaço latente do LLM sem a necessidade de um módulo RAG separado. O framework consiste em três componentes principais:

1. Banco de Experiências com Alinhamento On-Policy:

   • Trajetórias passadas (query, traço de raciocínio, saída, recompensa) são comprimidas em resumos textuais e codificadas em embeddings latentes densos ($z$) usando o mesmo LLM ($p_\theta$) utilizado para a geração.
   • Especificamente, o embedding é derivado do estado oculto do último token na última camada do transformer ($z = h_\theta(s)$).
   • Este design garante o alinhamento on-policy: à medida que a política evolui durante o treinamento, as experiências recentes residem naturalmente em uma região de embedding compatível, criando um viés de recência implícito análogo ao aprendizado por reforço on-policy.

2. Geração Aumentada por Recuperação Latente:

   • Recuperação Latente: Em cada etapa de decodificação $t$, o estado oculto atual $h_t$ serve como a query para recuperar um conjunto top-$K$ de embeddings de experiência ($Z_t$) do banco de experiências usando similaridade de cosseno. Nenhum recuperador externo é necessário.
   • Agregação por Cross-Attention: Os embeddings recuperados são agregados via um mecanismo de cross-attention utilizando um token de query aprendível ($u$). Isso permite que o modelo pondere dinamicamente as experiências com base em sua relevância para o estado de geração atual.
   • Integração por Portão (Gated Integration): O sinal de experiência agregado é integrado ao estado oculto através de um mecanismo residual de portão. Portões de retenção ($r_t$) e de entrada ($i_t$) aprendíveis, juntamente com um coeficiente de mistura ($a_t$), controlam o equilíbrio entre preservar o estado oculto original e incorporar conhecimento externo. Isso evita que a influência excessiva da experiência interrompa o fluxo de raciocínio do modelo.

3. Treinamento End-to-End com Aprendizado por Reforço:

   • Todo o pipeline (política $\theta$ e parâmetros de experiência $\psi_{exp}$) é otimizado conjuntamente usando Otimização de Política Relativa de Grupo (GRPO).
   • O framework suporta tanto tarefas generativas (ex: QA, codificação) produzindo saídas textuais via decodificação aprimorada por experiência, quanto tarefas de ranking (ex: recomendação) computando pontuações de relevância entre o estado oculto final e os embeddings candidatos.

Principais Contribuições

• Framework de Espaço Latente Unificado: O ExpWeaver unifica recuperação e geração dentro de um espaço representacional compartilhado, eliminando a necessidade de um recuperador separado e evitando a sobrecarga de tokens da concatenação de texto.
• Recuperação Adaptativa: Ao realizar a recuperação em cada etapa de decodificação baseada no estado oculto atual, o sistema aprende a utilização de experiência dependente da query, capturando padrões estruturais profundos em vez de mera sobreposição de texto superficial.
• Agnosticismo de Tarefa: A arquitetura estende-se naturalmente a diversos tipos de tarefas, incluindo resposta a perguntas, raciocínio matemático, geração de código, previsão científica e recomendação sequencial.

Resultados Experimentais
Os autores avaliaram o ExpWeaver no ExpBench, um benchmark que abrange 13 tarefas diversas em três cenários: Genérico (QA, Raciocínio, Codificação), Científico (Química Farmacêutica) e Recomendação.

• Desempenho: O ExpWeaver alcançou resultados de estado da arte em 12 de 13 tarefas, superando o baseline mais forte (Search-R1) em uma média de 6,8%.
• Eficiência de Tokens: Enquanto métodos de recuperação baseados em texto como o Search-R1 exigiam 1,5–2× mais tokens devido à concatenação explícita, o ExpWeaever manteve uma eficiência de tokens comparável aos baselines sem recuperação (ex: HRPO), consumindo apenas cerca de 10% mais tokens enquanto entregava uma precisão significativamente maior.
• Generalização: O ExpWeaver demonstrou uma generalização cross-domain superior. Em configurações de transferência zero-shot, superou o baseline mais forte em 16,32%, e em 15,21% em transferência few-shot, indicando que as representações de experiência latente capturam padrões de resolução de problemas mais transferíveis.
• Estudos de Ablação: Experimentos confirmaram a necessidade da agregação por cross-attention sobre o pooling simples e identificaram um intervalo de inicialização ideal para o coeficiente de mistura para equilibrar a integração da experiência com a preservação do estado oculto.

Significância e Alegações
O artigo afirma que o ExpWeaver representa uma mudança significativa no aprendizado de experiência para agentes de LLM. Ao mover-se de operações explícitas em nível de texto para a integração no espaço latente, o framework supera os gargalos de escalabilidade e adaptabilidade dos métodos anteriores. Os autores afirmam que esta abordagem permite que os agentes aprendam de forma mais eficiente a partir de interações passadas, alcançando desempenho superior com menores custos computacionais. Além disso, a generalização cross-domain demonstrada sugere que as representações de experiência latente são robustas o suficiente para transferir padrões aprendidos para domínios não vistos, potencialmente acelerando o desenvolvimento em campos especializados como a pesquisa científica, onde dados rotulados são escassos. O trabalho posiciona o ExpWeaver como um passo em direção a uma utilização de conhecimento mais eficiente, unificada e eficaz em grandes modelos de linguagem.