Resumo Técnico: ExpGraph

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) demonstraram capacidades robustas em raciocínio, uso de ferramentas e interação multi-etapas com o ambiente. No entanto, um gargalo crítico permanece: a maioria dos agentes opera como "executores de disparo único" (one-shot executors), resolvendo cada tarefa do zero sem reutilizar sistematicamente estratégias bem-sucedidas ou lições aprendidas com falhas. Embora o ajuste fino (fine-tuning) de um executor com base na experiência coletada seja uma solução comum, isso se torna cada vez mais inflexível à medida que os LLMs evoluem rapidamente. Quando um executor mais forte ou mais adequado emerge, o processo de aprendizado de experiência frequentemente exige o retreinamento da instância específica do modelo, tornando o sistema fortemente acoplado a um modelo particular. Além disso, muitos LLMs capazes são de código fechado, muito grandes ou caros demais para serem atualizados, tornando a modificação ao nível de parâmetros impraticável.

O desafio central abordado por este trabalho é: Como um agente de LLM pode aprender com a experiência acumulada mantendo o executor em si congelado e substituível? Os métodos existentes costumam tratar a experiência reutilizável como registros isolados ou dependem de correspondência simples de vizinho mais próximo (flat nearest-neighbor matching), falhando em capturar a natureza relacional de estratégias, restrições e padrões de falha. Além disso, a relevância semântica superficial nem sempre equivale à utilidade downstream; uma experiência visualmente semelhante pode oferecer pouco benefho, enquanto uma estruturalmente relacionada pode fornecer uma estratégia transferível crucial.

Metodologia: ExpGraph

Os autores propõem o ExpGraph, um framework de aprendizado de experiência agnóstico ao modelo que melhora executores de LLM congelados através de uma memória relacional autoevoluente e um copiloto de recuperação treinável. O framework desacopla a execução do aprendizado de experiência, permitindo que o mesmo sistema externo melhore diferentes executores congelados sem modificar seus parâmetros.

Componentes Principantes

1. Construção do Grafo de Experiência:

   • Trajetórias históricas ($\tau = (x, \xi, y, s)$) são resumidas em unidades de experiência compactas em linguagem natural ($e$).
   • Trajetórias de alta pontuação são destiladas em habilidades (padrões bem-sucedidos, heurísticas), enquanto as de baixa pontuação são destiladas em lições (modos de falha, restrições).
   • Essas unidades formam nós em um grafo esparso e não direcionado. As arestas conectam experiências semanticamente ou estrategicamente relacionadas com base em limiares de similaridade de cosseno, criando uma estrutura que vai além de listas planas.

2. Recuperação de Grafo Guiada por Utilidade:

   • Copiloto de Recuperação (Retrieval Copilot): Uma política leve e treinável ($\pi_{ret}$) prevê duas variáveis de controle adaptativas para cada tarefa:
     • $R$ (Profundidade de Difusão): Controla a amplitude da exploração do grafo.
     • $W$ (Troca Utilidade-Utilidade): Controla o equilíbrio entre similaridade semântica e utilidade histórica.
   • Semeio Semântico (Semantic Seeding): O sistema primeiro identifica os nós semente top-$M$ via similaridade de cosseno com o embedding da tarefa.
   • Difusão de Grafo: Usando o Personalized PageRank, o sistema se expande a partir do conjunto semente através do grafo. A probabilidade de reinício é controlada por $R$, permitindo que a recuperação permaneça local ou se propague mais longe para encontrar experiências estruturalmente relacionadas.
   • Ranking Consciente de Utilidade: Os candidatos são reclassificados usando uma pontuação de Upper Confidence Bound (UCB) que combina relevância semântica com uma pontuação de utilidade estimada ($u_v$). Isso incentiva a exploração de experiências de alto valor enquanto explora nós menos testados.

3. Aprendizado a partir do Feedback de Utilidade:

   • O sistema emprega um mecanismo de recompensa fundamentada na utilidade. Para cada tarefa, o executor congelado é avaliado duas vezes: uma com as experiências recuperadas ($s_{with}$) e outra sem elas ($s_{without}$).
   • A recompensa é calculada como $r = (s_{with} - s_{without}) + \eta s_{with}$, medindo o ganho marginal da recuperação enquanto garante a qualidade absoluta da tarefa.
   • Otimização do Copiloto: O copiloto de recuperação é otimizado usando Proximal Policy Optimization (PPO) para maximizar essa recompensa, aprendendo a recuperar experiências que genuinamente melhoram a execução, em vez de apenas corresponder à semântica.
   • Evolução de Grafo Online: Os nós recuperados são atualizados com novas estatísticas de utilidade baseadas na recompensa. Novas trajetórias são resumidas e inseridas no grafo, enquanto nós de baixa utilidade são podados, permitindo que a memória se autoevolua.

Principais Contribuições

• Design Agnóstico ao Modelo: O ExpGraph é o primeiro framework que suporta conjuntamente experiência estruturada em grafos, difusão de grafo, ranking consciente de utilidade e recuperação adaptativa para executores congelados. Ele não requer o retreinamento do LLM subjacente.
• Memória Relacional: Ao contrário dos sistemas de memória plana, o ExpGraph organiza as experiências como um grafo, permitindo a descoberta de estratégias transferíveis e padrões de falha que não são vizinhos semânticos imediatos.
• Política de Recuperação Adaptativa: A introdução de um copiloto de recuperação que controla dinamicamente a profundidade de difusão e a troca entre relevância-utilidade permite que o sistema se adapte tanto à complexidade da tarefa quanto às capacidades do executor.
• Aprendizado Fundamentado na Utilidade: Ao otimizar a recuperação com base nos ganhos reais de desempenho downstream (em vez de apenas similaridade), o sistema aprende a distinguir entre o meramente relevante e o verdadeiramente útil.

Resultados Experimentais

Os autores avaliaram o ExpGraph no ExpSuite, cobrindo tarefas estáticas de turno único (Question Answering, Raciocínio Matemático, Geração de Código) e ambientes de agentes multi-etapas (ALFWorld, AppWorld).

• Ganhos de Desempenho:
  • Tarefas Estáticas: O ExpGraph melhorou a pontuação média sobre a linha de base mais forte em 12,2% com um executor menor (Llama-3.2-3B) e 4,7% com um executor maior (Llama-3.1-8B).
  • Ambientes Agênticos: Os ganhos foram mais pronunciados, melhorando a pontuação média ponderada em 21,4% (executor pequeno) e 12,7% (executor grande) sobre a linha de base mais forte.
  • Eficiência: O ExpGraph reduziu as etapas médias de interação em 12,7% e 21,6% em comparação com as linhas de base concorrentes mais eficientes em ambientes agênticos.
• Generalização: O framework demonstrou fortes capacidades de transferência zero-shot. Componentes de experiência aprendidos de executores menores transferiram-se efetivamente para executores maiores, e componentes de executores não voltados para o raciocínio generalizaram-se bem para modelos com capacidade de raciocínio.
• Estudos de Ablação: Remover qualquer componente chave (estrutura de grafo, difusão, ranking de utilidade ou filtragem de similaridade) degradou consistentemente o desempenho, confirmando que o design conjunto é essencial para o reúso eficaz de experiência.

Significância e Alegações

O artigo afirma que o ExpGraph fornece um caminho prático e agnóstico ao executor para que agentes de LLM aprendam com a experiência sem retreinar o executor subjacente. Os autores enfatizam que:

1. O Reúso de Experiência é Crítico para Executores Mais Fracos: Os ganhos relativos são significativamente maiores para modelos menores e menos capazes, sugerindo que a experiência externa pode compensar habilidades de raciocínio ou planejamento integradas mais fracas.
2. Valor em Tarefas de Longo Horizonte: Os benefícios são mais pronunciados em ambientes agênticos que exigem tomada de decisão de longo horizonte, onde trajetórias anteriores podem guiar diretamente as ações e reduzir a exploração desnecessária.
3. Desacoplamento de Aprendizado e Execução: Ao tratar o executor como um resolvedor de tarefas substituível e aprender como fornecer contexto via um sistema externo, o ExpGraph aborda a inflexibilidade das abordagens baseadas em fine-tuning em um cenário de LLM que evolui rapidamente.

Os autores concluem que modelar as relações entre experiências e aprender a recuperação adaptativa consciente de utilidade são essenciais para permitir que os agentes de LLM acumulem e transfiram o conhecimento de tarefas de forma eficaz, particularmente em configurações onde o executor não pode ser atualizado.