ContextWeaver: Selective and Dependency-Structured Memory Construction for LLM Agents

Resumo Técnico: ContextWeaver

1. O Problema: Limitações da Memória em Agentes de LLM

Agentes baseados em Grandes Modelos de Linguagem (LLMs) que utilizam ferramentas (como agentes de engenharia de software) enfrentam dificuldades crescentes à medida que o histórico de interação aumenta. O problema central reside na gestão do contexto:

• Limites de Janela de Contexto: O acúmulo de logs de ferramentas, pensamentos e observações rapidamente excede o limite de tokens.
• Falha de Métodos Tradicionais: Abordagens como sliding window (janela deslizante) descartam informações antigas baseando-se apenas na recência, enquanto métodos de compressão ou recuperação baseados em similaridade semântica frequentemente ignoram a estrutura de dependência lógica e causal entre os passos de raciocínio.
• Consequência: Quando a relação entre uma decisão inicial e uma ação posterior é perdida, o agente pode repetir erros, perder o fio da meada de um plano complexo ou falhar em tarefas que exigem coordenação entre múltiplos arquivos/componentes.

2. Metodologia: O Framework ContextWeaver

O ContextWeaver propõe uma memória estruturada que organiza o histórico de interações em um Grafo Acíclico Dirigido (DAG) de passos de raciocínio, em vez de uma lista linear de mensagens. O framework é composto por três pilares:

• Construção de Contexto Baseada em Dependência:

  • Extração de Nós: Cada passo de uso de ferramenta (Pensamento, Ação, Observação) é convertido em um "nó" estruturado.
  • Seleção de Pais (Parent Selection): Um analisador de dependência lógica (via LLM) identifica quais passos anteriores são necessários para sustentar o passo atual. Isso permite que o agente conecte uma ação presente a uma descoberta feita há muitos passos atrás.
  • Construção de Ancestralidade: O sistema realiza uma busca (BFS) no grafo para identificar todos os nós ancestrais que contribuem para o estado atual, formando um subgrafo de dependência.
  • Tecelagem de Contexto (Context Weaving): O contexto final enviado ao LLM mantém o detalhamento completo (T-A-O) para os nós ancestrais relevantes e comprime apenas as observações de nós que não fazem parte dessa cadeia de dependência.

• Resumidor de Dependência (Dependency Summarizer):

  • Para manter a interpretabilidade sem gastar muitos tokens, o sistema gera resumos incrementais que narram o caminho de raciocínio do "raiz" até o nó atual. Isso evita a necessidade de reprocessar todo o histórico a cada passo.

• Camada de Validação (Validation Layer):

  • Incorpora feedback de execução (ex: resultados de testes unitários).
  • Atribui estados aos nós (passed, failed, unknown, superseded). Nós que resultaram em falhas são ignorados na seleção de novos "pais", evitando que o agente construa novos planos sobre estados de erro ou incompletos.

3. Principais Contribuições

1. Memória Estruturada por Dependência: Diferente de métodos baseados em recência ou semântica, o ContextWeaver modela o fluxo real de informação e causalidade.
2. Eficiência de Tokens: Ao selecionar apenas o subgrafo de dependência e comprimir o restante, o framework maximiza a utilidade de cada token dentro do orçamento.
3. Robustez via Validação: A integração de feedback de execução diretamente na estrutura da memória permite uma navegação mais estável pelo espaço de solução.

4. Resultados Experimentais

Os autores avaliaram o framework no benchmark SWE-bench (resolução de problemas reais de repositórios GitHub) utilizando modelos como Claude 3.5 Sonnet e GPT-4o.

• Desempenho Superior: O ContextWeaver superou a linha de base de sliding window em termos de taxa de resolução (pass@1) tanto no split Verified quanto no Lite.
• Eficiência de Iteração: O framework reduziu o número médio de passos necessários para resolver um problema e diminuiu o custo de tokens por resolução bem-sucedida.
• Estabilidade: Os experimentos mostraram que o ContextWeaver apresenta menor variância entre execuções, indicando um comportamento mais consistente e menos sujeito ao ruído estocástico do modelo.
• Análise de Casos: Em tarefas de coordenação multi-componente (ex: alterar múltiplos arquivos correlacionados), o ContextWeaver manteve o contexto necessário, enquanto a janela deslizante falhava por "esquecer" as relações estruturais iniciais.

5. Significância

O trabalho demonstra que, para agentes autônomos complexos, a organização lógica da memória é tão importante quanto a capacidade de raciocínio do modelo. Ao tratar o histórico não como um texto contínuo, mas como um grafo de dependências, o ContextWeaver permite que agentes operem em horizontes temporais muito mais longos e em tarefas de engenharia de software de alta complexidade, mantendo a precisão e a eficiência de recursos.