CLAG: Adaptive Memory Organization via Agent-Driven Clustering for Small Language Model Agents

Resumo Técnico: CLAG

1. O Problema

Os agentes de Inteligência Artificial baseados em Grandes Modelos de Linguagem (LLMs) dependem de memória externa para reutilizar conhecimento e realizar raciocínio complexo. No entanto, a maioria dos sistemas de memória atuais opera sob um paradigma de RAG (Retrieval Augmented Generation) estático, onde todas as experiências são armazenadas em um único pool global de recuperação.

Essa abordagem apresenta duas falhas críticas, especialmente para Pequenos Modelos de Linguagem (SLMs):

1. Diluição e Corrupção do Conhecimento: À medida que o buffer de memória cresce, a recuperação torna-se vulnerável a ruídos. Memórias semanticamente plausíveis, mas irrelevantes para a tarefa atual, são recuperadas, confundindo o modelo.
2. Interferência Cruzada (Cross-Topic Interference): Mecanismos de evolução da memória (atualização e refinamento) ocorrem globalmente. Isso significa que novas informações podem perturbar esquemas de memória não relacionados, degradando a qualidade do armazenamento a longo prazo.
3. Vulnerabilidade dos SLMs: Modelos menores são altamente sensíveis a contextos irrelevantes, tornando-os mais propensos a falhar em sistemas de memória global desorganizados.

2. Metodologia: A Arquitetura CLAG

O CLAG (CLustering-based AGentic memory) propõe uma mudança de paradigma: em vez de um pool global, a memória é organizada dinamicamente em vizinhanças semânticas coerentes (clusters) controladas pelo próprio agente. O framework utiliza o mesmo SLM de back-end para tomar todas as decisões de roteamento, evolução e seleção, tornando-o leve e eficiente.

A arquitetura baseia-se em três componentes principais:

• Roteamento Agente-Dirigido (Agentic Routing):

  • Quando uma nova memória entra, um agente SLM atua como roteador.
  • Em vez de apenas comparar vetores, o agente analisa perfis semânticos de clusters candidatos e atribui a nova memória ao cluster mais coerente.
  • Se a similaridade for baixa, um novo cluster é criado. O sistema também possui um mecanismo de fissão dinâmica: se um cluster ficar muito grande, ele é dividido automaticamente para manter a granularidade.

• Evolução Localizada (Localized Evolution):

  • A atualização e consolidação da memória ocorrem estritamente dentro do cluster atribuído.
  • O agente gera links explícitos e reescreve memórias vizinhas dentro do mesmo cluster para aumentar a densidade de informação e a coerência temática.
  • Isso impede que ruídos de um tópico (ex: esportes) corrompam a memória de outro tópico (ex: programação), mimetizando princípios cognitivos humanos de consolidação de esquemas.

• Recuperação em Duas Etapas (Two-Stage Retrieval):

  • Etapa 1 (Seleção de Cluster): Dada uma consulta, o agente filtra clusters inteiros usando seus perfis (resumos e tags), reduzindo drasticamente o espaço de busca antes de qualquer busca detalhada.
  • Etapa 2 (Recuperação Intra-Cluster): A recuperação fina ocorre apenas dentro dos clusters selecionados na Etapa 1.
  • Isso elimina distratores semânticos que seriam recuperados em uma busca global.

3. Principais Contribuições

1. Mecanismo de Agrupamento Dirigido por Agente: Organiza memórias em grupos semanticamente coerentes via roteamento baseado em SLM, garantindo organização robusta a longo prazo.
2. Evolução de Memória Localizada: Atualiza memórias dentro de vizinhanças consistentes com o tópico, estabilizando a qualidade da memória de longo prazo e mitigando a interferência entre tópicos.
3. Esquema de Recuperação Consciente de Cluster: Uma abordagem de duas etapas que melhora a robustez de modelos de capacidade limitada ao reduzir o espaço de busca, suprimir distratores e diminuir o ruído de recuperação.

4. Resultados Experimentais

O CLAG foi avaliado em três benchmarks (LoCoMo, HotpotQA e BioASQ) utilizando três backbones de SLMs (Qwen3-0.6B, Llama-3.2-1B e DeepSeek-R1-Distill-1.5B).

• Desempenho Geral: O CLAG superou consistentemente sistemas de memória anteriores (como A-mem, MemoryOS, GAM) e a base RAG padrão em todas as métricas (F1 e BLEU-1).
  • No dataset BioASQ (domínio biomédico denso), o CLAG obteve um ganho massivo, alcançando um F1 de 22.01 contra 3.61 do A-mem e 2.4 do RAG (com Qwen3-0.6B).
  • No LoCoMo (memória conversacional de longo prazo), o CLAG alcançou o melhor F1 (20.99) em comparação com o segundo melhor (16.05 do GAM).
• Eficiência: Apesar da complexidade adicional, o CLAG mantém uma latência de ponta a ponta muito inferior a sistemas iterativos pesados como o GAM, oferecendo um equilíbrio superior entre desempenho e custo computacional.
• Análise de Recuperação: O CLAG demonstrou superioridade na precisão da evidência (E-F1), especialmente em domínios especializados onde a similaridade global falha devido a jargões técnicos.
• Ablação: A comparação com métodos de agrupamento puramente geométricos (K-Means, similaridade de cosseno) mostrou que a agência (o uso do SLM para decidir a estrutura) é o fator crítico para o sucesso, especialmente em domínios com terminologia densa.

5. Significado e Conclusão

O CLAG representa um avanço significativo na viabilidade de agentes de IA baseados em modelos pequenos (SLMs) para tarefas de longo prazo. Ao substituir a busca global desorganizada por uma estrutura hierárquica e semântica gerenciada ativamente pelo agente, o framework resolve o problema fundamental de "interferência de contexto" que limita os SLMs.

A principal implicação é que a organização da memória é tão importante quanto o modelo de linguagem em si. Para agentes com recursos limitados, uma memória bem estruturada e evolutiva localmente permite um raciocínio mais robusto e preciso, sem a necessidade de escalar para modelos LLMs massivos e custosos. O trabalho oferece uma solução prática e leve para a persistência de memória em agentes autônomos, com potencial para futuras extensões em controle de acesso e políticas de retenção de dados.