To Know is to Construct: Schema-Constrained Generation for Agent Memory

1. O Problema: Limitações da Recuperação e Alucinações Estruturais

O artigo identifica duas falhas fundamentais nos sistemas de memória de agentes autônomos atuais, que dependem predominantemente de recuperação densa (baseada em vetores/embeddings):

1. Ruído Semântico vs. Relevância Contextual: A recuperação densa baseia-se na sobreposição semântica ou correspondência de entidades. No entanto, entidades idênticas podem aparecer em contextos diferentes. Embeddings frequentemente falham em distinguir instâncias semanticamente similares, mas contextualmente distintas, recuperando entradas irrelevantes.
2. Alucinação Estrutural (Structural Hallucination): Abordagens alternativas que tentam usar a geração direta de LLMs para acessar a memória (gerando chaves de índice) sofrem de um problema crítico: o modelo pode gerar chaves que não existem na memória. Isso leva a falhas de busca catastróficas, pois o agente tenta acessar dados que nunca foram armazenados.

O artigo argumenta que a memória não deve ser vista como um repositório passivo a ser pesquisado, mas como um processo ativo de construção, inspirado na epistemologia construtivista de Piaget.

2. Metodologia: Arquitetura SCG-MEM

Os autores propõem o SCG-MEM (Schema-Constrained Generative Memory), uma arquitetura que reformula o acesso à memória como um processo de Geração Constrainda por Esquema. O sistema é composto por três componentes sinérgicos:

A. Esquema Cognitivo (Cognitive Schema) - A Restrição de Existência

• Estrutura: O conhecimento do agente é representado como um Trie de Prefixos Dinâmico (Prefix Trie).
• Função: Este Trie define os limites epistêmicos do agente. Apenas as chaves (conceitos) que existem como caminhos válidos no Trie são permitidas.
• Decodificação Constrainda: Durante a geração, o processo de decodificação do LLM é estritamente limitado pelo Trie. Se um token gerado levar a um caminho que não existe no Trie, sua probabilidade é zerada antes da camada softmax.
• Garantia Matemática: Isso elimina matematicamente a "Alucinação Estrutural", garantindo que toda chave gerada ($\hat{k}$) pertença ao conjunto de chaves válidas ($S$), ou seja, $\hat{k} \in S$.

B. Construção Evolutiva do Esquema (Evolutionary Schema Construction)

Para lidar com a natureza dinâmica da memória, o sistema utiliza dois processos inspirados em Piaget:

1. Assimilação: O agente tenta mapear novas entradas para conceitos existentes no Trie usando decodificação constrainda. Se bem-sucedido, reforça as conexões existentes sem alterar a estrutura.
2. Acomodação: Se a entrada não pode ser mapeada para conceitos existentes (indicando um novo conceito), o sistema relaxa temporariamente a restrição para gerar novos conceitos, que são então validados e inseridos no Trie, expandindo os limites do conhecimento do agente.

C. Grafo Associativo (Associative Graph) - A Topologia de Relação

• Estrutura: Sobreposto ao Trie, um grafo ponderado não direcionado conecta os conceitos (nós).
• Pesos: As arestas são ponderadas pelo produto acumulado do IDF (Inverse Document Frequency) de pares de conceitos que co-ocorrem na mesma rodada de diálogo. Isso captura a força do acoplamento semântico.
• Propagação de Ativação: Para recuperar contexto implícito, o sistema ativa os conceitos "semente" (gerados via Trie) e propaga a ativação para vizinhos no grafo. Isso permite o raciocínio de multi-hop (saltos múltiplos), conectando conceitos relacionados que não foram mencionados diretamente na consulta.

D. Recuperação Construtiva (Constructive Recall)

O processo de recuperação ocorre em duas etapas:

1. Ativação do Esquema: O LLM gera chaves de entrada válidas (sementes) usando a decodificação constrainda pelo Trie.
2. Propagação Associativa: O sistema amostra vizinhos no Grafo Associativo para coletar contexto relevante, que é então usado para reconstruir o texto original e gerar a resposta final.

3. Contribuições Principais

1. SCG-MEM: Uma nova arquitetura de memória que substitui a recuperação discriminativa por geração constrainda por esquema, eliminando alucinações estruturais através de restrições de decodificação.
2. Grafo Híbrido (Trie + Grafo): Combina a garantia de validade de chaves do Trie com a capacidade de raciocínio associativo do Grafo, permitindo navegação cognitiva além de correspondências exatas.
3. Mecanismo Evolutivo: Implementa assimilação e acomodação para permitir que a memória cresça de forma estável e adaptativa ao longo do tempo, sem perder a consistência estrutural.

4. Resultados Experimentais

O modelo foi avaliado no benchmark LoCoMo (focado em memória de longo prazo e multi-sessão), comparado com sistemas de ponta como MemGPT, MemoryBank, ReadAgent e A-MEM.

• Desempenho Geral: O SCG-MEM superou consistentemente todos os baselines, incluindo o A-MEM (o mais forte concorrente), em todas as categorias de tarefas.
• Ganhos Significativos:
  • Em tarefas de Multi-Hop (raciocínio através de sessões), houve um aumento de até +126,6% no F1 Score (no modelo Qwen2.5 3B).
  • Em tarefas Adversariais (consultas enganosas), o modelo mostrou robustez superior, com ganhos de até +88,6% no F1 Score.
  • Em tarefas Temporais (atualização de fatos ao longo do tempo), o mecanismo de assimilação/acomodação provou ser eficaz, com ganhos de +111,5% no F1 Score (Llama 3.2 1B).
• Estudos de Ablação:
  • Remover a restrição cognitiva (usar geração livre) causou uma queda drástica de -39,5% no F1 de Multi-Hop, confirmando que a seleção precisa de sementes é crítica.
  • Remover a atualização evolutiva (desabilitar a conexão com conhecimento existente) causou quedas significativas, mostrando que a ligação entre novas informações e estruturas epistêmicas é vital.
• Hiperparâmetros: A análise mostrou que o desempenho segue uma curva em "U invertido" em relação ao tamanho da recuperação ($k$) e à profundidade de propagação (hops). O ponto ótimo foi encontrado em $k \approx 35$ e 1 hop de propagação; hops adicionais (2+) introduziram ruído semântico e degradaram o desempenho.

5. Significado e Conclusão

O trabalho representa uma mudança de paradigma na memória de agentes:

• Do Empirismo ao Construtivismo: Move-se da visão de memória como um banco de dados passivo para ser recuperado, para a visão de memória como uma estrutura cognitiva ativa que constrói o acesso.
• Garantia Formal: Pela primeira vez, oferece uma garantia matemática contra alucinações de chaves de memória, um problema que afetava abordagens puramente generativas.
• Escalabilidade e Eficiência: Demonstra que modelos de linguagem menores (1B-3B parâmetros) podem superar sistemas maiores quando equipados com restrições estruturais adequadas.

O SCG-MEM estabelece que "saber" é um processo de construção dentro de limites definidos, permitindo que agentes mantenham consistência temporal e realizem raciocínio complexo sem perder a precisão factual.