Resumo Técnico: WorldDB

1. O Problema

A transição de chatbots sem estado para sistemas agentes de longa duração (que operam por dias ou meses) enfrenta um gargalo crítico na camada de memória. As soluções atuais apresentam falhas estruturais:

• Fragmentação Semântica: O Retrieval-Augmented Generation (RAG) baseado em vetores planos fragmenta fatos em "chunks", perdendo dependências entre segmentos e gerando alucinações por omissão.
• Estagnação Temporal: Armazenamentos vetoriais planos são agnósticos à cronologia. Eles não distinguem "Eu moro em Austin agora" de "Eu morei em Austin em 2022", forçando o modelo de linguagem a inventar uma resolução.
• Deriva de Identidade: Sem um resolvedor explícito, menções como "Sarah", "a líder de engenharia" e "meu gerente" são tratadas como entidades distintas, falhando em rastrear o mesmo usuário ou conceito através de sessões.
• Limitações de Sistemas Atuais: Sistemas de grafos de conhecimento bitemporais recentes (como Graphiti, Memento, Hydra DB) adicionam metadados de tempo e resolução de entidades, mas mantêm o grafo "plano". As arestas são apenas rótulos sem semântica executável, e não há mecanismo para composição recursiva ou invariância de conteúdo endereçável.

2. Metodologia e Arquitetura

O WorldDB propõe um motor de memória baseado em três compromissos não convencionais que redefinem a estrutura de dados:

A. Nós como "Mundos" (Recursividade)

• Cada nó no grafo não é uma simples linha de dados, mas um "Mundo": um contêiner com seu próprio subgrafo interno, escopo de ontologia, embedding composto e extensão temporal.
• Os mundos podem ser aninhados a qualquer profundidade. Uma consulta dentro de um mundo $W$ não vaza nós de outro mundo $W'$ a menos que uma aresta explícita refers_to seja percorrida.
• Isso cria uma estrutura hierárquica onde a topologia do grafo é a resposta, não apenas um índice sobre texto.

B. Imutabilidade Endereçada por Conteúdo (Content-Addressed)

• Cada nó possui um ID gerado por um hash criptográfico (blake3) baseado em seu tipo, nome, conteúdo, filhos, arestas e timestamp de criação.
• Invariância de Propagação de Edição: Qualquer edição em um nó folha gera um novo hash naquele nó e em todos os seus ancestrais. Isso cria automaticamente uma árvore Merkle, fornecendo um rastro de auditoria verificável e deduplicação sem custo adicional.
• Imutabilidade + Validez Mutável: O "blob" de conteúdo é imutável, mas os intervalos de validade (tvalid) são armazenados em tabelas mutáveis. Isso permite que fatos sejam "encerrados" (superseded) sem reescrever o conteúdo original, mantendo a integridade do hash.

C. Arestas como Programas de Escrita (Write-Time Programs)

• Não existe um caminho de "append" (anexação) bruto. Toda escrita de aresta passa por um handler específico do tipo de aresta.
• Os handlers executam lógica semântica atômica:
  • supersedes: Fecha o intervalo de validade do alvo.
  • contradicts: Registra o conflito sem deletar nenhum lado, expondo-o na camada de consulta.
  • same_as: Estagia uma proposta de mesclagem para confirmação posterior (nunca mescla silenciosamente).
• Isso garante que a ontologia seja respeitada estruturalmente, prevenindo bugs onde dados inconsistentes são inseridos silenciosamente.

Componentes do Pipeline

1. Pipeline de Reconciliação: Extrai nós/arestas, resolve entidades (usando 5 níveis: exato, fuzzy, fonético, embedding, desempate), reconcilia através dos handlers e confirma.
2. Recuperação Híbrida: Combina três vias usando Reciprocal Rank Fusion (RRF):
   • BM25 (busca lexical).
   • HNSW (busca semântica por vetores).
   • Traversão de Grafo de Entidades: Para cada entidade mencionada, busca todos os fatos relacionados, unificando menções através de sessões.
3. Embeddings Compostos: Cada mundo possui um embedding composto agregado de seus filhos (via média ou atenção sem parâmetros), permitindo que consultas de alto nível acessem resumos de subgrafos.
4. Consolidador em Segundo Plano: Gera nós de resumo, calcula fechamentos transitivos (causa/subtipo) e varre contradições, acelerando consultas em grandes volumes de dados.

3. Principais Contribuições

• Modelo de Dados "Vector-Graph-of-Worlds": Formalização de nós recursivos com invariâncias de imutabilidade e escopo de contenção.
• Sistema de Reconciliação e Handlers: Um mecanismo onde a semântica da ontologia é executada no momento da escrita, garantindo consistência.
• Pipeline de Recuperação de Três Vias: Fusão de BM25, HNSW e travessia de grafo sem roteamento manual.
• Separação de Embeddings: Distinção entre "embedding de conteúdo" (âncora estável) e "embedding efetivo" (composto dinâmico), evitando loops de feedback degradantes.
• Interface MCP (Model Context Protocol): Expõe 9 ferramentas de memória padronizadas, permitindo coexistência com outros sistemas.

4. Resultados Experimentais

O sistema foi avaliado no benchmark LongMemEval-s (500 perguntas, pilhas de conversas de ~115k tokens), superando o estado da arte (SOTA):

• Precisão Geral: 96,40% (WorldDB) vs. 90,79% (Hydra DB) e 85,20% (Supermemory).
• Média por Tarefa: 97,11% vs. 93,66% (Hydra DB).
• Ganhos Específicos:
  • Raciocínio Multi-Sessão: +15,79 pontos percentuais (pp) sobre o Hydra DB, graças à unificação de entidades entre sessões.
  • Raciocínio Temporal: +5,27 pp, devido ao armazenamento bitemporal e separação clara de estados históricos.
  • Atualização de Conhecimento: +1,29 pp, com fechamento automático de validade.
• Ablação: A camada de grafo do motor (resolução de entidades e arestas tipadas) contribuiu isoladamente com +10,66 pp de melhoria na média de tarefas, demonstrando que a arquitetura supera a capacidade do modelo de linguagem (answerer) utilizado.
• Desempenho de Engenharia:
  • Carregamento em lote de 1 milhão de nós a ~5.400 writes/segundo.
  • Latência P95 de leitura de 13ms (seed), 97ms (BM25) e 3,1ms (HNSW).
  • Testes de fuzzing confirmaram a manutenção de invariantes sob operações aleatórias massivas.

5. Significado e Conclusão

O WorldDB representa uma mudança de paradigma na memória para agentes de IA. Ao abandonar a abordagem de "apenas anexar texto" (flat RAG) em favor de um grafo de mundos recursivo, imutável e semanticamente reconciliado, o sistema resolve problemas fundamentais de identidade, temporalidade e consistência.

A principal inovação é tratar a topologia do grafo como a resposta, onde a estrutura de dados em si impõe a lógica de negócios (supersessão, contradição, fusão). Isso permite que sistemas de agentes mantenham um estado persistente, verificável e consultável, superando as limitações de janelas de contexto e a degradação gradual de dados ("context rot"). O trabalho sugere que, para sistemas agentes se tornarem robustos, eles devem evoluir de chatbots sem estado para sistemas com memória estruturada e ontológica.