WorldDB: 技術的サマリー

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の応用が、ステートレスなチャットボットから、数日〜数ヶ月にわたる長期実行型エージェントへと移行する中で、**「永続的なメモリ層」**が最大のエンジニアリング制約となっています。従来のアプローチには以下の根本的な欠陥があります。

• フラットなベクトルストアの限界: 従来の RAG（Retrieval-Augmented Generation）は、テキストをフラットなチャンクに分割して保存するため、事実間の依存関係が断絶し、文脈の欠落によるハルシネーションを招きます。
• 時間的停滞とアイデンティティの漂流: 時系列の区別（「現在」と「過去」の区別）ができず、同一人物や概念が異なる文脈で別々のエンティティとして扱われ、セッションをまたぐ追跡が困難です。
• 矛盾の管理欠如: 事実の更新や矛盾（Supersession/Contradiction）を明示的に管理する仕組みがなく、古い情報が新しい情報と混在して「コンテキストの腐敗（Context Rot）」を引き起こします。
• 既存の知識グラフの不足: Graphiti や Hydra DB などの時系列知識グラフは改善をもたらしましたが、グラフ構造が「平坦」であり、ノードの再帰的構成や、エッジタイプに意味論（セマンティクス）を持たせるメカニズムが不足しています。

2. 提案手法: WorldDB (Methodology)

WorldDB は、上記の課題を解決するために、3 つの非標準的なコミットメントに基づいて設計されたメモリエンジンです。

2.1 3 つの核心的なコミットメント

1. 再帰的な「世界（Worlds）」としてのノード:
   • ノードは単なる行データではなく、独自の内部サブグラフ、オントロジーの範囲、合成された埋め込み（Embedding）、時間的範囲を持つ「世界」として機能します。
   • 世界は任意の深さまでネスト可能であり、明示的な refers_to エッジをたどらない限り、ある世界のノードが別の世界に漏れることはありません。
2. コンテンツアドレスによる不変性 (Content-Addressed Immutability):
   • 各ノードの ID は、その内容（タイプ、名前、コンテンツ、子ノード、エッジ、作成時刻）をハッシュ化したもの（Blake3）として生成されます。
   • 葉ノードの微小な編集でも、そのノードおよびすべての祖先ノードのハッシュが変化します。これにより、Merkle 木のような監査証跡が自動的に生成され、重複排除と検証可能な参照が可能になります。
   • 事実の「有効期間（Validity Interval）」は可変フィールドとして管理され、コンテンツハッシュとは分離することで、事実の更新（Supersession）がハッシュの破綻を招くことを防ぎます。
3. エッジとしての書き込み時プログラム (Edges as Write-Time Programs):
   • エッジタイプ（例：supersedes, contradicts, same_as）は、単なるラベルではなく、on_insert/on_delete/on_query_rewrite ハンドラーを持つプログラムとして機能します。
   • 例：supersedes エッジは、ターゲットノードの有効期間を自動的に終了させます。contradicts は削除せず矛盾を記録します。same_as はマージ提案を保留状態にします。
   • 「生（Raw）の追加パス」は存在せず、すべての書き込みはこれらのハンドラーを経由して整合性が保証されます。

2.2 主要コンポーネント

• 調整パイプライン (Reconciliation Pipeline): 入力テキストは「抽出 → 解決（Resolver） → 調整（Reconcile） → コミット」の 4 段階を経て処理されます。
  • 階層型 Resolver: 正確一致、曖昧一致（Jaro-Winkler）、音声的類似、埋め込み類似の順でエンティティを解決し、一致した場合は same_as 提案を生成します。
• ハイブリッド検索パイプライン:
  • BM25（語彙的検索）、HNSW（意味的検索）、エンティティグラフ走査の 3 つのレーンを相互順位融合 (RRF) で統合します。これにより、単一の質問に対して複数の視点から情報を取得できます。
• 合成埋め込み (Composed Embeddings):
  • 各「世界」ノードは、内部の子ノードの埋め込みを平均プーリングまたはアテンションプーリング（パラメータなし）して合成されたベクトルを持ちます。これにより、親ノードの検索時に子ノードの文脈も反映されます。
• バックグラウンド統合器 (Consolidator):
  • 要約ノードの生成、推移的閉包（causes, subtype_of）の計算、矛盾の検出を非同期で行い、検索効率を向上させます。

3. 主要な貢献 (Key Contributions)

1. ベクトル・グラフ・オブ・ワールドズデータモデル: 再帰性、不変性、包含スコープの制約を形式化した新しいデータモデルの提案。
2. 調整システムとエッジハンドラー: 標準的な 11 種類のエッジタイプとカスタム拡張をサポートする、書き込み時整合性保証システム。
3. 3 レーン検索パイプライン: 手動ルティングなしで BM25、HNSW、グラフ走査を融合する検索アーキテクチャ。
4. パラメータなしの合成埋め込み: 子ノードの変化に応じて世界全体の埋め込みを漸近的に更新する機構。
5. MCP (Model Context Protocol) 対応: 9 つのメモリツールを公開し、異なるエージェント間でメモリを共有可能にするインターフェース。

4. 実験結果 (Results)

LongMemEval-s ベンチマーク（500 問、平均 115k トークンの会話スタック）における評価結果は以下の通りです。

• 全体精度: 96.40%（タスク平均 97.11%）。
  • 既存の SOTA（Hydra DB: 90.79%）を +5.61% 上回りました。
  • Supermemory (85.20%) を +11.20% 上回りました。
• カテゴリ別性能:
  • マルチセッション推論: +15.79% の改善（エンティティ解決によるセッション横断の事実統合が寄与）。
  • 時間的推論: +5.27% の改善（バイテンポラル管理と supersedes による状態の明確化）。
  • 知識更新: +1.29% の改善。
• アブレーション研究:
  • グラフレイヤー（エンティティ解決、タイプ付きエッジなど）を無効にした場合、精度は 84.27% に低下しました。
  • 結果として、エンジン自体の構造がタスク平均で +10.66% の改善をもたらしており、回答モデル（LLM）の能力差よりも構造の優位性が大きいことが示されました。
• エンジニアリング性能:
  • 100 万ノードのバッチロードで秒間 5,401 書き込みを達成。
  • P95 読み取り遅延は 13ms（シード）〜97ms（BM25）と低遅延を維持。
  • 不変性と整合性を維持するフッティングテストで 0 違反。

5. 意義と結論 (Significance)

WorldDB は、単なる検索インデックスを超え、**「グラフのトポロジーそのものが答えとなる」**メモリ基盤を提示しました。

• 構造的整合性: 事実の追加が「追記（Append）」ではなく「調整（Reconciliation）」として行われるため、矛盾や重複がシステムレベルで防止されます。
• 検証可能性: コンテンツアドレス化により、すべての変更が暗号学的に追跡可能となり、監査やデバッグが容易になります。
• エージェントへの適応: 長期にわたるエージェントの運用において、ユーザーの嗜好や事実の進化を正確に追跡・維持する能力を実証しました。

この研究は、ステートレスなチャットから、永続的で問い合わせ可能な状態を持つ真の自律型エージェントシステムへの移行における、重要な技術的基盤を提供するものです。