技術要約：メンタルモデル管理 (3M)

問題提起

大規模言語モデル（LLM）は膨大な量の情報を処理する能力を備えているが、コンパクトで進化し続ける概念的表現を維持するための明示的なメカニズムを欠いている。RAG（検索拡張生成）や持続的なエージェントメモリシステム（例：MemGPT、MemoryBank、Generative Agents）といった現在のアプローチは、主にテキストの断片やドキュメントのチャンクの保存と検索に焦点を当てている。これらのシステムはコンテキストを拡張し、保存と検索の仕組みを提供するものの、進化する概念的表現を変容させるための語彙を本質的に提供するものではない。その結果、これらのシステム内の情報は、冗長、時代遅れ、断絶、あるいは矛盾したものになりやすく、一方で一般的な原則は複数の観察事項を通じて暗黙的なまま残ってしまう。核心的な問題は、メモリを静的なテキストのアーカイブとしてではなく、能動的に再編成、洗練、および修復可能な動的な概念モデルの集合として扱うフレームワークの欠如にある。

手法：3Mフレームワーク

本論文は、知識を進化するメンタルモデルの集合として表現するフレームに、メンタルモデル管理（3M）を導入する。メンタルモデル（$M$）は特定の概念に関連付けられ、コンパクトで修正可能な知識チャンク（$c_i$）の集合で構成される。単一のドキュメントを圧縮するテキスト要約とは異なり、メンタルモデルは複数のドキュメントや相互作用にわたる概念に関する情報を統合する。

このフレームワークは、メモリ集合 $\mathcal{M} = \{M_1, M_2, \dots, M_n\}$ を変容させる明示的なオペレータの統一された語彙を通じて機能する。これらのオペレータは、3つの機能グループに分類される：

1. 知識獲得 (Knowledge Acquisition)

• 抽出 (Extract): 非構造化テキストとインターフェースを持ち、重要な概念を特定してコンパクトなチャンクを抽出する。これは概念的な分解を行い、入力を再現するのではなく、ドメイン理解に寄与する情報のみを選択する。
• 検索 (Retrieve): 現在の入力に関連する既存のメンタルモデルのコレクションを探索する。これにより、新しい情報が既存の知識に基づいて解釈されることが保証され、既知の概念に対して冗長なモデルが作成されることを防ぐ。

2. メモリ管理 (Memory Management)

これらのオペレータは内部表現を維持し、メモリの増大を制御する：

• 追加 (Add): すでに意味的に表現されていない新しい情報を用いて、モデルを拡張する。
• 更新 (Update): 既存のチャンクを修正して精度を向上させたり、新しい詳細を組み込んだりすることで、重複するチャンクの作成を回避する。
• 結合 (Merge): 同じ基礎概念を表しているが、独立して作成されたモデル（例：用語の違いによるもの）を結合し、エイリアスを保持しながら冗長性を除去する。
• 分割 (Split): 異なる概念に関する知識が蓄積されてしまった広範すぎるモデルを分割し、検索性と修正可能性を向上させる。
• 接続 (Connect): モデル間の明示的な意味的、論理的、因果的、または階層的な関係を確立し、メモリをフラットな集合から概念的ネットワークへと変容させる。
• 圧縮 (Compress): 同一の原理の異なる側面を記述するチャンクのグループを、より本質的な表現に置き換える。これは、情報の削除（pruning）とは異なる。
• 刈り込み (Prune): 冗長、陳腐化、または一時的なチャンクを削除し、忘却のメカニズムを提供する。

3. 認知処理 (Cognitive Processing)

これらのオペレータは、新しい知識を導出したり不整合を解決したりするための認知的変容を行う：

• 競合検出 (Conflict Detection): 互いに矛盾するチャンクのペアまたはグループを特定し、それらを即座に削除するのではなく、推論問題としてマークする。
• 競合修復 (Conflict Repair): 条件、スケール、またはコンテキスト（例：「大きな変異は探索を改善する」と「大きな変異はパフォーマンスを低下させる」という対立を、トレードオフを特定することで解決する）を区別することにより、矛盾するチャンクを整合性のある表現へと変容させる。
• 一般化 (Generalize): 特定の観察からより広範な原則を導出する。
• 特殊化 (Specialize): 一般的な知識を特定の問題や環境に適用する。
• 抽象化 (Abstract): 関連する複数のモデルが共有する共通の構造を表す高次のモデルを作成し、階層的な推論を促進する。
• 推論 (Infer): 明示的な外部ソースを必要とせず、既存のチャンクから論理的に従う知識を導き出す。
• 類推 (Analogy): ドメイン間の構造的な類似性をマッピングすることで、説明や仮説生成をサポートする。
• ギャップ発見 (Find Gap): 不足しているメカニズム、説明されていない関係、または未回答の問いを特定し、将来の知識獲得の方向を示す。
• 検証 (Verify): 利用可能な知識による支持をチャンクに対して検査し、特に派生した知識について、論理的一貫性と精度をチェックする。

実装と結果

著者は、ローカルLLM（Qwen3.6）上で動作する、Markdownネイティブのリファレンスマネージャーを概念実証（PoC）として実装した。このシステムはテキストを取り込み、制御サイクル（抽出 $\to$ 検索 $\to$ オペレータ選択 $\to$ 検証）を実行し、永続的な知識をMarkdownファイルとしてのみ保存する。

主な実験結果:

• コールドスタートのデモンストレーション: システムは、空のメモリに対して進化戦略（ES）への1,577語の導入文を正常に取り込んだ。システムは、進化戦略、共分散行列適応、探索分布適応という、計1,060語（入力長の67.2%）の連結された3つのメンタルモデルを生成した。出力には24の明示的な関係と4つの知識ギャップが含まれており、ドキュメントの要約ではなく、概念中心の表現への変容を示した。
• 行動評価: 決定論的な基準（例：冗長な言い換えの処理、矛盾する主張、自己適応の推論）を持つ6つのテストケースを構築した。6つのケースすべてが、67の定義済み構造および行動チェックを満たした。
  • 冗長な入力は、永続的な変更をもたらさなかった（Prune）。
  • 矛盾する主張は、明示的な検出と修復をトリガーした。
  • 新しい情報は、Updateを通じて統合された。
  • 推論と抽象化は、特定の入力によって正常にトリガーされた。
  • 冗長性（Jaccard類似度で測定）は範囲内に留まり、ケース全体での平均重複度は0.274であった。

意義と主張

本論文は、3Mが、主に検索と保存に焦点を当てている既存のメモリシステムとは異なり、持続的な概念的表現を変容させるための統一されたフレームワークを提供すると主張している。その意義は以下の点にある：

1. 概念中心のメモリ: メモリの基本単位を、ソースとなる一節から、進化するメンタルモデルへと移行させる。
2. 明示的な変容語彙: 情報の保存だけでなく、結合、分割、圧縮、修復、抽象化を可能にするオペレータのセットを定義している。
3. 能動的な維持: 追加のテキストを処理することが必ずしもメモリサイズの増加を意味しないことを示している。むしろ、認知的な操作によって、表現の質とコンパクトさを向上させることができる。
4. 検索への補完性: 検索が「どの」情報が利用可能かを決定するのに対し、3Mは「どのように」その情報が永続的な概念的メモリを変化させるかを決定するという、RAGへの補完的な位置付けをしている。

著者は、現在の評価が1つの技術ドメイン（進化戦略）と1つのモデルに限定されていることを認め、控えめな姿勢を保っている。また、システムの性能は、オペレータを正しく実行できるかどうかの基盤となるLLMの能力に大きく依存すること、および、同じモデルが提案と評価の両方を行う場合、検証が完全に独立しているわけではないことを認めている。本研究は、あらゆるLLMのメモリ課題に対する決定的な解決策としてではなく、実行可能な概念実証およびメモリ変容のための回帰スイートとして提示されている。