技術要約: SaliMory: 対話型エージェントのための認知メモリのオーケストレーション

1. 問題定義

生涯にわたるコンパニオンとして設計された対話型エージェントには、相互作用を通じて文脈を維持するための持続的なメモリ（記憶）が必要である。しかし、現在のアプローチは主に2つの制限に直面している：

• RAG（検索拡張生成）によるノイズ: コンテキストウィンドウを単に拡張したり、生の対話履歴を検索したりすることは、しばしばノイズが多く、反復的で無関係なデータをもたらし、推論の質を低下させる。
• クレジット割り当てのボトルネック: 最終的な結果の報酬のみを使用する標準的な強化学習（RL）を用いてメモリエージェントを訓練すると、深刻なクレジット割り当て問題が発生する。マルチステージのパイプラインにおいて、最終的な応答の失敗が、不適切なメモリ形成に起因するのか、効果的な検索に起因するのか、あるいは生成エラーに起因するのかを判断することは困難である。

LoCoMoベンチマークによるエラー分析では、メモリのエラー（顕著な情報の喪失または歪み）が、最先端のベースラインにおける失敗の最大52%を占めており、プロファイル生成や応答生成におけるエラーを大幅に上回っていることが明らかになっている。

2. メソドロジー: SaliMoryフレームワーク

SaliMoryは、単一の言語モデルに、認知的に構造化されたメモリシステムをエンドツーエンドで管理させるための、エージェント型メモリ管理フレームワークである。これは、ワーキングメモリ、長期的な事実的知識、および主観的な好みの区別という、人間の認知科学に触発されている。

2.1 認知メモリアーキテクチャ

フラットなバッファではなく、SaliMoryは以下の3つの専用ストアからなる構造化メモリバンク $M = (\bar{F}, \bar{P}, \bar{W})$ を維持する：

1. 事実バンク ($\bar{F}$): ユーザーに関する客観的で検証可能な記述（例：「乳糖不耐症」）。
2. 嗜好バンク ($\bar{P}$): スタイルの調整のためのソフトな基準として機能する、主観的な好みや傾向（例：「オーツミルクを好む」）。
3. ワーキングメモリ ($\bar{W}$): ユーザーが依然として意識している可能性が高い、最近の顕著なターン（対話の単位）。

2.2 統一されたポリシーと役割

単一のポリシーモデル $\pi_\theta$ は、個別の指示プロンプトによって条件付けられた3つの補完的な役割を実行するようにRLを通じて訓練される：

• サリエンシー・フィルター（顕著性フィルター）: 記録する価値のある顕著な情報を含む会話のターンを決定する。
• メモリ・ブースター: 事実および嗜好のバンクを更新・統合し、ワーキングメモリのスライディングウィンドウを管理する。
• メモリ・ユーティライザー（活用器）: 3つのストアから関連するエントリを検索・合成し、ダウンストリームの生成器のためのクエリに適応したプロファイルを作成する。

このアーキテクチャは、オフラインのメモリ管理ステージと実行時の生成ステージを分離している。凍結された大規模言語モデル ($\pi_{gen}$) が、合成されたプロファイルに基づいて最終的な応答を生成するため、メモリマネージャーはコンテキストのキュレーションに特化して最適化される。

2.3 訓練: ステージごとのプロセス報酬と対照的洗練

クレジット割り当て問題を解決するために、SaliMoryは2つの新しいメカニズムを導入している。

A. ステージごとのプロセス報酬システム
最終的な結果の報酬のみに依存する代わりに、SaliMoryは学習信号を3つの直交する報酬に分解する：

1. 応答品質 ($R_1$): 最終的な回答の正確性とパーソナライゼーションを評価する乗法的ゲート。パーソナライゼーションは、回答が事実的に正しい場合にのみ報酬を与えられる。
2. メモリ品質 ($R_2$): 最終的な回答とは独立して、メモリバンク自体の事実的忠実度と曖昧さを評価する非対称なペナルティ。これは、ブースターに対して、曖昧なメモリをエンコードするのではなく、些細なメモリを省略することを促す。
3. 活用およびフィルター品質 ($R_3$): 適応されたプロファイル（ディストラクタを含まない制約の捕捉）の有効性と、サリエンシー・フィルターのゲーティング決定の正確性を評価する。

B. 報酬分解による対照的洗練
標準的なGroup Relative Policy Optimization (GRPO) は、すべてのトレースに単一のアドバンテージ・スカラーを割り当てるが、これはアップストリームのモジュールに対して不当な勾配をもたらす可能性がある。SaliMoryは、役割固有の対照的な選好ペアを構築する：

• ブースター・ペア: 総エピソード報酬を無視し、メモリ品質スコア ($R_2$) に基づいて厳密に選択される。
• ユーティライザー・ペア: 活用スコア ($R_3$) に基づいて選択されるが、比較されるロールアウトのメモリバンクが（Jaccard類似度を介して）高度に類似している場合にのみ形成される。この因果的ゲーティングにより、ユーティライザーは、偶然に優れたアップストリームメモリを受け取ったことによるものではなく、その合成能力に対してのみ報酬を受けるようになる。

3. 主な貢献

1. 認知に触発されたアーキテクチャ: 事実のスナップショット、主観的な嗜好、および短期的なワーキングメモリを分離し、異なる役割（フィルター、ブースター、ユーティライザー）を果たす統一されたエージェントによって管理する。
2. メモリに固定されたRL: 多段階のメモリシステムに対して微細なクレジット割り当てを提供するために、階層的なステージ別プロセス報酬と報酬分解による対照的洗練を組み合わせた、新しい訓練パラダイム。
3. 新しいベンチマークとプロトコル: パーソナライズ可能なクエリ（推奨事項および暗黙的なパーソナライゼーション）を含むLoCoMoベンチマークの拡張であるLoCoMo-P13n、および、正確なメモリ想起とパーソナライゼーションの質を共同で評価するマルチステップ評価プロトコルの導入。

4. 実験結果

ポリシーとして9Bパラメータモデル（Qwen3.5-9B-Instruct）を使用し、LoCoMoおよびLoCoMo-P13nベンチマークで評価を行った：

• エンドツーエンドの性能: SaliMoryは**72.9%**のエンドツーエンド精度を達成し、SOTAを10%以上上回った。
• パーソナライゼーション: **39.8%**の「良好なパーソナライゼーション（Good Personalization）」率を達成し、次に優れたベースライン（Mem-R1の16.3%）の2倍以上の性能を示し、より大規模なモデル（例：Gemini-3-Flash）を用いたゼロショットのエージェント的手法をも大幅に上回った。
• エラー削減: SaliMoryは、ベースラインと比較してメモリに起因する失敗を3分の1減少させた。「悪いパーソナライゼーション（Bad Personalization）」（幻覚や侵入的な応答）を**1.4%**へとほぼ根絶した。
• メモリ品質: システムは曖昧なメモリのエントリを19.6%（Mem-R1の35.7%に対し）に減少させ、事実的忠実度を**93.9%**に向上させた。
• 効率性: SaliMoryは、メモリ形成のレイテンシにおいて76倍の高速化（ゼロショットの38秒に対し0.5秒）を達成し、生の検索チャンクを処理する代わりにコンパクトなプロファイルを合成することで、推論レイテンシを5倍削減した。
• 汎用性: 実際のチャットAIトラフィックデータにおいて、SaliMoryは「良好なパーソナライゼーション」の率を3倍以上（1.7%から5.5%へ）向上させ、メモリの事実性を大幅に改善した。

5. 重要性と主張

本論文は、対話メモリにおける根本的な課題はストレージ（保存）ではなく、**マネジメント（管理）**であると主張している。SaliMoryは、メモリアーキテクチャを認知原則（事実、嗜好、およびワーキングメモリの分離）に基づかせ、分解された報酬と対照的洗練を通じてクレジット割り当て問題を解決することで、コンパクトなモデルが大規模なゼロショットモデルを凌駕することが可能であることを示している。

著者らは、彼らのアプローチが、個別のメモリ操作に対して必要な「孤立した監督（isolated supervision）」を提供し、エージェントが顕著な詳細を保持しながらユーザーの好みを確実に捉えることを可能にすると断言している。このフレームワークは、対話履歴に圧倒されることなく、持続的で高品質なコンテキストを維持できる、効果的な生涯デジタルコンパニオンを構築するための重要なステップとして提示されている。