技術要約：メモリ・コンタギオン（記憶の伝染）

1. 問題定義

本論文は、大規模言語モデル（LLM）エージェントのメモリシステムにおける重大な脆弱性である**メモリ・コンタギオン（記憶の伝染）**に対処している。近年の研究（例：Zhang et al. [2026]）は、メモリの集約（consolidation）メカニズムが有用な情報を劣化させる可能性があることを確立したが、これらの研究は入力される経験がバイアスのないものであることを前提としている。

実際には、エージェントはしばしばバイアスのある評価者（報酬モデル、人間によるフィードバック、あるいは系統的な好みを持ち合わせた他のエージェントなど）によって訓練または誘導される。エージェントがバイアスのある評価者と相互作用する場合、その結果として得られる軌跡（trajectory）はバイアスを帯びる。もしこれらのバイアスのある軌跡がメモリシステムに保存され、将来のエージェントによって呼び出された場合、バイアスは時間とエピソードを超えて伝播する。著者らは、メモリ・コンタギオンを、単一エージェントの強化学習におけるバイアスや、エピソード内での検索バイアスとは区別される、「評価者のバイアスがエージェントのメモリシステムを介して時系列を超えて伝播すること」と定義している。

2. メソドロジー

2.1 実験設定

本研究では、2エージェント・フレームワークを採用している：

• ソース・エージェント ($A_s$): タスクと相互作用し、バイアスのある評価者 ($E_b$) によって評価される。その軌跡はメモリ・ストア ($M_b$) に保存される。
• ターゲット・エージェント ($A_t$): 新しいタスクを解決するためにメモリ・ストアから情報を検索する。本研究では、$A_t$ 自身の評価者がバイアスなしであっても、$A_t$ が $E_b$ のバイアスを示すかどうかを測定する。

調査されたバイアスの種類:

1. 長さバイアス (Length Bias): 長い応答を好む傾向 ($b(\tau) = \text{len}(a)$)。
2. 権威バイアス (Authority Bias): 権威を示すマーカー（例：「研究によれば」「引用」など）を含む応答を好む傾向。これはLLMベースの分類器によって検出される。

集約戦略:

• オラクル集約 (Oracle Consolidation): 情報損失のない完璧な統合（情報の欠落が入力に起因するかをテストするための上限値として機能）。
• LLM集約 (LLM Consolidation): LLMによる要約を用いた現実的な統合。

2.2 指標と分解

著者らは、バイアスのあるメモリから検索した場合とクリーンなメモリから検索した場合の、ターゲット・エージェントの行動距離（Wasserstein距離 $W_1$ を使用）を測定する指標 $\Gamma_{\text{temporal}}$ を導入している。

メカニズムを理解するために、総コンタギオン ($\Gamma_{\text{total}}$) は以下のように分解される：

• $\Gamma_{\text{content}}$ (E1): 保存されたメモリの内容に起因するバイアス伝播。
• $\Gamma_{\text{retrieval}}$ (E2): 検索メカニズム（例：バイアスのあるクエリに対する埋め込み類似度）に起因するバイアス伝播。
• $\Gamma_{\text{interaction}}$ (E3): 内容と検索の相乗効果。
• 脱バイアス効率 ($E_4$): バイアスマーカーを除去するためにメモリを書き換えた際の、コンタギオンの減少度。

2.3 実験フェーズ

1. バイアス注入: 棄却サンプリングを通じてバイアスのある軌跡を生成する。
2. メモリ構築: 軌跡を保存し、集約する。
3. アブレーション (Oracle): 完璧な集約を用いたコンタギオンのテスト。
4. メカニズム分解: 内容による影響と検索による影響を分離する。
5. 用量反応分析 (Dose-Response Analysis): 汚染率 ($p$) を0.2から1.0まで変化させる。

3. 主な結果

3.1 完璧な集約下でもコンタギオンが発生する

オラクル集約（情報の損失がない状態でマージされる場合）においても、メモリ・コンタギオンが観察された。

• 長さバイアス: $\Gamma_A = 13.18$ (95% CI [9.05, 21.10]) であり、0よりも有意に大きい ($p < 0.01$)。
• 権威バイアス: $\Gamma_A = 11.45$ （探索的な単一実行の推定値）。
• 示唆: バイアスのある入力は、コンタギオンの十分な原因となる。完璧な集約はこれを防ぐことはできない。

3.2 バイアスの種類による集約の影響の違い

LLMベースの集約による影響は、バイアスの種類によって異なる：

• 長さバイアス: 集約はコンタギオンを減衰させる。$\Gamma$ は 13.18 (Oracle) から 2.03 (LLM) へと低下し、84% の減少を示した。著者らは、これは要約が総単語数のようなグローバルな特徴量を圧縮するためであると仮定している。
• 権威バイアス: 予備的な証拠は、集約がコンタギオンを増幅させる可能性を示唆している。単一の実行において、$\Gamma$ は 11.45 (Oracle) から 16.80 (LLM) へと増加した。著者らは、要約が周辺的な内容を除去する一方で、核となる主張とその付随する権威マーカーを保持するため、トークンあたりのバイアス信号が濃縮されるのではないかと仮定している。

3.3 メカニズムの分解

• 内容の支配性: 内容に基づくコンタギオン ($E_1$) と検索に基づくコンタギオン ($E_2$) は共に存在するが、内容による汚染の方がわずかに大きい。
• 相互作用: 相互作用項 ($E_3$) は小さく、統計的にゼロと区別できない。これは、内容と検索のメカニズムがほぼ独立して機能していることを示唆している。
• 脱バイアスの困難さ: バイアスマーカーを除去するためにメモリを書き換えることは困難である。権威バイアスの場合、脱バイアス効率 ($E_4$) は 0.51 であり、相当量の残留バイアスが残っていることを示している。これは、権威マーカーと事実的内容との間の意味的な絡み合い（semantic entanglement）に起因すると考えられる。

3.4 用量反応分析

• 安全な閾値の不在: 低い汚染率 ($p = 0.2$、つまり20%のバイアスのあるメモリ) でも、コンタギオンは検出される。
• 非線形性:
  • 長さバイアスは、汚染率に対して単調に増加する。
  • 権威バイアスは、「ピーク後の減少」パターンを示し、$p=0.8$ ($\Gamma = 23.03$) でピークに達した後、$p=1.0$ で減少する。著者らは、これは大半のメモリが同様のマーカーを含むことによる検索の干渉のためであると推測している。

4. 意義と主張

本論文は、エージェントメモリ設計における未知の脆弱性を特定したと主張している：バイアスのある入力は、集約の質に関わらず、時系列を超えたバイアスの伝播を引き起こす十分な原因となる。

• 「集約が問題である」という説への反論: 「集約を修正すればメモリの問題も解決する」という主張に対し、著者らは不完全であると論じている。完璧な集約を行ったとしても、バイアスのある入力はバイアスのあるエージェントを導く。
• 方向性の非対称性: 集約がある種のバイアス（長さ）を減衰させる一方で、別のバイアス（権威）を増幅させる可能性があるという発見は、集約が常に中立的または有害であるという仮定に異を唱えるものである。
• 測定ツール: 本論文は、時系列を超えたバイアス伝播を測定するための形式的なツール ($\Gamma_{\text{temporal}}$) を提供しており、将来の研究がこれらの影響を定量化し、軽減することを可能にする。

著者らは、メモリシステムの設計者は集約の質だけでなく、入力のバイアスにも対処しなければならないと結論づけている。また、権威バイアスに関する知見は予備的なものであり（一部の指標は単一実行の推定に基づいている）、この現象は特定のバイアスの種類やタスクの文脈（例：権威バイアスは合成QAタスクでは伝播しなかったが、事実中心の文脈では伝播した）に強く依存するとの注記を添えている。