論文要約：「Transformers Remember First, Forget Last: Dual-Process Interference in LLMs」

この論文は、大規模言語モデル（LLM）が文脈内の矛盾する情報に直面した際、どの記憶が保持され、どの記憶が失われるかという「干渉（Interference）」のメカニズムを、認知心理学の古典的なパラダイムを応用して体系的に調査したものです。39 種類の異なるアーキテクチャと規模の LLM を対象とした実験により、人間とは逆転した記憶干渉のパターンが普遍的に存在すること、および「後退的干渉（RI）」と「先行的干渉（PI）」が異なる計算メカニズムに基づいていることが示されました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

LLM のコンテキストウィンドウが数百万トークンに拡大する一方で、モデルが競合する情報をどのように処理し、記憶を維持するかについては未解明な部分が多い。

• 人間との対比: 人間の記憶では、新しい情報が古い記憶を消去する「後退的干渉（Retroactive Interference: RI）」が、古い情報が新しい学習を妨げる「先行的干渉（Proactive Interference: PI）」よりも一般的に支配的である（RI > PI）。
• LLM の未知: LLM がこの干渉をどのように処理するか、特に「初期の情報を更新後に思い出せるか（RI 課題）」と「最新の情報を初期情報に邪魔されずに思い出せるか（PI 課題）」の両面からの比較研究は不足していた。

2. 手法 (Methodology)

著者らは、認知心理学の「AB-AC 干渉パラダイム」を LLM 向けに適応させ、厳密な制御実験を行いました。

• タスク設計:
  1. 46 個のカテゴリーと値のペア（例：「視覚芸術：印象派」）をモデルに学習させる。
  2. 各カテゴリーに対して、N 回（N = 3, 10, 50, 100, 200, 300）の更新（新しい値の割り当て）をランダムに挿入する。
  3. RI 課題: 更新後の文脈において、最初の値を問う（新しい情報が古い記憶を干渉させるか）。
  4. PI 課題: 更新後の文脈において、最新の値を問う（古い記憶が新しい情報の想起を干渉させるか）。
  • 重要点：RI と PI は全く同じ入力シーケンスを使用し、クエリのターゲットのみを変更することで、検索の難易度と干渉効果を分離しました。
• 対象モデル:
  • 39 種類の LLM（Llama, Mistral, Qwen, GPT-4o, Claude-3.5, o1/o3 など）。
  • パラメータ数：10 億〜2.5 兆。
  • コンテキストウィンドウ：8K〜200 万トークン。
• 評価指標:
  • RIES (Retroactive Interference Endurance Score): 干渉レベルごとの正解率の曲線下面積（対数スケール）。
  • PIES (Proactive Interference Endurance Score): 同上、PI 課題用。
  • 高いスコアは干渉への耐性が高いことを示す。

3. 主要な貢献と発見 (Key Contributions & Results)

3.1 人間とは逆転した干渉パターン

すべての 39 種類のモデルにおいて、先行的干渉（PI）の方が後退的干渉（RI）よりもはるかに深刻であることが判明しました（Cohen's d = 1.73, p < 0.0001）。

• 人間: RI > PI（新しい情報が古い記憶を消す）。
• LLM: PI > RI（古い情報が新しい記憶の想起を阻害する）。
• 解釈: トランスフォーマーの注意機構（Attention）は、初期のトークンに対して「プライマシー保護（Primacy Protection）」を働かせ、初期エンコーディングを保持する一方で、最新の情報のアクセスを犠牲にしている。

3.2 二重プロセス記憶の証拠（RI と PI は無関係）

RI と PI は単一の「記憶容量」ではなく、計算的に独立したメカニズムによって支配されていることが示されました。

• 相関の欠如: RIES と PIES の相関は極めて低い（$R^2 = 0.044$）。あるモデルが RI に強いからといって、PI にも強いとは限らない。
• サイズ依存性の非対称性:
  • RI: モデルサイズ（パラメータ数）と強く相関（$R^2 = 0.49$）。モデルが大きいほど、初期情報を更新から守る能力が高い。
  • PI: モデルサイズとは相関しない（$R^2 = 0.06$）。モデルを大きくしても、古い情報による干渉を減らす効果はない。

3.3 失敗モードの質的差異

エラー分析（5,409 件の RI エラー、9,753 件の PI エラー）により、失敗の性質が明確に異なることがわかりました。

• RI の失敗（受動的）: 「検索失敗」が主（50.8%）。初期情報が上書きされたりアクセス不能になったりしており、モデルは何も返せない、または間違った値を返す。幻覚（Hallucination）は 1% 未満。
• PI の失敗（能動的）: 「同じキーの侵入」が主（56.1%）。正しいカテゴリから、初期の値が最新の値を邪魔して返ってくる。これは、古い記憶が積極的に干渉していることを示す。
• メタ認知: PI 課題では、モデルが競合を認識して「回答できない」と拒絶するケース（8.6%）が見られたが、RI 課題では見られなかった。

3.4 アーキテクチャごとの差異

• 推論モデル（O-series など）: RI 耐性が非常に高いが、PI 耐性は極めて低い（RI と PI の非対称性が最大 8.5 倍）。推論プロセスが記憶の統合（Consolidation）を強化する一方、直近情報のアクセスを阻害する傾向がある。
• Claude モデル: RI と PI のバランスが良く、干渉の非対称性が小さい（1.05 倍）。
• GPT モデル: 中間的なバランス。

4. 理論的解釈とメカニズム

この結果は、認知科学における「統合（Consolidation）」と「検索（Retrieval）」の区別と平行している。

• RI（容量依存）: 初期エンコーディングが後続の更新によって上書きされないかどうかは、表現の容量（Representational Capacity）に依存する。
  • 超位置（Superposition）仮説: 小規模モデルは特徴ベクトルが重なりやすく、初期情報が「ぼやける」。大規模モデルは直交表現を割り当てやすく、初期情報を保持できる。
• PI（アーキテクチャ制約）: 最新の情報を優先して選択できるかどうかは、注意機構（Attention）のアーキテクチャに依存する。
  • トランスフォーマーの因果的注意（Causal Attention）では、初期トークンが後続のすべての位置から注意を受け取り、累積的に強化される（「Attention Sinks」）。一方、最新のトークンは過去しか参照できない。この構造的なバイアスが、初期情報の保護（プライマシー効果）を生み出している。

5. 意義と実用性 (Significance)

理論的意義

• LLM の記憶メカニズムが生物学的記憶とは根本的に異なることを実証。
• 「記憶容量」という単一概念ではなく、RI と PI が異なる計算プロセス（容量依存 vs アーキテクチャ制約）であることを示した。
• トランスフォーマーの注意機構が、文脈の初期部分を優先的に保護する「プライマシーバイアス」を内包していることを明らかにした。

実用的示唆

• モデル選定の指針:
  • 歴史的記憶が重要なタスク（ドキュメント分析、過去の事実の追跡など）：パラメータ数の多いモデルや推論モデル（O-series など）が適している（RI 耐性が高い）。
  • 直近状態の追跡が重要なタスク（対話、リアルタイム更新など）：バランス型のモデル（Claude など）が適している。推論モデルは PI 耐性が低く、最新の情報を見失うリスクがある。
• パラメータ数 vs コンテキスト長: 干渉耐性においては、コンテキストウィンドウの長さよりもパラメータ数（モデルサイズ）の方が重要であることが示された（100B/32K モデルが 10B/1M モデルより優れていた）。

結論

この研究は、LLM が「最初に覚えて、最後に忘れる（Remember First, Forget Last）」という、人間とは逆の干渉プロファイルを持つことを初めて体系的に証明しました。これは単なるバグではなく、トランスフォーマーアーキテクチャの構造的な特性に起因するものであり、LLM を干渉の多い実世界アプリケーションに適用する際の重要な設計指針となります。