What should we forget? A computational model of memory consolidation

技術要約：予測的粗粒化による記憶定着の計算モデル

問題提起
生物学的記憶システム、特に神経系および適応免疫系は、根本的な計算上の制約に直面している。すなわち、将来の状況が過去の経験と正確に一致することは稀であるということである。したがって、記憶はエピソードの正確なコピーを保存することによって機能することはできない。むしろ、記憶は「元の経験の再構成」ではなく、「将来の応答を変化させる決定的な差異」を保持するという圧縮問題を解決しなければならない。システムは、物理的なストレージ容量や維持コストに関する制約の下で、無関係な変動を破棄しつつ、汎化を支援するための「決定的な差異」を保持する必要がある。

本論文では、この課題をスキャフォールド・フロー（足場と流れ）記憶として定式化する。このアーキテクチャにおいて：

• フロー（流れ）： 高速で状態依存的な応答を表す（例：即時的な神経発火や免疫細胞の活性化）。
• スキャフォールド（足場）： 将来のダイナミクスを制約する、緩やかに変化する物理的変数を表す（例：シナプス荷重、受容体親和性、クローン数）。
• 定着（コンソリデーション）： 経験の「予測的粗粒化」をスキャフォールドへと書き込むプロセスである。

核心となる問題は、以下の4つの要件を同時に満たす経験のグルーピングを特定することである：

1. 行動的十分性： 経験は、それらが将来に対して同一の分布を誘発する場合にのみ、統合されることが許される。
2. 汎化： グルーピングは、既存のカテゴリーと同一の将来を共有する場合に新規の変異を既存のカテゴリーに割り当てる一方で、異なる応答を必要とする変異は排除しなければならない。
3. リークのない抽象化： 一度経験がラベル付けされたら、その粗いダイナミクスは、破棄された微視的な詳細に依存することなく、ラベルのみから予測可能でなければならない。
4. 手頃なコスト（アフォーダビリティ）： グルーピングは、物理的構造において、許容可能なコストで記述および維持可能でなければならない。

方法論
著者は、定着を、粗粒化とその物理的実現化の両方に対する制約付きモデル選択として捉える計算フレームワークを提案する。その手法には以下が含まれる：

1. 理論的定式化：

   • リーク（漏れ） ($\Lambda_T$) を、粗い自律性の失敗の尺度として定義する。もしグルーピング $\pi$ が状態 $x$ と $x'$ を同じグループに割り当てたが、それらの将来が分岐する場合、その抽象化は「リークしている」とされる。本論文では、過剰な将来のエラーがリークに比例するという境界を導出している。
   • 回復可能性の三分法（命題1） を、経験プロセスの混合時間 ($\tau_{mix}$) とエージェントの寿命 ($T$) に基づいて確立する：
     • ケース1（エルゴード的、高速混合）： 構造は回復可能である。ストレージは速度を買う（メモ化）。
     • ケース2（エルゴード的、低速混合）： 構造は一生のうちに回復不可能である。ストレージは必須である（刻印）。
     • ケース3（非エルゴード的／ドリフト）： 収束するターゲットが存在しない。ストレージは保持のための唯一のメカニズムである。
   • この区別は、定着が単なる整理整頓ではなく、非自己平均的またはドリフトする環境に直面しているシステムにとっての必然であることを示唆している。

2. シミュレーションモデル：
   著者は、基質に依存しない原理を示すために、3つの異なる基質を用いてこのフレームワークをテストしている：

   • リカレントニューラルネットワーク： 疎なパターンを保存する $N=500$ のレートユニットのネットワーク。定着は、再帰的ゲイン ($g$) を増加させ、吸引盆（アトラクター）を深めることとしてモデル化される。スペクトル解析（転送作用素理論）を用いて、メタステーブル（準安定）なカテゴリーを、単位固有値に近いモードとして特定する。
   • 連想記憶： ウィルショウ・モデルおよびモダン・ホップフィールド・ネットワーク。エピソード記憶の保存と、予測的グルーピング（商）を比較する。特に、キー（手がかり）とバリュー（応答）の分離を調査し、微細なキーのアドレスを保持しつつ、バリュー側で粗粒化することを可能にする。
   • 確率的免疫モデル： 胚中心における親和性成熟のシミュレーション。グルーピングは事前定義されるのではなく、変異と選択を通じて創発する。選択指数 ($p$) は、単一系統への強い一致を持つクローンと、広範なカバー範囲を持つクローンの間のトレードオフを制御する。モデルには、過度な精緻化を罰するための有限なレパートリー予算が含まれている。

3. アブレーション研究：
   スキャフォールドの必要性をテストするために、著者らは（定常的な短リカーレンス、特異的、およびドリフトする生成レジームの下で）スキャフォールドのエントリの削除（病変）をシミュレートしている。これにより、回復可能性の三分法に基づき、経験が失われた構造を再生できるかどうかをテストする。

主要な結果

• 遅いモードの創発： リカレントネットワークにおいて、定着（ゲインの増加）は高速な揺らぎを永続的なカテゴリーへと変換する。スペクトル解析により、定着されたカテゴリーが（単位固有値に近い）遅いモードとして現れ、残りのスペクトルから明確なギャップを持っていることが確認される。これらのカテゴリーの寿命は、アレニウス・クラマース・スケーリングに従い、転送作用素によって予測された第一通過時間は測定値と一致する。
• 最適な粒度は中間的である： 3つのシステムすべてにおいて、将来のリスク（エラー）は、グルーピングの粒度に対してU字型の関係を示す。
  • 過度に細かい粒度： 容量を浪費し、新しい変異への汎化に失敗し、データの希薄さにより将来の統計の推定を誤る。
  • 過度に粗い粒度： 異なる応答を必要とする経験を統合してしまい、誤報（神経系）や自己免疫反応（免疫系）を引き起こす。
  • 最適値： 最小のリスクは中間的な粒度で見られ、通常は真に異なる将来の数 ($r^*$) に近い。免疫モデルでは、家族内の変動を考慮して、$r^*$ よりもわずかに高い値が最適となる。
• エラーの非対称なコスト： U字曲線の両端は、異なる失敗モードを表している。過度な統合は行動的十分性を損ない（自己反応性や誤った想起を引き起こす）、過度な分割は汎化を妨げる（機会の喪失やカバー不足を引き起こす）。最適なバランスは、環境の変動性と、誤報と見落としの相対的なコストに基づいてシフトする。
• 回復可能性と病変からの回復： アブレーション研究は、理論的な三分法を裏付けている。
  • 定常的で短リカーレンスのレジームでは、削除されたスキャフォールドのエントリは、再学習なしにその後の経験によって再生される。
  • 特異的なレジーム（二度と繰り返されないイベント）では、削除されたエントリは永久に失われる。
  • ドリフトするレジームでは、システムは「新しい世界を学び直す」が、元のエンコードされた内容は失われる。これは、再学習が回復ではないことを示している。損失は実在するが、それは病変に起因するものではない（ターゲットがもはや存在しないため）。
• バリュー側の粗粒化： モダン・ホップフィールド・モデルにおいて、予測的グルーピングは、キー（手がかり）ではなく、バリュー（応答）に対して適用される場合に最も効果的であることを本論文は示している。これにより、微細なキーの識別能を保持したまま、等価な将来に対して応答をプールすることができ、リスクを最小限に抑えつつ、ストレージ要件を大幅に削減できる（例：1536個のパターンではなく24個のパターンを保存）。

意義と主張
本論文は、神経系と免疫系という、その生物学的メカニズムは大きく異なるものの、共通の計算原理を特定したと主張している。中心的なテーゼは、記憶の定着とは、過去の、予測可能で、動的に利用可能であり、かつ手頃なコストの粗粒化を選択することである、という点にある。

主な貢献は以下の通りである：

1. 統一： 神経記憶と免疫記憶を、高速な応答が低速な物理的構造によって形作られる、同一の「スキャフォールド・フロー」問題として枠組み化した。
2. ストレージの必要性： ストレージは単なる効率化デバイス（メモ化）ではなく、非エルゴード的、低速混合、またはドリフトする環境で作動するシステムにとっての必須メカニズム（刻印）であることを示した。
3. 予測的粒度： 記憶の詳細の最適なレベルは、「可能な限り細かい」ものでも「可能な限り粗い」ものでもなく、行動的十分性と汎化、およびコストのバランスをとる中間点であることを確立した。
4. テスト可能な予測： 本フレームワークは、基質を横断するU字型のリスク曲線、定着された記憶のスペクトル特性（遅いモード）、および基礎となる統計の再帰時間に基づく記憶の回復可能性（回復可能か否か）といった、具体的な検証可能な予測を生成する。

著者は、神経系と免疫系は共通の分子や方程式を持たないものの、共通の計算的解、すなわち、決定的な差異を保持し、自律的な粗いダイナミクスをサポートし、その物理的コストを正当化できる粗粒化を共有していると結論づけている。