技術要約：言語モデルには睡眠が必要である

1. 問題提起

現在の大規模言語モデル（LLM）は、継続的な学習能力において決定的な限界を露呈している。LLMはインコンテキスト学習（ICL）や即時的な予測には長けているが、初期デプロイ後はほぼ静的な状態のままである。これは「知識のカットオフ（知識の断絶）」という脆弱性を生み出し、高価な再事前学習や、**破滅的忘却（Catastrophic Forgetting: CF）**のリスクを伴うパラメータ更新なしには、新しい事実やスキルを獲得できない状況を作り出している。

既存の継続学習アプローチは、以下のジレンマに直面している：

• 再事前学習： 頻繁な更新を行うには計算コストが極めて高い。
• ファインチューニング／適応： 多くの場合、新しいタスクを学習するにつれて元のタスクの習熟度が低下する「破滅的忘却」を引き起こす。
• インコンテキスト学習： コンテキストウィンドウによって制限される。知識は脆弱であり、セッションが終了すると消失する。

本論文は、人間の**前向性健忘（anterograde amnesia）**とのアナロジーを用いている。前向性健忘とは、短期記憶を長期記憶へと転送できないことにより、知識が「現在」という瞬間に限定されてしまう状態を指す。現在のTransformerアーキテクチャもこれと同様である。アテンション機構は揮発性の高い短期記憶（高頻度更新）として機能し、MLP層は静的な長期記憶（ゼロ頻度更新）として機能している。核心となる課題は、いかにしてLLMが、脆弱で短期的なインコンテキスト知識を、以前の能力を損なうことなく、安定した長期的パラメータ知識へと継続的に転送できるかである。

2. メソドロジー：「睡眠」パラダイム

人間の神経可塑性と、睡眠段階（定常睡眠NREMは定着、レム睡眠REMは夢に焦点を当てる）の明確な役割から着想を得て、著者らは継続学習のための**「睡眠パラダイム（Sleep Paradigm）」を提案している。このパラダイムは、従来の「訓練／テスト」の分割を、「活動（覚醒）時間」と「睡眠時間」**という交互に現れる二つのフェーズへと置き換えるものである。

フェーズ1：記憶の定着（オフライン）

このフェーズは、脆弱な記憶の安定化に焦点を当てた非レム睡眠（NREM）を模倣している。

• 周期的パラメータ（脱）活性化： モデルは、異なる更新頻度（$f_1 \geq \dots \geq f_c$）を持つ**連続体メモリシステム（Continuum Memory System: CMS）**を利用する。睡眠中、モデルは漸進的なパラメータ拡張を行う。新しい低ランクエキスパートが、より低速（より安定）な頻度のブロックに追加され、高速（より揮発的）なブロックから知識を受け取る。
• 知識のシーディング（上方向への蒸留）： 知識転送の核となるメカニズムである。「より小さい」バージョンのモデル（高頻度、揮発性パラメータ）が教師となり、知識を「より大きい」バージョン（拡張された低頻度パラメータ）へと蒸留する。
  • 自己知識シーディング（Self-Knowledge Seeding: SKS）： モデルは、自身の高頻度知識を、新たに拡張された低頻度パラメータへと蒸留する。
  • 模倣学習を用いた汎用知識蒸留（Generalized Knowledge Distillation: GKD）： この目的関数は、オンポリシー蒸留と強化学習（RL）を組み合わせたものである。
    • 蒸留： 学生モデルは、教師モデルの生成したシーケンス上のロジットに基づき、トークンを予測する。
    • 模倣学習： 学生モデルは、教師のサンプリング分布を模倣することに対してRLを通じて報酬を受ける。報酬は、意味的類似性（凍結された報酬モデルを使用）と、絶対的なトークンレベルの類似性（レーベンシュタイン距離）の両方に基づいている。
• シナプス刈り込み（Synaptic Pruning）： 定着後、高頻度ブロック内の低ランクパラメータ（知識を転送し終えたもの）はリセットされ、将来の学習のための容量を確保しつつ、安定したブロックにおける定着した知識を保持する。

フェーズ2：夢（自己改善）

このフェーズは、自己修正と新しい結合の探索に焦点を当てたレム睡眠（REM）を模倣している。

• 合成データ生成： モデルは、現在の状態とコンテキストに基づいて「夢」（合成データ）を生成する。
• カリキュラム選択： すべての夢が使用されるわけではない。モデルは、教師ありファインチューニング（SFT）の勾配に基づいて、各夢の重要度スコアを割り当てる。モデルは最もインパクトのある上位$k$個の夢を選択し、多様性を維持するためにランダムなサンプルを追加する。
• 反復的自己改善： モデルは、選択された高品質な合成データを用いて、LoRAによる教師ありファインチューニングを行う。このプロセスは、最近獲得した知識への習熟度を高めつつ、反復的な自己改善ループでよく見られる破滅的忘却を回避するように設計されている。

3. 主な貢献

1. 継続学習のための睡眠パラダイム： 静的な訓練／テストフェーズから、「活動」と「睡眠」の状態を持つライフサイクルへの概念的転換を実現し、生涯にわたる適応を可能にする。
2. 知識のシーディング（Knowledge Seeding: KS）： 小さな高頻度モデルのバージョンが、拡張された大きな低頻度モデルへと知識を蒸留するという、新しい上方向への蒸留プロセス。これは継続学習における容量のボトルネックに対処する。
3. 模倣学習を用いた汎用蒸留： オンポリシー蒸留とRLベースの模倣学習を組み合わせ、学生モデルが単に知識を学ぶだけでなく、その「使い方（サンプリング挙動）」も学習することを保証する新しい目的関数。
4. 周期的パラメータ拡張： 睡眠中に（低ランクエキスパートを介して）パラメータを段階的にアンロックし拡張するメカニズムであり、既存の安定した知識への干渉なしに可塑性を実現する。
5. 自己改善のための夢（Dreaming）： 勾配ベースのデータ選択を用いて合成カリキュラムを生成する、堅牢な自己改善フェーズ。これにより、反復的な自己学習に伴うリスクを軽減する。

4. 実験結果

著者らは、4つの困難なダウンストリームタスクにおいて睡眠パラダイムを評価した。

• クラス増分学習： CLINC、Banking、およびDBpediaデータセットにおいて、「Hope」アーキテクチャ（Sleepで拡張されたもの）は、ICL、EWC（Elastic Weight Consolidation）、および外部学習器アプローチ（InCA）を含むベースラインを上回った。プロンプトレベルの適応を、耐久性のあるパラメータメモリへと変換することに成功した。
• 長文脈理解： LongHealth、QASPER、およびMK-NIAH（Needle-in-a-Haystack）において、Sleepベースのモデルは、ICLおよび効率的なアテンション・ベースライン（DuoAttention）を一貫して上回った。定着ステージの数を増やすことで性能が向上する一方、最も安定したメモリ（低頻度）の持続性を高めることは、保持と適応性の間のトレードオフとなることが判明した。
• 継続学習（言語習得）： 未知の2つの言語（満洲語とカランガム語）を逐次学習するタスクにおいて、ICLは急激な性能低下と破滅的忘却を経験した。一方、Sleepベースのモデルは逐次学習を通じて獲得した利得を保持し、定着ステージを増やすにつれて性能が単調に向上した。
• 知識の組み込みと数ショット推論：
  • 知識の組み込み： SQuADにおいて、Sleepは新しい事実情報の統合において最高の精度を達成し、SEALや標準的なファインチューニングを上回った。
  • 数学的推論： SleepはAIMEおよびHMMTのベンチマークにおいて推論能力を向上させ、ベースモデル、SFT、およびGRPOを上回った。
  • 数ショット学習（ARC）： SleepはARCベンチマークで80%の成功率を達成し、ICL、TTT（Test-Time Training）、およびSEALを大幅に上回った。
• スケーラビリティ： BABILongベンチマークにおいて、Sleepモデルは1,000万トークンまで安定性を維持したが、他のモデルは128k〜256kトークルを超えると著しく劣化した。

5. 意義と主張

本論文は、睡眠パラダイムが現在のLLMの静的な性質に対する根本的な解決策を提供すると主張している。情報の獲得（活動／覚醒）と、その情報の定着および自己改善（睡眠）を切り離すことで、このフレームワークは以下を可能にする：

• 堅牢な継続学習： 破滅的忘却を起こすことなく、増分的に学習する能力。
• 効率的な知識転送： 「知識のシーディング」を通じて、脆弱でコンテキストに縛られたメモリから、安定したパラメータ知識へと移行すること。
• 自己改善： 人間の監督なしに、能力を再帰的に向上させる能力（「夢」）。

著者らは、彼らのアプローチが、最近のオンポリシー自己蒸留（OPSD）の研究とは異なり、上方向への蒸留（固定されたモデルの再条件付けではなく、容量の拡張を伴う）と、二段階のプロセス（定着と自己改善の分離）を導入していることを強調している。これにより、反復的な自己学習に伴うトレーニングの崩壊や能力の減退を防いでいる。結果は、生物学的な睡眠のようなメカニズムを取り入れることが、次世代の適応型・生涯学習システムにとって極めて重要であることを示唆している。