技術概要：自己統合言語モデル（SCoL）

問題定義

大規模言語モデル（LLM）は、多ターン会話、ツール利用エージェント、長期的ワークフローを含むストリーミング環境でますます運用されています。コンテキストウィンドウサイズを増大させることでモデルはより多くの証拠にアクセスできるようになりますが、有用な情報が保持され、効果的に再利用されることを保証するものではありません。モデルはしばしば遠隔の証拠を過少利用し、コンテキストの長さや推論の複雑さが増すにつれて性能が劣化します。既存の解決策は、外部検索、補助的メモリモジュール、損失を伴う圧縮、または反復的な推論時処理に依存しており、これらは検索の品質やメモリ管理への依存関係をもたらします。

本論文は、長コンテキスト推論を継続的コンテキスト統合の問題として再定義します。目標は、コンテキストのストリームから有用な情報をモデルの重み（内部メモリ）に直接書き込み、同時に以前に統合された知識を保持することです。このアプローチは、ニューラルネットワークパラメータの逐次更新が以前の知識を上書きする破滅的干渉という課題に直面します。これを緩和するための古典的手法（例えば、フィッシャー情報に基づく正則化）は、LLM の規模において計算的に prohibitive であるか、実装に敏感である傾向があります。

手法：自己統合言語モデル（SCoL）

著者は、LLM が与えられたコンテキストに対して自身のアーキテクチャのどの部分を適応させるかを指定するテキスト形式の更新指示を生成することを学習する、ポストトレーニングフレームワークであるSCoLを提案します。

中核メカニズム

1. アクション生成: 現在のコンテキスト $c_t$ が与えられたとき、ポリシーモデル $\pi_{\theta_{t-1}}$ は更新する構造的単位（具体的にはトランスフォーマー層）のテキストリストを生成します。
2. 適応: モデルは選択された層に低ランク適応（LoRA）モジュールをアタッチし、コンテキストに対して標準的な言語モデリング更新を実行します。
3. ドリフトする状態: ポリシーが固定される標準的なメタ学習とは異なり、SCoL はドリフトするモデル状態の下で動作します。コミットされた各更新はモデルパラメータ $\theta_t$ を変更し、それが将来の更新選択を生成するポリシー $\pi_{\theta_t}$ を変化させます。

メタ強化学習によるトレーニング

SCoL は、獲得（現在のコンテキストの学習）と保持（以前のコンテキストの忘却防止）のバランスを取るように設計されたメタ強化学習ループを用いてトレーニングされます。

• 内側ループ（選択とコミット）:

  • 各コンテキストに対して、モデルは $K$ 個の候補となるテキストアクション（層の選択）をサンプリングします。
  • 各候補は適応（LoRA 更新）され、報酬関数 $r_t$ を用いてスコア付けされます。
  • 最も高い報酬を持つ候補が、実行中のモデル重みにコミットされます。
  • 候補の報酬から選好ペアが構築され、外側ループ用のデータセットを形成します。

• 外側ループ（ポリシー更新）:

  • 事前適応ポリシーパラメータ $\theta_0$ は、蓄積された選好データに対して**アイデンティティ選好最適化（IPO）**を用いて更新されます。
  • これによりポリシーの初期化が更新され、将来のロールアウトがより良い更新場所の選択を生成するようにします。

報酬の実装

このフレームワークは、2 つの報酬レジームをサポートします：

1. 教師あり（SQuAD）: 報酬は、現在のコンテキストに対する下流の QA 精度（獲得）と、過去の保持済みクエリに対する精度の低下（忘却）を組み合わせます。
2. 内在的（LongBench v2）: ラベルなしストリームの場合、報酬は現在のコンテキストの対数尤度の増加（獲得）と、過去のコンテキストの対数尤度の正規化された減少（忘却）に基づきます。

主要な貢献

1. 長コンテキスト推論の再定義: 著者は、長コンテキスト推論を継続的コンテキスト統合として再構成しました。ここでは、情報は一時的なプロンプトや外部ストアに保持されるのではなく、重み内部化されます。
2. SCoL フレームワーク: LLM が自身の重みをどの部分更新するかをテキスト記述として生成することを学習するポストトレーニングパラダイムです。これは、教師あり QA 報酬と内在的尤度ベース報酬の両方を用いたメタ強化学習によって具体化されます。
3. 実証的検証: このフレームワークは、知識の取り込み（SQuAD）と長コンテキスト統合（LongBench v2）で評価され、プロンプティング、要約、バッチ推論時トレーニング、逐次ファインチューニングに対する改善を示しました。

結果

継続的知識の取り込み（SQuAD）

• 性能: SCoL は、100 の逐次パッセージにおいて、即時精度 35.40%、保持率 20.46% を達成しました。これはプロンプトのみの手法（28.17%）、バッチ推論時トレーニング（26.52%）、逐次ファインチューニング（保持率が 1.30% まで崩壊）を上回りました。
• 忘却の役割: 忘却項を除去（$\lambda=0$）すると即時獲得は向上（34.30%）しましたが、保持率は 14.64% まで低下し、明示的な保持報酬が破滅的忘却を緩和するために必要であることを確認しました。
• 選択パターン: モデルは疎な更新場所を選択することを学習し、最終的なトランスフォーマー層（例えば、Layer 27）に強く集中しました。
• フィッシャー整合性: 選択された層は、高いフィッシャー情報領域と有意に一致しました（45.1% のリコール対 35.7% のランダムベースライン）。これは、モデルが損失感受性領域へ可塑性をルーティングすることを学習していることを示唆しています。

長コンテキスト統合（LongBench v2）

• 一般化: SCoL は短いストリーム（16k–32k トークン）でメタトレーニングされましたが、短いストリームと長いストリーム（32k–64k トークン）の両方で評価されました。
• 性能: 短いレジームにおいて、SCoL は 42.3% を達成し、すべてのベースラインを上回りました。長いレジームでは 37.0% を達成し、逐次ファインチューニング（23.0%）やコンテキスト内手法を大幅に上回りました。
• 安定性: 逐次ファインチューニングはコンテキスト長さの増加に伴い性能が崩壊しましたが、SCoL は競争力のある性能を維持し、統合メカニズムが長さ非依存の構造を捉えていることを示唆しました。

意義と主張

本論文は、SCoL がモデルに適応サイトを自己選択させることを教えることで、ストリーミング統合に対するスケーラブルなアプローチを提供すると主張しています。主要な知見は以下の通りです：

• 疎な可塑性: モデルは、高いフィッシャー情報を持つ層と一致する疎な更新場所を生成することを学習し、損失感受性領域へ可塑性を効果的にルーティングしながら干渉を制限します。
• スケーラビリティ: 短いメタトレーニングストリームで学習された選択行動は、推論中のフルコンテキストアクセスを必要とせずに、より長い評価ストリームへ効果的に転移します。
• 内部メモリ: コンテキストを重みに書き込むことは、検索の品質や損失を伴う要約に依存しないため、外部メモリや圧縮よりも堅牢な代替手段を提供します。

著者は、内側ループ適応の計算オーバーヘッドや、長期のトレーニングラウンドにおけるモード崩壊（層選択の多様性の低下）の可能性といった限界を認めています。今後の研究は、多様性正則化や、より長いシーケンスへのメタトレーニングのスケーリングに焦点を当てることが提案されています。