技術的概要：連続潜在コンテキストはトランスフォーマーにおける効率的なオンライン学習を可能にする

問題定義

大規模言語モデル（LLM）は、パラメータ更新なしにラベル付き例から予測子を推論する、強力なコンテキスト内学習能力を示します。しかし、多くのインタラクティブな設定では、モデルがフィードバックに応じて長期的な多ターンにわたって適応する必要があるオンライン意思決定が求められます。効果的なオンライン学習には、将来の意思決定を支援するために、学習された情報のコンパクトな表現（アルゴリズム的状態）を維持することが必要です。

標準的な Chain-of-Thought（CoT）プロンプティングは、中間推論を離散トークンで表現しますが、複雑で長期的なタスクの場合、その長さが許容不可能なほど長くなる可能性があります。最近の連続 Chain-of-Thought（COCONUT など）に関する研究は、連続潜在状態が語彙トークンの「重ね合わせ」で情報を運ぶ可能性を示唆しており、コンテキストのよりコンパクトな表現を提供する可能性があります。本論文が扱う中心的な問いは、連続潜在コンテキストトークンが、特徴埋め込みの線形結合としてアルゴリズム的状態を保存・更新することにより、トランスフォーマーに効果的なオンライン学習アルゴリズムの実装を可能にするかどうかです。

手法

本論文は、理論的構築と実証的検証を組み合わせた二重のアプローチを採用しています。

1. 理論的構築

著者は、COCONUT アーキテクチャに従う連続潜在コンテキストトークンを備えた定数深度の因果的トランスフォーマーの明示的構築を提供し、2 つの基礎的なオンライン意思決定手順を実装します。

• 加重多数決アルゴリズム（WMA）:

  • メカニズム: トランスフォーマーは、WMA の状態を単一の連続コンテキストベクトルに維持します。このベクトルは、エキスパート埋め込みの重ね合わせ（線形結合）として機能し、各エキスパートの埋め込みの係数は、そのエキスパートの重みの対数に対応します。
  • 操作:
    • 予測: ソフトアテンションヘッドが、状態ベクトルをエキスパート予測キーに対してクエリし、加重多数決予測を計算します。
    • 更新: 正解（グラウンドトゥルース）を受け取ると、状態ベクトルは線形アテンション操作を通じて更新され、正しいエキスパートの対数重みがインクリメントされます（乗法的重み更新）。
  • 結果: この構築により、$O(1)$ 個のヘッドを持つ定数深度のトランスフォーマーが、指数的重み更新則を正確に復元できることが証明されました。

• 表形式 Q ラーニング:

  • メカニズム: トランスフォーマーは、マルコフ決定過程（MDP）に対するオンライン表形式 Q ラーニングを実装します。Q テーブルは、連続コンテキストトークンのセットとして符号化され、各トークンは状態埋め込みの重ね合わせとして、Q テーブルの行（アクション索引付き）を表します。
  • 操作: トランスフォーマーは各ステップで 2 つのタスクを実行します。
    1. 評価: 現在の Q 値を取得してアクションを選択します（$\max_a Q(s, a)$ の実装）。
    2. 更新: 項を互いに重ならない部分空間に書き込み、残差ストリーム内でそれらを線形に合計することで、ベルマン更新（$Q(s, a) \leftarrow Q(s, a) + \alpha[r + \gamma \max_{a'} Q(s', a') - Q(s, a)]$）を計算します。
  • 結果: 4 層の因果的トランスフォーマーが、各ステップで Q ラーニング更新を正確に実装することが示されました。

2. 実証的検証

著者は、潜在状態を直接監督しないマルチカリキュラム目的関数を用いて、連続潜在コンテキストを持つ小規模な GPT-2 風トランスフォーマーを訓練しました。

• エキスパートデータからの教師なし学習: 4 層、約 20 万パラメータの小規模トランスフォーマーを、エキスパート予測系列で訓練しました。モデルはエキスパートの信頼性を符号化する潜在コンテキストを維持することを学習し、最適な乗法的重みアルゴリズムと同等の性能を達成しました。
• Q ラーニングの模倣学習: 同様の小規模トランスフォーマーを、表形式 Q ラーニングによって生成された軌跡で訓練しました。モデルは、表形式の貪欲方策と整合するアクションを出力することを学習しました。線形プローブにより、ベルマン更新の構成要素（報酬、現在の値、ブートストラップ値）が、残差ストリーム内で明示的に表現されていることが確認されました。
• 最先端 LLM 評価: 著者は、インタラクティブなエキスパート予測タスクにおいて、大規模モデル（Qwen-3-14B および DeepSeek-V3）を評価しました。標準プロトコルと、モデルが状態情報を運ぶ短い「ノート」を出力することを許可するプロトコルを比較しました。

主要な結果

1. 理論的実現可能性: 本論文は、連続潜在コンテキストを持つ定数深度のトランスフォーマーが、固定数のコンテキストトークンにおける重ね合わせとしてアルゴリズム的状態を保存することにより、複雑なオンライン学習アルゴリズム（WMA および Q ラーニング）を理論的に実装できることを示しています。
2. 小規模モデルの効率性: 合成オンライン予測タスクにおいて、訓練された小規模トランスフォーマー（4 層、20 万パラメータ）は、長系列意思決定タスクにおいて、はるかに大規模で複雑な LLM（148 億パラメータの Qwen-3-14B および 6710 億パラメータの DeepSeek-V3）を上回る性能を示しました。
3. 潜在状態の回復: 訓練された小規模モデルにおいて、アテンション機構が潜在コンテキストトークンに焦点を当てており、線形プローブがこれらのトークンからアルゴリズム的状態（エキスパート重みまたは Q 値）を正常に復号できたことから、モデルがコンテキストを永続的な状態として使用することを学習したことが確認されました。
4. LLM の状態制限: 最先端 LLM はフィードバックに適応する能力を一部示しましたが、状態情報を運ぶ明示的な「ノート」を出力することを許可された場合、性能が大幅に向上しました。しかし、これらの LLM は、コンパクトな状態表現ではなく、線形的に成長するテキストノート（例えば、ラウンドごとのトランスクリプト）に依存することが多かったです。対照的に、提案された連続潜在コンテキストアプローチは、シーケンス長に関係なく一定数のトークンを使用します。

意義と主張

本論文は、連続潜在コンテキストが、トランスフォーマーによるオンライン学習アルゴリズムの実装のための、シンプルかつ効果的な永続状態を提供すると主張しています。

• アルゴリズム的解釈: 結果は、連続潜在推論のアルゴリズム的解釈を支持しており、トランスフォーマーがコンテキストを単なる受動的なメモリバッファとしてだけでなく、特定のアルゴリズムの実装を可能にする能動的で永続的なオンライン学習状態として使用できることを示唆しています。
• 効率性: このアプローチは、長期的な状態維持を必要とするタスクにおいて、離散トークンベースの推論に対する連続潜在表現の価値を浮き彫りにしています。適切な帰納的バイアス（連続コンテキスト）を備えた小規模モデルが、状態追跡に離散トークンチェーンに依存する巨大モデルを上回る可能性があることを示唆しています。
• 限界: 著者は、理論的構築が最悪ケースにおいて最適であることを指摘し、自然言語データに対する勾配ベースの訓練からこれらの特定の更新則が出現するかどうかは未解決の問題であると述べています。また、研究が簡略化された意思決定設定に限定されており、現実世界の推論への一般化は確立されていないことも認めています。

この研究は、オンライン意思決定における離散 Chain-of-Thought のスケーラビリティ問題に対する潜在的な解決策として連続潜在推論を位置づけ、トランスフォーマーアーキテクチャにおけるより効率的でコンパクトな状態維持への道筋を示しています。