技術要約: AGCLR – 適応型ゲート付き連続潜在推論（Adaptive Gated Continuous Latent Reasoning）

問題の特定：コンセプト・ボトルネック

大規模言語モデル（LLM）は、思考の連鎖（Chain-of-Thought: CoT）プロンプトによって導かれる強力な推論能力を示してきました。しかし、CoTは単一のフォワードパスに制約されており、生成された各トークンが次の入力となるため、推論経路への早期のコミットメントを強いることになります。これを解決するために、CoCoNuT（Chain of Continuous Thought）パラダイムが導入されました。これは、直前の隠れ状態を次の入力埋め込みとしてフィードバックすることで、連続的な潜在空間内で推論を行うことを可能にします。これにより、離散的なトークンを用いることなく、推論経路の暗黙的な幅優先探索が可能になります。

この有望な手法に対し、著者らは、バニラなCoCoNuTにおける「コンセプト・ボトルネック」と呼ばれる決定的な限界を指摘しています。マルチパス推論において、中間的な隠れ状態は、新しい潜在トークンが生成されるにつれて漸進的に上書きされていきます。情報を保持するメカニズムがない場合、初期の推論ステップで計算された重要な事実は、推論の深さが増すにつれて失われてしまいます。実証的な証拠によれば、バニラなCoCoNuTは浅いタスクではCoTと同等の性能を示しますが、深い推論チェーン（例：GSM8KやProsQA）では性能が低下し、HotpotQAのようなマルチホップQAタスクにおいて標準的なCoTベースラインを上回ることができません。

手法：AGCLR

このコンセプト・ボトルネックを解消するために、著者らはAGCLR（Adaptive Gated Continuous Latent Reasoning）を提案します。この手法は、すべての推論パスを通じて維持される持続的な残差メモリベクトル（$c_t$）を備えたゲート付きコンセプト・ストリームを用いてCoCoNuTを拡張したものです。

アーキテクチャ

各潜在トークンの位置において、モデルは隠れ状態（$h_t$）を計算し、現在の状態と持続的なメモリ間の情報フローを制御するために、学習された3つのシグモイド・ゲートを通じて処理します。

1. ライト・ゲート（Write Gate, $w_t$）: 現在のゲート付き隠れ状態（$h'_t$）のうち、どの程度をコンセプト・ストリームにコミットするかを決定します。これにより、信頼性の低い、あるいは無関係な状態がメモリを汚染することを防ぎます。
2. リード・ゲート（Read Gate, $r_t$）: 前のコンセプト・ストリーム（$c_{t-1}$）をどの程度取得し、現在の隠れ状態に統合するかを制御します。これにより、モデルは以前のパスからの事実へのアクセスが可能になります。
3. フォゲット・ゲート（Forget Gate, $f_t$）: 現在の隠れ状態が、取得されたメモリによって置き換えられるのではなく、どの程度保持されるかを決定します。これにより、無関係なコンテキストを選択的に削減することが可能になります。

更新式は以下のように定義されます：
$$\hat{h}_t = \text{LayerNorm}(h_t)$$
$$r_t, f_t, w_t = \sigma(W \hat{h}_t)$$
$$h'_t = (1 - f_t) \odot h_t + r_t \odot c_{t-1}$$
$$c_t = \text{LayerNorm}(c_{t-1} + w_t \odot h'_t)$$

ゲート付き隠れ状態 $h'_t$ は、次の潜在トークンの位置への入力として $h_t$ に代わって使用され、$c_t$ は後続のパスのための持続的なメモリとして機能します。

学習プロトコル

AGCLRは、CoCoNuTに着想を得たマルチステージ・カリキュラム学習を利用します：

• ステージ 0: 明示的な推論ステップを持つ標準的なCoTデータでモデルを学習させます。
• 後続のステージ: 明示的な推論ステップが、段階的に連続的な潜在トークンへと置き換えられます。ステージ $k$ では、最初の $k$ ステップが $k \times c$ 個の潜在トークンに置き換わります。
• 最終ステージ: すべての推論が潜在空間内で行われます。
  モデルは、GSM8K（算術）、HotpotQA（マルチホップQA）、ProsQA（プランニング）の3つのデータセットを用い、このカリキュラムに従ってGPT-2（117Mパラメータ）上で学習されます。

主な貢献

1. コンセプト・ボトルネックの特定: 著者らは、バニラなCoCoNuTが推論の深さが増すにつれて中間状態における情報の損失に苦しみ、複雑なタスクでの性能低下を招くことを実証的に示しました。
2. AGCLRアーキテクチャ: ベースとなるGPT-2モデルに対してわずか1.41%のパラメータ増加で、このボトルネックを解決するゲート付き残差メモリメカニズムを提案しました。
3. 性能向上: AGCLRは、テストされたすべてのデータセットにおいて、バニラなCoCoNuTを一貫して上回ります。その性能差は、カリキュラムの深さ（推論の複雑さ）が増すにつれて拡大します。

結果

3つのベンチマークにおける評価により、以下のことが明らかになりました：

• GSM8K (数学): AGCLRは**34.0%**の精度を達成し、バニラなCoCoNuT（31.4%）を上回りました（CoTベースラインは40.6%ですが、CoCoNuTのバリアントは一般にこれより低くなります。AGCLRは潜在空間のみのベースラインに対して大幅に改善しています）。
• HotpotQA (マルチホップQA): AGCLRは14.0%のExact Match (EM) を達成し、バニラなCoCoNuT（10.4%）に対して+3.6%、CoTベースライン（11.0%）に対しても大幅な向上を示しました。
• ProsQA (プランニング): AGCLRは**96.0%**の精度に達し、バニラなCoCoNuTの92.0%を上回りました。特筆すべきは、バニラなCoCoNuTの性能は最も深いカリキュラムステージ（ステージ6）で低下するのに対し、AGCLRは改善を維持している点です。

メモリ保持の分析

初期の隠れ状態と後続のパスとの間のコサイン類似度分析によれば、バニラなCoCoNuTは単調なメモリ減衰に苦しんでおり（類似度はパス6までに1.0から0.126まで低下し、87%の情報損失を表しています）、対照的にAGCLRはパス3の後に安定し、約0.22の類似度を保持しています。これは、ベースラインと比較して71%多い情報保持に相当します。

アブレーション研究により、これらの利得が単なる追加パラメータではなく、持続的なメモリメカニズムに由来することが確認されました：

• ライト・ゲートを除去すると、性能は8.8% EM（バニラなCoCoNuTを下回る）に低下しました。
• パス2の後にライト・ゲートを固定した場合、低下はわずか0.8%（13.2% vs 14.0% EM）であり、初期の情報キャプチャが十分であり、リード/フォゲット・ゲートが保存された情報の質を維持していることを示唆しています。
• フォゲット・ゲートを除去すると、大幅な低下（8.4% EM）を招き、メモリ汚染を防ぐためのコンテキストの削減がいかに不可欠であるかを浮き彫りにしました。

意義と主張

本論文は、AGCLRが、持続的でゲート付きの残差メモリを導入することでコンセプト・ボトルネックに直接対処し、モデルが反復的な推論サイクルを通じて重要な事実を維持できるようにしたと主張しています。言語空間（例：iCoT、ポーズ・トークン）で動作する従来の手法や、持続的な状態を持たない手法とは異なり、AGCLRは、マルチホップ・タスクに必要な計算状態を保持しながら、制約のない潜在空間での推論を可能にします。

著者らは、この改善が単なるモデル容量の増加によるものではなく、**アーキテクチャの「情報を保存、維持、および取得する能力」**によって駆動されていることを強調しています。結果は多様な推論タスク（数学、QA、プランニング）において一貫していますが、実験は単一のシードとGPT-2 124Mベースモデルで行われたものであることに留意し、その範囲について謙虚な姿勢を保っています。より大きなモデルやより広範なタスク分布へのスケーラビリティについては、今後の検証課題となっています。