技術要約：いつ再計画すべきか：階層的潜在推論におけるサブゴールの持続性

問題提起

長期間の推論には、システムが安定性（中長期的な意図へのコミットメント）と適応性（必要に応じた意図の修正）のバランスを取る必要があります。外部化された推論（例：Chain-of-Thought）では、各トークンがシステムを特定のパスへと暗黙的にコミットさせます。しかし、潜在推論アーキテクチャ（計算がトークンのトレースではなく隠れ状態内で行われるもの）においては、そのような明示的なコミットメントは強制されません。潜在的な推論器は、理論的には、あらゆるマイクロステップごとに意図を修正することも、あるいは全く修正しないことも可能です。

本研究が取り組む核心的な問題は、潜在空間におけるプランニングの最適な時間スケールを決定することです：潜在的な推論器は、意図を修正する前に、どの程度の期間その意図にコミットすべきか？ 既存の階層的推論モデル（HRM）は、スロー・ループとファスト・ループを結合していますが、明示的な中長期的な意図の信号を欠いており、純粋に創発的な回帰ダイナミクスに依存しています。本論文では、「封建主義スタイル」のマネージャー・ワーカー・インターフェースと、制御可能なサブゴールの持続期間（$P$）を導入することで、この安定性と適応性のトレードオフを解決できるかどうかを調査します。

手法

著者らは、持続的な潜在的意図をマネージャー・ワーカー・アーキテクチャを通じて具現化する、階層的推論モデル（HRM）の拡張版であるサブゴール増強型HRMを提案しています。

アーキテクチャとメカニズム

1. マネージャー・ワーカー・インターフェース:

   • マネージャー（高レベル）: $T$ 回の低レベルステップごとに更新される低速なモジュール。$P$ 回の低レベルステップごとに、正規化された方向的サブゴールベクトル $g_k$ を放出します。
   • ワーカー（低レベル）: 高速なモジュール。その隠れ状態の更新は、学習された射影 $V_L$ を介して、アクティブなサブゴール $g(t)$ によってバイアスされます。
   • 持続期間 ($P$): 中心となるハイパーパラメータ。サブゴールが修正される前に、低レベルのステップがいくつ維持されるかを定義します。
     • $P=1$: サブゴールが毎ステップ上書きされる（時間的な一貫性がない）。
     • $P>1$: サブゴールが持続し、ワーカーが単一の意図の周囲で複数の更新を構成することを可能にする。

2. サブゴールの放出:

   • マネージャーは自身の状態 $z^H$ を方向的ベクトル $\tilde{g}_k$ に投影し、これは「潜在空間のどこへ移動すべきか」を符号化するために単位長に正規化されます（非定常なダイナミクスにおいて、特定の絶対的なターゲットを強制すると脆弱になるため）。
   • スカラーのコミットメント・ゲート $\alpha_k$ は、オプションとして、マネージャーの不確実性に基づいて影響の強さを調整します。

3. 学習目的関数:

   • 総損失は、ベースラインのHRM目的関数（$L_{HRM}$）と内在的アライメント損失（$L_{align}$）を組み合わせたものです。
     $$L = L_{HRM} + \lambda \sum L^{(k)}_{align}$$
   • アライメント損失: コサインベースの損失であり、コミットメント・ウィンドウ $P$ におけるワーカーの隠れ状態の正味の変位（$\Delta z^L_k$）が、放出されたサブゴール $g_k$ と整列することを報酬として与えます。
   • ハイパーパラメータ $\lambda$: アライメント損失の重みであり、アライメントの事前分布とタスクの勾配との間のトレードオフを制御します。

実験設定

• データセット: ARC-AGI および ConceptARC（具体的には arc-aug-1000 および ConceptARC-mini）。
• 指標: 主要指標はトークンレベルのLM損失（クロスエントロピー）、二次指標は精度およびアライメント損失。
• スイープ:
  • 持続性スイープ: 固定された $\lambda=0.05$ の下で、$P$ を変化させる（1から8まで）。
  • アライメント重みスイープ: 固定された $P=4$ の下で、$\lambda$ を変化させる（0.01から1.0まで）。
  • アブレーション研究: 干渉の源を特定するため、$\lambda=0.10$（最適値を超えた状態）における制御された3セル実験。

主な結果

1. サブゴールの持続性が中心的なつまみである

研究の結果、持続性はオプションではなく、必須であることが判明しました。

• 過小コミット ($P=1$): サブゴールが毎ステップ更新されると、ベースライン（1.640）と比較してパフォーマンスが大幅に低下します（LM損失 1.674）。注入メカニズム自体は、時間的な一貫性がなければ、パフォーマンスを損ないます。
• スイートスポット ($P \in [3, 6]$): $P=3$ でパフォーマンスが急激に向上し（LM損失 1.544、ベースラインから0.13減少）、$P=6$ まで堅牢に維持されます。
• 過剰コミット ($P=8$): $P$ が最適値を超えて増加しても、パフォーマンスの低下は緩やかです。これは、「鮮度の低下（stale）」は「不安定性」よりも緩やかな失敗モードであることを示しています。わずかに古いサブゴールであっても方向的な一貫性を提供しますが、瞬時に更新されるサブゴールは一貫性を全く提供しません。
• 再現性: $P=3$ の構成は5つのシードで再現され、平均LM損失は1.595（標準偏差 0.045）となり、この結果が単一シードによるアーティファクトではないことが確認されました。

2. アライメント重み ($\lambda$) の狭い最適値

• アライメントの重みは、$\lambda \approx 0.05$ において狭い最適値を示します。
• $\lambda = 0.10$ ではパフォーマンスがベースラインに近づき、$\lambda \ge 0.20$ ではベースラインを下回ります。
• これは、アライメント損失が、タスクの勾配と競合する支配的な幾何学的制約としてではなく、軽量なプランニングの事前分布として機能するのが最適であることを示唆しています。

3. 干渉の源（アブレーション研究）

$\lambda = 0.10$（最適値を超えた状態）において、フルメカニズムはベースラインを下回りました。制御されたアブレーションにより、原因が特定されました。

• $A_{full}$ (学習された方向): ベースラインを下回る（LM損失 +0.100）。
• $E_{random}$ (ランダムな方向): ベースラインとほぼ同等に機能する（LM損失 +0.003）。
• 結論: 干渉は、学習された方向構造によって特異的に引き起こされています。アライメントの重みが高すぎると、学習された方向が、ワーカーが本来タスクに使用すべき表現能力を奪ってしまい、ワーカーを「アライメントには役立つがLM目的には役立たない方向」へと引き寄せてしまいます。

意義と主張

本論文は、構成的なプランニングのための基本的な設計原則を提示しています：中長期的な意図は、構成的な構造を形成するために、十分な数の計算ステップにわたって一貫していなければならない。

• 設計原則: 持続性を欠いた（$P=1$）サブゴールメカニズムは、構成性の建築的形態（マネージャー、ワーカー、意図ベクトル）は備えていますが、その機能を欠いています。それは、「ステップのシーケンスを計画すること」と「追加の信号を伴う単一のステップを踏むこと」を区別するために必要な、時間的に拡張された構造を生み出すことができません。
• 安定性ー適応性のトレードオフ: 本研究は、潜在的なプランナーが計算を整理するために最小限のコヒーレンス・ホライゾン（$P \ge 3$）を必要とする一方で、鮮度の低下（長い $P$）は不安定性（短い $P$）よりも許容しやすいというトレードオフを定量化しています。
• アライメントの役割: アライメント信号はソフトな事前分布として機能します。それは、タスク固有の勾配を上書きすることなくワーカーを導くとき、最も効果的です（$\lambda \approx 0.05$ という狭い最適値によって裏付けられています）。

著者らは、これを構成的学習への貢献として位置づけています。適切に持続させた明示的な中長期的な意図信号が、サブゴールによって条件付けられた隠れ状態の更新を、より長期的な計算へと組み立てることを可能にすることを実証しました。本研究の成果は、ベースラインに対する相対的な改善であり、ARC型のタスクに限定されているものの、特定されたトレードオフは階層的な潜在推論における一般的な制約として提示されています。