技術要約：エネルギー誘導型再帰モデル (Energy-Guided Recursive Model: ERM)

1. 問題提起

HRM（Hierarchical Reasoning Model）、TRM（Tiny Recursive Model）、EqR（Equilibrium Reasoners）などの再帰的推論モデルは、小さなニューラルネットワークの潜在状態を繰り返し更新することで、構造化された問題に対処します。これらのモデルは、再帰的な深さ ($D$) や確率的な幅 ($K$) を増やすことで複数の候補軌跡を生成できますが、テスト時に正しい答えを選択するための原理的なメカニズムを欠いています。

既存の選択手法は、以下に依存しています：

• 学習済み停止ヘッド (q-heads): モデル内部の信号に基づいて信頼性を予測する。
• 信頼度スコア: トークンレベルの確率を使用する。
• ヒューリスティックな投票: サンプリングされた出力に対する多数決。

特定された核心的な限界は、これらの手法が「タスクへの適合性」ではなく、「モデル内部の確信度」を測定している点です。潜在的な反復推論において、追加の深さや幅は、明示的な導出なしに隠れた軌跡を生成します。その結果、正しい候補がロールアウト・プール内に存在していても、セレクターがグローバルなタスク制約（例：数独のルールや迷路の連結性）への準拠を検証する基準を持たないために、破棄されてしまう可能性があります。本論文は、現在のセレクターが有効なタスク構造への適合性を明示的に測定していないために、選択のギャップが生じていると主張しています。

2. 手法：エネルギー誘導型再帰モデル (ERM)

著者らは、ヒューリスティックなセレクターを、明示的なホップフィールド・エネルギーに基づく内在的な選択原理に置き換えたエネルギー誘導型再帰モデル (ERM) を提案します。

2.1 コア・フレームワーク

ERMは、テスト時の推論を、有限の候補プール $Y(x) = \{y_1, \dots, y_K\}$ 上のエネルギーベースの選択問題として扱います。目標は、エネルギー関数 $E(y_k; x)$ を最小化する候補 $\hat{y}$ を選択することです：
$$\hat{y} = \arg \min_{k \in \{1, \dots, K\}} E(y_k; x)$$
エネルギーが低いほど、タスクへの適合性が高いことを示します。負の対数確率や学習されたロジットに依存する標準的なセレクターとは異なり、ERMはタスク構造化メモリからエネルギーを構築します。

2.2 エネルギー定式化

エネルギー関数は、モダン・ホップフィールド・ネットワークの検索ダイナミクスから導出されます。タスクは $J$ 個の因子（例：行、列、局所的なパズル・ルール）に分解されます。各因子 $j$ について、有効な局所的またはグローバルな構造を含む、入力条件付きメモリ集合 $M_j(x)$ が存在します。

総エネルギー $E_{ERM}$ は次のように定義されます：
$$E_{ERM}(y_k; x) = \mu G(y_k, x) - \sum_{j=1}^{J} \tau \log \sum_{m \in M_j(x)} \exp\left( \frac{-\beta d_j(y_k, m)}{\tau} \right)$$

ここで：

• $d_j(y_k, m)$: 因子 $j$ における候補 $y_k$ とメモリ $m$ の距離（一致する場合はゼロ）。
• $\beta$: メモリ距離に対するペナルティ強度。
• $\tau$: 検索温度（検索のソフトさを制御）。
• $G(y_k, x)$: 局所的に列挙することが困難な制約（例：連結性）に対するグローバルな違反ペナルティ。
• $\mu$: グローバル項の重み。

この定式化により、セレクターは各因子に対して最も近い有効なメモリを「ソフトに検索」することが可能になります。低温度の極限において、これは最近傍メモリ・ベリファイアとして機能します。

2.3 タスクの実装

本論文では、ERMを以下の3つのドメインに実装しています：

1. 数独 (Sudoku): 行、列、および $3\times3$ ボックスの置換メモリを使用します。エネルギーは、有効な数字の置換に関する対数パーマネント（動的計画法）を介して計算されます。
2. Pencil Puzzle Bench (PPBench): 局所的なルール・メモリ（例：Lightupの正確なカウント、Tapaの循環パターン）と、局所的に列挙できない連結性やカバレッジ・ルールのためのグローバルな距離ポテンシャルを組み合わせます。
3. 迷路 (Maze): 幅優先探索 (BFS) によって導出された、入力条件付きのグローバルな最短経路メモリを使用します。エネルギーは、候補パスと開始点からゴールへの一意の最短パスとの間の負の類似性です。

2.4 並列テンパリング (Parallel Tempering: PT)

同じエネルギー関数が、単なる再ランク付けだけでなく、サンプリングにも利用されます。著者らは、異なる温度（$T_1 < \dots < T_R$）でレプリカを実行する並列テンパリングを採用しています。高温のレプリカはエネルギー地形を探索し、低温のレプリカは低エネルギー状態を利用します。レプリカ間のスワップは、メトロポリス基準に基づいて受け入れられます。これにより、システムは局所解から脱出し、単純な貪欲選択では見逃される可能性のある正しい候補を発見することができます。

3. 主な貢献

1. 原理的な選択メカニズム: 学習された確信度や投票のヒューリスティックへの依存を排除し、タスクメモリから導出される明示的なホップフィールド・エネルギーに基づく選択層を導入しました。
2. 統一インターフェース: エネルギー関数が、アトラクタ・ダイナミクス、ベリファイア、およびテスト時計算の間の共有インターフェースとして機能し、候補生成と選択の明確な分離を可能にすることを実証しました。
3. 診断フレームメント: 以下の区別によって推論性能を評価する手法を提案しました：
   • 候補生成の失敗: 「オラクル（プール内の最良の精度）」が低い場合。
   • 選択の失敗: 選択された精度がオラクルよりも著しく低い場合。
   • サンプリングの失敗: 並列テンパリングが静的な選択よりも改善を示す場合。

4. 実験結果

実験は、数独、PPBench、迷路において、再帰的深さ $D=64$ および $K=128$ 個の候補を用いて行われました。

• 数独: ERMは 98.97% の精度を達成し、共有候補オラクル（98.97%）と一致しました。これは q-head (98.54%) および confidence (98.58%) のベースラインを上回り、選択のギャップを効果的に埋めました。
• PPBench: ERMは 88.04% の精度を達成し、オラクルと一致するとともに、q-head (83.39%) や多数決 (79.07%) を大幅に上回りました。これは、信頼度スコアが失敗する不均質なルールを扱うための本手法の能力を強調しています。
• 迷路: ERMは 99.30% の精度を達成し、オラクルと一致しました。これは、グローバルな最短経路メモリを使用する場合、正しい候補がロールアウト・プール内に現れれば、必ず選択できることを示しました。
• 並列テンパーリング: PT-ERMは、静的な選択と同等またはそれを上回る結果を一貫して示しました。特に数独において、PT-ERMは 98.97%（オラクルと一致）に達し、エネルギー地形が探索を適切にガイドして最適解を見つけ出したことを示しました。

5. 意義と主張

本論文は、明示的なエネルギー関数を再帰的推論に組み込むことが、より効果的な推論への原理的な道筋を提供すると主張しています。

• 選択のギャップを埋める: 潜在的な推論における主要なボトルネックは、多くの場合、候補の生成ではなく、どの候補を信頼すべきかを判断するためのスカラー的な原理の欠如にあります。ERMは、タスクメモリを使用して適合性を検証することで、このギャップを埋めます。
• 汎用化に関する謙虚な姿勢: 著者らは、現在のエネルギーが（普遍的に学習されたものではなく）タスク構造的（例：手作りの置換行列やBFSパスを使用）であることを明示しています。この手法は、完全な学習型ユニバーサル・エネルギー関数ではなく、診断ツールおよび構造化されたベリファイアとして提示されています。
• 方法論的転換: 本研究は、テスト時計算を、候補生成とエネルギーベースの選択を分離して評価すべきであることを示唆しています。これは、研究者が、生成（低いオラクル）において改善が必要なのか、あるいは選択（オラクルとERMの間の大きな差）において改善が必要なのかを特定できるフレームワークを提供します。

要約すると、ERMは、ホップフィールド・メモリに基づく明示的なエネルギー関数が、潜在的な反復推論に対して非常に効果的な、解釈可能なセレクターとして機能し、生成された候補のセットに対して理論的な性能限界に到達できることを示しています。