🤖 AI

Form Follows Function: Recursive Stem Model

本論文は、再帰的推論モデルのトレーニング効率と推論時のスケーラビリティを大幅に向上させ、数独や迷路などの難問において高精度な解決を可能にする新たな「再帰的ステムモデル（RSM）」を提案し、その収束挙動を信頼性指標として活用する手法を報告しています。

原著者： Navid Hakimi

公開日 2026-03-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Navid Hakimi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

形は機能に従う：「再帰的ステムモデル（RSM）」の解説

～「考えすぎる」のではなく「落ち着いて考える」新しい AI の仕組み～

この論文は、**「小さな脳でも、時間をかければ難しいパズルが解ける」**というアイデアを、さらに効率よく、賢くする新しい方法（RSM）を紹介しています。

従来の AI は、一度に答えを出そうとして失敗したり、長い思考プロセスを無理やり作ろうとして計算コストが膨大になったりしていました。RSM は、**「一度で正解を出そうとせず、少しずつ状態を『落ち着かせて』いく」**という、まるで生物が成長するように設計されたアプローチです。

以下に、専門用語を排し、身近な例えを使って解説します。

1. 従来の問題点：「焦って正解を出そうとする」AI

これまでの AI（特に「再帰モデル」と呼ばれるもの）は、パズルを解くとき、**「1 歩ごとに正解かどうかチェックしながら進める」**ように訓練されていました。

例え話： 迷路を歩くとき、**「今、この方向で合っているか？」**と、一歩進むたびに毎回「正解か？」と先生に確認させられ、間違っていればその場でやり直すような状態です。
欠点： これだと、先生（教師）が常にチェックしているため、AI は「先生に褒められるような一歩」しか考えなくなります。結果として、「全体像を見て深く考える」ことが難しくなり、計算も大変になります。

2. RSM の核心：「一度は放置して、最後にだけチェックする」

RSM は、この「先生との関係」を根本から変えました。

新しいルール： 「思考の過程（途中のステップ）は先生に見せない。最後の答えだけを見て、正しければ合格」というルールです。
例え話： 料理を作る際、**「味見をしながら調味料を足す」のではなく、「材料をすべて混ぜて、火にかけて、完成した瞬間にだけ味見をする」**ようなイメージです。
- 途中の「混ぜる」作業は、AI 自身に任せて、**「あえて記憶（計算グラフ）を切り離す」ことで、AI は「正解っぽく見せること」ではなく、「最終的にどうすれば正解にたどり着くか」という「安定した変化のルール」**を学びます。

3. 2 つの「頭」を持つ仕組み：「考える脳」と「落ち着く脳」

RSM は、2 つの異なる状態（ $z_L$ と $z_H$ ）を行き来しながら考えます。これを生物の例えで説明します。

$z_L$ （速い脳・思考の場）：
- 役割： 活発に動き回る「思考の場」です。
- 例え： 活発な若者や、実験室で試行錯誤する研究者のようなもの。ここでは、いろんな仮説を試し、混乱したり、飛び抜けたアイデアが出たりします（エントロピーが高い状態）。
$z_H$ （遅い脳・記録の場）：
- 役割： 思考の結果をまとめ、安定させる「記録の場」です。
- 例え： 経験豊富な長老や、冷静な編集者のようなもの。若者のアイデアを受け取り、「これは使える」「これは違う」と整理し、**「落ち着いて（冷却して）」**次のステップに渡します。

RSM の動き：

若者（ $z_L$ ）が熱心にアイデアを出し続ける。
長老（ $z_H$ ）がそれを整理し、安定させる。
整理された状態で、また若者が次のアイデアを出す。
この「熱狂」と「冷静」を繰り返すことで、AI はパズルの解に**「落ち着く（収束する）」**まで考え続けます。

4. すごい点：「訓練は短く、テストは長く」

ここが RSM の最大の強みです。

訓練時（練習）： 短い時間（浅い深さ）で練習します。
テスト時（本番）： 本番では、練習の何十倍もの時間（深い深さ）を使って考えさせます。
例え話：
- 従来の AI は、「10 分間の練習を 10 回繰り返す」ように作られていたので、本番でも 10 分しか考えられませんでした。
- RSM は、「1 分間の練習で『どうすれば落ち着くか』のルールだけ学ぶ」ので、本番では**「100 分、1000 分と時間をかけてじっくり考えさせる」**ことができます。
- 結果： 訓練時間は20 倍以上速くなりましたが、正解率は5 倍も向上しました。

5. 「安定するまで待つ」ことで、嘘（ハルシネーション）を防ぐ

RSM の面白い特徴は、**「答えが安定するまで、答えを出さない」**ことができる点です。

仕組み： AI が答えを出し始めると、何回か考え直すたびに答えが変わります。しかし、**「もう答えが変わらなくなった（固定点に達した）」**と判断できたら、それが「自信を持って出した答え」になります。
例え話： 迷路を解くとき、AI が「ここだ！」と言った瞬間に、次の瞬間に「あ、違う！」と変わってしまうなら、それはまだ「迷っている」証拠です。「答えがピタッと止まった時」こそが、AI が「わかった」と言える瞬間です。
この「落ち着くかどうか」をチェックする機能があるため、AI が自信なさげに嘘をついている（ハルシネーション）のを防ぐことができます。

6. 生物学的な比喩：「幹細胞」のような成長

論文では、このモデルを**「幹細胞」や「多細胞生物」**に例えています。

同じ DNA（同じプログラム）： 細胞はすべて同じ遺伝子を持っていますが、場所によって「皮膚になる」「神経になる」ように役割が変わります。
RSM も同様： 1 つの小さなプログラム（同じ重み）を何度も繰り返して使いますが、**「思考のどの段階（どの深さ）」**にいるかによって、その役割（計算の性質）が変わります。
- 最初は「熱い思考（探索）」を行い、徐々に「冷たい思考（決定）」へと移行していく。
- これは、生物が成長して複雑な機能を獲得していくプロセスと似ています。

まとめ：RSM がなぜ画期的なのか

安くて速い： 訓練が非常に簡単で、高性能な GPU がなくても、短い時間で学習できます。
賢く考えられる： 本番では、時間をかければかけるほど（計算リソースを使えば使うほど）正解率が上がります。「もっと考えたい」と思えば、AI に「もっと考えさせて」あげられます。
信頼性が高い： 「答えが安定するまで待つ」という仕組みがあるため、AI が迷っているのか、確信を持っているのかを判断しやすくなります。

一言で言うと：
RSM は、**「焦って正解を出そうとするのではなく、時間をかけて状態を『落ち着かせる』ことで、自然と正解にたどり着く」**という、生物の成長や熟練した職人の思考に似た、非常に賢く効率的な AI の新しいあり方を提案した論文です。

論文要約：Recursive Stem Model (RSM)

著者: Navid Hakimi
タイトル: Form Follows Function: Recursive Stem Model

1. 背景と課題 (Problem)

近年、階層的推論モデル（HRM）や小さな再帰モデル（TRM）など、小さな重み共有ネットワークが反復的な潜在状態の洗練を通じて、計算集約的または NP 困難なパズル（数独、迷路など）を解く能力を示しています。しかし、これらの既存モデルには以下の重大な課題がありました。

学習コストと深さへの依存: 既存のモデルは、深い教師信号（Deep Supervision）や長いアンロール（unroll）に依存して訓練されており、壁時計時間（wall-clock cost）の増大や、中間ステップにおける貪欲な行動へのバイアスを招きます。
推論時の制約: 既存手法では、学習時の反復回数を超えて推論時に計算リソースを増やすことが難しく、推論時の「思考」の拡張が制限されていました。
不安定性: 再帰の深さを増やすと、最適化の不安定性や勾配消失/爆発の問題が発生しやすくなります。

2. 提案手法：Recursive Stem Model (RSM)

本論文は、TRM 風のアーキテクチャを維持しつつ、学習契約（training contract）を根本的に変更した新しい再帰推論モデル「Recursive Stem Model (RSM)」を提案します。RSM の核心は、モデルが特定の深さの軌跡を学習するのではなく、安定した深さ非依存の遷移演算子を学習させることにあります。

主要な技術的革新

履歴の完全な切り離しと終端損失 (Terminal Loss with Detached History)
- 学習中に潜在状態の履歴を完全に切り離し（detach）、損失関数を最終ステップのみに適用します。
- 初期の反復ステップは「ウォームアップ」として扱い、勾配は最終ステップのみに流れます。これにより、モデルは「各ステップで正しくあること」ではなく、「反復適用後に収束すること」を学習します。
独立した深さの成長 (Independent Depth Growth)
- 外側の再帰深さ $H$ （スローサイクル）と内側の計算深さ $L$ （ファストサイクル）を独立して制御します。
- 学習中は浅い深さから始め、段階的に深さを増やすカリキュラム学習を採用することで、学習の安定性を保ちつつ、推論時に任意の深さ（ $H_{test} \gg H_{train}$ ）で実行可能にします。
確率的遷移スキーム (Stochastic Outer-Transition)
- 深さを増やす際に生じる分布シフトや不安定性を緩和するため、外側の遷移ステップに対して「確率的深さ（Stochastic Depth）」を適用します。具体的には、最終ステップへの勾配経路に、直前のステップ（ $H-1$ ）を含めるかどうかを確率的に決定し、最適化を安定化させます。

アーキテクチャ

2 状態の潜在変数:
- $z_L$ （高速状態）：タスク条件付きの計算領域（「思考」を行う高エントロピーな作業領域）。
- $z_H$ （低速状態）：安定化と蓄積を行う領域（「書き留め」やスクラッチパッド的な役割）。
共有遷移演算子: 1 つの小さなネットワーク（TRM 風）が $z_L$ と $z_H$ の両方に繰り返し適用されます。
推論時の収束判定: 推論時には、解が変化しなくなる（固定点に収束する）まで反復を継続できます。収束しない場合は「解に至っていない」という信頼性のシグナルとして機能します。

3. 主要な貢献 (Key Contributions)

学習効率の劇的な向上: TRM と比較して、20 倍以上高速な学習を実現し、誤り率を約 5 倍削減しました。
推論時のスケーラビリティ: 学習時の最大深さ（例：20 回）を大幅に超える推論ステップ（例：20,000 回）を実行可能にしました。これにより、追加の計算リソースを「思考時間」として投入することで精度を向上させることが可能になりました。
アーキテクチャ固有の信頼性シグナル: 反復的な収束プロセスに基づき、モデルが解に「落ち着く（settling）」かどうかを監視できます。収束しない軌跡はハルシネーションの警告として機能し、ドメイン検証器と組み合わせることで実用的な正解チェックが可能になります。
生物学的・熱力学的なアナロジー: 多細胞生物の分化（同じ DNA を持つ細胞が位置と文脈で異なる機能を持つ）や、非平衡熱力学（エントロピーへの抵抗）の概念を、RSM の $z_L$ （探索）と $z_H$ （安定化）の相互作用、および再帰的構造の設計思想に応用し、理論的根拠を深めました。

4. 実験結果 (Results)

単一の A100 GPU で約 1 時間（数独）〜40 分（迷路）の学習で、以下の成果を達成しました。

Sudoku-Extreme: 推論時の計算（Test-time compute）を活用し、97.5% の完全精度を達成。
- 比較：TRM は 12 時間の学習で約 87% でした。
- 特徴：学習時の最大深さ（~20）を超えて推論深さを増やしても精度が低下せず、むしろ向上しました。
Maze-Hard (30x30): アテンションベースの実装で、約 40 分の学習で約 80% の完全精度を達成。
- 学習データセットの限界による過学習が若干残っているものの、モデル自体は迷路タスクを容易に習得できることが示されました。

5. 意義と展望 (Significance)

RSM は、再帰を「推論深度」の源泉として再定義し、以下の点で重要な意義を持ちます。

「学習」と「思考」の分離: 学習は浅く安定させ、推論時に計算リソースを投入する「Train Short / Test Deep」のパラダイムを確立しました。これにより、メモリ制約のある環境でも、必要に応じて深い推論が可能になります。
固定点ソルバーとしての視点: 明示的な勾配伝播なしに、学習された写像の反復適用によって解に収束させるアプローチは、Deep Equilibrium Models (DEQ) やニューラル ODE、拡散モデルの考え方とも通じつつ、独自の訓練戦略（終端損失＋履歴切断）で実用性を高めています。
検証可能な推論: 推論プロセスの「収束性」自体を信頼性の指標として利用可能にするため、 verifier-rich なタスク（論理パズル、コード生成など）において、ハルシネーションを抑制する新しいガードレールとして機能します。

本論文は、計算リソースを効率的に配分し、モデルの「思考」の深さを動的に制御する新しいアーキテクチャ設計の指針を示すものと言えます。