🤖 machine learning

Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models

本論文は、ヤコビアンスペクトル半径正則化によって潜在状態を漸近安定な固定点に制約することで、ループ型言語モデルにおける再帰的ダイナミクスを安定化させるトレーニングフレームワーク STARS を導入し、それによって複雑な推論タスクにおける信頼性の高いテスト時スケーリングと性能向上を実現するものである。

原著者： Xiao-Wen Yang, Ziyu Han, Xi-Hua Zhang, Wen-Da Wei, Jie-Jing Shao, Lan-Zhe Guo, Yu-Feng Li

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiao-Wen Yang, Ziyu Han, Xi-Hua Zhang, Wen-Da Wei, Jie-Jing Shao, Lan-Zhe Guo, Yu-Feng Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「ループ型言語モデルにおけるテスト時スケーラブルな潜在推論のための再帰的ダイナミクスの安定化」と題された論文の解説を、平易な言葉と創造的な比喩を用いて以下に示します。

大きな問題：狂気じみた「思考ループ」

大規模言語モデル（LLM）を、難しい数学の問題を解こうとする優秀な生徒だと想像してください。通常、問題を解くために、その生徒は紙に長い思考の連鎖を書き出します（これは「思考の連鎖」と呼ばれます）。

最近、研究者たちは**ループ型言語モデル（LoopLMs）**という新しいアプローチを試みました。長い思考の連鎖を書く代わりに、この生徒にはたった一枚の紙が与えられ、次のように指示されます。「自分の答えを読み、それについて考え、新しいバージョンを書き、それをまた読み、再度考え、このプロセスを 10 回繰り返せ」。

このアイデアは、同じ脳を何度も「ループ」させることで、生徒は各パスごとにますます賢くなり、より多くの紙や時間を必要とせずに答えを洗練させるというものです。

しかし、問題点があります：
この論文は、このループがしばしば破綻することを発見しました。

頂点： 最初は、生徒は上達します。答えが改善されます。
崩壊： しかし、生徒にループを多すぎる回数（4 回ではなく 8 回や 10 回など）行わせるよう求めると、答えは突然ひどいものになります。生徒は幻覚を見始めたり、混乱したり、数値が暴走したりします。

著者たちはこれを**「信頼性の低いテスト時スケーリング」**と呼んでいます。モデルに考える時間（より多くのループ）を与えても、賢くなるのではなく、混沌としてしまうのです。

診断：なぜループは破綻するのか？

研究者たちは、力学系（時間とともに物事がどのように変化するかを研究する数学の一分野）というレンズを通して、これらのモデルの「内部機構」を調査しました。彼らは、シーソーのような根本的なトレードオフを発見しました。

「野生」の生徒（内部正規化）： 一部のモデルは、情報が自由に流れるように設計されています。これは深く考える（効果的である）ためには素晴らしいですが、生徒の「思考」（内部の数値）は、爆発するまでループごとに大きくなり続けます。スピーカーに近づきすぎたマイクのようであり、音が大きくなり続け、最終的に耳障りなノイズで静寂に陥ります。
「固執」する生徒（外部正規化）： 他のモデルは、数値を小さく安全に保つために強く抑制します（安定性）。しかし、これにより生徒は慎重になりすぎます。深く考えを巡らせるのをやめ、浅い思考を繰り返すだけになります。安全には留まりますが、難しい問題を解決することは決してありません。

結論： 既存のモデルは、野生すぎて（不安定）か、慎重すぎて（非効果的）かのどちらかです。両方を同時に達成することはできません。

解決策：STARS（「安定した思考」フレームワーク）

著者たちは、STARS（STAbility-driven Recurrent Scaling：安定性駆動型再帰スケーリング）と呼ばれる新しい学習手法を提案しています。

モデルの思考プロセスを、丘を転がるボールだと考えてみてください。

目標： ボールが丘を下って底（正解）まで転がり、そこで止まることです。
問題： 現在のモデルでは、ボールは世界の端から転がり落ちる（爆発する）か、丘の途中で平坦な部分に立ち往生する（浅い思考）かのどちらかです。

STARS がそれをどのように修正するか：
STARS は、ヤコビアンスペクトル半径正則化と呼ばれる数学的なツールを使用します。これは言いにくいですが、簡単なバージョンは以下の通りです。

「速度制限」の標識： 研究者たちは、モデルが各ステップで自分の「速度」をチェックするように教えます。ボールを前方に押し進める「力」が強すぎないことを保証します。
「収束」効果： モデルが、ループするたびに最終的な答えから遠ざかるのではなく、近づいていくように学習することを強制します。数学的には、丘の「傾斜」が常に安定した休息地点（固定点）を指すように保証します。
ランダムな練習： 彼らはまた、モデルにトレーニング中に異なるループ数（時には 2 回、時には 10 回など）で練習させます。これにより、モデルが特定のループ数を暗記することを防ぎ、どれほど長く思考しても自己を安定化させる方法を学習することを強制します。

結果：信頼できる思考者

この論文は、以下の 2 つのことでこれをテストしました。

簡単な数学： 大きな数の足し算。
難しい数学： 複雑な推論問題（GSM8K データセットなど）。

何が起こりましたか？

旧モデル： 8 ループで考えるよう求められた場合、精度は急激に低下しました。彼らは崩壊しました。
STARS モデル：
- 最高のパフォーマンスの頂点に達しました（より速く賢くなりました）。
- 重要なのは、8 回、10 回など、より多くのループで考えるよう強制された場合でも、崩壊しなかったことです。安定していました。精度はわずかに低下しただけで、崩壊はしませんでした。

要点

この論文は、コンピュータが自身の出力をループさせて「思考」するためには、安定性を保つように訓練される必要があると主張しています。優れた思考者が正気を失うことなくアイデアを洗練させる必要があるのと同様に、STARS は AI に、どれほど長く思考を費やしても、内部の思考を整理し、真実へと収束させる方法を教えています。

要約すると： STARS は、AI に考える時間をより与えたときに狂気じみた状態になるのを防ぎ、その推論能力を信頼性高くスケーリング可能にします。

技術的概要：ループ型言語モデルにおけるテスト時スケーラブルな潜在推論のための再帰的ダイナミクスの安定化

1. 問題定義

ループ型言語モデル（LoopLM）は、共有パラメータを備えた深さの再帰を通じて大規模言語モデル（LLM）を強化するための有望なパラダイムを表す。このアーキテクチャは、推論中のコンテキストウィンドウやパラメータ数の拡張を回避することで計算効率の向上を図り、人間に似た潜在推論プロセスの模倣を目指す。しかし、著者らは既存の LoopLM に重大な失敗モード、すなわちテスト時スケーリングの不安定性を特定した。

理論的な目標は、再帰反復の増加に伴って潜在表現が漸進的に洗練されることであるが、実証的観察（Ouro-1.4B モデルなど）によれば、性能は特定の反復深さでピークに達した後、再帰が続くにつれて崩壊することが多い。本論文はこの現象を、有効性（情報の伝達と深層推論を行う能力）と安定性（潜在軌道の有界性）の間に存在する、これまで見過ごされてきた本質的なトレードオフに起因すると帰結している。

内部正規化（例：Pre-Norm）： 情報フロー（有効性）を維持するが、隠れ状態が指数関数的に増大し、軌道の発散と性能の崩壊を招く。
外部正規化（例：Post-Norm）： 有界な状態（安定性）を保証するが、しばしば浅い推論や不適切な固定点にシステムを制限し、深層の潜在推論を支えることができない。

補助的な Prelude/Coda レイヤー、L2 正則化、またはランダムなループサンプリングといった標準的な解決策は、この行き詰まりを解消するには不十分であることが判明した。

2. 手法：STARS フレームワーク

潜在ダイナミクスの不安定性に対処するため、著者らはSTARS（STAbility-driven Recurrent Scaling：安定性駆動型再帰スケーリング）と呼ばれる統合的な学習フレームワークを提案する。核心的な洞察は、効果的な潜在推論には、有効性を維持しつつ隠れ状態が漸近的に安定な固定点へ収束することが必要であるという点にある。

2.1 理論的基盤

このアプローチは力学系理論に基づいている。著者らは再帰変換を離散時間力学系 $h^{(t+1)} = \Phi_\theta(h^{(t)})$ としてモデル化する。リャプノフ線形化定理によれば、固定点の局所安定性は、システムのヤコビアン行列 $J$ のスペクトル半径（ $\rho$ ）によって決定される。

$\rho(J) < 1$ の場合、固定点は漸近的に安定であり（摂動は減衰する）、
$\rho(J) \geq 1$ の場合、システムは振動するか発散する可能性がある。

2.2 ヤコビアンスペクトル半径正則化（JSRR）

STARS は、トレーニング中にヤコビアン行列のスペクトル半径を制約して $\rho(J) < 1$ を保証する正則化項を導入する。

効率性の課題： 大規模モデルに対する固有値の直接計算は計算量的に実行不可能である。
解決策： 著者らは、単一ステップのべき乗法と**ヤコビアン・ベクトル積（JVP）**を組み合わせた軽量な推定手法を採用する。これにより完全なヤコビアン行列を構築することなく、スペクトル半径の効率的な推定（ $\rho(J) \approx \|Jv\|_2$ ）が可能となる。
実装： 正則化は、トレーニング中に正確な固定点の特定が計算的に不可能であるため、ループ内の特定の反復 $t$ においてプロキシとして適用される。

2.3 ランダムループサンプリングとの統合

単一の点だけでなく、推論軌道全体におけるグローバルな安定性を保証するため、STARS は JSRR をランダムループサンプリングと統合する。トレーニング中、再帰反復数 $t$ は分布（例：対数正規分布）からサンプリングされる。最終的なトレーニング目的関数は、標準的な教師あり微調整（SFT）損失と JSRR 損失の重み付き組み合わせである：
$\mathcal{L}_{STARS} = \mathbb{E}_{t \sim P} \left[ (1 - \lambda) \cdot \mathcal{L}_{SFT}^{(t)} + \lambda \cdot \mathcal{L}_{JSRR}^{(t)} \right]$
これにより、モデルは反復推論中に遭遇する潜在状態の全サポート集合にわたり、小さなスペクトル半径を維持することが促される。

3. 主要な貢献

診断分析： 本論文は LoopLM の潜在軌道に関する体系的な診断研究を提供し、正規化の配置（内部対外部）によって引き起こされる安定性と有効性の間の解決不可能なトレードオフを特定した。
STARS フレームワーク： ヤコビアンスペクトル半径正則化を通じて漸近的安定性を強制する学習フレームワークの提案。これにより数学的にモデルを安定な固定点へ収束させる。
効率的な正則化： 単一ステップのべき乗法と JVP を用いた、メモリを考慮した効率的なスペクトル半径推定器の開発。これにより大規模言語モデルへのスケーラビリティが実現された。
実証的検証： STARS が合成算術タスクと複雑な数学的推論ベンチマークの両方で信頼性の高いテスト時スケーリングを達成し、既存のベースラインと比較して深い再帰レベルにおける性能低下を大幅に緩和することを示した。

4. 実験結果

著者らは STARS を 2 つの主要タスクで評価した。

4.1 多桁加算（合成タスク）

設定： 4 桁の加算でトレーニングされたランダム初期化のトランスフォーマ。
結果： STARS でトレーニングされたモデルは、すべての再帰ステップで一貫して100% の精度を達成した。潜在状態は高速な収束率で安定した固定点へ収束し、完全に信頼性の高いテスト時スケーリングを実証した。対照的に、ベースラインは反復の増加に伴い性能が崩壊した。

4.2 数学的推論（実世界タスク）

設定： 事前学習済みのOuro-1.4Bモデルを NuminaMath-1.5 データセットで微調整。
ベースライン： 標準的な Ouro-1.4B と、標準的な SFT を施した Ouro-1.4B。
結果：
- ピーク性能： STARS は GSM8K において（4 再帰ステップで）**74.18%**の平均精度のピークを達成し、SFT ベースライン（70.46%）を上回った。
- スケーリング安定性： 8 再帰ステップへスケーリングした際、SFT ベースラインの性能は**52.97%まで崩壊し（ピークから 20.47% の低下）、対照的に STARS は8.26%のみ低下し、平均精度65.55%**を維持した。
- 汎化性： STARS は他のベンチマーク（MATH500、ASDiv、SVAMP、AMC23）においても優れた頑健性を示し、深い再帰深度において一貫してベースラインを上回った。

5. 意義と主張

本論文は、STARS が現在の LoopLM アーキテクチャにおける根本的な不安定性を解決し、信頼性の高いテスト時スケーラブルな潜在推論を可能にすると主張する。推論を安定した固定点へ収束しなければならない不確実性の減少の反復プロセスとして概念化することで、著者らは高い有効性と厳密な安定性を同時に達成することが可能であることを示した。

その意義は、モデルが以前の LoopLM で観察された性能崩壊を被ることなく、より深い再帰を通じて計算リソースを活用することを可能にする、数学的に裏付けられた学習フレームワークを提供する点にある。著者らはこれを、新しいアプリケーションやデータセットを導入することなく、特に推論タスクにおける再帰型言語モデルアーキテクチャの安定性とスケーリング挙動を改善するための方法論的進歩として位置づけている。