🤖 AI

Probabilistic Tiny Recursive Model

本論文は、反復再帰中にガウスノイズを注入して確率的探索を可能にすることにより小規模モデルの推論能力を強化するタスク非依存フレームワークである確率的微小再帰モデル（PTRM）を導入し、複雑なパズルにおいて最先端のLLMと比較してほぼ2倍の精度を達成しながら、大幅に少ないパラメータ数と再トレーニングなしで実現した。

原著者： Amin Sghaier, Ali Parviz, Alexia Jolicoeur-Martineau

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Amin Sghaier, Ali Parviz, Alexia Jolicoeur-Martineau

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、スudoku や論理グリッドのような複雑なパズルを解くように設計された、小さなロボットを想像してみてください。このロボットは「Tiny Recursive Model（TRM）」と呼ばれ、驚くほど効率的です。ニュースで耳にするような巨大な AI モデルのような莫大な計算能力は必要なく、コンピュータのメモリをそのごく一部しか使いません。

しかし、この小さなロボットには欠点があります。最初の推測に少しばかり自信過剰なのです。一度パズルの思考を始めると、単一の直線的な道筋をたどります。もし誤って「行き止まり」（悪い解）に足を踏み入れてしまうと、その行き止まりを突き進むまで歩き続け、引き返したり別のルートを探したりすることができずに立ち往生してしまいます。これは、道を見ると、その道が崖につながっていても、引き返すメカニズムを持たないため、別の道を探そうとせず、まっすぐ歩き続けてしまうハイカーのようなものです。

新しいアイデア：「確率的」ロボット

この論文の著者たちは、PTRM（Probabilistic Tiny Recursive Model）と呼ばれるアップグレードを導入しました。彼らはロボットに新しいことを教えたり、再学習させたりしたわけではありません。代わりに、テスト中の「思考の仕方」を変えたのです。

以下がその比喩です：

従来の方法（決定論的）：
巨大で暗い迷路の出口を見つけようとしていると想像してください。あなたは1 人の探検家を派遣します。彼らは前へ進み、左に曲がり、右に曲がり、ひたすら進みます。壁にぶつかったら止まります。ループに陥れば、永遠にそこに留まります。出口を見つけるチャンスはたった一度きりです。

新しい方法（PTRM）：
今度は、100 人の探検家を同時に派遣すると想像してください。しかし、ここがポイントです。彼らが一歩踏み出すたびに、あなたは彼らに小さなランダムな「押し」（そよ風のような軽い突き上げ）を与えます。

これらのランダムな押しのおかげで、100 人の探検家は全員が全く同じ道を進むわけではありません。
大半は、単一の探検家と同じ行き止まりに陥ったままかもしれません。
しかし、何人かはちょうど良いタイミングで押し上げられ、隠された扉や出口につながる別の道に偶然たどり着くかもしれません。

100 人の探検家がすべて動きを終えたら、最も一般的な答えを選ぶわけではありません。代わりに、ロボットにはすべての 100 の答えを見て、「これが最も正しそうだ」と判断する内蔵の「審判」（Q ヘッドと呼ばれます）が備わっています。それが勝者を選び出します。

なぜこれが重要なのか

この論文は、複数の「押し」を受けた探検家を派遣するという単純なトリックが驚くほど効果的であることを示しています：

行き止まりからの脱出： ランダムな押しにより、ロボットは元のロボットが永遠に立ち往生してしまう「悪い盆地」（行き止まり）から飛び出すことができます。
安価である： ロボットは小さく（パラメータはわずか 700 万）、世界最大かつ最も高価な AI モデルのほぼ 2 倍のパズル解決能力を持ちながら、実行コストは0.0001% 未満です。
難しいパズルでも機能する：
- Sudoku-Extremeでは、パズル解決率が 87.4% から**98.75%**に向上しました。
- PPBenchと呼ばれる論理パズルのコレクションでは、精度が 62.6% から**91.2%**に跳ね上がりました。これは現在利用可能な最良の単一 AI モデルの精度のほぼ 2 倍であり、上位 7 つの AI モデルをすべて合わせた「チーム」をも凌駕しました。

結論

著者たちは、ロボットは実際には（内蔵の「審判」のおかげで）正しい道筋にあるかどうかを知っているが、元の手法では間違った道を進み始めてしまった場合、正しい道を見つける機会を与えられていなかったことを発見しました。少しのランダム性を加え、パズルを並列に複数回実行することで、何も新しいことを教えることなく、ロボットの潜在能力を最大限に引き出すことができました。

つまり：宝探しに 1 人だけを送るのではなく、少しの混沌を伴った 100 人を送り、最も賢い者に勝者を選ばせなさい。

技術概要：確率的微小再帰モデル（PTRM）

問題提起

微小再帰モデル（TRM）は、複雑な推論タスクにおいて、自己回帰型の大規模言語モデル（LLM）に対する有望なアーキテクチャ的代替案である。トークン系列を生成するのではなく、潜在状態を反復的に洗練させることで、TRM は Sudoku-Extreme や ARC-AGI などのパズルにおいて、桁違いに少ないパラメータ数（例：700 万対数十億）で高い性能を達成する。しかし、標準的な TRM 推論は決定論的である。論文は、決定論的反復がしばしば潜在空間内の「悪い盆地（bad basins）」、すなわちモデルがそこから脱出できない誤った答えにデコードされる領域に陥り込むという重大な限界を特定している。

TRM はこれらの問題を解く潜在的な能力を有しているが、標準的な推論手順は解空間を十分に探索することに失敗する。LLM は、複数の確率的推論経路（例：Chain-of-Thought のバリエーションを介して）をサンプリングし、投票や検証を通じて最良のものを選択することで、テスト時の計算リソースを活用できるのに対し、TRM は再学習やタスク固有の入力摂動なしに多様な経路を生成するメカニズムを欠いている。

手法：確率的 TRM（PTRM）

著者は、既存の「深さ」軸（再帰ステップ数）を補完する新たな「幅」軸を導入する、タスク非依存のテスト時計算スケーリングフレームワークである**確率的 TRM（PTRM）**を提案する。PTRM は、学習手順やモデルアーキテクチャを変更することなく動作する。

中核メカニズム

PTRM は、以下のステップを通じて決定論的 TRM 推論を確率的プロセスに変換する。

確率的ロールアウト：単一の経路の代わりに、モデルは与えられた入力に対して $K$ 個の並列ロールアウトを実行する。
ノイズ注入：各深層再帰ステップ（監督ステップ）において、ガウスノイズ（ $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ ）を潜在状態 $z$ に注入する。この摂動により、異なるロールアウトが異なる経路を探索し、悪い盆地から脱出する可能性が高まる。
Q-Head による選択：元の TRM アーキテクチャには、Q-Head（ $f_Q$ ）が含まれており、これはネットワークと共同で学習され、正解分類器として機能する（学習中の適応的計算時間のために使用される）。PTRM では、この Q-Head を推論時に再利用し、 $K$ 個の候補答えそれぞれにスコアを付与する。最も高い Q 値を持つロールアウトが最終出力として選択される。

主要な相違点

再学習不要：PTRM は任意の事前学習済み TRM チェックポイントに適用可能である。
タスク非依存：タスク固有のデータ拡張や入力摂動を必要としない。
並列化：幅のスケーリング（ $K$ 個のロールアウト）は並列化可能であり、直列である深さの増加よりも実用的なスケーリング軸を提供する。

主要な貢献

潜在盆地の罠の特定：Pencil Puzzle Bench（PPBench）における TRM 経路の分析を通じて、著者は失敗がしばしば悪い盆地内で振動する経路に起因することを示した。また、Q-Head の値がセルの精度と密接に追従し、経路が「良い盆地」に到達したかどうかの信頼できる指標として機能することを示した。
確率的脱出メカニズム：論文は、各再帰ステップでガウスノイズを注入することで、少数のロールアウトが悪い盆地から脱出し、決定論的モデルが見逃す正しい解に収束できることを証明している。
テスト時スケーリングフレームワーク：PTRM は、多くの経路の中から最良の経路を選択するために既存の Q-Head を検証器として活用し、深さだけでなく幅（ $K$ ）を通じて計算をスケーリングする手法を確立する。

実験結果

著者は、決定論的 TRM ベースライン、直接予測モデル、最先端の LLM と比較して、PTRM を複数のベンチマークで評価した。

Pencil Puzzle Bench（PPBench）

性能：PTRM（ $K=100, D=48, \sigma=0.2$ ）は、集計精度を決定論的 TRM の**62.6%から91.2%**に向上させた。
具体的な改善：決定論的ベースラインが苦労したパズルタイプで顕著な改善が観察された。例えば、Sudoku（46.7% $\to$ 97.8%）および Tapa（40.0% $\to$ 80.0%）など。
LLM との比較：PTRM は、最強の単一最先端 LLM（直接戦略）を 56.5 ポイント上回った（91.2% 対 34.7%）。また、完璧な検証器を仮定した 7 つの最強 LLM のアンサンブルを 36 ポイント上回った（91.2% 対 55.1%）。
コスト効率：PTRM は、LLM アンサンブルの0.0001 倍未満のコストでこれらの結果を達成した（正解パズルあたり 0.001 ドル対 38.51 ドル）。

Sudoku-Extreme

PTRM は、決定論的ベースラインの 87.4% を上回る、最先端の**98.75%**の精度（best-Q@K）を達成した。

Maze-Hard および ARC-AGI-2

Maze-Hard：精度は 83.8% から 86.73%（best-Q@K）に向上し、pass@K は 95.63% に達した。
ARC-AGI-2： modest な改善が観察された（pass@1 は 7.36% から 8.47%）。これは、検証が困難なタスクでは、既存の Q-Head が正しい解を区別する能力が限定的であることを示唆している。

意義と主張

論文は、PTRM が小規模な再帰モデルの潜在的推論能力を解き放つための、シンプルで汎用性が高く、極めて効率的な手法であると主張している。確率性を導入し、モデル自身の Q-Head を選択に活用することで、PTRM はより大規模なモデルの学習に伴う計算オーバーヘッドや、タスク固有のエンジニアリングの複雑さなしに、大幅な精度向上を実現する。

著者は、PTRM が一意の解と検証可能な正解性を持つ推論パズルで優れている一方で、その有効性は検証器としての Q-Head の品質に依存すると強調している。Q-Head が正しい経路と誤った経路を区別することに苦労するタスク（例：ARC-AGI-2）では、性能向上はより限定的である。この研究は、将来の改善はロールアウトの幅をスケーリングするだけでなく、より強力な検証器を開発することから得られる可能性を示唆している。

認められた限界：

計算制約により、実験は小さなグリッドサイズを持つ推論パズルに限定されている。
手法の有効性はタスクによって異なり、Sudoku に比べて ARC-AGI-2 や Heyawake では改善幅が小さい。
Q-Head がすべての問題タイプに対して完璧なオラクルとして機能する能力は保証されていない。