Tiny Recursive Reasoning with Mamba-2 Attention Hybrid

本論文は、抽象推論タスクにおいて、Transformer ではなく Mamba-2 を用いたハイブリッド型再帰モデルが、パラメータ数を同等に保ちつつ ARC-AGI-1 の性能を向上させることを実証し、SSM ベースの演算子が再帰的推論の設計において有効な選択肢であることを示しています。

要約

🧠 1. この研究のテーマ：「小さな頭脳」で「深く考える」

昔から、AI（人工知能）が難しい問題を解くには「巨大な脳（パラメータ数）」が必要だと思われていました。でも、最近の研究では、**「脳は小さくても、考える時間を長く取れば、すごいことができる」**ことがわかってきました。

これを**「潜在的反復思考（Latent Recursion）」**と呼びます。

• 従来の方法（トランスフォーマー）： 頭の中で考えながら、声に出して（トークンを出力して）「まずこうで、次にこうで…」と段階的に説明しながら答えを出す。
• この研究の方法： 声に出さず、頭の中だけで何度も何度も考えを深めて（隠れた状態を更新して）、最後に答えだけをポンと出す。

まるで、**「答えを口に出さずに、頭の中で何回もシミュレーションを繰り返してから、結論だけ言う」**ようなイメージです。

🔄 2. 何を変えたのか？「新しい思考エンジン」の導入

これまでの「小さな天才 AI（TRM）」は、**「トランスフォーマー」**というエンジンを使っていました。これは非常に優秀ですが、少し重たいエンジンです。

この論文の著者たちは、**「Mamba-2」**という新しいエンジンを試してみました。

• Mamba-2 の特徴： 非常に軽くて速いエンジンです。情報を「流れるように」処理するのが得意で、**「繰り返し考える（反復）」**という作業自体が、このエンジンの仕組みに最初から組み込まれています。

【アナロジー：車のエンジン】

• トランスフォーマー（旧）： 排気量が大きく、力強いエンジン。一度に多くの情報を処理できるが、少し重たい。
• Mamba-2（新）： 軽量化されたハイブリッドエンジン。特に「連続して走る（シーケンシャルな処理）」のが得意。

著者たちは、「この軽いエンジン（Mamba-2）を、小さな天才 AI に組み込んだら、思考能力は落ちるだろうか？」と疑問を持ちました。

🧩 3. 実験結果：「迷路」で試してみた

彼らは、ARC-AGIという、パズルや論理推理が得意なテスト（まるで子供向けの知能テストのようなもの）で実験を行いました。

🏆 結果：予想以上の好成績！

• 正解率（トップ 1）： 従来のエンジンとほぼ同じレベルでした。（「一番いい答え」を選ぶ能力は落ちませんでした）
• 候補の多さ（トップ 2 やトップ 100）： 大幅に向上しました！

【アナロジー：宝探し】

• 従来の AI： 宝の地図を 100 枚描いて、その中で「一番確実な場所」を 1 つ選びます。
• 新しい AI（Mamba-2 搭載）： 100 枚の地図を描くとき、「正解が含まれている可能性のある場所」をより多くカバーできるようになりました。
  • 一番確実な場所（トップ 1）を選ぶ精度は同じですが、「正解がどこかにある」可能性を高めるのが得意になりました。

つまり、「正解を見つける確率（候補の網羅性）」が上がり、「間違えた答えに固執するリスク」が減ったのです。

🎲 4. なぜそうなったのか？「多様な視点」の力

この結果には面白い理由がありました。

• Mamba-2 の得意分野： 情報を「一方向に流す」のが得意です。
• トランスフォーマーの得意分野： 情報を「全方向から見る」のが得意です。

新しい AI は、この 2 つを混ぜて使っています（ハイブリッド型）。

• 結果： 頭の中で「A という考え」だけでなく、「B という考え」「C という考え」など、多様なアプローチを生み出すようになりました。
• メリット： パズルが難しい場合、一つのアプローチが失敗しても、他のアプローチで正解を見つけられる確率が上がります。

【アナロジー：探偵チーム】

• 旧チーム： 一人の天才探偵が、完璧な推理で答えを出そうとする。
• 新チーム： 一人の天才探偵に、**「軽くて素早い助手（Mamba-2）」**がついた。助手は「もしかしたらこっちかも？」と、次々と新しい仮説を提案する。
  • 結果、チーム全体として「正解にたどり着ける可能性」が格段に高まりました。

📝 5. 結論：何が変わったのか？

この研究は、**「AI の頭脳（アーキテクチャ）を変えるだけで、小さなモデルでもより賢く、多様な答えを出せるようになる」**ことを証明しました。

• 小さなモデルでも、「深く考える（反復する）」仕組みがあれば、巨大なモデルに負けない性能が出せる。
• Mamba-2という新しい技術は、この「考えるプロセス」に非常に適している。
• 正解を選ぶ力はそのままに、**「正解を見つけ出すチャンス」**を大幅に増やせた。

🚀 まとめ

この論文は、**「AI に『もっと考えさせる』ための新しい道具箱」を開けたようなものです。
これまでは「もっと大きな脳（モデル）」を作ろうとしていましたが、これからは「もっと賢い考え方の仕組み（Mamba-2 との組み合わせ）」**を作れば、小さな AI でもすごいことができる、という新しい道を示しました。

まるで、**「重い鎧（トランスフォーマー）を着た騎士」から、「軽やかな忍者の技（Mamba-2）を身につけた小さな忍者」**へと進化させ、同じように、いや、それ以上に「正解という獲物」を捕まえられるようになった、というお話です。

技術概要

論文要約：TINY RECURSIVE REASONING WITH MAMBA-2 ATTENTION HYBRID

本論文は、ICLR 2026 の「Latent & Implicit Thinking Workshop」で発表された研究であり、推論タスクにおける「再帰的推論（Recursive Reasoning）」のアーキテクチャ設計において、従来の Transformer ブロックを Mamba-2 ハイブリッド演算子に置き換えることで、性能を維持・向上させる可能性を検証したものです。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題設定と背景

• 再帰的推論の重要性: 大規模言語モデル（LLM）の推論能力は、単なるモデルの規模拡大ではなく、「推論時間の計算量（Thinking Time）」の増加、すなわち再帰的プロセスに依存しているという見解が広まっています。
• 潜在空間再帰（Latent Recursion）: 従来の Chain-of-Thought（CoT）は可視化された中間トークンを生成しますが、これは文法的なトークンなど推論と無関係な計算を浪費する可能性があります。これに対し、TRM（Tiny Recursive Model）などのアプローチは、中間トークンを出力せず、隠れ状態（Hidden Representation）空間内で反復的に状態を洗練させる「潜在空間再帰」を採用し、極めて小規模なモデル（7M パラメータ）でも ARC-AGI などの抽象推論タスクで高い性能を発揮しています。
• 演算子の選択: 既存の TRM は、各ステップの演算子として Attention 中心の Transformer ブロックを使用しています。しかし、Mamba-2 のような状態空間モデル（SSM）は、その状態空間の再帰（$h_t = a h_{t-1} + B x_t$）自体が「反復的な洗練」の形態をとっており、再帰的推論の基盤として自然な候補です。
• 研究課題: 「Mamba-2 を再帰的フレームワークに導入しても、推論能力は維持されるのか？むしろ向上するか？」という問いに対し、パラメータ数を同等に保った上で検証を行いました。

2. 手法（Methodology）

著者らは、TRM のアーキテクチャを維持しつつ、内部の更新演算子を置き換えた変種モデルを提案しました。

• アーキテクチャ変更:
  • 元の TRM の Transformer ブロック（Attention のみ）を、Mamba-2 と Attention のハイブリッドブロックに置換しました。
  • 具体的には、Mamba-2 → Mamba-2 → Attention → MLP のパイプラインを採用（TR-mamba2attn）。
  • Mamba-2 は因果的（一方向）な処理に優れますが、スudoku や迷路のような空間的依存関係を捉えるには双方向処理が必要です。そのため、Attention ブロックを併用して位置間の情報を混合（Mixing）させています。
• パラメータ整合性:
  • 比較対象となる元の TRM-attn（6.83M パラメータ）と、提案モデル TR-mamba2attn（6.86M パラメータ）でパラメータ数をほぼ同等に保ち、演算子の違いによる影響を純粋に評価しました。
• 正規化の工夫（Post-Norm）:
  • 再帰モデルにおいて、再帰の深さに応じて残差ストリームの大きさが発散するのを防ぐため、残差接続の後に正規化を行う「Post-Norm」を採用しました。これは再帰の安定性に不可欠であると論じています。

3. 主要な貢献（Contributions）

1. 初の Mamba ハイブリッド再帰モデル: 潜在空間再帰を行うモデルとして、初めて Mamba-2 ハイブリッド演算子を採用したモデルを提案しました。
2. ARC-AGI-1 での性能向上: 公式指標である pass@2 で +2.0% の改善（43.88% → 45.88%）を達成し、高 K 値（pass@100 など）でも一貫して上回る結果を示しました。
3. カバレッジ対選択のトレードオフの解明: pass@K パターンの分析を通じて、Mamba-2 ハイブリッドモデルが「候補の多様性（カバレッジ）」を向上させつつ、「トップ 1 の選択精度」を維持していることを実証しました。

4. 実験結果（Results）

評価は ARC-AGI-1、Sudoku-Extreme、Maze-30×30-Hard の 3 つのタスクで行われました。

• ARC-AGI-1（抽象推論）:
  • Pass@2: 45.88%（提案モデル）vs 43.88%（ベースライン）。+2.0% の改善。
  • Pass@100: 65.25% vs 60.50%。+4.75% の大幅な改善。
  • Pass@1: 40.50% vs 40.75%。ほぼ同等（-0.25%）を維持。
  • 解釈: 提案モデルは、正解が候補セットのどこかに含まれる確率（カバレッジ）を高めつつ、最も信頼できる答えを 1 位に選ぶ能力（選択）を損なっていないことが示されました。
• Sudoku（制約充足）:
  • 9x9 のグリッドでは、MLP-t ベースのモデルが最も優れていましたが、Mamba-2 ハイブリッドモデルも Attention 単独モデルより高い性能を示しました。
• Maze（経路探索）:
  • 30x30 の大規模グリッドでは、MLP-t ベースのモデルは失敗（0%）しましたが、Mamba-2 ハイブリッドモデルは 80.6% の精度を達成し、Attention ベース（60.8%）を上回りました。これは、大規模な空間推論において Mamba-2 の逐次処理が有効であることを示唆しています。

5. 考察と意義

• カバレッジ vs 選択のトレードオフ:
  • 分析によると、Mamba-2 ハイブリッドモデルは、より多様な候補（ユニークな解）を生成する傾向があり（投票エントロピーが高い）、正解が候補プールに含まれる確率を高めています。
  • 一方、元の Transformer ベースモデルは、特定の候補への投票が集中しており、トップ 1 の決定力が高い傾向にあります。
  • この結果、難易度の高い問題ではハイブリッドモデルが、易しい問題ではベースラインがわずかに有利になるなど、両者は補完的な強みを持っています。
• 再帰的演算子設計空間の拡大:
  • 本研究は、SSM（状態空間モデル）ベースの演算子が再帰的推論の設計空間において viable（実行可能）な選択肢であることを実証しました。
  • 将来的には、Mamba-2 の「内部再帰」を再帰ループそのものに統合し、より効率的な推論を実現する可能性が示唆されています。

結論

本論文は、Mamba-2 ハイブリッド演算子を Tiny Recursive Model に導入することで、推論能力を維持・向上させられることを実証しました。特に、正解の「発見確率（カバレッジ）」を高める一方で「選択精度」を損なわないという特性は、推論タスクにおける新しい設計指針となり得ます。これは、推論タスクにおける「より多くの思考時間」を、効率的な SSM 構造とどう組み合わせるかという、今後の研究の第一歩となります。