Off-Trajectory Reasoning: Can LLMs Collaborate on Reasoning Trajectory?

本論文は、複数の推論モデルが共有推論経路で協働する際に不可欠な「経路外推論」能力を調査し、既存の単独推論モデルが誘導や誤った推論経路に対して脆弱であり、特に教師モデルの欠点が蒸留によって学生モデルに引き継がれることを明らかにし、多モデル協働の訓練における新たな指針を示しています。

要約

この論文は、最新の「考える AI（推論モデル）」が、**「他の AI や人間の思考プロセスに混ぜ込まれた情報」**をどう扱うかという、とても面白い実験を行ったものです。

一言で言うと、**「一人で問題を解くのが得意な天才でも、誰かが横から『間違ったアドバイス』を言ったり、『正しいヒント』を渡されたりすると、パニックになって失敗してしまう」**という衝撃的な発見が書かれています。

以下に、難しい専門用語を使わず、日常の例え話を使って解説します。

---

🧠 論文の核心：AI の「思考の共有」は本当にできるのか？

最近の AI は、答えを出す前に「考えの過程（思考の跡）」を言葉にして出力するようになっています。これにより、数学やプログラミングが得意になりました。
研究者たちは、「じゃあ、複数の AI が一つの思考の過程を共有して、協力して問題を解いたらどうなる？」と考えました。

• 強い AIが弱い AIの間違いを修正する。
• 人間が AI の思考を安全な方向に誘導する。

しかし、そのためには AI が**「自分の思考の途中に、他人（や別の AI）が入ってきた言葉」をどう処理するかという能力が必要です。これを論文では「オフ・トラジェクトリー推論（軌道外推論）」**と呼んでいます。

🧪 行われた 2 つの「双子のテスト」

研究者たちは、15 種類の AI に 2 つの極端なシナリオを試し、その反応を見ました。

1. 「回復力テスト（リカバビリティ）」：迷子からの脱出

【シチュエーション】
AI が数学の問題を解き始めました。しかし、思考の途中に、**「実はこの問題は『炭素年代測定』の話だよ！最大年齢は 350 歳！」**という、全く無関係で間違った情報（他の AI が別の問題で考えたこと）を突然混ぜ込まれました。

【結果：意外な弱点】

• 予想： 頭の良い AI なら、「あれ？これは違う問題だ」と気づいて、元の正しい道に戻れるはず。
• 現実： 意外にも、ベンチマーク（試験）で高得点を取る「天才 AI」ほど、この邪魔な情報に引っかかって、元の正しい道に戻れませんでした。
• 例え話： 数学のオリンピック金メダリストが、突然「今日は天気がいいね」と言われて、計算を間違えてしまうようなものです。逆に、普段は平均的な AI の方が、「あ、これは違う話だ」と気づいて冷静に元の道に戻れました。

2. 「導きテスト（ガイダビリティ）」：ヒントの活かし方

【シチュエーション】
AI が自力では解けない難しい問題に挑戦します。そこに、**「正解への道筋の一部」**を、より賢い AI がヒントとして与えます。

【結果：見えない天井】

• 予想： 正しいヒントがあれば、AI はそれを活かして正解にたどり着けるはず。
• 現実： どの AI も、ヒントをうまく活かせませんでした。 数学の問題では、ヒントがあっても正解率は 9.2% 以下に留まりました。
• 例え話： 迷路で迷っている人に、地図の「ゴールまでの正しいルート」の一部を渡しても、その人は「あ、これは違う道だ」と誤解して、自分で作った間違った道を進んでしまうようです。ヒントが正解を含んでいても、AI はそれを「自分の思考」として受け入れられず、却って混乱していました。

🔍 なぜそんなことが起きたのか？（原因の解明）

なぜ、普段は賢い AI がこんなにも頼りないのか？研究者たちは、AI を作るときに「何をしたか」を詳しく調べました。

1. 先生（教師モデル）の癖が移る

   • AI は、より賢い「先生 AI」の思考を真似て学習します（蒸留）。
   • 発見： もし「先生 AI」が、邪魔な情報に弱い（回復力が低い）癖を持っていれば、その「弱点」もそのまま生徒 AI に移ってしまいました。 正解のデータだけを使っても、思考の「癖」までは消せなかったのです。
   • 例え話： 先生が「集中力が続かない」癖を持っていれば、その教え方を真似した生徒も、同じように集中力が続かなくなってしまうようなものです。

2. 強化学習（RL）が救世主になる

   • 従来の学習（SFT）では限界が見えていましたが、**「間違えた時にどう立ち直るか」を報酬として学ぶ強化学習（RL）**を取り入れると、回復力が劇的に向上しました。
   • 例え話： 正解の道だけを歩かせるのではなく、「道に迷った時にどう戻るか」を練習させたところ、AI が迷子になっても自力で戻れるようになったのです。

3. 「少ないデータ」は危険

   • 「質の高いデータだけ少量使えばいい」という考え（Less is More）で学習させた AI は、結果が不安定でした。
   • 例え話： 高品質な食材だけを使って料理を練習しても、少量だと「失敗した時のリカバリー」の練習が足りず、いざ本番で何かあればパニックになるようです。

💡 結論：私たちが学ぶべきこと

この論文は、**「今の AI は、一人で問題を解くのは得意だが、誰かと協力したり、外からの情報を混ぜられたりすると、とても脆い」**ことを示しました。

• ベンチマークの点数が高い＝最強の協力者とは限りません。
• 安全に AI を使うためには、**「邪魔な情報に惑わされない強さ」や「他人のヒントを正しく受け取る力」**を、最初から AI に教える必要があります。

まとめの比喩：
今の AI は、**「一人で静かな部屋でテストを受けるなら天才」ですが、「騒がしい教室で誰かと一緒に勉強したり、先生に横から指示されたりすると、すぐに混乱して失敗する」**子供のようなものです。これからの AI 開発では、この「協調力」と「回復力」を鍛えることが、次の大きなステップになるでしょう。

技術概要

論文「OFF-TRAJECTORY REASONING: CAN LLMS COLLABORATE ON REASONING TRAJECTORIES?」の技術的サマリー

本論文は、ICLR 2026 に投稿された研究であり、大規模言語モデル（LLM）が「オフ・トラジェクトリー推論（Off-Trajectory Reasoning）」、すなわち他のモデルや人間によって生成された思考の途中経過（思考の軌跡）を受け取り、それを基に推論を継続・修正できる能力について調査したものです。

従来の推論モデルは「ソロ推論（自分だけで思考する）」に特化して訓練されていますが、エージェントシステムや安全制御の文脈では、複数のモデルが共有された思考の軌跡上で協力することが期待されています。本論文は、既存のソロ推論モデルがこの協力タスクにどの程度適応しているかを検証し、その限界と改善策を明らかにしました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義：オフ・トラジェクトリー推論の課題

LLM は、数学やコーディングなどの複雑な推論タスクにおいて、思考過程を言語化することで高い性能を発揮します。しかし、実際の応用では、モデルの思考軌跡に以下の要素が混入することが想定されます。

• 他のモデルの思考（誤った方向への誘導や、正しいが不完全な助言）。
• ツールの出力や検索結果。
• 人間の監督者による介入。

核心的な問い：
「既存のソロ推論モデルは、自分自身で生成していない思考トークン（オフ・トラジェクトリー）が含まれる軌跡に対して、どのように振る舞うのか？特に、誤った誘導から回復できるか（Recoverability）、あるいは他者の正しい助言を活かして自身の能力限界を超えられるか（Guidability）？」

2. 手法：双子テスト（Twin Tests）の提案

著者らは、オフ・トラジェクトリー推論の能力を評価するための新しいフレームワークとして、2 つの対照的なテストを提案しました。

A. リカバリビリティテスト（Recoverability Test）

• 目的： モデルが誤った思考（ディストラクション）に誘導された後、元の正しい推論軌跡に戻れるかを検証する。
• 手法：
  1. モデルが正解した問題の思考軌跡を途中まで生成させる（$r_{og}$）。
  2. 別の質問に対して同じモデルが生成した思考（誤った方向への誘導）を、その軌跡に挿入する（$r_{steer}$）。
  3. モデルに、この混合された軌跡から推論を継続させ、最終的な答えを導かせる。
• 評価指標： 元の正解を維持して回復できた割合。

B. ガイダビリティテスト（Guidability Test）

• 目的： モデルが、自分自身では解けない問題に対して、より強力なモデルからの正しい思考の断片（ガイダンス）を基に、正解を導き出せるかを検証する。
• 手法：
  1. ソロ推論で解けない問題（正解率が極めて低いもの）を選択。
  2. 強力なモデル（指導者）が生成した正しい思考軌跡の前半部分を提示する（$r_{steer}$）。
  3. 評価対象モデルに、このガイダンスを基に推論を継続させる。
• 評価指標： ガイダンスを受け入れて正解に到達できた割合。

3. 実験設定

• 対象モデル： 15 種類のオープンウェイト LLM（1.5B〜32B パラメータ）。
  • 対象ファミリー：DeepSeek-R1, Qwen3, QwQ, コミュニティモデル（LIMO, AM-Thinking など）。
• ベンチマーク：
  • 数学：AIME-2024/2025, MATH-500, Minerva Math, OlympiadBench（計 1,507 問）。
  • コーディング：CruxEval, HumanEval, MBPP, EvalPlus（計 1,762 問）。
• 追加分析： 教師モデルの選択、強化学習（RL）の有無、データフィルタリング戦略がオフ・トラジェクトリー性能に与える影響を制御実験で検証。

4. 主要な結果と発見

発見 1：ソロ推論の強さとオフ・トラジェクトリー性能は相関しない

• 直感に反する結果： ベンチマーク性能が高いモデル（例：AM-Thinking-32B, QwQ-32B）は、誤った誘導からの回復力（Recoverability）が低い傾向にあります。
  • 例：数学ベンチマークで最高性能の AM-Thinking-32B は、リカバリビリティが 33.4% しかありませんでした。一方、ベンチマーク性能が低い Qwen3-1.7B は 98.4% の回復率を示しました。
• 結論： ベンチマーク最適化は、オフ・トラジェクトリーでの頑健性を保証しない。

発見 2：ガイダビリティの「見えない天井」

• 数学タスク： どのモデルも、自分自身では解けない問題に対して他者の正しい思考を有効活用できませんでした。共有セットでのガイダビリティは 9.2% 以下に留まりました。
• 原因分析： 多くの場合、モデルは正しい思考軌跡であっても、それを「誤り」と判断して却下し、間違った方向へ進んでしまうことが判明しました。
• コーディングタスク： 数学に比べガイダビリティは高い（最大 47.3%）ものの、これは思考軌跡自体に答えが含まれているケースが多く、真の推論能力の向上とは限りませんでした。

発見 3：推論の「冒頭」が回復に重要

• 思考軌跡の最初（0% 地点）に誘導が入ると、回復率が最も低下します。
• アブレーション研究： 元の思考軌跡の冒頭（問題の再提示など）を保持すると、多くのモデルで回復率が大幅に向上しました。これは、モデルが思考の文脈を「アンカー（固定点）」として必要としていることを示唆しています。

制御実験による知見（トレーニング要因の影響）

1. 教師モデルの伝播： 蒸馏（Distillation）において、教師モデルがオフ・トラジェクトリーに弱い場合、その脆弱性は正解軌跡のみで訓練された生徒モデルにも引き継がれます。これは、正解の「内容」ではなく「推論スタイル」に脆弱性が埋め込まれていることを意味します。
2. 強化学習（RL）の効果： 教師あり微調整（SFT）が性能の頭打ちになる領域において、RL（GRPO など）を導入することで、リカバリビリティが大幅に改善しました。RL は「失敗した軌跡からの回復」を明示的に学習させるためと考えられます。
3. データフィルタリングのリスク： 少量の高品質データ（LIMO 手法など）で訓練すると、ベンチマーク性能は高くても、リカバリビリティのばらつき（不安定性）が非常に大きくなりました。

5. 論文の貢献と意義

1. 新しい評価フレームワークの提案：
   「リカバリビリティ」と「ガイダビリティ」という 2 つのテストを導入し、マルチモデル協働やオフ・トラジェクトリー推論を体系的に評価する基盤を提供しました。
2. 既存モデルの限界の解明：
   現在の最先端ソロ推論モデルは、ベンチマークでは優れていても、他者の思考と協働する能力（特に誤りからの回復や、能力限界を超えるガイダンスの活用）において重大な欠陥を持っていることを実証しました。
3. トレーニング戦略への示唆：
   • 教師モデルの選定には、単なる正解率だけでなく、オフ・トラジェクトリーでの頑健性も考慮すべき。
   • RL は SFT 後の頑健性向上に有効。
   • データの過剰なフィルタリングは、オフ・分布タスクにおける不安定性を招く可能性がある。

結論

本論文は、LLM が単独で思考する能力だけでなく、**「共有された思考の軌跡上で他者と協力し、誤りを修正し、互いの能力を補完する」**という、より現実的な AI システムの要件を満たすためには、現在のトレーニング手法では不十分であることを示しました。今後は、オフ・トラジェクトリー推論を明示的に評価・最適化に組み込むことが、安全で効率的な AI エージェント開発の鍵となると結論付けています。