💬 NLP

AdaTIR: Adaptive Tool-Integrated Reasoning via Difficulty-Aware Policy Optimization

AdaTIRは、難易度を考慮した方策最適化とクリップド・アドバンテージ・シェーピングを採用することで、単純なタスクに対しては推論を動的に内面化し、複雑なタスクに対しては選択的にツールを呼び出すように大規模言語モデルエージェントを強化し、精度を損なうことなく冗長なツール呼び出しを劇的に削減するフレームワークである。

原著者： Zhaiyu Fang, Ruipeng Sun

公開日 2026-01-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhaiyu Fang, Ruipeng Sun

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、非常に優秀ですが、少し前のめりすぎるアシスタントを抱えています。そのアシスタントはパズルを解こうとしています。彼には強力な計算機と検索エンジンがすぐ手に届くところにあります。問題は、このアシスタントが、どんなに単純な作業であっても、それらのツールを何にでも使おうとしてしまうことです。

もしあなたが「2足す2は？」と尋ねたら、アシスタントは即座に計算機を取り出し、数値を入力し、結果が出るのを待ってから答えを教えるでしょう。答えは正しいのですが、これは時間とエネルギーの無駄です。さらに悪いことに、もし計算機が故障したり変なエラーを出したりしたら、アシスタントは混乱して、自分で考える代わりに、数学の問題を解くのではなく計算機の「修理」に没頭してしまうかもしれません。これが、論文で呼ばれている**「認知的オフローディング（認知的な肩代わり）」**です。つまり、ツールを使わなくても済む場面でさえ、脳の仕事をツールに丸投げしてしまうことです。

この論文は、これを解決するための新しい学習手法であるAdaTIRを紹介しています。以下に、日常的な例えを用いてその仕組みを説明します。

1. 「難易度感知型」のコーチ

あなたの助手（アシスタント）が問題を解く様子を見守るコーチを想像してください。

従来の方法： コーチは、「計算機を使うな！」とあらゆる問題に対して指示を出していました。しかし、これは悪いアイデアです。もし問題が非常に難しい場合（複雑な物理方程式など）、アシスタントには計算機が必要です。完全に禁止してしまうと、アシスタントは失敗してしまいます。
AdaTIRの方法： このコーチは賢いです。コーチは「2足す2」のような問題と、「ロケット科学」のような問題の違いを見分けることができます。
- 単純なタスクに対して： コーチは言います。「計算機を片付けなさい！自分の頭を使いなさい。」これにより、アシスタントは内部的に計算を行う方法を強制的に学習します。
- 難しいタスクに対して： コーチは言います。「よし、これは難しいぞ。計算機を使っていいぞ。」

これが**難易度認識型ポリシー（Difficulty-Aware Policy）**です。これは、アシスタントが効率的になれるよう教えるものです。簡単なことは頭の中で行い、重たい作業のためにツールを温存するのです。

2. 「セーフティネット」（Clipped Advantage Shaping）

これまでの試みには、ある大きな問題がありました。時として、学習がうまくいかなくなることがあったのです。

想像してみてください。アシスタントが難しい数学の問題を計算機を使って正解したとします。しかし、学習システム（効率性を厳格に求めようとするシステム）は、「待て、ツールを使ったな！これはペナルティだ。減点だ」と判定してしまいます。

これは混乱を招くシグナルを生みます。「正解したのに、ツールを使ったという理由で罰せられる」という状況です。これは、学生が指ではなく鉛筆を使って難しい方程式を解いただけで、教師が「F（不可）」をつけるようなものです。アシスタントは混乱し、効率性を追求することをやめるか、あるいは「ツールのペナルティ」を避けるために、あえて間違った行動をとるようになってしまいます。

論文では、Clipped Advantage Shaping (CAS) という巧妙なトリックでこの問題を解決しています。これは**「セーフティネット」**のようなものです。

システムはこう言います。「正解することが最も重要だ。まずは必ず正しい答えを出さなければならない。」
「効率性」によるボーナス（またはペナルティ）は、ごくわずかに変動することしか許されません。それが「正解らしさ」のシグナルを上書きしてしまうほど強力になってはいけません。
結果： アシスタントは、正解を出すことがメインの目標であることを学びます。正解に自信が持てるようになってから、初めてツールの使用を減らそうと試みるのです。これにより、学習が破綻したり、アシスタントが混乱したりすることを防ぎます。

3. 結果：より賢く、より速いアシスタント

論文では、単純な算術から非常に難しい競技レベルの数学まで、幅広い数学の問題でテストを行いました。

単純なタスクにおいて： アシスタントはツールの使用をほとんど停止しました（ツール呼び出しが最大97.6%減少）。彼らは、自分の「頭の中」（モデルの内部論理）で計算を行うことを学びました。
難しいタスクにおいて： アシスタントは必要な時には依然としてツールを使用しましたが、より賢く使うようになりました。自分で解決できることに対して、時間を浪費してツールを呼び出すことはなくなりました。
「ツールなし」テスト： 最も印象的な部分はどこでしょうか？研究者がツールを完全に取り上げ、「計算機は一切使えない」と言ったとき、AdaTIRのアシスタントは、以前のアシスタントよりも難しい問題を解く能力が向上していたのです。これは、アシスタントが単に計算機を「杖（つえ）」として頼っていたのではなく、実際に推論スキルを習得したことを証明しています。

まとめ

AdaTIRは、生徒に自立を教えるようなものです。

単純な足し算で計算機を使うのをやめさせます。
複雑な微積分には計算機を使うことを許可します。
ツールを使ったという理由だけで、正解に対して罰せられることがないようにします。

その結果、より速く、コストも低く、そして単にボタンを押すのではなく「自分で考えること」を学んだ、真に賢いAIが誕生するのです。

技術要約: AdaTIR

問題提起

ツール統合型推論（Tool-Integrated Reasoning: TIR）は、複雑なタスクにおける大規模言語モデル（LLM）の能力を大幅に向上させてきましたが、現在のエージェントには「認知的オフローディング（cognitive offloading）」という病理的な傾向が見られます。この現象は、内部的な推論によって解決できる単純なタスクに対しても、外部ツールを冗長に呼び出してしまうことを指します。この挙動は、不必要なレイテンシを発生させ、環境ノイズを導入し、モデル固有の推論の一貫性を低下させるリスクがあります。

この問題を軽減しようとする既存のアプローチには、以下のような決定的な限界があります：

推論時の制約（例：プロンプトレベルの制限）は、モデルが内部化された論理を欠いている場合、コンテキストのドリフトや推論の行き止まりを引き起こすことがよくあります。
学習時の報酬シェーピング（例：無差別なペナルティ）は、ジレンマを生み出します。単純なタスクにおける冗長性を抑制するほど強力なペナルティを課すと、外部の支援を必要とする複雑なタスクを解決するモデルの能力を、意図せず損なってしまうことがあります。
符号反転問題（Sign Reversal Problem）: 素朴な報酬シェーピングでは、効率性のペナルティが正解報酬を上回ってしまうことがあります。学習が進み、グループ内のロールアウトが安定して正解するようになると、精度に基づくアドバンテージ信号が減衰します。その結果、平均以上のツール使用を伴う正解のロールアウトに対して負のアドバンテージが付与され、有効な推論パスが抑制され、学習の不安定化やモード崩壊を引き起こします。

手法: AdaTIR

著者らは、静的なツール呼び出しから難易度に応じた推論の内部化（difficulty-aware reasoning internalization）へとパラダイムを転換するフレームワークであるAdaTIR（Adaptive Tool-Integrated Reasoning）を提案しています。このフレームワークは、「ツールの呼び出しは本質的に難易度に依存すべきである」という核心的な洞察に基づいています。

1. 難易度を考慮した効率性報酬

AdaTIRは、静的なペナルティを適用するのではなく、タスクの複雑さに基づいてツール予算を動的に調整します。

外的な難易度推定: タスクの難易度（ $\phi_q$ ）は、学習バッチ内におけるグループ成功率の補数として推定されます。低い $\phi_q$ は単純なタスクを、高い $\phi_q$ は複雑なタスクを示します。
条件付きペナルティ: 正解の軌跡に対してのみ、サインベースのペナルティ係数が適用されますが、これは単純なタスク（ $\phi_q < \phi_{low}$ ）においてのみ適用されます。
- 単純なタスクでは、モデルは冗長なツール使用に対してペナルティを受け、推論の内部化を強制されます。
- 複雑なタスクでは、制約が緩和され、必要な場合に外部ツールを活用する堅牢性が維持されるように設計されています。
- この設計により、正解性が主要な目的であり続け、「報酬ハッキング」を防ぎます。

2. クリップされたアドバンテージ・シェーピング（Clipped Advantage Shaping: CAS）

符号反転問題と学習の不安定性を解決するために、著者らは**クリップされたアドバンテージ・シェーピング（CAS）**を導入しました。これはスカラー報酬を直接修正するのではなく、Group Relative Policy Optimization（GRPO）の目的関数におけるアドバンテージ項を再定式化するものです。

デカップリング（分離）: アドバンテージを、精度成分（ $A_{acc}$ ）と効率性成分（ $A_{eff}$ ）に分割します。
クリッピング機構: 効率性の信号は、精度信号に対してクリップされます：
$A^{CAS}_i = A^{acc}_i + r_{acc,i} \cdot \beta \cdot \text{clip}(A^{eff}_i, -\delta|A^{acc}_i| - \eta, \delta|A^{acc}_i| + \eta)$
符号の保持: アドバンテージを精度の利得に対して制限することで、CASは正解の軌跡が常に正のアドバンテージを維持する（あるいは効率性のコストによる大きな負のアドバンテージを受けない）ことを保証します。これにより、有効な推論パスが抑制されるような、不適切な状態へのポリシーの崩壊を防ぎます。

主な貢献

AdaTIRフレームワーク: 難易度に応じたポリシーにより、ツール呼び出しを適応的に制御し、単純なタスクにおける「認知的オフローディング」を効果的に抑制しつつ、複雑なタスクに対する柔軟性を維持します。
クリップされたアドバンテージ・シェーピング（CAS）: アドバンテージ項の数学的な再定式化により、符号の一貫性を維持し、素朴な報酬シェーピングで頻繁に見られる学習の不安定性とモード崩壊を解決します。
推論の内部化: モデルが推論能力を正常に内部化できることを実証し、ツールアクセスが厳格に禁止されている場合でも、ベースラインを上回る性能を発揮することを示しました。

実験結果

本手法は、Qwen2.5-3BおよびQwen2.5-7Bバックボーンを用い、数学的推論ベンチマーク（AIME 2024/2025, AMC23, GSM8K）で評価されました。

効率性の向上: AdaTIRは、ベースラインと比較して、単純なタスク（GSM8K）で最大97.6%、複雑な課題（AIME 2024）で28.2%、平均ツール呼び出し回数（ATC）を削減しました。
精度の維持: 本手法はすべてのベンチマークにおいて精度を維持または向上させました。特にAIME 2024において、AdaTIR-7Bはツール使用量を削減しながら、精度を3.3%絶対値で向上させました（33.8% $\to$ 37.1%）。
内部化: 予算感度分析（ツール呼び出しを0に設定した場合）において、AdaTIRはAIME 2024でベースラインを**4.8%**上回り、モデルがツールへの依存関係を形成するのではなく、推論能力を内部化していることを裏付けました。
OTCとの比較: AdaTIRは、精度とツール生産性（TP）の両面でOTC（Overuse Tool Control）ベースラインを上回り、OTCで見られた性能低下（例：Exact Matchの14.2%低下）を回避しました。

意義と主張

本論文は、エージェント的推論における効率性と堅牢性のバランスを取るという根本的な課題に対し、AdaTIRが成功裏に対処したと主張しています。計算資源の支出をタスクの難易度に適合させることで、本フレームワークはコスト・パフォーマンスのパレート境界を押し上げます。

著者らは、このアプローチが推論能力の内部化を促進し、モデルがツール拡張スキルを自身のパラメータへと蒸留することを可能にすると強調しています。これにより、リソース制約下での適応的な推論が可能になり、現在のエージェントを悩ませている「認知的オフローディング」を軽減できます。CASの導入は、エージェンティックな推論タスクにおける安定した学習のための重要な前提条件として位置付けられており、効率性の最適化が正解性や学習の安定性を犠牲にしないことを保証しています。

主な評価は数学的推論に焦点を当てていますが、検索ベースのQA（Search-R1）に関する予備的な結果は、一般的な知識の検索を内部化するといった、他のドメインへの汎用性の可能性を示唆しています。ただし、著者らは、オープンエンドなコーディングにおけるより広範な検証の必要性と、ヒューリスティックな難易度推定への依存という限界についても謙虚に述べています。