人工知能の世界において、より小さく高速なコンピュータプログラムに複雑なタスクを実行させるための一般的な方法は、より大規模で賢いプログラムにそのやり方を見せることです。蒸留（distillation）として知られるこのプロセスは、熟練した職人が弟子に完璧な技術を教える様子に似ています。弟子は師匠の成功した試行を観察し、それを模倣することを学びます。しかし、この手法には盲点があります。もし師匠がミスをした場合、弟子はその試行を単に無視し、次の成功したデモンストレーションを待つのです。ツール呼び出し（tool-calling）という特定の分野、つまりAIがデータベースの確認やメッセージの送信といった問題を解決するために、どのデジタルツールを使用するかを決定しなければならない場面において、これは大きな溝を生み出します。最も困難な問題は、多くの場合、師匠がもう少しで成功するところで、最後の最後の一歩で失敗してしまうようなケースです。標準的な学習方法では、こうした「惜しい失敗」を破棄してしまうため、弟子はその失敗を引き起こした特定の意思決定ポイントをどのように乗り越えるべきかを学ぶことができず、結果としてAIが最も難しいシナリオを解決できなくなってしまうのです。
Appleの研究者たちは、この溝を埋めるために「PROOF-Gen」と呼ばれる新しい手法を開発しました。失敗した試行を捨て去る代わりに、彼らはそれらを貴重な学習機会として扱います。マスタープログラムがタスクに失敗したとき、さらに高度な第2のプログラムが「内省的なコーチ」として機能します。このコーチは、一連のアクションと最終的なエラーを分析し、どこで間違えたのかを正確に特定します。そして、その全く同じ問題に対してマスターを再び導くための、具体的な指示のセット、すなわち「ガイド」を作成します。マスタープログラムは、このコーチによる新しい助言に従って、もう一度タスクに挑戦します。もし成功すれば、その成功した経路が新しいレッスンとして保存されます。極めて重要なのは、この新しいレッスンを弟子に見せる前に、ガイドが取り除かれることです。これにより、弟子はヒントを暗記するのではなく、純粋な成功のプロセスのみからスキルを学び取ることができます。これにより、弟子は特定のヒントを覚えるのではなく、スキルそのものを習得できるのです。
このアプローチによる結果は驚くべきものです。カスタマーサービスでのやり取りをシミュレートするように設計されたベンチマークを用いたテストでは、失敗を破棄するという標準的な手法では、マスタープログラムの成功率はわずか約7パーセントにとどまりました。新しい手法は、マスターが元々失敗していたタスクの93パーセントにおいて、成功した解決策を回収することに成功しました。より小さなAIモデルをこの拡張されたレッスンのコレクションで訓練したところ、タスクを完了する能力が劇的に向上しました。あるモデルはタスクの解決率を13パーセントから53パーセントへと跳ね上げ、別のモデルも同様の飛躍を見せました。研究者たちは、この向上は容易な部分の精度が高まったからではなく、困難な意思決定ポイントにおける正しい経路を学んだことによるものであることを確認しました。実際、あらかじめ選別された容易な成功例のみで訓練した場合、モデルの個々のツール呼び出しの能力は向上しましたが、タスク全体を完了させる能力には寄与しませんでした。回収された困難な例を含めることによって初めて、モデルはタスク全体を完遂する方法を学んだのです。
また、この手法は、AIの話し方や振る舞いを変えることなくAIシステムをアップグレードしたい企業にとって、実用的な利点をもたらします。最終的なレッスンからはコーチング用の指示が取り除かれているため、AIは強力なコーチの持つ問題解決能力を学びつつ、元のマスタープログラムの自然な声やスタイルを維持することができます。研究者たちが、カスタマーサービスで使用されている実際のプロダクションシステムでこれをテストしたところ、この手法によってAIの成功率は6.3パーセントポイント向上しました。これらの成果は、数十もの異なる言語や地域においても有効であり、失敗から回復する能力は、特定の言語や文化的背景に依存しない普遍的なスキルであることを示しています。失敗を構造化された学習プロセスに変えることで、研究者たちは、より賢いAIへの道は、単に完璧な例を見つけることではなく、不完全な例を理解し修正することにあることを証明したのです。
技術サマリー: PROOF-Gen
問題提起
ツール呼び出し能力をデプロイ可能なモデルに蒸留するための標準的なパイプラインは、フロンティア「教師（teacher）」モデルによって生成された軌跡を用いた**教師あり微調整（SFT）**に依存しています。このプロセスでは、通常、「生成およびフィルタリング（generate-and-filter）」メカニメントが採用されます。すなわち、教師モデルがタスクを試行し、検証器（verifier）がその軌跡をスコアリングし、合格した軌跡のみが学習用に保持されます。
本論文は、このアプローチにおける決定的なカバレッジの欠落を特定しています：
- バイナリ・フィルタリングによる「惜しい失敗」の破棄: 実行ベースの検証において、必要なツール呼び出しの90%を正しく完了しているものの、たった一つの決定的なアクション（例：状態に依存する意思決定ポイント）で失敗した軌跡は、完全に破棄されてしまいます。
- 失敗からのシグナルの欠如: τ2-benchにおいて、教師の試行の57%が失敗しており、その3分の2は、ツール呼び出しの精度は高いものの、最終的な環境またはデータベースの状態が誤っているという「惜しい失敗（near-misses）」でした。
- 部分的なクレジットの無効性: フィルタリングされたデータでの学習や、ターンレベルの部分的な報酬（partial rewards）の使用は、中間的なアクションの精度を向上させますが、エンドツーエンドのタスク完了を改善することには失敗します。学生（student）モデルは、教師が失敗した特定の意思決定ポイントをナビゲートする、完全で成功した軌跡を観察することができないからです。
- 確率的サンプリングの限界: 単にサンプリング数を増やしたり温度（temperature）を上げたりしても、確率的なエラーは回復できますが、戦略的な失敗は回復できません。これらの失敗は、同じ教師からの再サンプリングにおいても持続的に発生します。
手法: PROOF-Gen
著者らは、教師の失敗を破棄するのではなく、失敗から「黄金の（golden）」軌跡を回収する手法であるPROOF-Gen（Per-scenario Reflective Optimization to Overcome Failed Generation）を導入しています。このパイプラインは、標準的なプロンプト最適化の目的を逆転させています。すなわち、単一のプロンプトが複数のタスクに汎用化することを目指すのではなく、単一のシナリオに対してプロンプトを最適化して強制的に合格軌跡を作り出し、その後そのプロンプトを破棄するというものです。
プロセスは主に3つのステージで構成されます：
シナリオごとのリカバリー・ループ:
- 教師（例：GPT-4o）が失敗した各タスクに対して、リフレクター・モデル（reflector model）（より強力なフロンティアモデル、例：GPT-5.1）が、失敗した実行トレースと検証器のフィードバックを分析します。
- リフレクターは**「チートシート（cheatsheet）」**を生成します。これは、自然言語によるガイダンス（診断、手順、ツールの順序付けなど）のブロックであり、その特定のタスクにおける教師のシステムプロンプトに付加されます。
- 教師はそのチートシートを使用して、タスクを最初からやり直します。
- もし教師が依然として失敗する場合、リフレクターは新しいトレースとフィードバックに基づいてチートシートを修正します。このループは、教師がすべての検証器をパスするまで最大 K=10 回繰り返されます。
- このプロセスでは、反復的なプロンプト最適化（GEPA）を使用してチートシートを洗練させます。
スキャフォールド（足場）の除去:
- 学習の前に、チートシートは軌跡から取り除かれます。
- 学生モデルは、回収された軌跡のみを用いて微調整されます。これにより、学生モデルは、その軌跡を生成するために使用された特定の指示やガイダンス（スキャフォールド）を継承することなく、軌跡が示した「能力（capability）」（正しいツール呼び出しのシーケンスと状態管理）を学習することができます。
学習データの構成:
- 最終的な学習セットは、標準的なフィルタリング済み（元々合格していた）軌跡と、回収された（元々は失敗していたが、現在は修正済み）軌跡の連合体です。
- このアプローチは、能力（リフレクターによる問題解決能力）とボイス（声/口調）（エグゼキューターによるインタラクションスタイル）を分離します。これにより、製品のトーンやレイテンシ特性を損なうことなく、チームがタスクのカバレッジを拡張することを可能にします。
主な貢献
- 困難なシナリオの回収: PROOF-Genは、「生成およびフィルタリング」パイプラインを「生成・回収・およびフィルタリング」パイプラインへと変貌させ、以前は破棄されていた軌跡を回収します。
- シナリオごとのプロンプト最適化: プロンプト最適化を、汎用的な推論時最適化ツールとしてではなく、単一シナリオのためのデータ生成エンジンとして用いる手法を導入しました。
- ボイスを維持した蒸留: エグゼキューター（教師）を変更せず、リフレクターを介してのみプロンプトを修正することで、学生モデルがリフレクター特有のインタラクションスタイルや冗長性を継承することなく、高度な問題解決能力を継承できるようにします。
- 構成可能な目的関数: リフレクターは、タスク完了に加えて、あらゆる次元（グラウンデッドネス、簡潔さ、フォーマットなど）に対して最適化を行うよう指示できます。
結果
回収の有効性 (RQ1)
- 高い回収率: τ2-benchの通信ドメインにおいて、シナリオごとの最適化により、サンプリングされた教師の失敗の93%（300件中279件）を回収しました。
- リフレクターの能力: 回収率はリフレクターの推論能力に依存します。クロスドメインのアブレーションセットにおいて、GPT-4oの自己リフレクションが24.4%であったのに対し、GPT-5.1は97.6%の回収率を達成しました。
- 収束性: 解けるシナリオの58.7%は最初のイテレーションで解決され、84.1%は3回目のイテレーションまでに解決されました。
ダウンストリームへの影響 (RQ2)
- エンドツーエンドの向上: 結合されたデータセット（フィルタリング済み + 回収済み）で学習されたモデルは、一貫したエンドツーエンドのタスク完了率の向上を示しましたが、フィルタリングのみのデータで学習されたモデル（部分的なクレジットのベースライン）は向上しませんでした。
- Qwen3-4B-Instruct-2507: τ2-bench telecomにおいて、Pass@1 = 0.132 から 0.529 へ向上。
- Gemma 4 E4B-it: BFCL v4 マルチターンにおいて +7.2 パーセントポイント の向上。
- 部分的指標 vs 完全な指標: フィルタリングのみの学習はアクションの精度（+25pp）を向上させましたが、環境やデータベースの状態の精度を向上させることはできませんでした。結合学習はこれら3つすべてを改善し、決定的な意思決定ポイントのギャップを埋めました。
- 確率的頑健性: 結合されたモデルは「フリップタスク（flip tasks）」において約54%の成功率を達成したのに対し、ベースラインはほぼゼロであり、向上は確率的サンプリング（温度1.0）下でも持続しました。
本番環境へのスケーリング (RQ3)
- デプロイ: この手法は、学習後のプロダクション環境のツール呼び出しエージェントにデプロイされました。
- 指標: 軌跡の品質を、目標達成率で +6.3pp、5つのレスポンス品質指標において +2.5〜+8.0pp 向上させました。
- 転移: これらの向上は、デプロイされたオンデバイスモデルにも転移し（目標達成率 +1.5pp）、評価されたすべてのロケール（非英語平均 +1.48pp）でポジティブな転移が観察されました。これは、修正された知識が言語に依存しないものであることを示しています。
意義と主張
本論文は、蒸留の品質の天井はデータ生成時の上流工程によって決まると主張しています。もし最も困難なシナリオが（フィルタリングによって）学習分布から体系的に欠落しているならば、いかなるダウンストリームの学習アルゴリズム（RLや代替的なダイバージェンスなど）もそれを補完することはできません。
PROOF-Genは、教師の失敗を「終了（terminal）」ではなく「回収可能（recoverable）」なものとして扱うことで、この問題に対処しています。より強力なリフレクターを用いて、より弱いエグゼキューターを合格状態へと導くことで、ベースとなる教師単独では生成できなかった複雑な問題解決のクリーンなデモンストレーションを生成します。著者らは、このアプローチが**「能力とボイスの分離」**を可能にし、エージェントの確立されたインタラクションスタイルやレイテンシ特性を変更することなく、フロンティアモデルの高度な推論をより小さなデプロイ用エージェントに統合できることを強調しています。
本研究は、制御されたベンチマークおよび実際のデプロイメントを通じて検証された、実用的かつスケーラブルなソリューションとして提示されており、破棄された失敗を回収することが、ツール呼び出しエージェントにおけるカバレッジのギャップを埋めるために必要不可欠なステップであることを示しています。
毎週最高の AI 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録