🤖 machine learning

CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks

本論文は、敵対的ソルバー校正を用いて、タスクが解決可能でありながらも困難である「学習可能領域」を特定することにより、効果的な終端トレーニングタスクを合成する自律システムであるCalibForgeを紹介するものであり、これは従来のデータキュレーション手法と比較して、複数のエージェントベンチマークにおいて大幅な性能向上をもたらす。

原著者： Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

公開日 2026-08-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、デジタル・ワークショップで物を修理する方法をロボットに教えようとしていると想像してください。あなたはロボットに道具箱と仕事のリストを与えますが、そこには一つ罠があります。もし仕事が簡単すぎると、ロボットは退屈して何も学びません。もし難しすぎると、ロボットは即座に諦めてしまい、何も学びません。学習のための「スイートスポット」とは、「ゴルディロックス（適度な）」挑戦です。それは、ロボットが一生懸命考えれば解けるものの、不注意だったり混乱したりすると失敗してしまうようなレベルのものです。これがAIエージェントを訓練する際の核心的なパズルです。どうすれば、完璧に調整されたタスクの膨大なライブラリを作成できるのでしょうか？

長い間、研究者たちは、タスクが実行可能であり、かつ明確な正解または不正解があることを確認することで、これらのタスク・ライブラリを構築しようとしてきました。しかし、タスクが実行できるからといって、それが優れた教師になるとは限りません。あるタスクはあまりに単純すぎて、どんなロボットでも即座に解決できてしまうかもしれませんし、あるいは壊れすぎていて、どのロボットにとっても決して解決不可能なものかもしれません。大きな疑問は、どうすればロボットを賢くするために「ちょうど良い難易度」のタスクを見つけられるのか、ということです。

ここで、CalibForgeと呼ばれる新しいシステムが登場します。CalibForgeを単なるタスク生成器ではなく、ロボットに対して「敵対的（アドバーサリアル）」なゲームを仕掛ける、いたずら好きなゲームマスターだと考えてください。CalibForgeは、単にタスクが機能するかどうかを確認するだけでなく、さまざまな「ソルバー（解決者）」ロボット（非常に賢いものもあれば、少し愚かなものもあります）を雇って、そのタスクに挑戦させます。もし賢いロボットが解決し、愚かなロボットが失敗した場合、そのタスクは完璧です。つまり、学習ゾーンにあるのです！もし全員が解決してしまったら、そのタスクは簡単すぎます。そのため、CalibForgeはそれをより難しくします。もし全員が失敗したなら、そのタスクは壊れています。したがって、CalibForgeはそれを修正します。これらの異なるロボットの反応に基づいてタスクを絶えず微調整することで、CalibForgeは5,431個の完璧に調整されたチャレンジからなる膨大なライブラリを構築します。新しいロボットがこのライブラリで訓練されるとき、彼らは現実世界のコンピュータ問題を解決する能力が大幅に向上します。これは、「ゴルディロックス」ゾーンこそが学習の秘訣であることを証明しています。

問題点：簡単すぎるか、難しすぎるか、それともちょうど良いか？

人工知能の世界、特に「ターミナル・エージェント」（コードを修正したりサーバーを管理したりするためにコンピュータ・ターミナルにコマンドを入力するロボット）において、研究者たちは膨大な練習問題のライブラリを構築してきました。その目的は、これらのエージェントを複雑な現実世界のエンジニアリング・タスクに対応できるように訓練することです。しかし、これらの問題の作り方には欠陥があります。

ほとんどのシステムは、単に以下の2点を確認しているだけです：

実行可能か？（コンピュータ環境は正しくセットアップされているか？）
正解はあるか？（タスクには明確な合格／不合格のテストがあるか？）

しかし、これは、学生に「2+2は？」という問題（簡単すぎる）か、「まだ発明されていない方程式を解け」という問題（不可能）のどちらかしか出題されない数学のテストを与えるようなものです。どちらも学生の学習には役立ちません。論文では、タスクは**ソルバー相対的な学習可能性（solver-relative learnable）**を持つ必要があると主張しています。つまり、タスクは有能なエージェントには解決可能であるが、より能力の低いエージェントには解決できないものでなければなりません。それはエージェントの能力の限界に位置し、成功するために脳を最大限に活用させる必要があります。

解決策：敵対的なゲームマスター

著者らは、執拗なゲームマスターとして機能する自律システム、CalibForgeを作成しました。これは単にタスクを書くのではなく、**敵対的ソルバー校正（Adversarial Solver Calibration）**と呼ばれるプロセスを用いて、タスクを「校正（キャリブレーション）」します。

その魔法のステップは以下の通りです：

手がかり： CalibForgeは、「壊れたデータベースを修正する」や「失われたデータを復元する」といった、漠然としたアイデアから始まります。
ドラフト： 「オーサー・エージェント（作成エージェント）」（賢いAI）が、指示、仮想コンピュータ環境、および仕事が完了したかを確認するためのテストを含む、完全なタスクを書き上げます。
ストレス・テスト： タスクが保持される前に、CalibForgeはそれを一連の「ソルバー・エージェント」に送り、解決を試みさせます。
校正ループ： これが秘伝のレシピです。CalibForgeは、タスクが十分に優れているかどうかを判断するために、2つの特定戦略を使用します：
- マルチ・ソルバー校正： タスクをさまざまなAIモデルのグループに送ります。もし全員が解決してしまったら、タスクは簡単すぎます。そのため、CalibForgeはそれをより難しくします。もし誰も解決できなかったら、そのタスクは壊れています。そのため、CalibForgeはそれを修正します。タスクが保持されるのは、そこに**不一致（ディスアグリーメント）**がある場合のみです。つまり、少なくとも1つのソルバーが成功し、少なくとも1つのソルバーが失敗した場合です。これにより、タスクが「学習ゾーン」にあることが証明されます。
- コントラスティブ（対照的）校正： タスクを「ストロング・ソルバー（強力な解決者）」（非常に賢いAI）と「ウィーク・ソルバー（弱い解決者）」（能力の低いAI）に送ります。ストロング・ソルバーが合格し、ウィーク・ソルバーが失敗した場合にのみ、タスクは保持されます。これにより、タスクが賢いものには挑戦的であり、かつ不可能ではないほど難しいことが保証されます。

もしタスクがこれらの厳格な基準を満たさない場合、CalibForgeは単にそれを捨てるのではありません。なぜソルバーが失敗したのか、あるいは成功したのかという理由を分析し、指示、環境、またはテストを書き直します。このループを、タスクが完璧に校正されるまで最大50回繰り返します。

結果：完璧な挑戦状のライブラリ

この手法を用いて、CalibForgeは5,431個の高度に校正されたターミナル・タスクのデータセットを構築しました。研究者たちはその後、2つの異なるAIモデル（300億パラメータのモデルと350億パラメータのモデル）をこのデータで訓練しました。

結果は目覚ましいものでした。CalibForgeのタスクで訓練されたモデルは、既存の他のデータセットで訓練されたモデルを大幅に上回りました：

Terminal-Bench 2.0（ターミナル・エージェントの標準テスト）において、モデルは**32.58%および47.57%**を記録し、従来の最高記録を大幅に塗り替えました。
改善は訓練データだけに留まりませんでした。全く異なる現実世界のソフトウェア・エンジニアリングの課題（SWE-bench ProおよびDoc2Repo）でテストした際、モデルはベースとなるバージョンと比較して、それぞれ27.68ポイントおよび30.04ポイントという劇的な向上を示しました。

なぜこれが重要なのか

この論文は、より優れたAIエージェントを構築するための鍵は、単により多くのデータを与えることではなく、適切な種類のデータを与えることであると示唆しています。異なるソルバーの挙動をフィードバック・ループとして利用することで、CalibForgeはライブラリ内のすべてのタスクが真の学習機会であることを保証します。

著者らは、単にソルバーのフィードバックを追加したり、単一のソルバーを使用してタスクをチェックしたりするだけでは不十分であることを明確に示しています。「ゴルディロックス効果」――つまり、あるタスクが一部の者には難しく、他の者には易しいという状態――こそが、学習を促進するのです。このアプローチは、タスク作成プロセスを、静的な「書いて、期待する」方法から、完璧な難易度を能動的に探し求める、動的で自己修正的なシステムへと変貌させます。

要するに、Califorgeは、もし超スマートなロボットを訓練したいのであれば、単に宿題の山を与えるべきではない、ということを証明しています。思考させ、苦闘させ、そして最終的に成功させるために完璧に調整された、宿題の山を与えるべきなのです。

テクニカルサマリー: CalibForge: 学習可能なターミナルタスクのスケーリングのための敵対的ソルバー・キャリブレーション

問題提起

ターミナルエージェントの訓練には、単に実行可能で検証可能であるだけでなく、学習にとって適切に挑戦的な（難易度の高い）実行可能なタスクが必要です。既存の合成システムは、ターミナルタスクを大規模に構築する上で進展を見せていますが、実行可能性（executable validity）だけでは、そのタスクが些細なものか、実質的に解決不能なものか、あるいは特定のソルバー設定に対して「学習可能な領域（learnable zone）」に位置しているのかを明らかにすることはできません。現在の手法は、多くの場合、作成と検証のみ、あるいは単一のソルバーからのフィードバックに依存しており、これは、タスク構築を効果的なトレーニングデータへと導くために必要な、微細な行動的エビデンスを捉えることができていません。核心となる課題は、ターゲットとする学習レジームに対して、タスクが容易すぎず、かつ難しすぎないことを保証するために、ソルバーの振る舞い（成功、失敗、および軌跡）をどのように体系的に用いて候補タスクを修正するかという点にあります。

手法: CalibForge

著者らは、タスク構築を制約付きの敵対的なオーサー（作成者）– ソルバー・ループとして扱う自律的なターミナルタスク合成システム、CalibForgeを提案します。本システムは、検証されたソルバーの振る舞いを、候補タスクを修正するための構築時のフィードバックとして用いる**敵対的ソルバー・キャリブレーション（adversarial solver calibration）**を通じて、タスク構築を行います。

1. タスクの作成と検証

「手がかり（clue）」から出発し、オーサー・エージェント（DeepSeek-V4-Pro）はウェブ調査を実施して、具体的なエンジニアリング問題（例：バージョン固有のバグ、依存関係の競合）を特定します。そして、以下の要素からなる候補タスク $\tau$ を構築します：

指示（Instruction）: タスクの説明。
環境（Environment）: Dockerfile と初期ファイルによって定義される。
検証（Verification）: 解法を検証するためのテスト。

キャリブレーション・ループに入る前に、候補は2段階の検証を経ます：

構造的検証（Structural Validation）: ビルド・コンテキスト・ファイルの有無、環境の初期化を確認し、初期状態ですべてのテストが失敗することを確認する。
自己解決（Self-Solving）: オーサー・エージェントが隔離されたサンドボックス内でタスクを解こうと試み、解法が実行可能であり、指示およびテストと整合していることを確認する。

2. 敵対的ソルバー・キャリブレーション

有効な候補は、仕様 $\gamma$ に支配されたマルチラウンドのキャリブレーション・ループに入ります。各ラウンドにおいて、ソルバーはタスクを試行し、オーサー・エージェントは結果と完全なインタラクションの軌跡を用いてタスクを修正します。ループは、保持基準 $C_\gamma$ が満たされるか、最大ラウンド数（ $R_{max}=50$ ）に達したときに終了します。CalibForgeは、2つの異なるキャリブレーション戦略を採用しています：

マルチソルバー・キャリブレーション（Multi-Solver Calibration）: 異種混合のソルバー・プール（例：DeepSeek-V4-Flash, GLM-5, Kimi K2.5）内での不一致をターゲットにします。
- 基準: 少なくとも1つのソルバーが成功し、少なくとも1つのソルバーが失敗する場合（ $0 < \sum y_i < K$ ）にタスクを保持する。
- 目標: 幅広い解決パスと失敗モードを捉え、単一のソルバーの能力への依存を軽減する。
コントラスティブ・ソルバー・キャリブレーション（Contrastive Solver Calibration）: 指定された**強・成功／弱・失敗（strong-pass/weak-fail）**の関係をターゲットにします。
- 基準: 指定されたより強力なソルバー（DeepSeek-V4-Pro）が成功し、指定されたより弱いソルバー（DeepSeek-V4-Flash）が失敗する場合（ $y_s=1 \land y_w=0$ ）にタスクを保持する。
- 目標: 指定された設定下で、タスクが明白に解決可能であるが、決して些細なものではないという、ソルバー相対的な学習可能領域を具現化する。

基準を満たさない場合、オーサー・エージェントは、フィードバックの要約（パス/失敗、ステップ数、自己評価、失敗診断）および完全な軌跡を用いて、タスクを修正（例：手順的なヒントの削除、曖昧な要件の明確化、または過度に規定的な検証器の一般化）してから、再度プロービングを行います。

主な貢献

環境レベルの行動的キャリブレーション: 本論文は、タスクの学習可能性がソルバー相対的であると捉える構築原理を定式化しています。検証されたソルバーの振る舞いを、単なる評価としてだけでなく、保持の決定およびマルチラウンドの修正を導くために使用します。
CalibForge システム: 上記の原理を制約付きの敵対的ループを通じて実装した自律的合成システムです。クロスソルバー間の不一致と、強・成功／弱・失敗の関係をターゲットとする、マルチソルバーおよびコントラスティブ・ソルバーのキャリブレーション戦略を導入しています。
キャリブレーション済みデータセット: 5,431個のキャリブレーション済みターミナルタスク（マルチソルバーによるものが1,263個、コントラスティブ・キャリブレーションによるものが4,168個）を構築しました。これらのタスクは16のドメインカテゴリに及び、ソフトウェアエンジニアリング、システム管理、科学計算に重点を置いており、従来のデータセットよりも広いドメイン・カバレッジを提供しています。

実験結果

著者らは、CalibForgeデータセットから蒸留された軌跡を用いて、2つのQwenバックボーン（Qwen3-30B-A3B-Instruct および Qwen3.5-35B-A3B）をファインチューニングし、一致した蒸留および訓練プロトコルを用いて、ベースライン（Endless Terminals, SETA-Env, CLI-Gym, TermiGen, TerminalTraj）に対して評価を行いました。

ベンチマークにおける性能

Terminal-Bench 2.0:
- CalibForge-30B-A3Bは**32.58%**の精度を達成（ベストなベースラインであるTerminalTrajの26.22%と比較）。
- CalibForge-35B-A3Bは**47.57%**の精度を達成（TerminalTrajの40.82%と比較）。
- ベースモデルからの向上は、それぞれ24.71および8.47パーセントポイントに達しました。
分布外（OOD）転移:
- SWE-bench Pro: CalibForge-35B-A3Bは44.32%（解決率）を達成し、ベースモデルから3.03ポイント向上し、評価されたデータソースの中で最高の結果となりました。
- Doc2Repo: CalibForge-35B-A3Bは48.77%（パス率）を達成し、ベースモデルから3.85ポイント向上しました。
アブレーション研究:
- ソルバー・フィードバック vs キャリブレーション: 「ソルバーなし」（オーサーリングと検証のみ）では22.47%の精度でした。「単一ソルバー」のフィードバックはこれを24.34%に改善しました。しかし、マルチソルバーおよびコントラスティブ・ソルバーによるキャリブレーションは、それぞれ**29.21%および31.09%**を達成しました。これは、得られた利得が、単にソルバーのフィードバックを追加したり軌跡の量を増やしたりすることではなく、キャリブレーション戦略（ソルバーの設定に対する難易度の特定）によって駆動されていることを示しています。
- 修正の有効性: コントラスティブ・キャリブレーションにおいて、構造的検証の後に当初の目標である強・成功／弱・失敗の関係を満たしていた候補は、わずか**19%でした。フィードバック駆動の修正と再プロービングを通じて、最終的に96%**の候補が保持されました。これは、初期の不一致の多くが、本質的な欠陥ではなく修正可能であることを示しています。

意義と主張

本論文は、ソルバー相対的な学習可能性が、エージェントの訓練データを構築するための実用的かつ効果的なターゲットであることを主張しています。タスク構築を、ソルバーの振る舞いが修正を導く敵対的ループとして扱うことで、CalibForgeは、解決可能でありながら学習を促進するのに十分な難易度を持つタスクを生成します。

著者らは以下を強調しています：

実行可能性だけでは不十分である: タスクは有効であっても、ターゲットとなるエージェントにとって些細すぎるか、あるいは解決不能である可能性があります。キャリブレーションによって、「学習可能な領域」を観察可能かつ実行可能なものにします。
キャリブレーションは転移を駆動する: OODベンチマーク（SWE-bench Pro, Doc2Repo）における向上は、ソルバーによってキャリブレーションされたターミナルタスクから学習された能力が、複雑で長期的なソフトウェアエンジニアリングやリポジトリ生成タスクへ効果的に転移することを示唆しています。
多様性は多次元的である: CalibForgeデータセットは、ドメインのカバレッジだけでなく、能力タグ、環境の複雑さ、および検証ロジックにおいても多様性を提供しており、従来のデータセットに見られる狭いドメイン集中を回避しています。

これらの結果は、敵対的ソルバー・キャリブレーションが、オーサーリングと検証のみ、あるいは単一のソルバー・フィードバックよりも、より効果的で転移性の高い監督（supervision）をもたらすことを支持しており、高品質なターミナルエージェント訓練データを構築するためのスケーラブルな経路を提供しています。