EnterpriseBench Corecraft: Training Generalizable Agents on High-Fidelity RL Environments

Surge AI が企業向け顧客サポートシミュレーション環境「CoreCraft」を提案し、高忠実度 RL 環境でのトレーニングが、GPT-5.2 や Claude Opus 4.6 などの最先端モデルが未解決だった複雑なタスクの成功率向上だけでなく、BFCL Parallel や Tau2-Bench などの分布外ベンチマークにおける汎化能力の向上にも寄与することを示しました。

要約

この論文は、**「AI 助手を本当に仕事ができるように育てるには、どうすればいいか？」**という問いに対する、とても面白い答えを提示しています。

一言で言うと、**「AI に『本物の職場』で修行させたら、他の仕事も上手にできるようになった！」**という話です。

以下に、難しい専門用語を使わず、日常の例え話で解説します。

---

🏗️ 物語の舞台：「Corecraft（コアクラフト）」という仮想会社

まず、研究者たちは「Corecraft」という、PC 部品を売る架空の会社のサポートセンターをシミュレーション（仮想空間）として作りました。

• 普通のテスト： 多くの AI 研究では、AI に「簡単なクイズ」や「作り物の会話」を解かせて評価します。これは、**「模擬試験」や「暗記テスト」**のようなものです。
• Corecraft のテスト： ここでは、**「本物の会社」**を再現しています。
  • 2,500 人以上の「顧客」や「注文履歴」がいます。
  • 「在庫管理」「返品処理」「トラブル対応」など、23 種類のツールを使って、複雑な手順を踏む必要があります。
  • 顧客からの問い合わせは、**「1 回で終わらない」**ことが多く、複数の情報を照らし合わせて、ルールに従って答えを出す必要があります。

まるで、**「AI を新人研修に放り込んで、実際に顧客対応をやらせる」**ような環境です。

📉 問題点：「模擬試験」は得意でも、「実戦」は苦手

この環境で、最新の AI（Claude や GPT などの超高性能モデル）を試したところ、驚くほど失敗しました。
どんなに頭の良い AI でも、「完璧に正解する」のは 35% 未満でした。

• なぜ失敗した？
  • 検索が下手： 「モニターが壊れた」と言われたら、まずは「その人の注文履歴」を見るべきなのに、いきなり「一般的な修理マニュアル」を探し始めて失敗する。
  • 諦めが早い： 検索結果が 10 件返ってきて「これ以上ない」と勘違いして、実はもっとあるのに探さずに終わってしまう。
  • 道具の使い方が狭い： 「安く買う方法」を調べるとき、一つの方法しか考えず、他の安い選択肢（セット販売など）を見つけられない。

これらは、「模擬試験の解き方」は知っているが、「実戦の勘所」がわからない状態です。

🚀 解決策：「本物の職場」で AI に修行させる

そこで研究者たちは、この「本物の職場（Corecraft）」を使って、AI を**「強化学習（RL）」**という方法で鍛え直しました。

• やり方：
  1. AI にタスクを与えて行動させる。
  2. 人間の専門家（サポートのベテラン）が作った**「評価基準（ルブリック）」**を使って、AI の答えを厳しくチェックする。
     • 「情報は正確か？」「ルールを守ったか？」「顧客への説明は丁寧か？」
  3. 正しければご褒美（報酬）、間違っていれば反省（ペナルティ）を与えて、AI が「次はこうすればいいんだ！」と学習させる。

これをたった 1 回（1 エポック）のトレーニングで実施しました。

🌟 結果：驚異的な成長と「他分野」への転移

このトレーニングの結果、「Corecraft」以外のテストでも劇的に良くなりました。

1. Corecraft 内での成績：

   • トレーニング前：25.3% 正解
   • トレーニング後：36.7% 正解
   • なんと、11.3 ポイントもアップしました。これは、トップクラスの AI 同士の差（7 ポイント）を超える成長です。

2. 他の分野への転移（ここがすごい！）：
   AI は「Corecraft」でしか練習していませんが、全く別の分野のテストでも成績が伸びました。

   • プログラミング関連： +4.5% 向上
   • 他のカスタマーサポート： +7.4% 向上
   • 複雑なツール操作： +6.8% 向上

💡 なぜこんなことが起きたの？（重要な教訓）

なぜ「PC 部品のサポート」を練習しただけで、「プログラミング」や「他の仕事」も上手くなったのでしょうか？

それは、AI が**「特定の答え」を暗記したのではなく、「仕事のやり方（スキル）」を身につけたから**です。

• 例え話：
  • 悪い練習： 「A という問題には B という答えを書く」という**「解き方の暗記」**をさせると、問題が変わったら解けなくなります。
  • Corecraft の練習： 「情報を集めて、ルールを確認し、論理的に考え、相手に分かりやすく伝える」という**「仕事の基本動作」**を身につけさせました。

AI は、Corecraft で**「多段階の思考」「制約条件の扱い」「丁寧なコミュニケーション」という「汎用的なスキル」**を学びました。だから、PC 部品の話じゃなくても、他の仕事でも同じように活躍できるのです。

🎯 まとめ：何が一番大切だった？

この研究が教えてくれるのは、**「AI を強くするには、環境（練習場所）の質が最も重要」**ということです。

1. 本物っぽさ： 現実の複雑な職場を再現すること。
2. 多様性： いろんな種類の難しいタスクを用意すること。
3. 専門家による評価： 曖昧な「なんとなく良い」ではなく、具体的な基準で厳しく評価すること。

「AI に本物の職場で修行させれば、それは『特定の作業員』ではなく、『どんな現場でも活躍できるプロ』に育つ」。

これが、この論文が私たちに伝えたかった、とてもシンプルで重要なメッセージです。

技術概要

EnterpriseBench Corecraft: 高忠実度 RL 環境における汎用性のあるエージェントの訓練に関する論文の技術的サマリー

本論文は、Surge AI が開発した「Corecraft」と呼ばれる高忠実度（High-Fidelity）の強化学習（RL）環境を用いて、AI エージェントを訓練することで、訓練分布を超えた汎用的な能力の獲得が可能であることを実証した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

現在の AI エージェントは、研究ベンチマークでは高い性能を示す一方で、実世界への展開（デプロイ）には依然として課題を抱えています。

• 現状の課題: 実務では、エージェントが 10 回以下のステップで人間の介入を必要とするケースが 68% に上り、「信頼性」が最大の開発課題となっています。
• 原因の仮説: 既存の多くのエージェントベンチマークは、簡略化されたシミュレーション、合成データ、あるいは人工的なタスク構造に依存しており、実世界の複雑なワークフローを捉えきれていません。その結果、エージェントは特定の環境に特化したヒューリスティック（経験則）を学習し、汎用的な問題解決戦略を習得できていない可能性があります。
• 解決策: 本研究では、現実的な企業ワークフローに基づいた「高忠実度環境」での訓練が、より頑健で転移可能なスキルを育成する有効な手段であると仮説を立てています。

2. 提案手法：Corecraft 環境と訓練パイプライン

2.1 Corecraft 環境の設計

Corecraft は、PC 部品メーカーの顧客サポート組織をシミュレートする完全稼働型のエンタープライズ環境です。

• 規模と構造: 14 種類のエンティティ（顧客、注文、製品、チケットなど）にまたがる 2,500 以上のエンティティと、23 種類のユニークなツール（MCP 経由で公開）を備えています。
• 設計原則:
  1. タスク中心設計: 世界を複雑にするためではなく、多様で困難なタスクを支援するためにエンティティやツールが存在します。
  2. 専門家による評価基準（Rubric）: 各タスクにはドメイン専門家によって作成された詳細な評価基準があり、自動化された報酬計算を可能にします。
  3. 現実的なワークフロー: 多段階推論、制約の処理、構造化されたコミュニケーションなど、実際の業務パターンを反映しています。
• 技術的実装: Docker コンテナとしてパッケージ化され、状態保持（注文、チケット、在庫など）を可能にします。エージェントは MCP サーバーを介してツールを呼び出し、LLM ジャッジが評価基準に基づいて報酬を計算します。

2.2 訓練手法

• ベースモデル: GLM 4.6（357B パラメータの MoE アーキテクチャ、アクティブパラメータ 32B）。
• アルゴリズム: Group Relative Policy Optimization (GRPO) を採用し、DAPO の手法に着想を得た「適応的クリッピング（Adaptive Clipping）」を適用しました。
  • GRPO はクリティックネットワークを排除し、グループ内のスコア相対的な優位性（Advantage）を推定することでメモリ効率を向上させます。
• 報酬設計: 評価基準（Rubric）の各項目を満たした割合を連続的な報酬として計算します。LLM ジャッジが構造化された事実ベースの基準に基づいて評価を行うため、信頼性の高い報酬信号が得られます。
• データセット: 1,000 タスクを訓練用、150 タスクを保持（held-out）評価用として使用。

3. 主要な結果

3.1 分布内（In-Distribution）性能

Corecraft の保持評価セットにおいて、1 エポックの訓練のみで顕著な改善が見られました。

• パス率の向上: GLM 4.6 のタスクパス率は、訓練前の 25.37% から 36.76% へと 11.39 ポイント 向上しました。
• 比較: この改善幅は、Claude Sonnet 4.5 と Claude Opus 4.5 の間の能力差（+7.05 ポイント）を上回っています。また、訓練後のモデルは、Claude Opus 4.5 や GPT-5.1 High の性能に匹敵するレベルに達しました。

3.2 分布外（Out-of-Distribution）への転移

最も重要な発見は、Corecraft での訓練が、モデルが一度も見たことのない外部ベンチマークでの性能向上にも寄与したことです。

• BFCL Parallel: +4.5% 改善（並列関数呼び出しの能力向上）。
• τ 2-Bench Retail: +7.4% 改善（顧客サービスタスクの転移）。
• Tool Decathlon (Toolathlon): +6.8% 改善（Pass@1）。これは、Corecraft の顧客サポート領域とは全く異なる（Kubernetes デプロイ管理、Canvas での課題採点など）長期的なツール使用タスクにおいて、汎用的なエージェントスキルが獲得されたことを示しています。

3.3 学習された行動の質的変化

訓練によってモデルは以下の 3 つの能力を向上させました。これらは Corecraft 固有の知識ではなく、汎用的なスキルです。

1. 多段階ワークフローの実行: 正しい順序でタスクを分解し、制約を検証し、修正を適用する一貫した実行。
2. 制約の処理と推論: 時間窓のフィルタリングや、順序に基づくレコード結合など、ビジネスルールの正確な適用。
3. 応答の質と構造化: 現実的な顧客コミュニケーションパターンに合致した、完全で実行可能な出力の生成。

4. 考察と意義

4.1 環境設計の重要性

本研究は、エージェント訓練における「環境の質、多様性、現実性」が汎化能力を決定づける重要な要因であることを示しました。

• 合成データ vs 現実的ワークフロー: 合成データによるスケーリングは可能ですが、分布のアーティファクト（人工的な特徴）が転移を制限する可能性があります。Corecraft のような現実的な業務フローに基づく環境は、特定のドメインに依存しない「専門的なパターン」を学習させます。
• 評価基準（Rubric）の役割: 専門家による詳細な評価基準は、単なる正解/不正解ではなく、失敗モードを診断可能な高密度な報酬信号を提供し、RL 訓練の効率を高めます。

4.2 今後の展望

• スケーリング: 1 エポックでの効果を確認したが、より長い訓練による飽和現象や追加の改善余地を調査する必要がある。
• モデル一般化: 異なるモデルファミリーやスケールでも同様の転移が見られるか検証する。
• 多領域カリキュラム: Corecraft を他の高忠実度企業環境と組み合わせ、より広範な能力を持つエージェントの訓練を目指す。

5. 結論

本論文は、高忠実度の RL 環境（Corecraft）を用いた訓練が、単にその環境での性能を向上させるだけでなく、多様な外部ベンチマークにおける汎用的なエージェント能力（タスク分解、制約処理、構造化出力など）を育成することを実証しました。これは、ベンチマーク性能と実運用の信頼性の間のギャップを埋めるための、環境設計の重要性を浮き彫りにする重要な知見です。