技術要約：EARS – 信頼性の高いサブエージェント・モデリングのための説明的棄却（Explanatory Abstention）

問題提起

大規模なエンタープライズ・マルチエージェント・システム（MAS）において、強力なコーディネーターが軽量でドメイン特化型のサブエージェントにユーザーのリクエストを委任する中央集権型アーキテクチャが一般的に採用されています。この設計はモジュール性とコスト効率を高める一方で、重大な信頼性の課題をもたらします。具体的には、小規模なファインチューニング済みモデルで構築されたサブエージェントは、自身の限界を認識するためのキャリブレーション（較正）が不足していることが多くあります。曖昧、未指定、誤ルーティング、またはサポート対象外のリクエストに対して棄却を行う代わりに、これらのサブエージェントはしばしば「過剰回答（over-answer）」を行い、幻覚（ハルシネーション）を含む出力や不実な実行結果を生成してしまいます。

既存の研究は、主にコーディネーター層における信頼性の向上（例：より優れたルーティングやプランニング）に焦点を当ててきました。しかし、サブエージェント層で発生する失敗——すなわち、明確な不能信号を返すのではなく、不実な結果を返してしまう失敗——は、ほとんど未開拓のままです。現在の棄却手法は、通常、単一エージェント・システム向けに設計されており、そこでの拒絶は最終的なユーザー向けの動作として扱われますが、マルチエージェント・プロトコル内での通信信号としては扱われていません。

手法：EARSフレームワーク

著者らは、サブエージェントによる棄却を「エージェント間通信プロトコル」として再定義する、プロダクション指向のフレームワークである**EARS（Explanatory Abstention for Reliable Sub-Agent Modeling）**を提案しています。単にリクエストを拒否するのではなく、サブエージェントは特定の失敗カテゴリと根拠（rationale）を含む、アクション可能な失敗状態をコーディネーターに開示します。

EARSは、以下の2段階の反復的なパイプラインを通じて動作します。

1. オフライン・キャリブレーション・ステージ

• 人間によるアノテーションとタクソノミー（分類学）： 著者らは、4つの相互排他的な失敗モードからなるタクソノミーを定義しました。
  1. 曖昧なクエリ（Ambiguous Query）： 情報が不足しているため、ユーザーの意図が不明確である。
  2. 入力不足（Insufficient Input）： 意図は明確だが、実行には欠落した情報が必要である。
  3. 能力不足（Missing Capability）： サブエージェントがリクエストをサポートする機能を備えていない。
  4. 誤ルーティング（Misrouting）： リクエストは別のサブエージェントに属している。
     人間のアノテーターは、階層的な決定手順を用いてインタラクション・データをラベル付けし、602件の棄却インスタンスと600件の解決可能なクエリを生成しました。
• LLM-as-a-Judgeによるキャリブレーション： データキュレーションをスケールさせるため、著者らは人間によるアノテーション済みのシードセットを用いて、アンサンブルLLM（ジャッジとして機能）をキャリブレーションしました。予測エラーを分析して指示を更新する二次的なLLMを用いた反復的な洗練プロセスを採用し、ジャッジがオーバーフィットすることなく汎化できるようにしています。

2. オンライン・データ・フライホイール・ステージ

• コンセンサス・データ・キュレーション： キャリブレーションされたジャッジ（OpenAI、Claude、Geminiファミリー）を、大規模なプロダクション・インタラクション・データに適用します。ここでは、保守的な**全会一致（unanimous agreement）**戦略が用いられます。つまり、すべてのジャッジが同じカテゴリで一致した場合のみ、そのサンプルを棄却ケースとしてラベル付けします。これにより、高精度なトレーニングデータを確保します。
• サブエージェントのファインチューニング： キュレートされたデータを使用して、サブエージェントの教師ありファインチューニング（SFT）を行います。トレーニング・インスタンスには、ユーザーのクエリ、コンテキスト、および期待されるレスポンス（解決可能なクエリに対するタスク固有の出力、またはカテゴリと根拠を含む構造化された棄却レスポンス）が含まれます。
• デプロイメント・ループ： 更新されたサブエージェントをMAS内に再デプロイして新たなインタラクションを収集し、継続的な改善のためにデータキュレーション・ステージへとフィードバックします。

主な貢献

1. 説明的棄却の定式化： 本論文は、サブエージェントによる棄却を、ユーザー向けの拒絶ではなく、プロダクションMASのためのアクション可能なコーディネーション信号として定式化し、特定の失敗カテゴリと根拠をコーディネーターに提供します。
2. データキュレーション・パイプライン： 全会一致のアンサンブルLLM-as-a-Judgeを用いて、棄却を必要とするインタラクション状態を反復的に特定するパイプラインを導入し、高品質な教師あり学習を実現しました。
3. 大規模評価： 本フレームワークは、エンタープライズ・ビジネスインテリジェンス・ワークフローをサポートする実世界の、大規模なEコマース・プラットフォーム上で評価され、実用的な生存能力が証明されました。

実験結果

システムは、ショップ運営に関するマーチャント・クエリを扱うEコマース・アシスタント（特に、SQLライクなDSLクエリを生成するBIサブエージェント［Qwen3-32B-Instructベース］）を用いて評価されました。

• ジャッジの性能： キャリブレーションされたジャッジのアンサンブルは、棄却カテゴリの特定において高い精度（単一のベストモデルで90.4%、4つのジャッジによるコンセンサスで93.1%）を達成し、コストと精度の明確なトレードオフを示しました。
• サブエージェントの性能：
  • 全体的なパス率（Pass Rate）： EARSは、全体のレスポンス・パス率を**68.5%（ベースライン）から78.9%へと向上させ、相対的な利得は15.2%**でした。
  • 意味的正確性（Semantic Correctness）： 顧客セグメンテーション・クエリにおいて顕著な改善が見られました（意味的パス率は61.9%から82.7%に上昇）。この領域では棄却ケースが多く発生します（クエリの23.8%）。
  • 構文の妥当性（Syntax Validity）： 両方のクエリタイプにおいて構文の妥当性は高い水準を維持しており、棄却トレーニングが有効なDSL生成の品質を低下させていないことを示しています。
• 人間による評価： シャドー・デプロイメントにおいて、人間による専門家は、棄却信号がトリガーされたセッションにおけるEARSシステムのセッションレベルの成功率を67.1%と評価しました。これは、同じセッションにおける現行システム（incumbent system）の2.4%と比較して大幅な向上です。また、モデルは専門家の判断に対して94.0%の棄却精度を達成しました。

意義と主張

本論文は、EARSが大規模な中央集権型MASにおける信頼性を向上させるための実用的なメカニズムを提供すると主張しています。サブエージェントの視点を、トップダウンのコーディネーションから、説明的な棄却（explanatory abstention）へとシフトさせることで、本フレームワークは、サブエージェントが要求を遂行できない場合のコミュニケーションの断絶という、システム信頼性の重要なギャップに対処しています。

著者らは、このアプローチによって、サブエージェントを「幻覚を起こす可能性のあるブラックボックス」から、「特定の失敗モードを通知する透明なコンポーネント」へと変貌させることができると強調しています。これにより、コーディネーターは、ユーザーに幻覚や誤った回答を提示するのではなく、明確化、再ルーティング、またはフォールバックといった、ダウンストリームのリカバリ・アクションを実行できるようになります。実験結果は、サブエージェントに能力の制約に応じたレスポンスのキャリブレーション能力を習得させることが、マルチエージェント・システム全体の堅牢性を大幅に高めることを示しています。