技術要約：Benchmark Agent

1. 問題提起

大規模言語モデル（LLM）およびマルチモーダル大規模言語モデル（MLLM）のベンチマーク構築は、現在、主に3つの課題によって阻害されている：

• 労働集約性と再利用性の欠如： 既存のベンチマーク構築は、タスク設計、データ収集、クリーニング、アノテーションにおいて多大な労力を必要とする、人間主導のプロセスに大きく依存している。これらのパイプラインは特定のベンチマークに特化していることが多く、手作業の繰り返しやイテレーションサイクルの遅延を招いている。
• 性能の飽和： ベンチマークはリリース後まもなく性能が飽和することが頻繁にある。モデルの進化が速いため、精度スコアが80%を超えてしまうことがあり、最先端の手法を識別するための余地が不足する。これにより、新しいベンチマークを継続的に導入する必要が生じるが、それ自体もすぐに飽和する傾向がある。
• スケーラビリティと持続可能性： 人間の労働への過度な依存と非標準化されたパイプラインは、現在の評価手法の長期的な持続可能性とスケーラビリティに懸念を生じさせている。特に、現実世界のアプリケーションがより包括的で詳細な評価を求める中で、この傾向は顕著である。

2. 手法：Benchmark Agent

これらの課題に対処するため、著者らは、ベンチマーク構築とカスタマイズのために設計された初の完全自律型エージェントシステムであるBenchmark Agentを導入する。このフレームワークは「脳と小脳」の階層構造から着想を得ており、密結合した2つのコンポーネントで構成されている：

A. Benchmark Planner（高レベル意思決定モジュール）

Plannerは、抽象的なユーザーの評価要件を、具体的かつ実行可能なベンチマーク仕様へと変換する。これはマルチエージェント協調システムを採用している：

1. Design Agent（設計エージェント）： 非形式的な人間の意図を、構造化されたサブタスク（$S$）に変換する。これは、候補をブレインストーミングするためのProposerツールと、適切性および貢献度に基づいてサブタスクを洗練または排除するためのRevising/Discardingツールを使用する。
2. Grounding Agent（グラウンディング・エージェント）： 各サブタスクが、実際のデータと実行可能な変換によってサポート可能かどうかを検証する。
   • Dataset Search（データセット探索）： サブタスクのモダリティおよびドメインの好みに一致する候補データセット（$D_i$）を特定する。
   • Transformability Validation（変換可能性の検証）： 意図との整合性、プロセスの堅牢性、および評価シグナルの保持に基づき、候補となる変換プラン（$t_{i,j}$）を構築しスコアリングする。少なくとも一つの有効なグラウンディング（$d_{i,j}, t_{i,j}$）が存在する場合のみ、サブタスクは受理される。
3. Allocation Agent（割り当てエージェント）： グローバルなクォータ（割当量）およびリソース制約の下で、実行可能な割り当てを決定する。これは、Allocationツール、ボトルネックを特定するためのDiagnoseツール、および実行可能なプランが見つかるまで割り当てを修正するためのAdjustmentツールを含む、クローズドループメカニズムを使用する。

B. Benchmark Executor（運用モジュール）

Executorは、検証された仕様を実行可能なベンチマークへと変換する：

1. サンプルレベルの実現：
   • Orchestration（オーケストレーション）： LLMがデータセットレベルの変換プランを現在のサンプルの状態に合わせて専門化し、次のアクションを決定する。
   • Execution（実行）： アクションはツールプールを使用して実行される。これには、コンテンツ合成ツール（例：TTS、画像のリサイズ、オーディオミキシング）や、スクリプトベースの処理ツール（例：ファイル変換、メタデータ編集）が含まれる。
2. 品質およびクォータ制御：
   • 生成されたサンプルは、意味的な妥当性と構造的な適合性について継続的な検証を受ける。
   • 無効なサンプルは破棄されるか、局所的な修正へとルーティングされる。
   • システムはクォータの充足状況を監視し、有効な生成量が目標を下回る場合は、生のサンプルを再処理する。

3. 主な貢献

1. 自律的フレームワーク： ユーザーのクエリ分析から品質管理されたデータ生成に至るまで、ベンチマーク構築の全パイプラインを自動化するシステムであるBenchmark Agentを提案し、人間による労働への依存を軽減した。
2. カスタマイズ性と効率性： 本システムは、ユーザー指向のカスタマイズ（フォーマット、ドメイン、基準の調整）と迅速なイテレーションを可能にし、静的な人間作成型ベンチマークの持続可能性の問題に対処する。
3. 包括的な評価： 著者らは、多様なシナリオ（テキスト、オーディオ、画像、およびマルチモーダル推論）にわたる15の代表的なベンチマークを作成するためにこのエージェントを実装した。彼らは以下の手法を通じてシステムを検証した：
   • 人間による評価： 正確性、明快さ、および関連性の評価。
   • LLM-as-a-Judge： 整合性、フォーマットの質、一貫性、グラウンディング、および難易度のスコアリング。
   • 一貫性チェック： モデルスケール間（例：Qwen3.5シリーズ）で一貫したパフォーマンスランキングを生成することの検証。
   • アブレーション研究： 各コンポーネント（Design, Grounding, Allocation, Planning, Verification）の必要性の確認。

4. 実験結果

• 品質： Benchmark Agentによって生成されたベンチマークは、高い人間による受容率（96–98%）と強力なLLM-as-a-Judgeスコアを達成した。システムは高いフォーマットおよびスキーマ品質（FSQ）と、質問・回答の一貫性（QAC）を示した。
• 識別能力： 生成されたベンチマークは、モデルスケールの違いを正常に識別した。例えば、Art-Reasoningベンチマークにおいて、Qwen3.5モデルは40.96%（2B）から56.38%（27B）への明確なスケーリング傾向を示した。
• コスト効率： エージェントは、人間によるアノテーションと比較してアノテーションコストを大幅に削減した。例えば、オーディオベースの推論サンプルの生成には、人間では6分かかるところ、エージェントでは0.3分しか要さなかった。
• アブレーションによる知見：
  • 直接的なLLM生成（エージェントのワークフローなし）は、特にユーザー意図への整合性（UIA）とスキル特化型の難易度（SSC）において、著しく低いスコアとなった。
  • 広範な要件に対してはDesign Agentが重要であり、複雑なマルチモーダルタスクに対しては変換可能性のチェックが不可欠であった。
  • *検証（Verification）*は、曖昧なサンプルをフィルタリングし、信頼性を確保するために極めて重要であった。
• モデルに関する洞察： 生成されたベンチマークを用いたMLLMの評価により、モデルは一般的な視覚および推論（例：地理、数学）には優れているものの、芸術や動物の品種といった特定のドメインにおける微細な知覚において苦戦していることが明らかになった。

5. 重要性と主張

本論文は、Benchmark Agentが、静的で労働集約的な評価から、動的で自律的、かつ持続可能なパラダイムへの転換を象徴していると主張している。その重要性は以下の点にある：

• 飽和問題の解決： 迅速かつ継続的なベンチマークの更新を可能にすることで、システムはモデルの進化に歩調を合わせ、評価の停滞を防ぐことができる。
• カスタマイズされた評価の民主化： 研究者や実務者が、膨大な手作業のコストをかけることなく、独自の要件に合わせた高品質でドメイン特化型のベンチマークを生成することを可能にする。
• 信頼性： システムは、単に使用可能であるだけでなく、識別力のあるベンチマークを生成し、異なるスケールやファミリー間のモデル能力を比較するための有意義なシグナルを提供する。

著者らは、現在のモデルが一般的なタスクには強みを示す一方で、微細な知覚やドメイン特化型の推論における能力を迅速に生成できることは、特定の限界を浮き彫りにしており、将来の研究方向への道筋を示すものであると結論付けている。