テクニカルサマリー: DUPLEXWORLD

問題提起

現在の音声対音声（S2S）音声エージェントのベンチマークは、現実世界のデプロイメントにおいて重要となる軸に沿って、パフォーマンスを包括的に評価できていない。既存の評価は、音声エージェントを静的なデータベースに対するツール呼び出しのテストへと矮小化させる傾向があり、日常的な活動によって導入される会話の多様性を軽視している。さらに、データベース操作を超えた、ナビゲーションや複雑なマルチステップの調整といったタスクを忠実に支援する能力についても、ほとんどテストされていない。先行するベンチマークでは、現実的なオーディオ条件下において、音声エージェントがテキストエージェントの能力のわずかな一部しか保持していないこと、そして、タスクの正確性と会話体験を同時に優れたレベルで達成できるシステムは現在存在しないことが示されている。多様で現実的な「ワールド」を用いて、単一の一貫したメトリクス・スイートを通じてエージェントを評価する、統合されたベンチマークが必要とされている。

メソドロジー

著者らは、フルデュプレックス（全二重）音声エージェントの統合的かつ包括的な評価のために設計されたベンチマーク、DUPLEXWORLDを導入する。

ベンチマークの構造

• 6つのワールド: このベンチマークは、銀行、保険、旅行、ヘルスケア、物流、およびパスファンディング（経路探索）の6つの異なるドメインに及ぶ。
  • 前者の5つはエンタープライズ向けであり、セルフサービスが失敗した後に、通話者が機関の回線に到達するシナリオをシミュレートしている。エージェントは通話を主導し、ツール呼び出しを管理し、エージェントのアクションによってのみレコードが移動する状態空間をナビゲートしなければならない。
  • パスファンディングは、新たなフロンティアを提示する。これは、合成された8x8の都市グリッド上で歩行者のコパイロットとして機能するナビゲーションタスクである。エンタープライズ・ワールドとは異異なり、ここでの状態は歩行者の物理的な行動に基づいて変化するが、エージェントはその行動を言語のみを通じて影響を与える。これは情報の非対称性を導入し、発話される前に陳腐化してしまう可能性のある発話を計画するという課題を生じさせる。
• シナリオとタイプ: ベンチマークは、156の作成されたシナリオ（主要な結果には144を使用）と、11の会話タイプで構成されている。これらのタイプは、難易度ではなく、インタラクションの形状（例：シングルインテント、リルーティング、終日アシスタンス）を表している。
• 評価ハーネス: 単一の統合されたハーネスがすべての評価を実行する。これは、ティックベースのデザイン（200msティック）を採用しており、シミュレートされたユーザー（GPT-5.6-Luna）を使用し、現実的なチャネルに対しては、割り込みやバックチャネリングを処理するために決定モデル（Claude-Haiku-4.5）を使用する。
• 評価対象システム: 5つの商用リアルタイムS2Sシステムをテストした：
  • Nova 2 Sonic
  • Gemini-3.1-Flash-Live
  • GPT-Realtime-2.1
  • GPT-Realtime-2.1-mini
  • Grok Voice Think Fast 1.0
• 条件: 評価は2つのアコースティック・チャネル、すなわち「クリーン」（劣化なし）と「リアリスティック」（電話のノイズ、フレームドロップ、こもりなどをシミュレートしたもの）にわたって実施された。各シナリオは、システムごと、チャネルごとに5回ずつ実行され、合計3,825件のスコア付けされた会話となった。

メトリクス

評価スイートは、3つの柱に分類される12のメトリクスで構成されており、単一の複合スコアを形成することなく算出される：

1. エージェンティック能力（Agentic Capability）: ゴール状態チェック（GS）、Pass@1、Pass@3、およびPass3（$k$回の試行すべてが成功する確率）を通じてタスクの成功を測定する。また、努力に関する指標（過剰努力比 $\varrho^+$ および 過少努力シェア $\pi^-$）も含まれる。
2. 会話ダイナミクス（Conversational Dynamics）: ターンテーキング（TT）スコア、会話進行度（CP）、および注入されたディストラクターに対する選択性（SEL）を含む。
3. 自然さ（Naturalness）: 忠実性（FAI、LLMによって判定）および音響品質予測器（DNSMOS、UTMOS、NISQA）を含む。

主な貢献

1. 範囲の拡大: DUPLEXWORLDは、ナビゲーション・ワールドと5つのエンタープライズ・ワールドを組み合わせ、156のシナリオと11の会話タイプをカバーする初のベンチマークである。これは、非定常的で知覚的な環境におけるエージェンティック能力をテストするための新しいフロンティアを導入する。
2. 統合評価スイート: 多様なドメインと要求にわたる単一のハーネスとメトリクス・スイートを提供し、異なるタスクタイプやアコースティック条件にわたるシステムの直接比較を可能にする。
3. 能力の解離に関する実証的証拠: 本研究は、会話能力、エージェンティック能力、および自然さの能力が「共に移動する（連動する）」わけではないという証拠を提示している。あるシステムは一つの柱において優れている一方で、他の柱においては失敗する場合がある。

結果

5つの商用システムの評価により、すべての軸において大幅な改善の余地があることが明らかになった：

• パフォーマンスの限界: 最も優れたパフォーマンスを示したシステムでさえ、Pass@1は0.490、ターンテーキング・スコアは0.653、DNSMOSは3.378（全ワールドのプール値）であった。
• ワールド依存性: パフォーマンスは特定のワールドに強く依存する。例えば、GPT-Realtime-2.1のPass@1は、システムが同一であるにもかかわらず、Bankingでは0.200であったのに対し、Travelでは0.674に達した。
• スキルの解離:
  • 会話 vs エージェンティック: 最も優れた会話術を持つものが、必ずしも最も優れたタスク完了者ではなかった。例えば、Nova 2 Sonicは、良好なターンテーキングと高い選択性を示したが、エージェンティック能力はほぼゼロであった。
  • 音響品質 vs 有能さ: 音響品質（MOSスコア）はタスク完了を予測しなかった。同様のMOSスコアを持つシステム間でも、Pass@1の値には大きな開きがあった。
• 失敗モード:
  • エンタープライズ・ワールド: 関与度の高いシステムは、「過剰に働きすぎる」（理想的なツールコール回数を超える）ことで失敗し、関与度の低いシステムは「働き不足」になることで失敗することが多かった。
  • パスファンディング: 本研究では探索（explore）– 利用（exploit）のレンズを適用した。より多く探索したシステム（標識の読み取りや試行的な歩行を行うシステム）ほど、目的地への到着率が低かった。最も探索を行ったシステムは目的地に到着できず、最も探索を行わなかったシステムが最も成功する確率が高かった。
• 信頼性: 信頼性は急速に低下する。主要なシステムにおいて、Pass@3はPass@1の約半分であり、5回の試行すべてにおいて全ワールドで確実にパスしたシステムは一つも存在しなかった。
• ボトルネック: エンタープライズ・ワールドにおいては、資格情報の聞き間違い（単語誤り率：WER）が主要なボトルネックであった。約6回に1回の割合で、話された資格情報が聞き間違えられており、これが本人確認を制限していた。

重要性と主張

論文は、現在の音声エージェントが急速に発展しているにもかかわらず、日常生活へのシームレスな統合や複雑なエンタープライズ・タスクへの準備がまだ整っていないと主張している。

• ベンチマークの必要性: 既存のベンチマークは、会話の多様性を考慮していない、あるいはデータベース操作を超えたタスクをテストしていないため、不十分である。DUPLEXWORLDは、より広く現実的なテストベッドを提供することでこれに対処している。
• デプロイメントへの警告: 知覚される音響品質は、有能さの不適切なプロキシ（代理指標）であると著者は警告している。「音が良く聞こえる」ことに依存して調達判断を行うことは、コアとなるタスクに失敗するシステムを選択することにつながる可能性がある。
• メトリクスの推奨: 著者らは、完了スコアとともに**過少努力シェア（$\pi^-$）**を報告することを推奨している。これは、沈黙によって「勝ち取る」ことのできない、失敗の強力な予測因子であるためである。
• 限定的な主張: 本論文は、呼び出し側に人間の音声ではなく合成音声を使用していること、英語のみのベンチマークであること、および判定ベースのメトリクスがこの特定のコーパスに対して人間による評価に対して再検証されていないことなど、限界を認めている。著者らは、本研究の知見は決定的な解決策を提供するものではなく、現在のテクノロジーのギャップを浮き彫りにするものであることを強調している。