A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering

問題提起

エージェンティックなビデオ質問応答（VideoQA）システムは、現在、固定されたツールライブラリに依存しています。これらのエージェントは推論中にツールを動的に選択し、シーケンス化しますが、繰り返される手順が、新しい質問ごとにプリミティブな操作から再構築されなければなりません。この冗長性は、重大な推論オーバーヘッドを生み出します。

複合的なツール（再利用可能なプリミティブ操作のシーケンス）を合成することは、このプランニングと選択のコストを償却できる可能性があります。しかし、標準的な指標を用いてこのような合成の価値を評価することは困難です。最終回答の精度だけでは、推論の労力は無視されます。システムは、計算リソースを大幅に消費することで高い精度を達成している可能性もあれば、逆に、精度を犠牲にして効率性を向上させている可能性もあります。既存の評価手法は、アクション空間の拡大が正確性とコストのトレードオフをどのように変化させるかを明らかにできていません。

手法

1. Dynamic-SAGE フレームワーク

著者らは、既存の SAGE エージェンティック VideoQA システムを拡張した Dynamic-SAGE というフレームワークを提案しています。静的なツールのセットを使用する SAGE とは異なり、Dynamic-SAGE は評価前に再利用可能なアクション空間を動的に拡張します。

• オフライン合成パイプライン: 保持された150個の VideoQA 質問セットを使用して、マルチエージェント・システムが複合ツールを合成します：
  • シグネチャ・エージェント (Signature Agent): 繰り返されるマルチステップの推論パターンを特定し、ツールのインターフェース（名前、説明、入力/出力）を提案します。
  • 実装エージェント (Implementation Agent): 既存のプリミティブ操作（例：event ground、transcribe speech、analyze）を、実行可能な Python 関数へと構成します。これは既存のプリミティブのみを使用するように制約されており、新しい外部モデルや能力を追加することはありません。
  • 検証エージェント (Verification Agent): 安全性、契約遵守、および正当性を検証し、重複、不正なコード、または最終回答の確定を試みるツール（回答の確定はオーケストレーターに残す）を拒否します。
• 推論: 評価中、エージェント（GPT-4o によってオーケストレートされる）は、元の静的なツール ($T_s$) と合成された動的なツール ($T_d$) の和集合から選択を行います。合成されたツールは、オーケストレーターには単一のアクションとして表示されますが、内部的には一連のプリミティブを実行します。

2. コストを考慮したペアリング評価プロトコル

ツール合成の影響を厳密に評価するために、著者らはコストを考慮したペアリング・プロトコルを導入しています。

• ペア比較: 集計された精度を比較するのではなく、このプロトコルは同一の入力質問に対して Static-SAGE と Dynamic-SAGE のシステムをペアリングします。
• 6つのグループ分類: 各ペアの出力は、共同の正誤（Static vs. Dynamic）および可視的なツール呼び出しの変化 ($\Delta e_i$) に基づいて、以下の通り分類されます：
  1. $G_{safe}$: 両方とも正解、かつ Dynamic の方が呼び出し回数が少ない。
  2. $G_{neutral}$: 両方とも正解、かつ呼び出し回数に変化なし。
  3. $G_{overhead}$: 両方とも正解、かつ Dynamic の方が呼び出し回数が多い。
  4. $G_{ideal}$: Static は不正解、Dynamic は正解、かつ呼び出し回数が少ない。
  5. $G_{costly-gain}$: Static は不正解、Dynamic は正解、かつ呼び出し回数が同等または多い。
  6. $G_{loss}$: Static は正解、Dynamic は不正解（効率に関わらず失敗として扱う）。
• 有意性テスト: プロトコルは、統計的有意性のために McNemar's test を採用し、サブグループ間の信頼性を報告するためにペア・ブートストラップ信頼区間を使用します。

主な貢献

1. コストを考慮したペアリング・プロトコル: 正解率とコストの変化を共同で報告し、効率性の向上と有害な退行を分離することで、ツール拡張型エージェントを監査する再利用可能な評価手法を提供します。
2. Dynamic-SAGE テストベッド: 新しいモデルやプリミティブ能力を導入することなく、複合ツールを合成、検証、および永続的に登録して、未知の質問に対して再利用できるフレームワークです。
3. マルチ軸監査: SAGE-Bench における実証分析により、ツール合成は精度を向上させるものの、一様にコストを削減するのではなく、コスト構造を変化させることが明らかになりました。

結果

SAGE-Bench からの 1,304 個のサンプル（150 個の合成用ホールドアウトを除く）を用いて評価を行いました：

• 精度: Dynamic-SAGE は全体的な精度を 7.52 パーセントポイント 向上させました（60.43% から 67.94% へ、$p < 0.001$）。
  • 精度向上は 視覚的 (visual) な質問（+9.29%）および オープンエンド (open-ended) な質問（+9.17%）で最大となります。
  • 言語的および混合モダリティの質問については、統計的に中立です。
  • 改善は難易度に応じてスケールし、「難しい (hard)」および「非常に難しい (very hard)」問題において最大の利点を示しています。
• 効率性とコストのトレードオフ:
  • オーケストレーションの削減: Dynamic-SGE は、推論ターン（reasoning turns）および可視的なツール呼び出しを約 28% 削減しました（3.34 から 2.40 ターンへ）。
  • トークン/コストの増加: 複合ツールは複数のプリミティブをカプセル化しているため、プリミティブ操作の総数は増加します。その結果、トークン使用量は 34% 上昇し、金銭的コストは 26% 増加しました。
• 失敗分析:
  • 精度の低下の大部分は、パイプラインが最も多くの作業を行う 難しいオープンエンドの質問 で発生しています。
  • 失敗の大部分（53%）は、Dynamic-SAGE が Static-SAGE よりも多くのツール呼び出しを行った際に発生しており、これは、拡張された軌跡が、早期の過剰圧縮ではなく、誤った回答に到達していることを示しています。
  • 採用は偏っており、2 つの深さ 2 のツールがほとんどの呼び出しを占めていますが、より深いツールはほとんど使用されず、精度も低くなっています。

意義と主張

本論文は、主要な貢献はシステムそのものではなく、スカラー値の精度比較では見逃されてしまう「マルチ軸のプロファイル」を明らかにするプロトコルであると主張しています。

著者らは、アクション空間を拡張することは有効であるものの、その恩恵は条件的であると結論付けています。それは、コストの負担を、オーケストレーションのステップ（推論ターン、可視的な呼び出し）から、呼び出しごとのトークン消費へとシフトさせます。システムは、より高い精度とより少ないインタラクションステップを実現しますが、より高い金銭的およびトークンコストを伴います。

著者らは、現在の手法が普遍的な解決策ではないことを控えめに述べており、特に困難なオープンエンドの質問において信頼性のリスクが残っていることを指摘しています。彼らは、今後の研究の焦点は、単にアクション空間を拡大することではなく、合成されたツールの品質、識別性、およびルーティングを改善することに置かれるべきであると示唆しています。本論文は、VideoQA を完全に解決すると主張しているのではなく、動的なツール合成のトレードオフを監査するための厳密な手法を提供しています。