技術概要：あらゆるビデオ・テンポラル・グラウンダーのための共形被覆保証（Conformal Coverage Guarantees）

問題提起

ビデオ・テンポラル・グラウンディング（Video Temporal Grounding）とは、自然言語のクエリが与えられた際に、連続するビデオ内のイベントの開始時刻と終了時刻を特定することである。この領域における根本的な課題は、イベント境界に内在する曖昧さである。同一のクエリとビデオのペアを再アノテーションすると、多くの場合、区間が重なり合い、サンプル数の半分以上で一致しないことが判明する。したがって、正解（Ground Truth）は単一の点ではなく、区間の分布となる。

現在のテンポラル・グラウンダーは、学習済みのローカライザー（例：DETR形式のモデル）であれ、ブラックボックス型のビデオ・言語モデル（VLM）であれ、信頼性の表明なしに単一の区間を出力する。デプロイメントにおいて、自信はあるが誤った区間は、正しい区間と区別がつかず、ダウンストリームのアプリケーション（検索、編集、エビデンス探索エージェントなど）が、いつ探索を保留または拡大すべきかを判断するための原則的な方法を持てない状況を生じさせる。既存の不確実性定量化手法は、特定のアーキテクチャの再学習を必要としたり、ホワイトボックスへのアクセスに依存したりするか、あるいは公称ターゲットと一致する有限サンプルでの被覆保証を提供できなかったりする。

手法：Cover

本論文は、既存のあらゆるテンポラル・グラウンダーを、ユーザーが指定した確率 $1 - \alpha$ 以上で真の瞬間を含む時間領域を出力するシステムへと変貌させる、ポストホック（事後的）かつモデルに依存しないラッパーである Cover を提案する。Coverは、再学習やホワイトボックスへのアクセスを必要とせず、グラウンダーの出力と保持されたキャリブレーション・セットのみに基づいて動作する。

本手法は、**共形予測（Conformal Prediction）**の原理を時間的区間に適応させたものである：

1. 非適合度スコア（Nonconformity Scores）: Coverは、予測された区間が真の区間を含むために必要な最小限の拡張を表すスコアを定義する。

   • 区間拡張スコア（Interval-Widening Score）: 区間 $[\hat{s}, \hat{e}]$ を出力するグラウンダーに対し、スコアは開始と終了の両端における正規化されたオーバーシュートの最大値とする：$s(X, I^*) = \max(\frac{\hat{s}-s^*}{\ell(X)}, \frac{e^*-\hat{e}}{\ell(X)})$。ここで $\ell(X)$ は予測された長さ（または固定スケール）である。これにより、両方向への拡張が可能になる。
   • 境界別バリアント（Per-Boundary Variant）: 非対称なエラーに対処するため、開始と終了の境界を個別にキャリブレーションする2パラメータ・バリアント。
   • 上位レベルセット・スコア（Super-Level-Set Score）: 時間的関連性信号 $f_X(t)$ を出力するグラウンダーに対し、スコアは $s(X, I^*) = -\min_{t \in I^*} f_X(t)$ とする。これにより、関連性が高い場所にのみ時間的予算を割く、適応的で、場合によっては不連続な領域を生成する。

2. キャリブレーション（Calibration）: ラベル付きキャリブレーション・セット $\{(X_i, I^*_i)\}_{i=1}^n$ が与えられると、Coverは非適合度スコアを計算し、閾値 $\hat{q}$ として $(1-\alpha)$ 経験的分位数（具体的には $\lceil(n+1)(1-\alpha)\rceil$ 番目に小さいスコア）を選択する。

3. 予測（Prediction）: 新しいテスト入力に対し、最終的な領域 $\mathcal{C}(X)$ は、校正された分位数 $\hat{q}$ によってベースとなる予測を拡張することで構築される。

4. バリアント（Variants）: 本フレームワークには、期待ミス率を制限する**リスク制御（Risk-control）バリアント、および特定のサブポピュレーション（例：イベントの長さの層）内での被覆を保証する層化（Stratified）**バリアント（Mondrianキャリブレーション）が含まれる。

主な貢献

1. 分布フリーな不確実性定量化: ビデオ・テンポラル・グラウンディングにおいて、有限サンプルかつ分布フリーな被覆保証を提供する最初の手法である。これは、学習済みまたはブラックボックスのVLMを含むあらゆるグラウンダーを、真の区間を含むことが保証された集合予測器へと変換する。
2. 時間的非適合度スコア: 区間ベースおよび関連性信号ベースのグラウンダーのための特定のスコアを導入し、非対称な境界エラーに対処するための2パラメータ・バリアントも提示している。
3. 理論的分析:
   • 効率性: 校正された拡張が、選択された領域のファミリー内で漸近的に長さ最適であることを証明。
   • 条件付き被覆: 長さ正規化スコアを用いたスケールモデルの下で、被覆がイベントの長さに条件付きで成立することを実証。
   • 交換可能性の境界: 同一ビデオ内のモーメントが交換可能性の仮定を違反する場合の、被覆の劣化に関する明示的な境界。
4. 経験的認証: キャリブレーションが信頼できる被覆のために不可欠であることを示す包括的な評価を行い、点指標による評価や「手選定」されたマージンの欠陥を露呈させた。

実験結果

本手法は、3つのベンチマーク（Charades-STA, ActivityNet-Captions, QVHighlights）と、学習済みローカライザー（QD-DETR）およびブラックボックスVLM（Qwen2.5-VL-7B-Instruct）を含む5つのグラウンダーを用いて評価された。

• 被覆の妥当性: 実現された被覆率は、すべてのデータセットとモデルにおいてターゲットの $1-\alpha$ に密接に追従した。例えば、ターゲットが0.90の場合、ActivityNet-CaptionsにおいてQD-DETRは $0.895 \pm 0.003$ を達成した。
• 効率性: 単一のスコアファミリーが全般的に優位であることはない。長さ正規化スコアは概して良好な性能を示す一方、高被覆ターゲットにおいては上位レベルセット・スコアがQVHighlightsにおいて最も効率的であった。
• キャリブレーション vs 固定マージン: 手選定された固定マージンは一貫した被覆を実現できず、選択された定数に応じて実現被覆率が0.096から1.000まで大きく変動した。望ましいターゲットを効率的に達成するためには、キャリブレーションが必要であることが示された。
• 非対称性の検出: 境界別バリアントにより、VLM（Qwen）が開始検出にはほぼ完璧であるが、終了（offset）において大きなエラーを持つことが明らかになった。単一パラメータのスコアは正確な開始境界に対して予算を浪費していたが、2パラメータ・バリアントはQVHighlightsにおいて領域の長さを最大9.1%削減した。
• 不確実性定量化の失敗: 不確実性定量化のために設計されたエビデンシャル・グラウンダーは、公称ターゲットである0.80に達せず、実現被覆率は0.660にとどまった。Coverは、同一の予測に対して有効な保証を回復させた。
• 堅牢性: 重み付き共形予測を用いることで、分布シフト（クロスデータセット転移）の下でも妥当性を維持したが、ソースデータがターゲット分布をサポートしていない場合の「ポジティビティ・リミット（陽性限界）」に直面した。

意義と主張

本論文は、Coverがビデオ・テンポラル・グラウンディングの出力オブジェクトを、点推定から信頼できる領域へと根本的に変えるものであると主張している。その意義は以下の点にある：

• モデル・アグノスティック（モデルに依存しない）: 再学習なしで、ブラックボックスVLMを含むあらゆるグラウンダーに適用可能である。
• 信頼性: 誤った区間が、被覆確率に基づいて正しい区間と区別可能であることを示す、厳密な有限サンプル保証を提供する。
• 診断能力: キャリブレーション・プロセスが測定ツールとして機能し、標準的な点指標では隠されてしまうグラウンダーの潜在的な特性（例：非対称な境界エラー、ネイティブな不確実性推定の失敗）を明らかにする。
• 実用的なデプロイメント: 連続的なビデオ理解における核心的な未解決問題に対処し、ダウンストリームのエージェントが探索を保留または拡大するかどうかを判断するための、原則に基づいたメカニズムを提供する。

著者らは、保証が交換可能性の仮定（長いビデオ内やデータセット間で違反される可能性がある）に依存していること、および属性フリーの完全な条件付き被覆を分布フリーで達成することは理論的に不可能であることを認め、謙虚な姿勢を保っている。しかし、これらの条件下でも手法が緩やかに劣化することを示しており、信頼できるテンポラル・グラウンディングのための最初の実用的なフレームワークを提供している。