기술 요약: 모든 비디오 템포럴 그라운더를 위한 컨포멀 커버리지 보장 (Conformal Coverage Guarantees for Any Video Temporal Grounder)

문제 정의

비디오 템포럴 그라우딩(Video temporal grounding)은 자연어 쿼리가 주어졌을 때 연속적인 비디오 내에서 이벤트의 시작과 종료 시간을 식별하는 작업입니다. 이 도메인의 근본적인 과제는 이벤트 경계의 내재적 모호성입니다. 동일한 쿼리-비디오 쌍을 재주석(re-annotating)하더라도 결과적으로 얻어지는 구간들이 절반 미만의 일치도를 보이는 경우가 많습니다. 결과적으로, 정답(ground truth)은 단일 지점이 아니라 구간에 대한 분포가 됩니다.

현재의 템포럴 그라운더들은(학습된 로컬라이저(예: DETR 스타일 모델)든 블랙박스 비디오-언어 모델(VLM)이든) 신뢰성에 대한 언급 없이 단일 구간만을 출력합니다. 배포 환경에서, 확신에 차 있지만 틀린 구간은 올바른 구간과 구분이 불가능하며, 이는 다운스트림 애플리케이션(검색, 편집, 증거 탐색 에이전트 등)이 언제 검색을 유보하거나 범위를 넓혀야 할지 결정할 수 있는 원칙적인 방법을 결여하게 만듭니다. 기존의 불확정성 정량화 방법들은 특정 아키텍처를 재학습해야 하거나, 화이트박스 접근 권한이 필요하거나, 혹은 명목상 목표치와 일치하는 유한 샘플 커버리지 보장을 제공하지 못한다는 한계가 있습니다.

방법론: Cover

본 논문은 Cover를 제안합니다. 이는 기존의 모든 템포럴 그라운더를 사용자가 지정한 확률 $1 - \alpha$ 이상의 확률로 실제 순간을 포함하는 템포럴 영역을 출력하는 시스템으로 변환해 주는 포스트 혹(post-hoc), 모델 불가지론적(model-agnostic) 래퍼입니다. Cover는 재학습이나 화이트박스 접근을 요구하지 않으며, 오직 그라운더의 출력값과 홀드아웃 교정 세트(held-out calibration set)만을 사용하여 작동합니다.

이 방법은 컨포멀 예측(conformal prediction) 원리를 템포럴 구간에 맞게 적응시킨 것에 기반합니다:

1. 비정형성 점수 (Nonconformity Scores): Cover는 예측된 구간이 정답을 포함하기 위해 필요한 최소한의 확장 정도를 나타내는 점수를 정의합니다.

   • 구간 확장 점수 (Interval-Widening Score): 그라운더가 구간 $[\hat{s}, \hat{e}]$를 출력할 때, 점수는 시작과 종료 경계에서의 정규화된 초과분(overshoots)의 최댓값입니다: $s(X, I^*) = \max(\frac{\hat{s}-s^*}{\ell(X)}, \frac{e^*-\hat{e}}{\ell(X)})$, 여기서 $\ell(X)$는 예측된 길이(또는 고정된 스케일)입니다. 이를 통해 양방향 확장이 가능합니다.
   • 경계별 변형 (Per-Boundary Variant): 비대칭적 오류를 처리하기 위해 시작과 종료 경계를 별도로 교정하는 두 개의 파라미터 변형 방식입니다.
   • 슈퍼 레벨 셋 점수 (Super-Level-Set Score): 그라운더가 템포럴 관련성 신호 $f_X(t)$를 출력하는 경우, 점수는 $s(X, I^*) = -\min_{t \in I^*} f_X(t)$입니다. 이는 높은 관련성을 가진 곳에만 템포럴 예산을 사용하는 적응형의, 잠재적으로 불연속적인 영역을 생성합니다.

2. 교정 (Calibration): 레이블이 지정된 교정 세트 $\{(X_i, I^*_i)\}_{i=1}^n$이 주어지면, Cover는 비정형성 점수를 계산하고 임계값 $\hat{q}$를 $(1-\alpha)$ 경험적 분위수(구체적으로 $\lceil(n+1)(1-\alpha)\rceil$-번째로 작은 점수)로 선택합니다.

3. 예측 (Prediction): 새로운 테스트 입력에 대해, 최종 영역 $\mathcal{C}(X)$는 기본 예측을 교정된 분위수 $\hat{q}$만큼 확장하여 구축됩니다.

4. 변형 (Variants): 본 프레임워크는 기대 미스율(expected miss-rate)을 제한하는 리스크 컨트롤(risk-control) 변형과, 특정 하위 집단(예: 이벤트 길이 층위) 내에서의 커버리지를 보장하는 계층적(stratified) 변형(Mondrian calibration)을 포함합니다.

주요 기여

1. 분포 불가지론적 불확정성 정량화 (Distribution-Free Uncertainty Quantification): 비디오 템포럴 그라우딩을 위해 유한 샘플, 분포 불가지론적 커버리지 보장을 제공하는 최초의 방법입니다. 이는 모든 그라운더(학습된 모델 또는 블랙박스 VLM)를 정답 구간을 포함할 확률이 보장된 집합 예측기(set predictor)로 변환합니다.
2. 템포럴 비정형성 점수: 비대칭 경계 오류를 해결하기 위한 두 개의 파라미터를 가진 변형을 포함하여, 구간 기반 및 관련성 신호 기반 그라운더를 위한 구체적인 점수들을 도입했습니다.
3. 이론적 분석:
   • 효율성 (Efficiency): 교정된 확장이 선택된 영역 군(family) 내에서 점근적으로 길이 최적(length-optimal)임을 증명했습니다.
   • 조건부 커버리지 (Conditional Coverage): 스케일 모델 하에서 길이 정규화된 점수를 사용할 때, 커버리지가 이벤트 길이에 조건부로 성립함을 입증했습니다.
   • 교환 가능성 경계 (Exchangeability Bounds): 동일한 비디오 내의 모멘트들이 교환 가능성 가정을 위반할 때 발생하는 커버리지 저하에 대한 명시적인 경계를 제시했습니다.
4. 경험적 인증: 교정이 신뢰할 수 있는 커버리지를 위해 필수적임을 보여주는 종합적인 평가를 통해, 점 지표(point-metric) 기반의 평가와 "임의로 선택된" 마진(margin)의 결함을 폭로했습니다.

실험 결과

본 방법은 세 가지 벤치마크(Charades-STA, ActivityNet-Captions, QVHighlights)와 학습된 로컬라이저(QD-DETR) 및 블랙박스 VLM(Qwen2.5-VL-7B-Instruct)을 포함한 다섯 가지 그라운더를 대상으로 평가되었습니다.

• 커버리지 타당성 (Coverage Validity): 실현된 커버리지는 모든 데이터셋과 모델에서 목표치 $1-\alpha$를 밀접하게 추종했습니다. 예를 들어, 목표가 0.90일 때, QD-DETR은 ActivityNet-Captions에서 $0.895 \pm 0.003$을 달성했습니다.
• 효율성 (Efficiency): 단일 점수 군이 균일하게 우세하지는 않았습니다. 길이 정규화된 점수가 일반적으로 잘 작동하는 반면, 슈퍼 레벨 셋 점수는 높은 커버리지 목표에서 QVHighlights에 대해 가장 효율적이었습니다.
• 교정 vs. 고정 마진 (Calibration vs. Fixed Margins): 수동으로 선택된 고정 마진은 일관된 커버리지를 달성하는 데 실패했습니다. 선택된 상수에 따라 실현된 커버리지가 0.096에서 1.000까지 크게 휘둘리는 것을 확인했습니다. 이를 통해 원하는 목표를 효율적으로 달성하기 위해 교정이 필수적임을 입증했습니다.
• 비대칭성 탐지 (Asymmetry Detection): 경계별 변형 방식을 통해 VLM(Qwen)이 시작점(onset) 검출은 거의 완벽하지만 종료점(offset) 오류는 상당하다는 것을 밝혀냈습니다. 단일 파라미터 점수는 정확한 시작 경계에 예산을 낭비했으나, 두 파라미터 변형은 QVHighlights에서 영역 길이를 최대 9.1%까지 줄였습니다.
• 불확정성 정량화 실패: 불확정성 정량화를 위해 설계된 증거 기반(evidential) 그라운더는 명목 목표인 0.80을 놓치고 0.660의 실현 커버리지만 달성했습니다. Cover는 동일한 예측값에 대해서도 유효한 보장을 복구해 냈습니다.
• 강건성 (Robustness): 가중치 컨포멀 예측(weighted conformal prediction)을 사용할 때 분포 변화(교차 데이터셋 전이) 하에서도 유효성을 유지했으나, 소스 데이터가 타겟 분포를 지원하지 못하는 "양성 한계(positivity limit)"에 부딪히기도 했습니다.

의의 및 주장

본 논문은 Cover가 템포럴 그라우딩의 출력 객체를 점 추정치에서 신뢰할 수 있는 영역으로 근본적으로 변화시킨다고 주장합니다. 그 의의는 다음과 같습니다:

• 모델 불가지론 (Model Agnosticism): 재학습 없이 블랙박스 VLM을 포함한 모든 그라운더에서 작동합니다.
• 신뢰성 (Reliability): 틀린 구간이 맞은 구간과 구별될 수 있도록 엄격한 유한 샘플 보장을 제공합니다.
• 진단 능력 (Diagnostic Power): 교정 과정은 표준적인 점 지표가 숨기고 있는 그라운더의 특성(예: 비대칭 경계 오류, 자체 불확정성 추정의 실패)을 드러내는 측정 도구 역할을 합니다.
• 실제 배포 (Practical Deployment): 연속적인 비디오 이해의 핵심적인 미해결 과제인, 다운스트림 에이전트가 검색을 유보하거나 범위를 넓힐지 결정할 수 있는 원칙적인 메커니즘을 제공합니다.

저자들은 교환 가능성 가정(긴 비디오 내부나 데이터셋 간에 위반될 수 있음)에 의존한다는 점과, 속성 불가지론적(attribute-free)인 완전한 조건부 커버리지는 이론적으로 분포 불가지론적으로 불가능하다는 점을 인정하며 겸허한 태도를 유지합니다. 그러나 이 방법이 이러한 조건 하에서도 점진적으로 성능이 저하되며, 최초의 신뢰할 수 있는 템포럴 그라우딩 프레임워크를 제공한다는 점을 입증했습니다.