Counterfactual Sensitivity Is Not Repairability: Auditing Replay Probes for Video Evidence

기술 요약: CARVE – 검색된 시각적 증거에 대한 반사실적 감사(Counterfactual Auditing of Retrieved Visual Evidence)

문제 정의
도구 사용 비디오 에이전트(Tool-using video agents)는 질문에 답하기 위해 시각적 증거(프레임, 시간적 창)를 검색하지만, 이들의 아키텍처는 최종 답변이 검색된 증거에 의존하도록 강제하지 않습니다. 기존의 진단 방식은 주석이 달린 시간적 구간을 필요로 하거나, 에이전트가 환각(hallucination)을 일으키고 있는지 아니면 시각적 입력 대신 언어적 사전 지식(language priors)에 의존하고 있는지를 판단하기 위해 별도의 "판사(judge)" 모델을 필요로 합니다. 저자들은 실무자들이 모델을 수정하거나, 그래디언트에 접근하거나, 외부 주석에 의존하지 않고도 증거 의존성을 감사할 수 있는 방법이 필요하다는 점을 식별했습니다.

방법론: CARVE 프로브(The CARVE Probe)
본 논문은 CARVE(Counterfactual Auditing of Retrieved Visual Evidence)를 소개합니다. 이는 에이전트의 결정된 답변이 검색된 시각적 증거가 의미론적으로 파괴되었을 때 변하는지를 측정하도록 설계된 블랙박스 형태의 매칭된 반사실적 프로브(matched counterfactual probe)입니다.

1. 중재 설계 (Intervention Design):

   • SHAM (대조군): 에이전트가 검색한 프레임은 보존되지만, 파이프라인의 고유한 가변성(픽셀 구현, 파싱, 답변 생성 과정)을 포착하기 위해 파이프라인을 재실행합니다.
   • DESTROY (중재): 동일한 검색 프레임에 **푸리에 위상 무작위화(Fourier phase randomization)**를 적용합니다. 이는 레이아웃, 진폭 스펙트럼, 프레임 수는 유지하면서 위상 의존적 시각 구조(의미론적 내용)를 파괴합니다.
   • 비교: 에이전트의 원래 답변($\hat{a}$)을 고정합니다. SHAM과 DESTROY 조건 모두 $k$번 반복 실행합니다. 점수 $\hat{\Delta}$는 DESTROY와 SHAM 사이의 답변 변화율 차이입니다: $\hat{\Delta} = \hat{\delta}_{destroy} - \hat{\delta}_{sham}$.

2. 이론적 프레임워크:

   • 추정치 $\hat{\Delta}$는 두 이항 비율(binomial proportions)의 차이로 모델링됩니다.
   • 저자들은 정확한 유한 반복 법칙(finite-replay law)을 도출하여, 점수가 이산적 지지 집합(discrete support, $1/k$ 간격)을 가지며, 모집단 점수가 0이 아닐 때도 정확한 동점(zero score)이 발생할 확률이 존재함을 보여줍니다.
   • 이 분석은 프로브가 집합적으로는 신뢰할 수 있지만(큰 평균 효과를 보임), 낮은 반복 예산($k$)에서의 분산과 이산성으로 인해 개별 질문에 대한 결정 규칙으로서는 불안정할 수 있다는 중요한 차이점을 강조합니다.

3. 라우팅 정책 (Routing Policy):

   • 주요 정책은 $\hat{\Delta} \leq 0$인 경우(이는 파괴 시 답변이 온전한 재실행 시보다 유의미하게 더 많이 변하지 않았음을 나타내며, 원래의 답변이 증거에 의존하지 않을 가능성을 시사함) 질문을 보조 답변자에게 위임합니다.
   • 연구는 서로 다른 반복 예산($k=3$ 및 $k=10$)에서 이 정책을 평가합니다.

주요 기여

1. 매칭된 반사실적 감사: CARVE는 모델 가중치, 로짓, 재학습 또는 주석이 달린 구간 없이도 파이프라인의 가변성으로부터 중재 민감도를 분리해냅니다.
2. 유한 반복 이론: 본 논문은 반사실적 프로브의 분산, 이산성 및 동점 확률에 대한 이론적 설명을 제공하며, 왜 집합적 안정성이 개별 질문의 안정적인 임계값을 보장하지 못하는지를 설명합니다.
3. 점수 해상도와 결정 효용의 분리: 저자들은 반복 예산($k$)을 늘리는 것이 점수의 모호성을 해결(동점 감소)하지만, 역설적으로 고정된 라우팅 정책을 약화시킬 수 있음을 입증합니다. 측정의 정밀도가 높아진다고 해서 반드시 더 나은 컨트롤러가 되는 것은 아닙니다. 이는 결정 경계와 관련하여 사례의 분포가 변할 수 있기 때문입니다.
4. 경험적 특성화: 연구는 시간적 커버리지, 재실행 안정성, 복구 가능성을 구분하며, CARVE가 직접적인 그라운딩 분류기가 아닌 라우팅 신호임을 보여줍니다.

결과

• 집합적 효과: LVBench 데이터셋($n=1,258$)을 사용하여 고정된 VideoExplorer 스타일의 에이전트에서 세 번의 독립적인 실행을 수행한 결과, DESTROY는 SHAM보다 답변을 29.3 퍼센트 포인트 더 자주 변화시켰습니다. 이는 크고 재현 가능한 집합적 중재 효과를 확인시켜 줍니다.
• 라우팅 성능:
  • $k=3$일 때, 포함 정책($\hat{\Delta} \leq 0$)은 538개의 질문(전체의 42.8%)을 선택하였고, 정확도를 3.26 퍼센트 포인트 향상시켰습니다(45.47%에서 48.73%로).
  • 이 정책은 100회의 폴백(fallback) 호출당 **7.62개의 순 복구(net repairs)**를 달로 달성하여, 매칭된 무작위 라우팅 서브셋보다 우수한 성능을 보였습니다.
  • 안정성 vs 효용성: $k$를 3에서 10으로 늘리면 대부분의 동점이 해결(동점 질량 감소)되지만, 라우싱 정책은 약화되었습니다. $k=10$ 정책은 더 적은 질문을 선택했으며, $k=3$에서 "동점"이었던(따라서 선택되었던) 많은 질문들이 $k=10$에서는 양수(따라서 제외됨)가 됨에 따라 더 낮은 정확도 이득을 보였습니다.
• 구성 타당성 (Construct Validity):
  • 점수 $\hat{\Delta}$는 주석이 달린 시간적 커버리지와 약한 상관관계만을 보였습니다 (ROC-AUC $\approx$ 0.53).
  • 그 관계는 조건부적입니다. 정답인 경우 커버된 질문들이 높은 점수를 가졌고, 오답인 경우 커버된 질문들이 낮은 점수를 가졌습니다. 이는 $\hat{\Delta}$가 증거가 실제 정답 구간과 겹치는지 여부를 직접 측정하는 지표가 아님을 나타냅니다.
• 전이 가능성: 라우팅 규칙은 다른 답변자 백본(Qwen2.5-VL)과 Video-MME 벤치마크에 적용했을 때 양의 평균 전이 이득을 보였으나, 그 크기는 비대칭적이었습니다.

의의 및 주장
본 논문은 CARVE가 고정된 비디오 에이전트가 검색된 증거에 의존하는지 감사하기 위한 실용적이고 주석이 필요 없는 방법을 제공한다고 겸손하게 주장합니다.

• 그라운딩 인증서가 아님: 저자들은 CARVE가 직접적인 그라운딩 분류기나 정답 라벨이 아님을 명시적으로 밝힙니다. 낮은 점수가 비디오로부터의 독립성을 증명하는 것도 아니며, 높은 점수가 정답을 보장하는 것도 아닙니다.
• 라우팅 신호: CARVE의 주요 효용은 예산 의존적 라우팅 신호로서의 역할입니다. 이는 폴백 메커니즘이 복구를 가져올 가능성이 높은 질문의 하위 집합을 식별하며, 무작위 선택보다 더 나은 성능을 보입니다.
• 정책 설계 통찰: 핵심적인 발견은 "더 정밀한" 반사실적 측정(높은 $k$)이 자동으로 의사결정을 개선하지 않는다는 것입니다. 프로브의 효용은 특정 작동 지점(예: $k=3$의 동점 블록)과 분포가 결정 임계값과 어떻게 정렬되는지에 크게 좌우됩니다.

요약하자면, CARVE는 비디오 에이전트의 증거 의존성을 탐지하는 견고한 블랙박스 방법을 제공하며, 증거 파괴의 집합적 효과는 강력하지만 개별 질문의 점수는 변동성이 크며 미세한 진단 도구보다는 거친 라우팅 메커니즘으로 사용하는 것이 가장 적합함을 보여줍니다.