기술 요약: 부분적 관련성 비디오 검색을 위한 증거 기반 학습의 불확실성 재검토

문제 정의

부분적 관련성 비디오 검색 (PRVR) 은 비디오 콘텐츠의 특정 세그먼트만을 설명하는 텍스트 쿼리를 사용하여 편집되지 않은 비디오를 검색하는 것을 목표로 합니다. 완전히 편집된 비디오에 대한 완전한 설명 쿼리를 가정하는 기존 텍스트 - 비디오 검색 (T2VR) 과 달리, PRVR 은 데이터 비대칭성에 뿌리를 둔 근본적인 과제에 직면합니다: 간결하고 모호한 텍스트 쿼리가 풍부하고 편집되지 않은 비디오 콘텐츠와 매칭됩니다.

이러한 비대칭성은 두 가지 중첩된 과제를 야기합니다:

1. 비디오 간 의미적 모호성: 쿼리는 종종 세밀한 이질성을 보입니다. 미결정적(불충분한 의미로 인한 낮은 신뢰도) 이거나 다의적(모호한 의미로 인해 여러 후보 비디오와 매칭됨) 일 수 있습니다. 기존 방법들은 이러한 이질성을 무시하거나 암시적으로 처리하며, 특정 불확실성 유형을 명시적으로 정량화하는 메커니즘이 부족합니다.
2. 비디오 내 희소 감독: 널리 사용되는 다중 인스턴스 학습 (MIL) 패러다임은 일반적으로 단일 최상위 매칭 클립만 감독합니다. 이는 희소한 학습 신호를 초래하여 모델이 전체적 표현을 학습하는 것을 방해하고, 관련 없는 클립에서 비롯된 허위 국소 노이즈 (예: 허위 양성) 에 취약하게 만듭니다.

방법론: Holmes 프레임워크

저자들은 비디오 간 및 비디오 내 수준 모두에서 불확실성을 명시적으로 정량화하고 모델링하도록 설계된 위계적 증거 기반 학습 프레임워크인 Holmes를 제안합니다.

1. 비디오 간 증거 기반 학습

이 구성 요소는 디리클레 분포로 매개변수화된 교차 모달 유사도 점수를 증거로 취급하여 쿼리 모호성을 해결합니다.

• 쿼리 식별을 위한 삼중 원칙: 프레임워크는 디리클레 분포에서 유도된 세 가지 지표를 기반으로 쿼리를 분류합니다:
  • 인지적 불확실성 ($u$): 증거의 강도를 반영합니다. 높은 $u$는 제한된 증거를 가진 미결정적 쿼리를 나타냅니다.
  • 레이블 일관성 ($c$): 정답과의 정렬을 측정합니다. 높은 $c$는 다의적 쿼리도 정답과 잘 정렬될 수 있으므로 정확성을 보장하지 않습니다.
  • 알레토릭 불확실성 ($\xi$): 분포의 기대 엔트로피로 측정됩니다. 낮은 엔트로피는 정밀한 쿼리 (확률 질량이 하나의 비디오에 집중됨) 를 나타내고, 높은 엔트로피는 다의적 쿼리 (균일 분포) 를 나타냅니다.
• 불확실성 기반 식별 (UGI): 쿼리는 미결정적 ($S_u$), 정밀 ($S_p$), 다의적 ($S_n$) 세 하위 집합으로 분할됩니다. 이 분할은 프레임 스케일 및 클립 스케일 브랜치 간의 불일치를 조정하고 불확실성 지배력이 더 높은 가설을 우선시하는 불확실성 지배적 분할 융합 전략을 활용합니다.
• 쿼리 레이블 보정: 식별된 카테고리에 따라 레이블이 재보정됩니다. 정밀 및 미결정적 쿼리는 원래 원-핫 레이블을 유지합니다. 다의적 쿼리는 잠재적 관련성을 포착하고 의미적으로 관련된 샘플에 대한 과도한 패널티를 피하기 위해 모델이 추정한 유사도에서 파생된 소프트 레이블을 받습니다.

2. 비디오 내 증거 기반 학습

희소 감독을 해결하기 위해 Holmes 는 쿼리와 여러 관련 클립 간의 소프트 정렬을 수립하여 더 밀집된 증거를 축적합니다.

• 유연한 최적 수송 (FOT): 이 방법은 최적 수송 (OT) 을 사용하여 소프트 쿼리 - 클립 정렬을 공식화합니다.
• 적응형 먼지통: 주요 혁신은 유사도 점수의 하위 30 백분위수로 설정된 상수 열 벡터인 "먼지통" 버킷을 도입하는 것입니다. 이 버킷은 관련 없거나 노이즈가 있는 클립을 흡수하여 완전한 매핑을 강제하지 않도록 합니다. 이를 통해 모델은 여러 관련 클립에서 학습하면서 허위 국소 반응을 억제하여 더 밀집된 시간적 감독을 효과적으로 제공합니다.

3. 최적화

모델은 두 단계 방식으로 훈련됩니다:

1. 워밍업: 레이블 재보정 없이 표준 유사도 검색 및 비디오 간 증거 기반 학습 ($L_{inter}$) 을 최적화합니다.
2. 연합 최적화: 비디오 내 증거 기반 학습 ($L_{intra}$) 및 레이블 재보정을 활성화합니다.
   총 손실은 기본 검색 손실, 비디오 간 증거 기반 손실, 그리고 비디오 내 증거 기반 손실을 결합합니다.

주요 기여

1. 개념적: 이 논문은 불확실성의 렌즈를 통해 PRVR 을 재정의하여 비디오 간 의미적 모호성과 비디오 내 희소 감독을 명시적으로 연결합니다.
2. 방법론적:
   • 이중 수준 증거 기반 학습 프레임워크인 Holmes를 제안합니다.
   • 세밀한 쿼리 식별 및 적응형 레이블 보정을 위한 삼중 원칙을 도입합니다.
   • 밀집되고 견고한 시간적 정렬을 가능하게 하는 적응형 먼지통을 갖춘 **유연한 최적 수송 (FOT)**을 개발합니다.
3. 경험적: 세 가지 벤치마크에서 최첨단 방법보다 상당한 개선을 보여주었으며, 불확실성 정량화 및 노이즈 억제의 유효성을 검증하는 제거 실험을 수행했습니다.

실험 결과

실험은 ActivityNet Captions, Charades-STA, TVR에서 수행되었습니다.

• 성능: Holmes 는 모든 데이터셋에서 최첨단 성능을 달성합니다. ActivityNet Captions 에서 가장 강력한 경쟁자 (DreamPRVR) 보다 SumR 에서 0.7 더 높으며, TVR 에서 MGAKD 보다 SumR 에서 8.1 더 높습니다.
• 효율성: 증거 기반 학습의 추가된 복잡성에도 불구하고 Holmes 는 유사한 규모의 모델 (예: GMMFormerV2) 과 비교 가능한 추론 및 훈련 효율성을 유지합니다.
• 제거 실험:
  • 다중 스케일 집계 또는 단일 브랜치 학습을 제거하면 성능이 저하되어 위계적 증거의 필요성을 확인합니다.
  • 레이블 보정 ($L_{inter}$) 을 제거하면 가장 낮은 성능을 보여 쿼리 모호성 처리의 중요성을 강조합니다.
  • 비디오 내 증거 기반 손실 ($L_{intra}$) 을 제거하거나 FOT 를 표준 OT/소프트맥스로 대체하면 정확도가 낮아져 노이즈 필터링에서 먼지통 메커니즘의 유효성을 입증합니다.
• 정성적 분석: 시각화는 Holmes 가 관련 없는 비디오보다 정답 비디오를 올바르게 순위 매기고 허위 국소 피크를 억제하는 반면, $L_{intra}$가 없는 모델은 관련 클립과 노이즈를 구분하지 못함을 보여줍니다.

중요성 및 주장

이 논문은 Holmes 가 결정론적 유사도 점수를 넘어 예측 불확실성을 명시적으로 모델링함으로써 새로운 관점을 제시한다고 주장합니다.

• 해석 가능성: 확신 있는 매칭과 낮은 증거 추측을 구분함으로써, 프레임워크는 "블랙박스" 예측에서 해석 가능하고 불확실성을 인지하는 시스템으로 검색을 전환합니다.
• 견고성: 비디오 내 증거 기반 학습 및 적응형 먼지통 메커니즘은 허위 상관관계와 노이즈를 필터링하여 "허위 양성"을 능동적으로 완화하며, 이는 편집되지 않은 비디오 검색에 중요합니다.
• 데이터셋 분석: 다의적 및 미결정적 쿼리를 분류하는 능력은 맹목적으로 과적합하는 것이 아니라 데이터셋 편향을 진단할 수 있는 경로를 제공합니다.

저자들은 사전 훈련된 특징 추출기에 대한 의존성 (엔드 - 투 - 엔드 CLIP 기반 접근법 대비 성능을 제한할 수 있음) 과 전체 비디오 접근이 필요하여 온라인 스트리밍 시나리오에는 덜 적합하다는 한계를 지적합니다. 향후 작업은 고급 인코더 및 엔드 - 투 - 엔드 훈련을 통합할 계획입니다.