USV: Towards Understanding the User-generated Short-form Videos

기술 요약: USV: 사용자 생성 단편형 비디오 이해를 위한 방향성

문제 정의
대규모 비디오 데이터셋의 확산으로 비디오 이해 기술이 발전했음에도 불구하고, **사용자 생성 단편형 비디오 (UGC)**라는 특정 도메인은 여전히 미탐구 상태로 남아 있습니다. 기존 데이터셋은 주로 영화나 TV 같은 전문 콘텐츠나 장기간 비디오에서의 인스턴스 수준 인식 (예: 동작 인식, 객체 감지) 에 중점을 둡니다. 이들은 단편형 UGC 의 고유한 특성을 다루지 못합니다:

1. 주제 집중성: 비디오는 몇 초 내에 단일 주요 주제를 전달하도록 강요받습니다.
2. 텍스트 풍부성: 의미론적 의미를 위해 사용자 생성 텍스트 (제목, 자막, 댓글) 에 대한 의존도가 높습니다.
3. 높은 활동성: 급변하는 트렌드 (예: ASMR, 블록체인) 로 인해 대규모 수동 주석 및 검증은 비실용적입니다.
4. 광범위한 다양성: 이해를 위해 다중 모달 단서가 필요한 다양한 장르와 내러티브가 존재합니다.

현재 문헌은 이 특정 도메인에서 고수준 의미론적 정보를 이해하기 위해 다중 모달리티를 활용하는 데이터셋과 벤치마크가 부족합니다.

방법론
본 논문은 USV-1.0이라는 새로운 데이터셋을 소개하고, UGC 단편형 비디오 이해의 과제를 해결하기 위한 두 가지 구체적인 작업과 베이스라인 방법을 제안합니다.

1. 데이터셋 구축 (USV-1.0):

   • 규모: 32 개의 거대 주제에서 파생된 212 개의 미소 주제 카테고리에 걸쳐 약 224,000 개의 비디오를 포함합니다.
   • 수집 전략: 비디오는 TikTok, Kwai 와 같은 UGC 플랫폼에서 레이블 쿼리를 통해 수집되었으며, 추가 수동 검증이나 자르기는 수행되지 않았습니다. 쿼리 단어는 주제 레이블로 작용하고, 사용자가 업로드한 제목은 검색을 위한 텍스트로 활용됩니다.
   • 모달리티 추출: 데이터셋에는 원시 시각 프레임, 오디오 트랙, 그리고 OCR 을 통해 추출된 자막이 포함됩니다.
   • 노이즈 처리: "높은 활동성" 특성을 인정하여, 저자들은 웹 감독 방식을 채택했습니다. 검증 및 테스트 세트만 제한적인 인간 검증을 거쳤으며 (약 21.7% 의 노이즈가 있는 레이블 제거), 확장성을 유지하기 위해 훈련 세트는 검증되지 않은 상태로 남았습니다.

2. 작업 1: 주제 인식:

   • 정의: 비디오의 고수준 의미론적 주제를 식별하는 다중 클래스 분류 작업입니다. 동작 인식과 달리, 이는 시각, 오디오, 텍스트 단서를 통합해야 합니다.
   • 방법 (MMF-Net): 3 개 분기 후기 융합 (late-fusion) 아키텍처를 사용하는 다중 모달리티 융합 네트워크:
     • 시각 분기: 2D (TSN) 또는 3D (I3D, SlowFast) 합성곱 네트워크.
     • 오디오 분기: 로그 멜 스펙트로그램을 처리하는 2D ResNet-18.
     • 텍스트 분기: OCR 로 추출된 자막을 처리하는 사전 훈련된 다국어 BERT.
     • 융합: 세 분기의 예측 점수가 가중 평균되어 합의 (consensus) 를 형성합니다.

3. 작업 2: 비디오 - 텍스트 검색:

   • 정의: 사용자 생성 제목을 기반으로 비디오를 검색하는 작업 (그 반대의 경우도 마찬가지). 이는 제목을 자연스럽고 약한 캡션으로 간주하여, 문제를 교차 모달 자기지도 학습으로 프레임합니다.
   • 방법 (VTCL): 비디오 - 텍스트 대비 학습 프레임워크.
     • 비디오 클립과 제목을 공유된 $d$차원 임베딩 공간에 매핑합니다.
     • InfoNCE 손실 함수를 사용하여 일치하는 비디오 - 제목 쌍은 가깝게, 일치하지 않는 쌍은 멀리 밀어냅니다.
     • 비디오 인코더는 시각, 오디오, 텍스트 분기에서 추출된 특징을 결합한 후 투영합니다.

주요 결과

• 베이스라인 성능:
  • 주제 인식: MMF-Net 베이스라인은 시각, 오디오, 텍스트 분기를 융합했을 때 평균 클래스 정확도 (mca) **78.84%**를 달성했습니다. 주목할 점은 이 데이터셋에서 2D 모델 (TSN) 이 3D 모델 (SlowFast, I3D) 보다 성능이 우수했다는 것으로, 단편형 주제에서는 밀집된 시간 모델링보다 다중 모달 통합이 덜 중요함을 시사합니다. Kinetics-400 또는 ImageNet 에 대한 사전 훈련은 아무런 이점을 제공하지 않았으며, 이는 상당한 도메인 간극을 나타냅니다.
  • 비디오 - 텍스트 검색: VTCL 프레임워크는 오디오와 텍스트 모달리티를 추가하는 것이 시각만 사용하는 베이스라인보다 검색 성능을 지속적으로 향상시켰음을 보여주었습니다. 최상의 구성 (V+A+T) 은 비디오 - 제목 (Video-to-Title) 에서 Recall@1 23.51%, 제목 - 비디오 (Title-to-Video) 에서 **23.71%**를 달성했습니다.
• Zero-Shot 능력: 논문은 VTCL 임베딩이 미세 조정 없이 Zero-Shot 주제 인식에 사용될 수 있음을 보여주었으며, mca 29.01% 를 달성하여 대비 학습 프레임워크가 학습한 의미론적 정렬을 검증했습니다.
• 다중 모달리티 영향: 제거 분석 (Ablation studies) 은 개별 오디오 및 텍스트 분기가 고립되었을 때 종종 50% 미만의 성능을 보였지만, 이들의 융합은 전체 시스템 성능을 크게 향상시켰음을 확인시켜 주었습니다. 이는 고수준 의미론적 이해를 위해 다중 모달 단서가 필수적임을 강조합니다.

의의 및 주장
저자들은 세 가지 주요 기여를 주장합니다:

1. 새로운 데이터: USV-1.0 은 기존 문헌이 전문 콘텐츠나 인스턴스 수준 콘텐츠에 초점을 맞춘 공백을 해소한, 실제 세계 단편형 비디오 이해를 위한 최초의 대규모 데이터셋입니다.
2. 새로운 작업: 주제 인식(고수준 의미론적 분류)과 비디오 - 텍스트 검색(사용자 생성 제목 기반) 의 정의는 인스턴스 수준 인식에서 전체적인 의미론적 이해로 초점을 이동시킵니다.
3. 새로운 방법: MMF-Net과 VTCL의 제안은 이러한 특정 작업을 위해 오디오와 자막을 활용하는 최초의 효과적인 베이스라인 역할을 합니다.

본 논문은 향후 연구를 촉진하기 위한 예비 탐색으로 자신을 위치시킵니다. 제안된 방법들은 복잡한 아키텍처를 통해 최첨단 기록을 세우기 위한 것이 아니라, 다중 모달 단서의 잠재력을 입증하기 위해 설계된 "간단하지만 효과적인" 베이스라인임을 강조합니다. 이 연구는 단편형 비디오의 고유한 다중 모달 특성을 활용하여 사용자 생성 콘텐츠 이해의 경계를 넓히는 것을 목표로 합니다.