기술 요약: MatchLM2Lite

문제 정의

숏폼 비디오 플랫폼의 콘텐츠 모더레이션은 **재생 콘텐츠 식별(Reproduced Content Identification, RCI)**이라는 중대한 과제에 직면해 있습니다. 목표는 기존 콘텐츠를 변형(트리밍, 필터링 또는 편집 등)한 변형 영상들을 탐지하되, 원본 콘텐츠나 정당한 변형을 처벌하지 않는 것입니다.

기존 솔루션들은 주로 시각적 유사성을 매칭하기 위해 시각 인코더에 의존하며, 이 과정에서 사용자가 접하는 중요한 오디오 및 텍로(text) 신호를 간과하는 경우가 많습니다. 또한, 모달리티를 개별적으로 처리하는 전통적인 멀티 타워(multi-tower) 검색 프레임워크는 시스템 복잡성을 높이고, 지연 시간을 증가시키며, 교차 모달 정렬(cross-modal alignment) 능력을 약화시킵니다. 멀티모달 거대 언어 모델(MLLM)은 우수한 이해력을 제공하지만, 거대한 크기와 높은 추론 지연 시간으로 인해 실시간 고처리량 프로덕션 환경(예: 초당 3,000개 이상의 요청 처리)에는 적합하지 않습니다.

방법론

저자들은 MLLM의 높은 정확도와 실시간 배포에 필요한 효율성 사이의 균의를 맞추기 위해 설계된 2단계 프레임워크인 MatchLM2Lite를 제안합니다. 이 시스템은 비디오 쌍(쿼리 및 후보)을 대상으로 작동하며, 시각, 오디오, 텍스트 모달리티를 공동으로 모델링합니다.

1. 아키텍처 설계

프레임워크는 두 가지 별개의 모델로 구성됩니다.

• MatchLM (Teacher): LLaVA-One-Vision (0.5B) 기반의 고용량 MLLM으로, SigLIP 시각 인코더와 Qwen2 LLM 백본을 활용합니다.

  • 멀티모달 입력: 표준 MLLM을 확장하여 인터리브된 토큰 시퀀스 Prompt + [Video1] + [Audio1] + [Video2] + [Audio2]를 수용합니다.
  • 오디오 처리: 오디오는 Whisper-small을 사용하여 인코딩되며, 로그 멜(log-mel) 특징값으로 변환된 후 학습 가능한 가중치 부여 레이어를 통해 단일 토큰으로 집계되어 LLM에 주입됩니다.
  • 목적: 생성 모델이 아닌 쌍(pair) 형태의 비디오 표현 추출기로 기능하며, 마지막 토큰의 최종 은닉 상태(final hidden state)를 사용하여 분류를 수행합니다.

• MatchLite (Student): 효율적인 추론을 위해 설계된 경량 모델로, 세 가지 모듈로 구성됩니다.

  • 멀티모달 인지 모듈 (Multimodal Perception Module): 동결된 인코더(시각용 Swin Transformer, 텍스트용 Sentence-BERT, 오디오용 Whisper-small)를 사용합니다. **양방향 교차 주의(Bidirectional Cross-Attention, BiXT)**를 사용하여 혼합 모달리티 임베딩(예: 시각-텍스트, 시각-오디오)을 생성합니다.
  • 쌍 특징 융합 모듈 (Paired Feature Fusion Module): 모든 모달리티 쌍에 대해 코사인 유사도 행렬과 밀집 쌍 텐서(dense pairwise tensors)를 계산합니다. 시각 관련 특징은 경량 CNN을 통해 강화됩니다.
  • 컴팩트 결정 모듈 (Compact Decision Module): 결합된 특징들을 처리하여 최종 분류 점수를 생성하는 ResNet-34 기반 네트워크입니다.

2. 2단계 학습 레시피 (Two-Stage Training Recipe)

프레임워크는 교사 모델로부터 학생 모델로 지식을 전달하기 위한 특정 학습 파이프라인을 활용합니다.

• 1단계 (지도 학습): MatchLM과 MatchLite 모두 라벨링된 쌍 비디오 데이터에 대해 표준 교차 엔트로피 손실(cross-entropy loss)을 사용하여 다중 작업 분류(주요 RCI 작업 및 보조 서브 라벨)를 독립적으로 학습합니다.
• 2단계 (지식 증류): MatchLM은 동결되어 교사 역할을 수행합니다. MatchLite는 다음의 결합된 손실 함수를 사용하여 추가 학습됩니다.
  • 임베딩 증류 (Embedding Distillation): 학생의 표현과 교사의 최종 은닉 상태 사이의 코사인 거리를 최소화합니다(방향성 일관성).
  • 로짓 증류 (Logit Distillation): KL 발산(Kullback–Leibler divergence)을 사용하여 학생과 교사의 예측 분포(softmax logits)를 정렬합니다.
  • 전체 손실 (Total Loss): $L_{total} = \lambda \cdot L_{distill} + L_{class}$이며, 여기서 $\lambda=1.5$를 사용하여 지도 분류 작업에 대한 증류의 영향력을 조절합니다.

주요 기여

1. 통합 멀티모달 프레임워크: 본 논문은 시각 전용 베이스라인의 한계를 해결하기 위해 시각, 오디오, 텍스트 신호를 공동으로 인코딩하고 정렬하는, 비디오 쌍 매칭 문제로 정식화된 새로운 RCI 접근 방식을 소개합니다.
2. 확장 가능한 MLLM-to-Lite 시스템: MatchLM2Lite 설계는 고성능 MLLM과 프로덕션 제약 조건 사이의 간극을 성공적으로 메웁니다. 지식 증류를 활용하여 컴팩트한 학생 모델이 거대한 교사 모델의 교차 모달 정렬 및 의미론적 풍부함을 상속받을 수 있도록 합니다.
3. 대규모 배포 검증: 본 시스템은 대규모 숏폼 플랫폼에서의 광범적인 오프라인 실험과 온라인 A/B 테스트를 통해 검증되었으며, 고처리량 트래픽을 처리할 수 있는 능력을 입증했습니다.

실험 결과

저자들은 80만 개의 비디오 쌍(재생 비율 4.77%)으로 구성된 커스텀 데이터셋을 통해 시스템을 평가했습니다.

• 모달리티의 영향: 오디오와 텍스트를 포함하는 것이 시각 전용 베이스라인보다 성능을 크게 향상시켰습니다. MatchLite의 경우, 오디오와 텍스트를 추가했을 때 시각 전용 모델 대비 +3.68 AP 및 +3.56 F1의 개선을 보였습니다.
• 성능 비교:
  • MatchLM (Teacher): F1-score 79.12 및 R@P80(80% 정밀도에서의 재현율) 75.92를 달성했습니다. 이는 기존 플랫폼의 프로덕션 모델 대비 +8.57 F1 향상된 수치입니다.
  • MatchLite (Student): 지식 증류 후, MatchLite는 F1-score 77.10 및 R@P80 66.92를 달성했습니다. 이는 기존 프로덕션 모델 대비 +6.55 F1의 이득을 얻으면서도 계산 비용을 35배 절감한 결과입니다.
• 증류의 효능: 증류 과정은 상당한 성능 회복을 가져왔습니다. 증류 없이 학습한 학생 모델(MatchLite+)은 F1 74.48을 기록했으나, 증류를 적용한 후 77.10으로 상승했습니다. 어블레이션 연구(ablation studies)에 따르면, 증류는 단순한 파라미터 스케일링(예: 증류 없이 더 큰 시각 인코더로 교체하는 것) 이상의 이득을 제공했습니다.
• 온라인 영향: 온라인 A/B 테스트에서 MatchLM2Lite의 배포는 사용자 참여도를 저하시키지 않으면서 재생 비디오 시청률을 2.5% 감소시켰습니다. 시스템은 엔드 투 엔드(end-to-end) 지연 시간 30초 미만으로 작동하며 초당 3,000개 이상의 쿼리(QPS)를 지원합니다.

의의

본 논문은 MatchLM2Lite가 실시간 콘텐츠 모더레이션 시스템에 MLLM 수준의 지능을 배포하는 것이 가능하다는 것을 보여줍니다. 고용량 MLLM을 경량 모델로 성공적으로 증류함으로써, 이 프레임워크는 복잡하고 정책에 의존적인 재생 콘텐츠를 식별하는 높은 정확도를 유지하면서도 글로벌 비디오 플랫폼의 엄격한 지연 시간 및 처리량 요구 사항을 충족하는 "최적의 지점(sweet spot)"을 달성합니다. 본 연구는 효과적인 RCI를 위해 공동 멀티모달 모델링이 필수적이며, 지식 증류가 MLLM의 역량을 프로덕션 환경으로 확장하기 위한 유효한 전략임을 강조합니다.