기술 요약: CoCoVideo 및 CoCoDetect

1. 문제 정의

인공지능 생성 콘텐츠(AIGC)의 급격한 발전은 점점 더 정교해지는 비디오 위조를 초래하여 공적 담론과 사회적 보안에 중대한 도전 과제를 제기하고 있습니다. 딥페이크 탐지 기술이 진전되었음에도 불구하고, 기존 방식들은 두 가지 결정적인 한계에 직면해 있습니다:

1. 데이터셋 품질 격차: 기존 벤치마크(예: GenBuster, GenVidBench)는 오픈 소스 비디오 생성 모델에 크게 의존합니다. 이러한 모델들은 최첨단 상용 시스템에 비해 시각적 충실도가 낮고 움직임이나 장면 일관성이 약한 결과물을 생성합니다. 결과적으로, 이러한 데이터로 학습된 모델은 저품질 생성 패턴에 과적합되어 고충실도 상용 AIGC 비디오에 대한 일반화 능력이 떨어집니다.
2. 방법론적 한계: 전통적인 탐지 방법은 종종 특정 생성 아키텍처나 저수준 조작 단서(예: 시각적 아티팩트, 주파수 이상 현상)에 집중합니다. 이들은 명백한 저수준 아티팩트가 없는 고품질 위조물을 구별하는 데 필수적인 물리적 논리 및 장면 일관성과 같은 고수준의 의미론적 단서를 활용하는 데 어려움을 겪습니다.

2. 방법론

본 논문은 두 갈래의 솔루션을 제시합니다: 새로운 고품질 데이터셋(CoCoVideo-26K)과 새로운 탐지 프레임워크(CoCoDetect)입니다.

2.1. CoCoVideo-26K 데이터셋

CoCoVideo-26K는 연구용 데이터와 실제 위협 사이의 품질 격차를 해소하기 위해 설계된 대조적(contrastive), 상용 모델 기반 벤치마크입니다.

• 데이터 구성: 이 데이터셋은 의미론적으로 정렬된 "실제-가짜" 쌍으로 구성된 26,000개의 비디오 클립을 포함합니다.
  • 실제 비디오: OpenVid-1M에서 추출하였으며, 고충실도의 실제 장면을 기준으로 필터링되었습니다 (~13,000개 클립).
  • 가짜 비디오: 13개의 서로 다른 최첨단 상용 비디오 생성 모델(예: Sora, Kling, Runway Gen4, Jimeng 3.0, Midjourney v7)을 사용하여 생성되었습니다. 각 모델은 1,000개의 비디오를 기여합니다.
• 대조적 구조: 각 실제 비디오는 동일한 첫 번째 프레임과 동일한 텍스트 프롬프트로부터 생성된 합성 대응물과 쌍을 이룹니다. 이는 엄격한 의미론적 정렬을 보장하여, 매칭된 콘텐츠 조건 하에서 질감, 움직임 및 장면 일관성의 차이를 미세하게 분석할 수 있게 합니다.
• 규모 및 다양성: 데이터셋은 인간의 상호작용, 음식 준비, 식물의 성장, 자연 경관을 포함한 다양한 카테고리를 다루며, 지속 시간은 약 5초, 프레임 레이트는 24–30 FPS로 일정합니다.

2.2. CoCoDetect 프레임워크

CoCoDetect는 대조 학습과 신뢰도 게이트형 멀티모달 거대 언어 모델(MLLM) 추론 메커니즘을 통합한 탐지 프레임워크입니다.

• 백본(Backbone): 시스템은 입력 비디오 배치에서 시공간적 표현을 추출하기 위해 R3D-18 네트워크를 사용합니다.
• 이중 헤드 아키텍처:
  1. 신뢰도 헤드(Confidence Head): 3개 층의 MLP와 Sigmoid 활성화 함수를 거쳐 비디오가 실제일 가능성을 나타내는 신뢰도 점수($p \in [0, 1]$)를 출력합니다.
  2. 투영 헤드(Projection Head): 2개 층의 MLP를 통해 특징을 128차원 임베딩 공간으로 매핑하여 대조 학습을 수행합니다.
• 손실 함수(Loss Function):
  • 신뢰도 손실(Confidence Loss): 진위 분류를 위한 이진 교차 엔트로피(BCE)를 사용합니다.
  • 쌍 대조 손실(Paired Contrastive Loss): 동일한 클래스의 모든 샘플을 클러스터링하는 전통적인 지도 대조 학습과 달리, 이 손실은 의미론적으로 정렬된 실제-가짜 쌍(동일한 첫 프레임과 프롬프트를 공유하는 쌍) 사이의 분리를 특이적으로 강제합니다. 이는 코사인 유사도가 특정 임계값 미만으로 유지되도록 하는 힌지 페널티(hinge penalty)를 사용하여, 쌍이 되지 않은 샘생물은 제약하지 않으면서 쌍이 된 샘플 간의 거리를 확보합니다.
• 신뢰도 게이트형 MLLM 추론:
  • 라우팅 메커니즘: 추론 과정에서 신뢰도 점수 $p$가 불확실한 범위(임계값 $\tau$로 정의됨) 내에 있으면, 해당 샘플은 MLLM(LLaVA-NeXT-Video-7B)으로 라우팅됩니다. 높은 신뢰도를 가진 샘플은 백본에 의해 직접 분류됩니다.
  • MLLM 추론: 불확실한 경우, MLLM은 주요 프레임과 신뢰도 점수를 분석하여 물리적 타당성과 장면 일관성을 추론합니다. MLLM은 이진 판단, 의미론적 신뢰도 점수, 그리고 자연어 설명을 포함하는 구조화된 JSON을 출력합니다.
  • 의사결정 융합: MLLM의 출력은 백본의 신뢰도와 동일한 의미 공간으로 매핑되며, 적응형 가중치 전략을 통해 융합되어 최종 분류를 생성합니다.

3. 주요 기여

1. CoCoVideo-26K 벤치마크: 13개의 상용 모델로부터 추출한 대조적 실제-가짜 쌍을 특징으로 하는 고품질 데이터셋을 구축하여, 현실적이고 고충실도인 조건 하에서의 AIGC 탐지 평가를 위한 새로운 표준을 제공했습니다.
2. CoCoDetect 프레임워크: 이중 헤드 대조 학습(질감 수준의 구별을 위함)과 신뢰도 게이트형 MLLM 메커니즘(의미론적 수준의 추론을 위함)을 결합하여, 두 특징 수준 모두에서 체계적인 판단을 가능하게 하는 새로운 아키텍처를 제시했습니다.
3. 실증적 검증: CoCoVideo 테스트 세트에서 최첨단 성능을 입증하고, 여러 공개 오픈 소스 벤치마크에 걸쳐 강력한 일반화 능력을 보여주는 포괄적인 실험을 수행했습니다.

4. 실험 결과

4.1. CoCoVideo-26K에서의 성능

제안된 테스트 세트에서 CoCoDetect는 정확도(90.69%), F1-score(90.62%), 재현율(89.95%), AUC(95.93%) 전반에 걸쳐 가장 우수한 평균 성능을 달 기록하며 DeMamba, VideoMAE, 3D ResNeXt와 같은 강력한 베이스라인들을 능가했습니다.

• 관찰 사항: 이 방법은 보수적인 결정 전략을 보여주며, 불확실한 경우에 MLLM을 선택적으로 개입시킴으로써 재현율보다 정밀도를 우선시하여 오경보를 효과적으로 줄였습니다.
• 한계점: Jimeng 및 Veo3와 같은 모델에서는 실제와 가짜 쌍 사이의 해상도 불일치로 인해 의미론적 정렬이 깨지면서 성능이 다소 저하되었습니다.

4.2. 교차 데이터셋 일반화

5개의 공개 벤치마크(GVD, GVF, GenVideo, GenVidBench, GenBuster)에서 평가한 결과, CoCoDetect는 강력한 일반화 능력을 입증했습니다:

• 5개 벤치마크 중 4개에서 가장 높은 정확도를 달성했습니다.
• 동일한 상용 모델의 이전 버전을 사용하는 GenBuster에서도 CoCoDetect는 강력한 성능을 유지했으며, 이는 모델이 특정 생성 아티팩트에 의존하기보다 일반화 가능한 의미론적 및 질감 단서에 더 많이 의존함을 시사합니다.
• GenVideo의 경우, 짧고 거의 정적인 클립이 지배적인 데이터셋 특성상 MLLM의 움직임 분석에 필요한 시간적 일관성이 깨져 F1-score가 하락했습니다.

4.3. 절제 연구 (Ablation Studies)

절제 실험을 통해 두 구성 요소의 필요성을 확인했습니다:

• 투영 헤드(대조 학습)를 제거하면 AUC가 95.93%에서 91.39%로 감소했습니다.
• MLLM을 제거하면(신뢰도 점수에만 의존) AUC가 95.46%로 감소했습니다.
• 전체 모델이 가장 높은 점수를 기록하여, 저수준 대조 특징과 고수준 의미 추론이 시너지 효과를 낸다는 것을 입증했습니다.

4.4. 사례 연구

• 높은 신뢰도: 대조 네트워크는 MLLM의 개입 없이도 명백한 질감 아티팩트를 올바르게 식별했습니다.
• 낮은 신뢰도 (구제 사례): 모호한 경우, MLLM은 백본이 놓친 의미론적 오류(예: 현수교를 굴뚝으로 잘못 해석함)를 성공적으로 식별하여 예측을 수정했습니다.
• 실패 사례: 미세한 아티팩트가 있고 명백한 의미론적 불일치가 없는 단순한 자연 장면에서는 두 모듈 모두 실패하였으며, 이는 저복잡도 환경에서 위조물을 탐지하는 현재의 어려움을 보여줍니다.

5. 의의 및 주장

본 논문은 CoCoVideo-26K가 연구용 데이터셋과 실제 상용 AIGC 위협 사이의 결정적인 격차를 해결하며, 훈련 및 평가를 위한 더 신뢰할 수 있는 벤치마크를 제공한다고 주장합니다. CoCoDetect는 불확실한 경우에 대한 의미론적 추론을 통합함으로써 순수 질감 기반 탐지의 한계를 극복하는 강력한 프레임워크로 제시됩니다.

저자들은 이 접근 방식이 미세한 대조 학습과 고수준 의미 검증을 결합하는 것의 효과를 입증한다고 강조합니다. 결론적으로, 본 방법론이 최첨단의 성능과 강력한 일반화 능력을 보여주지만, 향후 연구는 더욱 신뢰할 수 있는 AIGC 콘텐츠 탐지를 강화하기 위해 오디오 양식과 더 풍부한 의미론적 주석을 포함하여 데이터셋을 확장하는 데 집중할 것이라고 밝히고 있습니다.