기술 요약: VINA - 통합 AIGC 감지를 위한 자연스러운 증강으로서의 비디오

1. 문제 제기

AI 생성 콘텐츠 (AIGC) 의 급속한 발전은 다양한 데이터 소스, 배포 파이프라인, 시각적 모달리티에 걸쳐 일반화되는 탐지기에 대한 긴급한 필요성을 야기했습니다. 최첨단 AI 생성 이미지 (AIGI) 탐지기는 이미지 벤치마크에서 경쟁력 있는 성능을 발휘하지만, 본 논문은 다음과 같은 치명적이고 일관된 실패 모드를 지적합니다: 이러한 탐지기는 AI 생성 비디오 (AIGV) 에서 추출된 프레임에 적용될 때 무너집니다.

저자들은 AIGI 와 AIGV 탐지를 별도의 작업으로 취급하는 것이 근본적인 교차 모달 일반화 격차를 남긴다고 주장합니다. 이 격차는 두 가지 주요 원인에서 비롯됩니다:

1. 생성 무관성 비디오 처리 변화: 실제 세계의 비디오 프레임은 표준 이미지 데이터셋에는 존재하지 않는 복잡하고 얽힌 열화를 겪습니다. 여기에는 코덱 압축 (예: H.264), 모션 블러, 크기 조정, 제한된 범위의 색상 변환 (예: TV 휘도 범위) 등이 포함됩니다. 이러한 변화는 이미지 탐지기가 종종 단축키로 의존하는 고주파 미세 아티팩트를 억제합니다.
2. 모델별 지문: 최신 비디오 생성기는 이미지 생성기의 공간적 아티팩트와 현저히 다른 고유한 시간적 아티팩트 및 운동 관련 지문을 도입합니다.

결과적으로 이미지만으로 훈련된 탐지기는 비디오 프레임에 내재된 특정 통계적 분포와 열화 패턴을 인식하지 못하여, 비디오 벤치마크에서 무작위 추측에 가까운 성능 저하를 초래합니다.

2. 방법론: VINA

이 격차를 해결하기 위해 저자들은 이미지와 비디오 데이터를 함께 훈련하여 강력한 교차 모달 탐지를 달성하는 통합 프레임워크인 VINA(VIdeo as Natural Augmentation) 를 제안합니다.

핵심 철학

VINA 는 비디오 프레임을 단순히 별도의 작업이 아닌 이미지 데이터에 대한 물리적으로 기반을 둔 자연스러운 증강으로 간주합니다. 비디오 프레임은 탐지기를 가우스 블러나 JPEG 재압축과 같은 수동 제작된 2D 증강으로 시뮬레이션하기 어려운 현실적이고 복잡한 열화 (압축, 블러, 색상 변화) 에 노출시킵니다.

기술적 구성 요소

1. 연합 훈련 패러다임: 이 프레임워크는 정적 이미지 ($D_{img}$) 와 비디오 프레임 ($D_{vid}$) 의 혼합 배치에서 단일 탐지기를 훈련합니다. 비디오 프레임은 비디오 파이프라인 (코덱, 모션 블러, 크기 조정) 을 나타내는 복잡하고 미분 불가능한 열화 함수 $T(\cdot)$ 에 노출된 원시 시각 신호로 모델링됩니다.
2. 교차 모달 감독 대비 (CM-SupCon) 손실: 특징 공간이 모달리티별로 분리된 채 남는 것 (이미지와 비디오 특징이 동일한 실제/가짜 라벨을 공유함에도 불구하고 별도로 군집화되는 것) 을 방지하기 위해 VINA 는 명시적인 정규화 항을 도입합니다.
   • 메커니즘: 주어진 앵커 샘플에 대해, 양의 집합은 동일한 실제-지상 진실 라벨 (실제 또는 가짜) 을 공유하는 교차 모달 샘플 (예: 이미지와 짝을 이룬 비디오 프레임) 만 포함합니다.
   • 목적: 이는 실제 이미지 특징을 실제 비디오 특징 쪽으로, 가짜 이미지 특징을 가짜 비디오 특징 쪽으로 끌어당기면서 실제와 가짜 클래스 간의 분리는 유지합니다. 이를 통해 모델은 깨끗한 이미지와 열화된 비디오 프레임 모두에서 차별적인 생성 흔적을 학습하도록 강제하고, 모달리티별 단축키에 대한 의존성을 억제합니다.
3. 통합 목적 함수: 최종 손실 함수는 표준 이진 교차 엔트로피 ($L_{BCE}$) 와 CM-SupCon 항을 결합합니다:
   $$L = L_{BCE} + \lambda L_{CM-SupCon}$$

3. 주요 기여

1. 체계적 실패 식별: 본 논문은 최첨단 AIGI 탐지기가 비디오 벤치마크에서 체계적으로 실패함을 밝히며, 통합 AIGC 탐지를 이미지와 비디오를 고립된 작업이 아닌 함께 다루어야 하는 일반화 문제로 공식화합니다.
2. VINA 프레임워크: 통합 결정 경계 하에서 표현을 정규화하기 위해 CM-SupCon 목적 함수를 활용하는 연합 비디오 - 이미지 훈련 프레임워크를 제안하여, 소스 및 모달리티별 단축키 신호를 효과적으로 억제합니다.
3. 포괄적 평가: 이미지, 비디오, 그리고 실외 (in-the-wild) 데이터셋을 포함한 14 개의 벤치마크에 걸친 광범위한 실험을 통해 VINA 가 복잡한 데이터셋별 튜닝이나 명시적 정렬 파이프라인 없이도 비디오 및 이미지 작업 모두에서 성능을 향상시키는 양방향 이득을 달성함을 입증했습니다.

4. 실험 결과

저자들은 비디오 전용 탐지기 (예: DeMamba, WaveRep), 이미지 전용 탐지기 (예: NPR, Effort, Co-SPY), 그리고 정렬된 데이터셋으로 훈련된 방법 (예: DDA, B-Free) 을 포함한 다양한 베이스라인에 대해 VINA 를 평가했습니다.

• 벤치마크 성능:
  • 비디오 벤치마크: VINA 는 평균 정확도 **90.4%**를 달성하여 이미지 전용 탐지기 (종종 60% 미만으로 하락) 와 경쟁력 있는 비디오 전용 탐지기를 크게 능가했습니다.
  • 이미지 벤치마크: VINA 는 평균 정확도 **94.1%**를 달성하여 전문 이미지 탐지기를 능가했으며, 비디오 데이터가 이미지 성능을 저하시키지 않음을 입증했습니다.
  • 실외 (In-the-Wild) 벤치마크: 까다로운 실제 세계 데이터셋 (예: Chameleon, SynthWildX, WildRF) 에서 VINA 는 평균 정확도 **92.9%**에 도달하여, 기존 기술에 비해 미지의 생성기와 후처리 작업에 대한 우수한 견고성을 보여주었습니다.
• 견고성: 이 모델은 훈련 중 명시적인 포맷 정렬 없이도 JPEG/HEIF 압축, 스케일링, 자르기 등 다양한 교란에 대한 강한 회복 탄력성을 입증했습니다.
• 효율성: 대규모 DINOv3 백본을 사용함에도 불구하고, VINA 는 프레임당 82.4G FLOPs로 256×256 해상도에서 작동하며, 비교된 방법 중 가장 빠른 추론 처리량 (1K 프레임당 15.7 초) 을 달성했습니다.
• 애블레이션 연구:
  • 백본: CLIP, DINOv2, DINOv3 백본 전반에 걸쳐 이득이 일관되었습니다.
  • 데이터 소스: 다양한 데이터 조합 (예: Pika+ProGAN, GenVideo+SD1.4, 140k+DDA) 에서 성능 향상이 관찰되어, 이 방법이 특정 데이터셋에 종속되지 않음을 나타냅니다.
  • 증강 대 연합 훈련: 합성 열화 전략 (컬러 지터, HEIF 압축) 은 moderate 한 개선을 제공했지만, 실제 비디오 데이터를 자연스러운 증강으로 사용하는 것보다 성능이 현저히 낮았습니다.

5. 중요성과 주장

본 논문은 VINA 가 현실적인 비디오 열화를 별도의 도메인이 아닌 자연스러운 증강의 한 형태로 간주함으로써 AIGC 탐지를 위한 새로운 패러다임을 정립한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 통합 탐지: 단일 모델이 이미지와 비디오를 모두 효과적으로 탐지할 수 있음을 입증하여, 현재 이 분야를 괴롭히는 교차 모달 격차를 해소합니다.
• 복잡성 없는 견고성: 복잡한 데이터 정렬, 무거운 증강 파이프라인, 또는 데이터셋별 하이퍼파라미터 튜닝에 의존하지 않고 최첨단 성능을 달성합니다.
• 일반화: 다양한 실제 배포 환경에서 신뢰할 수 있게 작동하는 탐지기에 대한 긴급한 필요성을 해결하는, 미지의 생성기와 실외 시나리오에 걸쳐 일반화되는 솔루션을 제공합니다.

저자들은 현재 탐지기가 단일 프레임을 기반으로 하며 시간적 관계를 명시적으로 모델링하지는 않지만, 연합 훈련 철학이 비디오 데이터의 물리적 특성을 효과적으로 활용하여 더욱 견고하고 보편적인 탐지 프레임워크를 창출한다고 결론지었습니다.