Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning

기술 요약: Skyra – 기반된 아티팩트 추론을 통한 AI 생성 비디오 탐지

문제 제기
확산 기반 및 다중 모달 생성 모델의 급속한 발전은 사실적인 합성 비디오 제작을 가능하게 하여, 허위 정보와 딥페이크를 통해 사회적 안전에 중대한 위험을 초래하고 있습니다. 기존 탐지 방법들은 대부분 시공간적 특징을 이용한 이진 분류에 집중해 왔으나, 해석 불가능성 (불투명한 의사결정 과정) 과 인간이 인지할 수 있는 아티팩트를 포착하지 못한다는 두 가지 치명적인 한계를 겪고 있습니다. 해당 논문에서의 실증 분석에 따르면, 최첨단 범용 다중 모달 대규모 언어 모델 (MLLM) 조차도 이 작업에서 무작위 수준에 가까운 성능을 보이며, 미묘한 생성 아티팩트를 식별하지 못하거나 모션 블러, 압축과 같은 자연스러운 비디오 열화를 위조로 오인하는 경우가 많습니다. 또한 기존 MLLM 기반 탐지기는 시각적 품질이나 조명과 같은 피상적인 단서에 의존하는 경향이 있으며, 인간이 합성 콘텐츠를 식별할 때 사용하는 물리 법칙을 위반하는 내재적 불일치에는 주목하지 못합니다.

방법론
저자들은 기반된 시각적 아티팩트를 식별하고 추론함으로써 AI 생성 비디오를 탐지하도록 설계된 전문화된 MLLM 인 Skyra를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소에 기반합니다:

1. ViF-CoT-4K 데이터셋: 세밀한 인간 주석의 부재를 해결하기 위해 저자들은 AI 생성 비디오 아티팩트의 첫 번째 대규모 데이터셋을 구축했습니다. 이 데이터셋은 다음을 포함합니다:

   • 데이터 수집: Panda-70M 및 Kinetics-400 과 같은 소스의 실제 비디오와 Sora-2, Wan2.2, Kling, HunyuanVideo 등 10 개 이상의 최첨단 모델로 생성된 합성 비디오.
   • 계층적 분류 체계: 저수준 위조 (Low-level Forgery)(예: 질감 이상, 색상/조명 문제) 와 법칙 위반 (Violation of Laws)(예: 객체 불일치, 비자연스러운 움직임, 인과율 위반) 을 구분하는 3 층 아티팩트 분류 체계.
   • 주석 과정: 전문 주석가들이 실제 및 가짜 비디오를 나란히 비교하여 아티팩트를 식별하고, 시공간적 위치 (타임스탬프 및 바운딩 박스) 와 텍스트 설명을 제공했습니다. 이러한 데이터는 자기 큐레이션과 인-컨텍스트 학습을 포함한 프롬프트 엔지니어링 전략을 사용하여 체인 오브 씽킹 (CoT) 데이터로 변환되었습니다.

2. 2 단계 훈련 전략:

   • 1 단계: 지도 미세 조정 (SFT) / 콜드스타트 초기화: 기본 모델 (Qwen2.5-VL-7B) 은 구조화된 출력 형식을 사용하여 ViF-CoT-4K 에서 미세 조정됩니다. 이 형식은 모델이 <thinking> 블록 (추론 과정) 과 <answer> 블록 (판단) 을 출력하도록 요구합니다. 가짜 비디오의 경우 모델은 유형, 시간, 위치로 아티팩트를 명시적으로 태그해야 하며, 실제 비디오의 경우 의심되는 영역을 체계적으로 검사하고 제거해야 합니다. 이 단계는 모델에 기본적인 탐지 및 설명 능력을 부여합니다.
   • 2 단계: 강화 학습 (RL): 모델이 판별력 있는 아티팩트를 발견하고 일반화 능력을 향상시키도록 하기 위해 저자들은 그룹 상대 정책 최적화 (GRPO) 를 사용합니다. 커스텀 보상 함수는 두 가지 구성 요소로 설계되었습니다:
     • 비대칭 정확도 보상: 'Fake' 클래스로 편향되는 것을 방지하기 위해 실제 비디오를 'Fake'로 예측하는 오탐지 (False Positive) 를 누락 (False Negative) 보다 더 엄격하게 패널티합니다.
     • 검사 보상: 모델이 피상적인 패턴에 의존하기보다는 요구된 형식을 준수하고 시각적 단서를 적극적으로 탐색하도록 장려합니다.

3. ViF-Bench 벤치마크: 10 개 이상의 최신 비디오 생성기로 생성된 3,000 개의 고품질 샘플로 구성된 포괄적인 평가 벤치마크로, 단축 학습 (shortcut learning) 을 완화하기 위해 실제 대응물과 의미론적 및 형식적 정렬을 이루고 있습니다.

주요 기여

• Skyra 모델: 기반된 아티팩트 추론을 활용하여 탐지 정확도와 설명 가능성 모두에서 최첨단 성능을 달성하는 전문화된 MLLM.
• ViF-CoT-4K 데이터셋: 계층적 분류 체계를 갖춘 세밀한 인간 주석 시공간 아티팩트를 특징으로 하는 첫 번째 대규모 데이터셋으로, 설명 가능한 탐지를 위한 지도 학습을 가능하게 함.
• ViF-Bench: 다양한 최첨단 생성기에 대한 탐지 견고성을 평가하도록 설계된 엄격한 벤치마크로, 의미론적으로 정렬된 실제 - 가짜 쌍을 특징으로 함.
• 훈련 프레임워크: 아티팩트 인식 및 추론 능력을 향상시키기 위해 SFT 와 신중하게 설계된 RL 전략 (비대칭 보상 포함) 을 결합한 새로운 2 단계 파이프라인.

실험 결과
ViF-Bench 와 외부 GenVideo 벤치마크에 대한 광범위한 실험은 Skyra 의 우월성을 입증합니다:

• 탐지 성능: Skyra-RL 은 ViF-Bench 에서 정확도 91.02% 및 F1 점수 **90.27%**를 달성하여 두 번째로 좋은 방법 (DeMamba) 보다 F1 점수에서 +17.27% 더 높았으며, 기존 MLLM 기반 탐지기 (예: BusterX++ 대비 F1 점수 +32%) 보다 훨씬 큰 차이로 앞섰습니다.
• 일반화: Skyra 는 강력한 교차 도메인 일반화를 보여줍니다. 도메인 외 (out-of-domain) 인 GenVideo 벤치마크에 적응되었을 때, SFT 전용 버전 대비 **+19.22%**의 정확도 향상을 달성하여 RL 이 모델이 생성기 특정 패턴이 아닌 내재적 아티팩트 단서를 학습하도록 돕는다는 것을 나타냅니다.
• 견고성: 이 모델은 압축, 가우시안 노이즈, 색상 변환 등 다양한 비디오 열화 하에서도 높은 성능을 유지하며, 이진 분류기 및 기타 MLLM 은 종종 실패하는 환경에서도 작동합니다.
• 설명 품질: 사례 연구에 따르면 Skyra 는 미묘하고 인간이 인지할 수 있는 아티팩트 (예: 형태 왜곡, 비정상적인 객체 외관) 를 식별하고 정밀한 시공간적 위치를 갖춘 일관성 있고 기반된 설명을 제공할 수 있는 반면, 베이스라인 MLLM 은 일반적인 설명을 제공하거나 아티팩트를 완전히 놓치는 경우가 많습니다.

의의 및 주장
이 논문은 Skyra 가 불투명한 이진 분류에서 해석 가능하고 아티팩트 중심의 탐지로의 전환을 나타낸다고 주장합니다. 물리적 및 논리적 불일치를 적극적으로 탐색하는 인간의 추론을 모방함으로써, 이 모델은 단순한 판단뿐만 아니라 인간 검증을 지원할 수 있는 '기반된 (grounded)' 설명을 제공합니다. 저자들은 그들의 데이터셋과 벤치마크가 설명 가능한 AIGC 탐지 분야를 발전시키기 위한 표준화된 테스트베드를 제공한다고 주장합니다. 그들은 모델의 성능이 데이터셋에 포함된 생성기에 의해 제한되며 비디오의 의도나 사회적 해악을 평가하지는 않는다는 한계를 인정합니다. 그들은 Skyra 가 인간을 대체하기보다는 인간 - 루프 (human-in-the-loop) 검증을 지원하도록 설계되었으며, 안전이 중요한 응용 분야에서 보정된 불확실성 추정이 필요함을 강조합니다.