기술 요약: SpecSem-Net

문제 제기

상용 AI 비디오 생성 모델 (예: Sora, Kling, Veo) 의 급속한 발전은 높은 시각적 충실도와 시공간 일관성을 갖춘 합성 콘텐츠를 생성해냈습니다. 이는 창의 산업에 유익하지만, 허위 정보와 악의적 오용에 대한 중대한 위험을 초래합니다. 기존 탐지 방법은 이러한 고충실도 생성기에 대해 종종 실패하는데, 이는 주로 의미론적 특징(예: 논리적 불일치, 사물의 영속성) 에 크게 의존하기 때문입니다. 생성 모델이 발전함에 따라 이러한 의미론적 인공물은 점점 더 미묘해지거나 아예 존재하지 않게 됩니다. 또한, 스펙트럼 (주파수) 인공물은 신경 렌더링의 고유한 지문이지만, 순수 스펙트럼 분석은 자연 비디오 역학에 내재된 유해한 고주파 환경 노이즈 (예: 머리카락, 나뭇잎, 튀는 불꽃) 와 생성 흔적을 구별하는 데 어려움을 겪습니다.

방법론: SpecSem-Net

저자들은 스펙트럼 및 의미론적 특징을 통합하도록 설계된 이중 스트림 프레임워크인 SpecSem-Net을 제안합니다. 핵심 혁신은 의미론적 맥락을 사용하여 스펙트럼 특징에서 유해한 노이즈를 필터링하여 모델이 진정한 생성 인공물에 집중할 수 있게 하는 의미론적 유도 스펙트럼 노이즈 제거 메커니즘입니다.

1. 이중 스트림 아키텍처

이 프레임워크는 비디오 프레임을 두 개의 병렬 분기를 통해 처리합니다:

• 의미론적 분기: 원시 비디오 프레임을 입력으로 받아 사전 훈련된 CLIP 인코더를 사용하여 계층별 의미론적 표현을 추출합니다.
• 스펙트럼 분기:
  • 입력 구성: 프레임을 주파수 영역으로 변환하기 위해 2 차원 고속 푸리에 변환 (FFT) 을 적용합니다.
  • 고역 통과 필터링: 객체 윤곽선, 색상 등 저주파 의미론적 콘텐츠를 억제하고 생성 인공물 (예: 격자 패턴, 질감 이상) 이 일반적으로 존재하는 고주파 잔여값을 유지하기 위해 이진 마스크를 사용합니다.
  • 재구성: 역 FFT (iFFT) 를 적용하여 스펙트럼 잔여 맵을 재구성한 후, 이를 특징 추출을 위해 학습 가능한 CLIP 인코더에 입력합니다.

2. 게이트 병합 메커니즘

"자연 고주파 질감"과 "생성 인공물"을 구별하는 과제를 해결하기 위해, 모델은 각 인코더 레이어에서 게이트 병합 메커니즘을 사용합니다:

• 게이트 계산: 인코딩된 의미론적 특징 ($\hat{F}_{sem}$) 과 스펙트럼 특징 ($\hat{F}_{spec}$) 을 연결한 후 시그모이드 활성화 함수를 가진 경량 다층 퍼셉트론 (MLP) 을 통과시켜 게이트 가중치 벡터 $g$를 생성합니다.
• 적응형 변조: 스펙트럼 특징을 $(1 + g)$로 변조합니다. 이를 통해 의미론적 분기는 유해한 환경 노이즈에 해당하는 스펙트럼 채널을 적응적으로 억제하면서 생성 흔적을 포함하는 채널은 보존하고 강화할 수 있습니다.
• 특징 진화: 의미론적 분기는 직접 업데이트되는 반면, 스펙트럼 분기는 이러한 일방향 유도를 통해 정제되어 모델이 자연 질감에 방해받지 않고 고주파 흔적에 집중하도록 보장합니다.

3. 시간적 집계

정제된 프레임 단위 특징을 얻은 후, 시간적 트랜스포머가 시간 축을 가로지르는 특징 시퀀스를 집계합니다. 이 모듈은 다중 헤드 자기 어텐션을 활용하여 시간 축을 따라 인공물의 진화와 연속성을 포착하여 최종 비디오 단위 예측을 생성합니다.

주요 기여

1. SpecSem-Net 프레임워크: 고충실도 AI 생성 비디오 탐지를 위해 의미론적 유도 스펙트럼 노이즈 제거 메커니즘을 도입한 최초의 프레임워크입니다. 이는 인공물 포착을 위한 스펙트럼 특징과 노이즈 감소를 위한 의미론적 특징을 효과적으로 결합합니다.
2. 포괄적인 벤치마크: 저자들은 Sora, Kling, Hailuo, Veo, Wan 등 다섯 가지 최첨단 상용 모델로 생성된 5,000 개의 비디오와 1,000 개의 실제 비디오로 구성된 새로운 벤치마크를 구축했습니다. 이 데이터셋은 기존 벤치마크가 구식 또는 오픈소스 모델에 의존하는 격차를 해소하고, 보지 못한 최상위 생성기에 대한 일반화를 엄격하게 테스트하도록 설계되었습니다.
3. 우수한 성능: 광범위한 실험을 통해 SpecSem-Net 이 새로운 벤치마크와 공개 데이터셋 모두에서 기존 최첨단 탐지기 (DeMamba, D3, VideoMAE, Qwen-2.5-VL 포함) 보다 우수한 성능을 보임을 입증했습니다.

실험 결과

• 새로운 벤치마크에서의 성능: 제안된 벤치마크 (보지 못한 상용 생성기 포함) 에서 SpecSem-Net 은 평균 정확도 87.25% 및 F1 점수 **86.96%**를 달성했습니다. 이는 약 79.45% 의 정확도를 기록한 두 번째로 좋은 방법 (ResNet50) 보다 상당한 개선입니다. 특히, 의미론적 특징에만 의존하는 모델 (DeMamba 등) 은 Sora 및 Veo 와 같은 모델에서 무작위 추측 수준 (~52-69%) 으로 떨어졌습니다.
• 공개 벤치마크에서의 일반화: 공개 GenVideo 데이터셋에서 SpecSem-Net 은 평균 정확도 **95.59%**를 달성하여 7 개 하위 데이터셋 중 6 개에서 1 위를 차지했습니다.
• 강건성: H.264/H.265 압축 및 가우시안 블러를 포함한 실제 세계 열화에 대해 모델은 우수한 안정성을 보였으며, 심각한 블러 상황에서도 베이스라인보다 높은 평균 정밀도 (AP) 를 유지했습니다.
• 애블레이션 연구:
  • 의미론적 특징만: 정확도 55.68% 로, 고충실도 탐지를 위해 의미론적 특징만으로는 부족함을 확인했습니다.
  • 스펙트럼 특징만: 70.34% 로 향상되어 주파수 분석의 가치를 보여주었습니다.
  • 게이트 병합: 게이트 메커니즘 도입이 가장 큰 향상을 제공하여 단순 연결 시 74.54% 였던 정확도를 87.25% 로 끌어올려 스펙트럼 노이즈 필터링에서의 역할을 입증했습니다.

의의 및 주장

이 논문은 SpecSem-Net 이 현재 탐지기의 중요한 한계인 생성 모델이 발전함에 따라 실패하는 의미론적 특징에 대한 과도한 의존성을 해결한다고 주장합니다. 본질적이고 회복력 있는 스펙트럼 인공물의 특성을 활용하고 이를 노이즈 제거하기 위해 의미론적 맥락을 사용함으로써, 이 방법은 가장 진보된 상용 생성기에 대해서도 강력한 탐지를 달성합니다.

저자들은 이 작업을 다양한 그리고 강력한 미래 생성기에 적응할 수 있는 자동화된 강력한 탐지 메커니즘을 향한 필수적인 단계로 위치시킵니다. 그들은 픽셀 단위 국소화의 현재 부재나 극단적인 블러에 대한 민감성과 같은 한계를 명시적으로 언급하지만, 연구 및 허위 정보 완화를 위한 비디오 단위 분류에서 모델의 효과성을 강조합니다. 코드와 구축된 벤치마크는 향후 연구를 촉진하기 위해 공개될 예정입니다.