1. 문제 정의 (Problem Definition)

기존의 비디오 위조 탐지 (Temporal Forgery Localization) 연구는 주로 외관 수준 (Appearance-level) 의 위조, 즉 얼굴 교체 (Face Swapping) 나 객체 제거 (Object Removal) 등에 집중해 왔습니다. 그러나 최근 생성형 AI 및 비디오 편집 기술의 비약적인 발전으로, 활동 수준 (Activity-level) 의 위조가 급증하고 있습니다. 이는 인간의 행동이나 사건을 조작하여 사건의 의미 (Semantics) 를 왜곡하는 것으로, 외관적으로는 원본과 거의 구별이 안 될 정도로 자연스럽습니다.

• 핵심 문제: 기존 벤치마크는 활동 조작을 탐지하기에 부적합하며, 활동 조작은 미묘한 시간적/시각적 아티팩트 (Artifacts) 에 의존해야 하므로 고수준 의미 (High-level semantics) 에 의존하는 기존 행동 탐지 모델로는 탐지가 어렵습니다.
• 목표: 비디오 내 조작된 활동 구간을 시간적으로 정확하게 국소화 (Localization) 하는 새로운 태스크와 이를 위한 대규모 데이터셋 및 평가 기준을 제시하는 것.

2. 제안 방법 및 핵심 기술 (Methodology)

A. ActivityForensics 데이터셋 (Grounding-Assisted Data Construction)

이 논문은 활동 조작 국소화를 위한 최초의 대규모 데이터셋인 ActivityForensics를 제안합니다.

• 데이터 구성 방식: 수동 작업의 비효율성을 해결하기 위해 'Grounding-Assisted(지정 보조)' 자동화 파이프라인을 도입했습니다.
  1. 비디오 캡션링 및 Grounding: 원본 비디오에서 활동 설명과 해당 시간 구간을 자동으로 추출합니다.
  2. 의미 조작 (LLM 활용): 추출된 설명을 LLM 을 통해 의미적으로 변형된 설명 (예: "손을 흔든다" $\rightarrow$ "엄지손가락을 치켜세운다") 으로 변환합니다.
  3. 비디오 생성/편집: 변형된 설명과 원본의 시간적 정보 (Start/End Frame) 를 조건 (Condition) 으로 주어, Wan, Scifi, VACE, LTX 등 다양한 최신 생성/편집 모델을 활용해 조작된 세그먼트를 생성합니다.
  4. 통합: 생성된 조작 세그먼트를 원본 비디오에 매끄럽게 합성하여 시각적 일관성을 유지합니다.
• 통계: 6,000 개 이상의 조작된 비디오 세그먼트를 포함하며, 다양한 조작 기법 (텍스트 기반, 포즈 기반, 프레임 보간 등) 과 세그먼트 길이를 포괄합니다.

B. Temporal Artifact Diffuser (TADiff)

활동 조작 탐지를 위한 새로운 베이스라인 모델로 TADiff를 제안합니다.

• 동기: 기존 행동 국소화 모델 (ActionFormer 등) 은 고수준 의미에 과적합 (Overfitting) 되어 있어, 위조 탐지에 필요한 미묘한 저수준 아티팩트 (텍스트 불규칙성, 운동 불연속성) 를 놓칩니다.
• 구조:
  1. 노이즈 주입 (Forward Process): 다중 스케일 시계열 특징 공간에 확률적 노이즈를 주입하여 의미적 편향 (Semantic Bias) 을 억제합니다.
  2. 반복적 딥노이징 (Reverse Process): FiLM (Feature-wise Linear Modulation) 과 DDIM (Denoising Diffusion Implicit Model) 을 활용하여 노이즈를 제거하는 과정에서 위조 탐지 신호 (Forgery-discriminative signals) 를 증폭시킵니다.
• 효과: 이 과정은 특징 매니폴드를 정규화하여 모델이 콘텐츠의 의미보다는 미세한 위조 흔적에 민감하게 반응하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 태스크 및 데이터셋: 활동 조작 국소화를 위한 첫 대규모 데이터셋 ActivityForensics를 구축하고, 자동화된 Grounding 기반 데이터 생성 파이프라인을 제시했습니다.
2. 포괄적인 평가 프로토콜: 단일 도메인 (Intra-domain), 오픈 월드 (Open-world, 미확인 모델), 교차 도메인 (Cross-domain) 설정을 포함한 엄격한 평가 기준을 마련하고, 최신 기법들에 대한 벤치마크를 수행했습니다.
3. TADiff 모델 제안: 확산 (Diffusion) 기반 특징 정규화기를 통해 의미적 편향을 줄이고 아티팩트 민감도를 높이는 효과적이고 간단한 베이스라인을 제시했습니다.

4. 실험 결과 (Results)

• Intra-Domain (동일 도메인): TADiff 는 기존 최첨단 모델 (ActionFormer, UMMAFormer 등) 보다 평균 정밀도 (Avg AP) 에서 **70.67% $\rightarrow$ 75.05%**로, 평균 재현율 (Avg AR) 에서 **74.31% $\rightarrow$ 77.15%**로 크게 향상되었습니다. 특히 엄격한 기준 (AP@0.95) 에서 9.78%p의 획기적인 개선을 보였습니다.
• Open-World (미확인 도메인): 훈련에 사용되지 않은 상업용 모델 (Vidu) 로 생성된 위조 비디오에서도 TADiff 는 강력한 성능을 유지하며, AP@0.95 에서 11.98%p의 개선을 기록했습니다. 이는 데이터셋의 다양성이 일반화 성능을 높였음을 시사합니다.
• Cross-Domain (교차 도메인): 서로 다른 생성/편집 기법 간 전이 학습에서도 TADiff 는 베이스라인 대비 일관된 성능 향상을 보였습니다 (예: A$\rightarrow$B 전이에서 Avg AP +2.45%p).
• Ablation Study: 노이즈 주입과 딥노이징 모듈 모두를 사용할 때 가장 우수한 성능을 보였으며, t-SNE 시각화 결과 TADiff 를 적용한 모델은 진짜와 조작된 비디오의 특징 공간 분리가 명확히 이루어져 Fisher 판별 점수가 1.74 에서 2.64로 상승함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 생성형 AI 시대에 발생하는 활동 수준의 비디오 위조라는 새로운 위협에 대응하기 위한 기초를 마련했습니다.

• 기술적 의의: 고수준 의미에 의존하는 기존 접근법의 한계를 극복하고, 확산 모델을 활용한 특징 정규화를 통해 미세한 위조 흔적을 탐지하는 새로운 패러다임을 제시했습니다.
• 사회적 의의: ActivityForensics 데이터셋과 TADiff 모델은 디지털 미디어의 무결성을 보호하고, 허위 정보 (Misinformation) 에 대한 신뢰성을 회복하는 데 기여할 것으로 기대됩니다.

요약하자면, 이 논문은 ActivityForensics라는 대규모 데이터셋과 TADiff라는 새로운 모델을 통해, 기존에 간과되었던 '활동 조작' 위조 탐지 문제를 체계적으로 해결하고 미래 연구를 위한 강력한 벤치마크를 제시했습니다.