1. 문제 정의 (Problem)

최근 생성형 AI 의 급속한 발전으로 인해 초현실적인 합성 비디오가 대량으로 생성되고 있으며, 이는 오용 및 허위 정보 확산의 위험을 높이고 있습니다. 기존의 방어 기법은 주로 '실제 vs 가짜' 이진 분류 (Binary Detection) 에 집중되어 왔습니다. 그러나 생성 모델이 빠르게 다양화되고 진화함에 따라 단순히 '가짜'인지 판단하는 것만으로는 부족합니다.

핵심적인 문제는 다음과 같습니다:

• 출처 특정의 부재: 비디오가 가짜인지 아닌지보다, 어떤 구체적인 생성 모델 (또는 모델 계열) 에 의해 생성되었는지를 식별하는 것이 디지털 포렌식, 지식재산권 보호, 적대적 방어에 필수적입니다.
• 비디오 특유의 복잡성: 이미지 기반 출처 추적 방법은 비디오가 가진 고유한 시간적 역동성 (Temporal Dynamics), 다양한 생성 파이프라인 (프레임 합성, 모션 모델 등), 그리고 비디오 압축으로 인한 시공간적 아티팩트 (Spatio-temporal artifacts) 를 처리하지 못합니다.
• 데이터 부족: 다양한 생성 모델에 대한 레이블이 있는 데이터는 희소하며, 기존 방법들은 방대한 양의 레이블된 데이터를 필요로 합니다.

2. 제안 방법론 (Methodology)

저자들은 SAGA (Source Attribution of Generative AI videos) 라는 새로운 프레임워크를 제안했습니다. 이는 이진 검출을 넘어 5 가지 세분화된 수준 (Multi-granular) 에서 AI 생성 비디오의 출처를 식별하는 종합적인 시스템입니다.

A. 아키텍처: 비디오 트랜스포머 (Video Transformer)

• 도메인 무관한 시각 인코더: 웹 규모 이미지 - 텍스트 데이터로 사전 훈련된 강력한 비전 파운데이션 모델 (Vision Foundation Model) 을 사용하여 프레임별 특징을 추출합니다. 이는 도메인 간 격차 (Domain Gap) 를 줄이고 '야외 (in-the-wild)' 환경에서의 강건성을 높입니다.
• 계층적 비디오 트랜스포머:
  • 공간 인코더 (Spatial Encoder): 각 프레임 내의 패치 간 관계를 포착하기 위해 프레임별 토큰에 공간적 자기주의 (Self-attention) 를 적용합니다.
  • 시간 인코더 (Temporal Encoder): 프레임 간의 시퀀스 관계를 포착하기 위해 시계열적 자기주의를 적용합니다. 이를 통해 생성 모델 고유의 미세한 시간적 불일치 (Temporal inconsistencies) 를 학습합니다.

B. 학습 전략: 2 단계 전이 학습 (Two-Stage Pretrain-and-Adapt)

데이터 효율성을 극대화하기 위해 2 단계 학습 프로토콜을 사용합니다.

1. 1 단계 (Pretraining): 풍부하게 존재하는 '실제/가짜' 이진 레이블 데이터를 사용하여 이진 분류기 (Binary Classifier) 를 사전 훈련합니다.
2. 2 단계 (Adaptation): 사전 훈련된 모델을 미세 조정하여 구체적인 출처 (Source Attribution) 분류 작업에 적응시킵니다. 이때 하드 네거티브 마이닝 (Hard Negative Mining, HNM) 을 포함한 대비 학습 (Contrastive Learning) 목적 함수를 사용합니다.
   • HNM 의 역할: 클래스 간 경계가 모호하거나 데이터가 겹치는 경우, CE 손실 (Cross-Entropy Loss) 만으로는 분리되지 않습니다. HNM 은 배치 내에서 가장 유사한 (가장 어려운) 부정 샘플 (Negative) 을 선택하여 손실 함수에 포함시킴으로써, 클래스 간 거리를 명확히 분리하는 결정 경계를 학습하게 합니다.
   • 데이터 효율성: 이 전략은 각 클래스당 0.5% 의 레이블된 데이터만으로도 전체 데이터 (100%) 로 학습한 모델과 동등한 성능을 달성합니다.

C. 해석 가능성: 시간적 주의 서명 (Temporal Attention Signatures, T-Sigs)

• SAGA 는 학습된 시간적 주의 점수 (Temporal Attention Scores) 를 기반으로 T-Sig를 생성합니다.
• 이는 각 생성 모델이 가진 고유한 '지문 (Fingerprint)'을 시각화한 것으로, 프레임 간 주의 집중 패턴을 평균화하여 생성 모델별 시간적 아티팩트 (예: 특징적인 모션 역학, 프레임 간 불일치) 를 보여줍니다.
• 이를 통해 왜 다른 생성 모델들이 구별되는지에 대한 시각적 설명을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 다중 세분화 출처 추적 프레임워크: 이진 검출을 넘어 5 가지 수준의 출처 추적을 가능하게 합니다.
   • BIN-L: 실제/가짜 구분
   • TASK-L: 텍스트 - 비디오 (T2V) vs 이미지 - 비디오 (I2V) 구분
   • SD-L: Stable Diffusion 버전 (1.4, 1.5, 2.1, XL 등) 구분
   • TEAM-L: 개발 팀 (OpenAI, Stability AI, Pika 등) 구분
   • GEN-L: 구체적인 모델 ID 식별
2. 뛰어난 데이터 효율성: 2 단계 학습과 HNM 을 통해 각 클래스당 0.5% 의 데이터만으로도 최첨단 (SOTA) 성능을 달성했습니다.
3. 해석 가능한 T-Sig: 생성형 비디오 출처 추적 분야에서 최초로 시각적 서명을 통해 모델의 판단 근거를 설명 가능한 (Interpretable) 방법을 제시했습니다.
4. 광범위한 평가: DeMamba 및 DVF 등 공개 데이터셋의 19 개 다양한 비디오 생성기를 대상으로 평가하여, 도메인 내 (In-domain) 및 도메인 간 (Cross-domain) 상황 모두에서 강력한 일반화 성능을 입증했습니다.

4. 실험 결과 (Results)

• 이진 분류 (BIN-L): DeMamba 와 DVF 데이터셋에서 기존 SOTA 방법들 (TALL, F3Net 등) 을 압도적으로 상회했습니다. 특히 DVF 에서 DeMamba 로만 훈련된 모델이 테스트된 경우에도 99.94% 의 정확도를 기록하여 뛰어난 일반화 능력을 보였습니다.
• 미세 세분화 (Fine-grained) 추적:
  • TASK-L & TEAM-L: 2 단계 학습을 적용했을 때, 0.5% 데이터로도 100% 데이터로 학습한 모델과 유사하거나 더 나은 성능을 보였습니다 (예: TEAM-L 에서 97.77% 정확도).
  • GEN-L (가장 어려운 작업): CE 손실만 사용할 경우 성능이 낮았으나 (약 24%), HNM 을 도입한 2 단계 학습을 통해 94.99% 의 높은 정확도를 달성했습니다.
• 시각화 분석: t-SNE 분석을 통해 학습된 임베딩 공간에서 생성 모델들이 명확하게 군집화됨을 확인했습니다. 특히 HNM 을 사용했을 때 겹치던 군집들이 명확히 분리되는 것을 시각적으로 증명했습니다.
• T-Sig 분석: 훈련되지 않은 새로운 생성기 (Unseen Generators) 에서도 고유한 T-Sig 가 생성되어, SAGA 가 단순히 패턴을 암기하는 것이 아니라 생성의 근본적인 시간적 특성을 학습했음을 시사합니다.

5. 의의 및 중요성 (Significance)

• 포렌식 및 규제: 단순한 가짜 탐지를 넘어, 구체적인 생성 소스를 추적함으로써 디지털 포렌식, 저작권 침해 대응, 그리고 생성형 AI 의 책임 있는 거버넌스에 필수적인 도구를 제공합니다.
• 데이터 효율성: 레이블된 데이터가 부족한 현실적인 환경에서도 고품질 출처 추적 모델을 구축할 수 있는 방법을 제시했습니다.
• 해석 가능성: '블랙박스'인 AI 모델의 판단 근거를 시각적으로 설명함으로써 (T-Sig), 신뢰성 있는 포렌식 분석을 가능하게 합니다.
• 미래 지향성: 새로운 생성 모델이 등장하더라도 (Open-set scenario) 이를 탐지하고 분류할 수 있는 잠재력을 보여주어, 빠르게 진화하는 생성형 AI 환경에 대응하는 새로운 벤치마크를 설정했습니다.

요약하자면, SAGA 는 생성형 AI 비디오의 출처를 정확하게, 효율적으로, 그리고 해석 가능하게 추적할 수 있는 최초의 종합 프레임워크로서, 디지털 진위 확인 분야에서 중요한 이정표가 될 것입니다.