Anti-I2V: Safeguarding your photos from malicious image-to-video generation

1. 문제 정의 (Problem Definition)

최근 확산 기반 (Diffusion-based) 비디오 생성 모델 (VDMs) 의 발전은 텍스트 프롬프트나 단일 이미지를 기반으로 고품질의 동영상을 생성하는 능력을 크게 향상시켰습니다. 특히 이미지 - 비디오 (Image-to-Video, I2V) 생성 기술은 특정 사람의 사진을 입력받아 텍스트 프롬프트에 따라 움직임을 생성할 수 있게 하여, 딥페이크 (Deepfake) 나 해로운 콘텐츠 제작과 같은 악용의 위험을 초래하고 있습니다.

기존의 방어 기법 (Adversarial Attacks) 은 주로 텍스트 - 이미지 (T2I) 생성이나 이미지 - 이미지 변환을 대상으로 하며, UNet 기반 아키텍처에 집중되어 있었습니다. 그러나 최신의 대규모 I2V 모델 (CogVideoX, OpenSora 등) 은 Diffusion Transformer (DiT) 아키텍처를 사용하며, 더 큰 용량과 고급 어텐션 메커니즘을 통해 강력한 시간적 일관성 (Temporal Consistency) 을 유지합니다. 따라서 기존 방법들은 이러한 최신 모델의 강력한 특징 추출 및 시간적 연결성을 무력화하는 데 한계가 있으며, 특히 RGB 공간에서의 노이즈 최적화만으로는 효과적인 방어가 어렵습니다.

2. 방법론 (Methodology)

저자들은 Anti-I2V라는 새로운 방어 프레임워크를 제안합니다. 이는 다양한 확산 백본 (Backbone) 에 적용 가능하며, 다음과 같은 두 가지 핵심 전략을 결합합니다.

가. 이중 공간 교란 전략 (Dual-Space Perturbation Strategy, DSP)

기존의 대부분의 방어 기법이 RGB 색상 공간에서 직접 노이즈를 추가하는 반면, Anti-I2V 는 인간의 지각과 모델의 특징 추출에 더 민감한 두 가지 다른 공간에서 교란을 수행합니다.

1. Lab* 색상 공간: 인간의 밝기 (L*) 에 영향을 주지 않고 색조 (a*, b*) 채널에만 노이즈를 추가하여, 인간의 눈에는 거의 보이지 않지만 모델의 색상 인식에는 큰 왜곡을 일으킵니다.
2. 주파수 도메인 (Frequency Domain): 이산 코사인 변환 (DCT) 을 사용하여 저주파 성분 (이미지의 구조적, 텍스처 정보) 에 노이즈를 직접 주입합니다. 이는 고주파 노이즈가 제거되는 확산 모델의 반복적 디노이징 과정을 우회하여 핵심적인 특징을 파괴합니다.

• 이 두 공간을 결합함으로써 기존 RGB 기반 공격보다 더 강인하고, 블러링이나 JPEG 압축과 같은 후처리에도 견고한 방어 효과를 냅니다.

나. 내부 표현 붕괴 및 앵커 손실 (Internal Representation Collapse & Anchor Loss)

단순히 픽셀을 교란하는 것을 넘어, 디노이징 네트워크 내부의 의미론적 특징 (Semantic Features) 흐름을 차단하는 것을 목표로 합니다.

1. 층별 분석: CogVideoX 와 OpenSora 와 같은 모델에서 디노이징 과정 중 어떤 레이어가 구조적 특징 (초기 레이어) 과 의미론적 특징 (후기 레이어) 을 인코딩하는지 분석했습니다.
2. IRC (Internal Representation Collapse): 후기 레이어의 고차원 의미 특징을 초기 레이어의 저차원 구조 특징과 정렬 (Align) 시켜, 고차원 특징이 붕괴되도록 유도합니다. 이로 인해 모델이 시간적 일관성을 유지하며 의미 있는 콘텐츠를 재구성하는 능력이 저하됩니다.
3. IRA (Internal Representation Anchor): VAE 인코더와 디노이저의 각 레이어에서, 교란된 이미지의 잠재 표현 (Latent Representation) 을 무관한 타겟 이미지의 표현과 가깝게 만듭니다. 이는 모델이 원본 이미지의 특징을 추출하는 것을 방해합니다.
4. 최종 목적 함수: IRC, IRA, 보조 손실 (CLIP, LPIPS), 그리고 기존 디노이징 손실의 조합을 통해 최적화합니다.

3. 주요 기여 (Key Contributions)

• Anti-I2V 제안: 다양한 확산 기반 I2V 모델에 적용 가능한 최초의 범용 방어 프레임워크입니다.
• 이중 공간 최적화: Lab* 색상 공간과 주파수 도메인을 동시에 활용하여 노이즈를 최적화한 최초의 연구로, 기존 RGB 기반 방법보다 훨씬 강력한 방어력과 강인성을 입증했습니다.
• 층별 의미론적 교란: VAE 와 디노이징 모듈의 내부 레이어별 특징을 분석하고, 이를 붕괴 (IRC) 하거나 재정의 (IRA) 하는 새로운 목적 함수를 도입하여 시간적 일관성과 생성 충실도를 효과적으로 저하시켰습니다.

4. 실험 결과 (Results)

저자들은 CelebV-Text (얼굴 중심) 와 UCF101 (전신 동작) 데이터셋을 기반으로 CogVideoX-5B, OpenSora v1.2, DynamiCrafter 등 최신 SOTA 모델을 대상으로 실험을 수행했습니다.

• 정량적 평가:
  • 신원 일치도 (ISM, Identity Score Matching): Anti-I2V 는 모든 모델에서 가장 낮은 ISM 점수를 기록하여, 생성된 비디오가 원본 얼굴과 유사하지 않음을 증명했습니다 (예: DynamiCrafter 에서 Clean 0.528 → Anti-I2V 0.151).
  • 비디오 품질 저하 (Q-Align, DINO): 생성된 비디오의 전체적 품질과 시간적 일관성이 현저히 떨어졌습니다.
  • 기존 방법 대비 우위: SDS, AdvDM, MIST, VGMShield 등 기존 방어 기법들보다 모든 메트릭에서 우수한 성능을 보였습니다.
• 강인성 (Robustness): JPEG 압축, 가우시안 블러, 가우시안 노이즈, 그리고 DiffPure 등의 정화 (Purification) 공격에 대해 RGB 기반 방법보다 훨씬 안정적인 성능을 유지했습니다.
• 전이성 (Transferability): CogVideoX 에서 최적화된 교란 이미지가 OpenSora 나 DynamiCrafter 와 같은 다른 아키텍처에서도 효과적으로 작동하여 높은 전이성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 이미지 - 비디오 생성 모델의 악용에 대한 실질적인 방어 솔루션을 제시합니다.

1. 기술적 혁신: 단순한 픽셀 교란을 넘어, 모델의 내부 특징 표현 (Feature Representation) 과 시간적 흐름을 직접적으로 공격하는 새로운 패러다임을 제시했습니다.
2. 실용성: 고사양 GPU 가 필요하거나 특정 자세 (Pose) 정보가 필요한 기존 방법들과 달리, Anti-I2V 는 상대적으로 적은 계산 자원으로 다양한 모델에 적용 가능합니다.
3. 보안 강화: 개인의 사진이 무단으로 딥페이크나 해로운 콘텐츠로 악용되는 것을 방지하여, 생성형 AI 시대의 디지털 프라이버시 보호에 중요한 기여를 합니다.

결론적으로 Anti-I2V 는 최신 Diffusion Transformer 기반 비디오 생성 모델에 대한 강력한 방어 메커니즘으로, 시간적 일관성과 의미론적 특징을 동시에 교란하여 악성 생성을 효과적으로 차단합니다.