기술 요약: 진실의 흐름 (Flow of Truth, FoT)

1. 문제 정의

이미지-비디오 (I2V) 생성 모델 (예: AnimateDiff, Wan2.2, Sora, Kling) 의 급속한 발전은 단일 이미지에서 매우 사실적이고 시간적으로 일관된 비디오를 생성할 수 있게 합니다. 이는 창의적 제작에 유익하지만, 허위 정보와 콘텐츠 조작의 심각한 위험을 초래합니다.

기존의 포렌식 메커니즘은 이 분야에서 치명적인 한계에 직면해 있습니다:

• 정적 대 동적: 전통적인 사전 예방적 포렌식은 조작을 국소화하기 위해 정적 이미지에 서명을 임베딩합니다. 그러나 I2V 생성은 시간이 지남에 따라 픽셀이 이동하고, 변형되며, 사라지거나 의미론적으로 재합성되는 점진적인 시각적 진화를 수반합니다.
• 시간적 드리프트: I2V 에서 임베딩된 포렌식 흔적은 프레임이 진행됨에 따라 드리프트되거나, 변형되거나, 가려집니다. 고정된 픽셀 정렬을 가정하는 정적 공간 포렌식은 신뢰할 수 없게 됩니다.
• 핵심 과제: 포렌식 작업은 단일 프레임에서 조작이 발생한 위치를 식별하는 것에서, 시간이 지남에 따라 보호된 증거가 어떻게 흐르고 변형되는지 추적하는 것으로 전환됩니다. furthermore, 방어자는 일반적으로 공격자가 공개한 비디오 프레임에만 접근할 수 있으며, 표준 소스 - 타겟 운동 추정을 위한 원본 소스 이미지는 사용할 수 없습니다.

이 논문은 사전 예방적 시간적 추적 가능성을 새로운, 미개척된 포렌식 요구사항으로 식별합니다: 포렌식 분석 단계 동안 원본 소스에 접근하지 않고도 운동과 의미론적 변화를 통해 원본 소스 이미지를 복원하고 증거를 추적할 수 있는 능력입니다.

2. 방법론: 진실의 흐름 (FoT)

저자들은 I2V 생성을 단순한 프레임 합성이 아닌 픽셀 운동 관점에서 재정의하는 사전 예방적 프레임워크인 **진실의 흐름 (Flow of Truth, FoT)**을 제안합니다. 핵심 가설은 포렌식 신호가 하부 픽셀 역학을 따라가고 변환되도록 설계된다면, 진화하는 타겟 프레임과 동기화를 유지할 수 있다는 것입니다.

이 프레임워크는 4 단계 파이프라인을 통해 작동합니다:

A. 작업 재정의

문제는 관측된 프레임 $I_t$에서 복원된 소스 이미지 $\hat{I}_{t \to 0}$로의 매핑 $\Phi: I_t \to \hat{I}_{t \to 0}$을 학습하는 것으로 정의됩니다. 최종 소스는 다중 프레임 예측을 집계하여 재구성됩니다. 이는 소스에서 타겟으로의 밀집 변위장 (광학 흐름) 을 학습하고, 소스를 복원하기 위해 역방향 워핑을 허용하도록 재정의됩니다.

B. 템플릿 임베딩

고정된 템플릿을 사용하는 대신 (정적 국소화에는 충분하지만 운동 추적에는 부족함), FoT 는 학습 가능한 포렌식 템플릿($T$)을 사용합니다.

• 인코더 $E$가 $T$를 소스 이미지 $I_0$에 임베딩하여 $I^T_0$를 생성합니다.
• 임베딩은 시각적으로 인지되지 않도록 최적화되며 (픽셀 왜곡과 LPIPS 최소화), 합성 중 시간적 일관성을 유지할 가능성이 높은 시각적으로 안정적인 영역에 에너지를 할당합니다.

C. 미분 가능한 I2V 시뮬레이션

특정 폐쇄형 소스 I2V 모델에서 직접 학습하는 것의 계산적 비효율성과 편향을 피하기 위해, FoT 는 미분 가능한 시뮬레이션 메커니즘을 사용합니다:

1. 압축/재구성: 고정된 변분 오토인코더 (VAE) 가 I2V 모델의 압축 및 재구성 역학을 시뮬레이션합니다.
2. 운동 산란: 광학 흐름 데이터셋 (FlyingChairs, Sintel, Spring 등) 의 뱅크에서 무작위로 샘플링된 운동장 $M_i$가 재구성된 이미지의 픽셀을 산란시킵니다.
   이 설정은 실제 I2V 비디오를 필요로 하지 않고 운동에 대한 명시적인 정답 레이블을 제공하여, 생성기 전반에 걸쳐 방법이 일반화되도록 보장합니다.

D. 운동 포착 및 불확실성 모델링

템플릿 유도 흐름 예측 모듈은 임베딩된 소스와 시뮬레이션된 프레임 사이의 밀집 변위장을 추정합니다.

• 불확실성 예측: 일부 영역 (예: 가려진 영역 또는 의미론적으로 재합성된 콘텐츠) 은 본질적으로 관측 불가능하다는 점을 인식하여, 모델은 흐름과 함께 신뢰도 맵을 예측합니다.
• 손실 함수: 결정론적 운동과 불확실한 경우 (가려짐, 새로운 콘텐츠) 모두를 모델링하기 위해 Laplace 혼합 손실이 사용되며, 이를 통해 시스템은 재구성 중 신뢰할 수 없는 흐름 벡터의 가중치를 낮춥니다.

E. 흐름 역전 (추론)

추론 단계에서 FoT 는 공격자의 비디오 프레임에서 살아남은 템플릿 증거를 디코딩합니다.

1. 소스에서 현재 프레임으로의 운동장을 예측합니다.
2. 프레임을 소스 좌표계로 역방향 워핑합니다.
3. 예측된 신뢰도 맵을 소프트 마스크로 사용하여 다중 프레임 재구성을 융합하여 최종 복원된 소스 이미지를 생성합니다.

3. 주요 기여

1. 문제 식별: 이 논문은 증거가 운동과 의미론적 드리프트를 통해 추적되어야 하는 I2V 를 위한 중요한 새로운 포렌식 요구사항으로 사전 예방적 시간적 추적 가능성을 정의합니다.
2. 프레임워크 설계: FoT 는 I2V 에서 소스 복원을 위한 최초의 사전 예방적 프레임워크입니다. 이는 비디오 생성을 픽셀 단위 운동으로 독창적으로 모델링하며, 픽셀 궤적과 함께 공진화하는 포렌식 템플릿을 학습합니다.
3. 일반화: 이 방법은 운동과 압축의 미분 가능한 시뮬레이션에서 학습되므로, 가중치에 직접 접근하지 않고도 상업용 (Kling, Dreamina) 및 오픈 소스 (CogVideoX, Wan2.2) I2V 모델 전반에 걸쳐 일반화됩니다.
4. 보조 기능: 저자들은 FoT 가 다음과 같은 범용 플러그인 모듈로 작용함을 입증합니다:
   • 기하학적 왜곡 및 I2V 변환에 대한 저작권 워터마크의 강건성을 향상시킵니다.
   • 운동 기반 특징을 활용하여 콘텐츠 불일치를 감지함으로써 조작 국소화를 개선합니다.

4. 실험 결과

저자들은 5 가지 운동 시나리오 (Face, Camera, Animal, Human-Environment, Multi-Human) 와 4 가지 I2V 모델에 걸쳐 204 개의 소스 - 프롬프트 쌍으로 구성된 맞춤형 벤치마크에서 FoT 를 평가했습니다.

• 진실 복원: FoT 는 원본 소스 이미지를 복원하는 데 있어 처리되지 않은 "위조" 프레임보다 훨씬 뛰어난 성능을 발휘했습니다.
  • 프레임 단위: 운동 규모 전반에 걸쳐 평균 PSNR 이 약 20.4 에서 약 23.0 으로, SSIM 이 약 0.64 에서 약 0.76 으로 향상되었습니다.
  • 비디오 단위: 초기 프레임의 90% 가 폐기된 경우 (심각한 공격) 에도 FoT 는 원시 위조 증거보다 명확한 성능 우위를 유지하여 시간적 데이터 손실에 대한 회복력을 입증했습니다.
• 운동 포착 정확도:
  • 성능은 모델과 시나리오에 따라 다양했습니다. CogVideoX가 가장 안정적인 결과 (AEE 약 6.88) 를 보인 반면, Dreamina S2.0은 가장 큰 도전 과제 (AEE 약 30.6) 를 제시했습니다.
  • 시나리오 분석: "Camera"운동 (전체적이고 일관된) 은 "Human-Environment"또는 "Multi-Human"시나리오보다 포착하기 쉬웠으며, 이는 복잡하고 비강성적인 상호작용을 수반합니다.
  • 규모 분석: 큰 운동 크기 (>40px) 는 전통적인 광학 흐름의 어려움과 일치하여 일관되게 더 높은 오류를 유발했으나, FoT 는 구조화된 큰 운동 (예: 카메라 줌) 에 대해서는 여전히 효과적이었습니다.
• 보조 작업:
  • 워터마킹: FoT 는 RoSteALS 를 위한 포스트 임베딩 복원 계층으로 사용될 때 기하학적 및 I2V 공격에 대한 비트 정확도를 향상시켰습니다.
  • 조작 국소화: 이 프레임워크는 편집된 영역을 국소화하는 데 높은 Dice 점수 (클린 입력 기준 >0.95) 를 달성하여, 운동 기반 특징이 조작 감지로 일반화됨을 검증했습니다.

5. 중요성과 주장

이 논문은 FoT 를 사전 예방적 시간적 포렌식을 향한 기초적인 단계로 위치시킵니다.

• 패러다임 전환: 이는 포렌식 분석을 정적 공간 국소화에서 동적 시간적 추적으로 이동시켜, 시간이 지남에 따라 콘텐츠가 진화하는 생성형 비디오의 고유한 특성을 해결합니다.
• 실용적 유용성: 조작된 비디오에서 "진실"(소스 이미지) 을 복원함으로써, FoT 는 원본 소스가 손실되었거나 공격자에 의해 숨겨진 경우에도 진위성을 검증할 수 있는 메커니즘을 제공합니다.
• 한계 및 향후 작업: 저자들은 FoT 가 의미론적 재합성(생성기가 소스에 존재하지 않는 완전히 새로운 콘텐츠를 생성하는 경우) 과 매우 비강성적이고 이질적인 운동 (예: 복잡한 인간 상호작용) 에는 어려움을 겪는다고 겸손하게 인정합니다. 향후 작업은 이러한 "실패 모드"를 처리하기 위해 고수준 생성적 사전 지식과 영역 인식 추론에 초점을 맞춰야 한다고 제안합니다.

이 연구는 큰 비강성적 변위를 통해 픽셀을 추적하는 것이 여전히 어렵지만, FoT 가 AI 생성 비디오의 시간적 진화를 통해 보호된 증거를 추적할 수 있는 실현 가능한 경로를 확립했다고 결론짓습니다.