mAVE: A Watermark for Joint Audio-Visual Generation Models

이 논문은 기존 오디오 - 비주얼 생성 모델의 교차 모달 취약점을 해결하고, 오디오와 비디오 잠재 공간을 암호학적으로 결합하여 스왑 공격에 대한 강력한 방어와 저작권 보호를 제공하는 새로운 워터마킹 프레임워크인 mAVE 를 제안합니다.

핵심

🎬 mAVE: AI 영상과 소리의 '운명적 결합'을 지키는 새로운 자물쇠

이 논문은 최근 화제가 되고 있는 AI 영상 생성 기술 (텍스트로 영상과 소리를 동시에 만들어내는 기술) 의 치명적인 보안 구멍을 발견하고, 이를 해결하는 획기적인 방법을 제안합니다.

이해하기 쉽게 세 가지 핵심 이야기로 나누어 설명해 드릴게요.

---

1. 문제: "진짜 영상에 가짜 목소리를 입히면?" (스왑 공격의 위험성)

지금까지의 AI 보안 기술은 영상과 소리를 따로따로 관리했습니다. 마치 영화관에서 비디오 테이프와 오디오 테이프를 각각 따로 잠가두는 것과 비슷하죠.

• 기존 방식의 허점: 해커는 "진짜 AI 가 만든 영상"을 가져와서, "악의적인 가짜 AI 목소리"를 입힐 수 있습니다.
• 왜 위험한가요? 기존 보안 시스템은 "영상에 도장이 찍혀 있거나 (O), 소리에 도장이 찍혀 있으면 (O)"을 합쳐서 "진짜다!"라고 판단합니다.
  • 해커는 진짜 영상 (도장 O) + 가짜 소리 (도장 O, 다른 AI 가 찍음) 를 합치면, 시스템은 "오! 영상도 진짜고 소리도 진짜네?"라고 착각합니다.
  • 결과적으로, 진짜 제작사의 명성을 훼손하는 가짜 뉴스가 만들어져도 아무도 모르게 됩니다.

💡 비유:
마치 진짜 명품 가방에 가짜 명품 태그를 붙인 뒤, 진짜 명품 가방에 가짜 명품 태그를 붙인 것을 섞어서 파는 것과 같습니다. "가방도 진짜고 태그도 진짜잖아?"라고 속는 셈이죠.

---

2. 해결책: mAVE (영상과 소리의 '운명적 결합')

이 논문 (mAVE) 은 영상과 소리를 아예 처음부터 하나로 묶어서 만들어버립니다.

• 핵심 아이디어: 영상을 만들 때 소리를, 소리를 만들 때 영상을 서로 의존하게 만듭니다.
• 어떻게 하나요?
  1. AI 가 영상을 만들기 시작할 때 (노이즈 단계), 영상의 초기 상태를 계산합니다.
  2. 그 계산된 값을 암호화해서 소리의 초기 상태를 결정합니다.
  3. 즉, **"이 영상은 이 소리만 가능하고, 이 소리는 이 영상만 가능"**하게 만드는 것입니다.

💡 비유:
기존 방식은 별과 달을 따로 만들어서 하늘에 붙이는 것이었다면, mAVE 는 별과 달을 하나의 '쌍둥이'처럼 태어나게 만드는 것입니다.
만약 해커가 다른 달을 가져와서 붙이려고 하면? 별과 달이 서로 맞지 않아서 (암호화 키가 안 맞아서) 그 조합은 즉시 "가짜"로 판명납니다.

---

3. 결과: 완벽에 가까운 보안과 품질

이 방법이 얼마나 뛰어난지 실험 결과로 보여줍니다.

• 보안성 (Swap Attack 방어):
  • 기존 방식: 가짜 조합을 100 번 시도하면 50 번 정도는 속아넘어갔습니다. (동전 던지기 수준)
  • mAVE: 가짜 조합을 시도해도 99.9% 확률로 잡아냅니다. 해커가 아무리 노력해도 암호를 뚫을 수 없습니다.
• 화질/음질 (품질 저하 없음):
  • 이 자물쇠를 걸어도 영상이 흐릿해지거나 소리가 찌그러지지 않습니다. 마치 투명한 유리창을 설치한 것과一样, 원본의 아름다움을 그대로 유지합니다.
• 효율성:
  • 별도의 복잡한 검사를 거치지 않아도 됩니다. 영상과 소리를 한 번에 생성하는 과정에서 자연스럽게 보안이 검증됩니다.

---

📝 한 줄 요약

"영상과 소리를 따로따로 잠그지 말고, 처음부터 '운명적 커플'처럼 묶어두세요. 그래야 해커가 한쪽만 바꿔치기 해도 바로 들통납니다!"

이 기술 (mAVE) 은 AI 가 만든 콘텐츠의 진위 여부를 확실하게 가려주어, 제작자의 저작권을 보호하고 사회에 퍼지는 가짜 뉴스 (딥페이크) 를 막는 강력한 방패가 될 것입니다.

기술 요약

mAVE: 결합 오디오 - 비주얼 생성 모델을 위한 워터마크 기술 요약

이 논문은 mAVE (Manifold Audio-Visual Entanglement) 를 제안하며, 이는 결합 오디오 - 비주얼 생성 모델 (Joint Audio-Visual Generation Models) 을 위한 최초의 네이티브 워터마킹 프레임워크입니다. 생성형 AI 의 발전으로 인해 비디오와 오디오가 동기화된 콘텐츠가 대량으로 생성되고 있지만, 기존 워터마킹 기술의 구조적 한계로 인해 심각한 보안 취약점이 존재했습니다. mAVE 는 이 문제를 해결하기 위해 오디오와 비디오의 잠재 공간 (latent space) 을 암호학적으로 결합하는 새로운 접근법을 제시합니다.

1. 문제 정의: 결합 취약점 (Binding Vulnerability)

기존의 오디오 및 비디오 워터마킹 기술은 각 모달리티를 독립적인 개체로 취급하여 분리된 (Decoupled) 방식으로 작동합니다. 이는 다음과 같은 치명적인 보안 취약점을 초래합니다.

• 스왑 공격 (Swap Attack): 공격자는 저작권이 적용된 워터마크가 삽입된 정품 비디오를 유지하면서, 악의적인 딥페이크 오디오로 오디오 트랙을 교체할 수 있습니다.
• 검증 논리의 결함: 기존 탐지기는 비디오 워터마크가 있거나 ($V_{wm}$) 오디오 워터마크가 있는 ($A_{wm}$) 경우를 '진실'로 간주하는 논리적 논리합 (Disjunction, $\lor$) 을 사용합니다.
  • 공격자는 정품 비디오와 악성 오디오를 결합하여 두 모달리티 모두 유효한 워터마크를 가진 것처럼 보이게 만들 수 있습니다.
  • 결과적으로 탐지기는 조작된 콘텐츠를 정품으로 잘못 판단하여, 악성 콘텐츠가 원래 벤더에게 귀속되는 심각한 평판 손상을 초래합니다.
• 기존 해결책의 한계: 단순히 논리곱 (Conjunction, $\land$) 으로 검증 기준을 강화하거나, 사후 동기화 검증 (SyncNet 등) 을 추가하는 것은 교차 세션 스플라이싱 (Cross-session splicing) 공격을 막지 못하며, 의미론적 제약으로 인해 오픈 도메인 환경에서 신뢰할 수 없습니다.

2. 방법론: mAVE (Manifold Audio-Visual Entanglement)

mAVE 는 모델의 미세 조정 (Fine-tuning) 없이 생성 과정의 초기화 단계에서 오디오와 비디오의 잠재 노이즈를 암호학적으로 묶는 방식을 채택합니다.

핵심 원리

1. 정당한 결합 다양체 (Legitimate Entanglement Manifold):

   • 오디오 노이즈 ($z_a$) 와 비디오 노이즈 ($z_v$) 를 독립적인 가우시안 변수가 아닌, 함수적 의존 관계 ($z_a = f(z_v)$) 를 가진 단일 다양체로 정의합니다.
   • 비디오 노이즈의 암호학적 해시 (SHA-256) 를 오디오 노이즈의 일부에 직접 임베딩하여, 두 모달리티가 동일한 세션에서 생성되었음을 수학적으로 보장합니다.

2. 구체적 프로세스:

   • 이산 격자 구성: 비디오 그리드 ($B_v$) 에 타임 템플릿과 인덱스를 포함하고, 오디오 그리드 ($B_a$) 에 비디오 비트의 해시 다이제스트를 암호학적으로 바인딩합니다.
   • 역변환 샘플링 (Inverse Transform Sampling): 암호화된 비트 스트림을 연속적인 가우시안 잠재 공간으로 매핑합니다. ChaCha20 스트림 암호를 사용하여 워터마크 비트를 무작위화함으로써, 워터마크가 삽입된 잠재 변수가 표준 가우시안 분포와 통계적으로 구별 불가능하도록 만듭니다.
   • 공동 역전 (Joint Inversion): 생성된 콘텐츠가 들어오면, Rectified Flow 기반의 ODE 솔버를 사용하여 비디오와 오디오를 동시에 역방향으로 역전 (Inversion) 시켜 초기 노이즈를 복원합니다.

3. 검증 로직:

   • 복원된 오디오 비트와 비디오 비트의 해시를 비교하여 결합 일관성 점수 (Binding Consistency Score) 를 계산합니다.
   • 최종 인증은 비디오 워터마크, 오디오 워터마크, 그리고 결합 일치성이 모두 충족될 때만 통과됩니다 (논리곱 $\land$).

3. 주요 기여 (Key Contributions)

1. 네이티브 결합 워터마킹: 결합 생성 모델의 구조를 활용하여, 모델 학습 없이 초기 노이즈 단계에서 오디오 - 비디오 바인딩을 구현한 최초의 프레임워크입니다.
2. 이론적 보장:
   • 성능 손실 없음 (Performance-Losslessness): 워터마크가 삽입된 초기 노이즈가 표준 가우시안 분포와 계산적으로 구별 불가능함을 증명하여, 생성 품질 저하가 없음을 보장합니다.
   • 보안 상한선 (Security Bound): Hoeffding 부등식을 기반으로 스왑 공격에 대한 위양성 (False Positive) 확률이 결합 길이 $N$에 대해 지수적으로 감소함을 수학적으로 증명했습니다.
3. 실증적 성과: LTX-2 와 MOVA 와 같은 최신 오픈소스 모델에서 실험을 수행하여, 기존 단일 모달리티 워터마크의 단순 조합보다 월등한 성능을 입증했습니다.

4. 실험 결과

• 생성 품질 (Fidelity): mAVE 를 적용한 콘텐츠는 워터마크가 없는 정품 (Clean baseline) 과 통계적으로 구별 불가능한 품질을 유지했습니다 (VBench, CLAP, SyncNet 점수 비교).
• 스왑 공격 방어:
  • 약한 기준 (기존 방식): 스왑 공격에 대해 50% 의 정확도 (무작위 추측 수준) 만 보였습니다.
  • 강한 기준 (동기화 추가): 약 86.2% 정확도를 보였으나, 위음성 (False Negative) 과 위양성 (False Positive) 이 여전히 존재했습니다.
  • mAVE: 99.9% 의 정확도를 달성하여, 스왑 공격을 거의 완벽하게 차단하고 위양성률을 0% 에 가깝게 낮췄습니다.
• 강건성 (Robustness): 압축, 노이즈 추가, 블러링 등 일반적인 신호 처리 공격에 대해 높은 비트 정확도 (Bit Accuracy) 를 유지했습니다.
• 효율성: 오디오와 비디오를 별도의 프로세서로 처리할 필요 없이, 단일 ODE 역전 과정을 통해 두 모달리티의 워터마크를 동시에 복원하므로, 기존 방식 대비 검출 비용을 약 50% 절감합니다.

5. 의의 및 결론

mAVE 는 생성형 AI 보안 분야에서 중요한 전환점을 제시합니다. 단순히 각 모달리티에 워터마크를 추가하는 것을 넘어, 생성 과정의 초기 단계에서 모달리티 간의 암호학적 결합을 강제함으로써, 딥페이크의 가장 교묘한 변형인 '스왑 공격'을 근본적으로 차단합니다.

이 기술은 벤더의 저작권 보호와 콘텐츠의 출처 증명 (Provenance) 을 위한 강력한 암호학적 방패 역할을 하며, 향후 결합 생성 모델이 상용화될 때 필수적인 보안 표준으로 자리 잡을 것으로 기대됩니다. 특히 모델 학습 없이 적용 가능하고 생성 품질을 해치지 않는다는 점은 실제 산업 적용에 매우 유리한 특징입니다.