Latent-Mark: An Audio Watermark Robust to Neural Resynthesis

이 논문은 신경망 기반 오디오 재합성에 강한 내성을 갖도록 코덱의 불변 잠재 공간에 워터마크를 삽입하고 여러 코덱을 통한 교차 최적화를 적용한 최초의 제로 비트 오디오 워터마킹 프레임워크인 'Latent-Mark'를 제안합니다.

핵심

🎵 LATENT-MARK: AI가 다시 부르는 노래도 잊지 않는 '보이지 않는 지문'

이 논문은 음성 워터마킹 (Audio Watermarking) 기술에 대한 혁신적인 연구를 소개합니다. 쉽게 말해, "음성 파일에 사람의 귀에는 들리지 않지만, AI 가 인식할 수 있는 '보이지 않는 지문'을 새겨넣는 방법"을 개발한 것입니다.

기존 기술들은 MP3 압축이나 볼륨 조절 같은 단순한 조작에는 강했지만, 최신 AI 음성 합성 기술 (Neural Resynthesis) 앞에서는 무너졌습니다. 이 논문은 그 문제를 해결한 새로운 방법 LATENT-MARK를 제안합니다.

---

1. 왜 기존 기술은 실패했을까? (기존의 문제점)

비유: 모래성 vs. 태풍

기존의 워터마킹 기술은 마치 모래성을 쌓는 것과 비슷했습니다.

• 기존 방식: 소리의 파동 (Waveform) 위에 아주 미세한 모래 (노이즈) 를 뿌려서 지문을 남깁니다.
• 문제점: 최근의 AI 음성 코덱 (EnCodec, SNAC 등) 은 이 모래성을 태풍처럼 부숴버립니다.
  • AI 는 소리를 단순히 '압축'하는 게 아니라, 소리의 **의미 (Semantic)**를 파악한 뒤 새로이 다시 그립니다 (Resynthesis).
  • 이때 AI 는 "이건 소음이야, 버려야 해"라고 판단하여 미세한 모래 (기존 워터마크) 를 모두 제거하고, 의미 있는 소리만 다시 만들어냅니다.
  • 결과적으로 소리는 원래와 똑같이 들리지만, 지문은 완전히 사라져버립니다.

2. LATENT-MARK 의 핵심 아이디어: "의미의 뼈대에 새기다"

이 연구팀은 "소리를 다시 그릴 때, **의미 (Meaning)가 담겨 있는 곳에 지문을 새겨야 한다"**는 통찰을 얻었습니다.

비유: DNA 와 외모

• 기존 방식: 사람의 **외모 (파형)**에 작은 점을 찍는 것. (AI 가 얼굴을 다시 그리면 점이 사라짐)
• LATENT-MARK: 사람의 **DNA (잠재 공간, Latent Space)**에 유전자를 조작하는 것.
  • AI 가 소리를 이해하고 다시 그릴 때 사용하는 '의미의 언어 (잠재 표현)' 자체를 살짝 밀어서, 지문이 DNA 에 새겨지도록 만듭니다.
  • AI 가 소리를 다시 만들어내도, 그 의미의 방향성은 그대로 유지되므로 지문도 살아남습니다.

3. 어떻게 작동할까? (세 가지 단계)

① '잠재 공간'을 찾아서 방향을 잡다

AI 가 소리를 이해하는 방식은 마치 알파고가 바둑 두는 법을 배우는 것과 비슷합니다. 소리를 '의미 있는 토큰 (Token)'으로 바꾸는데, 이 토큰들이 모여 있는 공간이 **잠재 공간 (Latent Space)**입니다.

• 연구팀은 이 공간에서 **특정한 방향 (벡터)**을 정합니다. 마치 "소리가 이쪽으로 조금 더 기울어지면, AI 는 '이건 워터마크가 있는 소리야'라고 알아챌 거야"라고 설정하는 것입니다.

② AI 가 알아채지 못하게 살짝 밀다 (Manifold Alignment)

소리를 살짝 변형시켜서 AI 가 이해하는 '의미의 방향'으로 기울입니다.

• 중요한 점: 이 변형은 사람의 귀에는 들리지 않아야 합니다.
• 비유: 그림을 그릴 때, 화가가 붓을 살짝 움직여 그림의 '분위기'를 바꾸는 것은 알아차리지만, '선 하나'가 옮겨간 건 모를 때와 같습니다. LATENT-MARK 는 소리의 '분위기 (자연스러운 파동)'를 해치지 않으면서, AI 가 보는 '의미의 방향'만 살짝 바꿉니다.

③ 여러 AI 를 한 번에 훈련시켜서 (Cross-Codec Optimization)

어떤 AI 가 이 소리를 다시 만들지 알 수 없습니다. 그래서 한 가지 AI 만 보고 훈련하면, 다른 AI 가 나오면 지문이 사라질 수 있습니다.

• 해결책: **여러 가지 다른 AI (Surrogate Codecs)**를 동시에 보고 훈련시킵니다.
• 비유: 여러 나라의 통역사들이 모두 이해할 수 있는 '공통된 손짓'을 개발하는 것입니다. 어떤 통역사 (AI) 가 나오든, 그 공통된 손짓 (지문) 은 모두 알아챌 수 있게 됩니다.

4. 실험 결과: 얼마나 강력한가?

• AI 재합성 (Neural Resynthesis) 공격: 기존 기술들은 0% 에 가까운 성공률을 보이며 완전히 무너졌습니다. 하지만 LATENT-MARK 는 50~90% 이상의 성공률로 지문을 살아남게 했습니다.
• 전통적인 공격 (노이즈, 볼륨 조절 등): 기존 기술들도 잘 견디는 공격이지만, LATENT-MARK 도 그 수준을 유지하며 모든 공격에 강합니다.
• 음질 (Imperceptibility): 사람이 들어도 원본과 구별할 수 없을 정도로 자연스럽습니다. (UTMOS 점수 기준)

5. 요약: 왜 이 연구가 중요한가?

이 연구는 "AI 가 소리를 다시 만들 때, 지문도 함께 다시 만들어지도록" 하는 첫 번째 성공적인 방법입니다.

• 과거: AI 가 소리를 다시 만들면 지문은 사라졌다. (지문 = 모래)
• 현재 (LATENT-MARK): AI 가 소리를 다시 만들어도 지문은 살아남는다. (지문 = DNA)

이는 음원 저작권 보호, AI 생성 음성의 출처 추적, 딥페이크 방지 등 미래의 오디오 보안에 매우 중요한 기술적 토대를 마련한 것입니다.

---

한 줄 요약:

"AI 가 소리를 완전히 새로 만들어도, 그 소리의 '의미' 속에 숨겨진 지문은 절대 사라지지 않게 만든, 소리의 DNA 에 새기는 새로운 보안 기술입니다."

기술 요약

1. 문제 정의 (Problem Statement)

기존 오디오 워터마킹 기술은 MP3 압축, 필터링, 리샘플링 등 전통적인 디지털 신호 처리 (DSP) 공격에 대해 강력한 견고성 (Robustness) 을 보여왔습니다. 그러나 최근 **신경망 기반 오디오 코덱 (Neural Audio Codecs, 예: EnCodec, SNAC)**의 등장으로 새로운 위협이 발생했습니다.

• 신경 재합성 (Neural Resynthesis) 의 위협: 신경 코덱은 오디오를 이산적인 잠재 토큰 (discrete latent tokens) 으로 인코딩한 후, 비트레이트 제약 하에서 다시 디코딩하여 재합성합니다. 이 과정은 단순한 신호 왜곡이 아니라, 학습된 잠재 공간 (Latent Space) 을 통한 비선형적인 투영 (Projection) 입니다.
• 기존 방법의 실패: 기존 워터마킹은 인간이 들을 수 없는 미세한 파형 변조 (비음성 잡음) 를 추가하는 방식입니다. 신경 코덱은 이러한 '매니폴드 밖 (off-manifold)'의 잔여 잡음을 의미 없는 노이즈로 간주하고 재합성 과정에서 제거해버립니다.
• 결과: 기존 워터마킹 기술들은 신경 코덱을 거치는 순간 워터마크가 완전히 소실되어 탐지 불가능해집니다.

2. 제안 방법: LATENT-MARK (Methodology)

저자들은 신경 코덱의 인코딩 - 양자화 - 디코딩 과정을 견딜 수 있는 최초의 제로-비트 (Zero-bit, 존재 여부만 판별) 오디오 워터마킹 프레임워크인 LATENT-MARK를 제안합니다.

핵심 통찰 (Key Insight)

워터마크가 신경 코덱의 양자화 과정을 survive 하려면, 코덱이 보존하는 불변의 잠재 공간 (Invariant Latent Space) 내부에 워터마크를 임베딩해야 합니다. 즉, 파형 레벨의 노이즈가 아니라 코덱의 의미론적 구조 (Semantic Structure) 내에 방향성 있는 시프트 (Directional Shift) 를 유도해야 합니다.

주요 기술적 구성 요소

1. 잠재 공간 시프트 (Latent-Space Shift):

   • 입력 오디오 파형에 미세한 교란 ($\delta$) 을 추가하여, 코덱의 인코더를 통과한 후 **잠재 표현 (Latent Representation)**이 비밀 벡터 ($v_c$) 방향으로 이동하도록 최적화합니다.
   • 이 시프트는 양자화 (Quantization) 후에도 지속되어 디코딩된 오디오에서도 탐지 가능한 통계적 편향을 남깁니다.
   • 최적화 목표: 잠재 표현이 비밀 축 ($v_c$) 과의 정렬을 최대화하되, 파형 왜곡은 청각적으로 들리지 않는 범위 ($\epsilon$) 내로 제한합니다.

2. 시프트 축 선택 (Shifting Axis Selection):

   • 단순한 무작위 벡터 대신, 코덱의 코드북 (Codebook) 가중치를 클러스터링하여 얻은 클러스터 중심점 (Centroids) 사이의 벡터를 시프트 축으로 사용합니다.
   • 이는 워터마크를 무작위 잡음이 아닌, 코덱이 인식하는 '구조적 특징'으로 만듭니다.

3. 교차 코덱 최적화 (Cross-Codec Optimization):

   • 단일 코덱에 과적합 (Overfitting) 되는 것을 방지하고, 보지 못한 (Unseen) 블랙박스 코덱에도 적용 가능하도록 합니다.
   • 여러 개의 대리 코덱 (Surrogate Codecs, 예: SNAC, DAC, EnCodec 등) 을 동시에 사용하여 **공동 매니폴드 최적화 (Joint Manifold Optimization)**를 수행합니다.
   • 서로 다른 코덱들이 공통적으로 수용하는 의미론적 구조를 찾아내어, 어떤 신경 코덱을 거쳐도 워터마크가 살아남도록 합니다.

4. 탐지 (Detection):

   • 의심 신호를 코덱에 인코딩한 후, 잠재 공간에서의 투영 점수 (Projection Score) 를 계산합니다.
   • 여러 코덱 뷰 (View) 에서의 탐지 점수를 집계 (Ensemble) 하여 최종 판별을 수행하며, 이는 이상치에 강건합니다.

3. 주요 기여 (Key Contributions)

• 신경 재합성 공격의 규명: 신경 코덱이 의미론적 투영을 통해 기존 워터마킹의 비음성 잡음을 제거한다는 점을 명확히 규명했습니다.
• 초기 제로-비트 프레임워크: 신경 재합성 (Semantic Bottleneck) 을 견딜 수 있도록 설계된 최초의 오디오 워터마킹 프레임워크를 제안했습니다.
• 제로-샷 전이성 (Zero-shot Transferability): 단일 코덱 최적화가 아닌, 교차 코덱 최적화를 통해 보지 못한 신경 코덱에서도 워터마크가 생존함을 입증했습니다.
• 균형 잡힌 성능: 신경 코덱 공격에 대한 생존력을 확보하면서도, 기존 DSP 공격 (노이즈, 필터링 등) 에 대한 견고성과 청각적 투명성 (Imperceptibility) 을 동시에 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: AIR, Clotho, LibriSpeech, DAPS, PCD, jaCappella, MAESTRO 등 7 개의 다양한 오디오 데이터셋을 사용했습니다.
• 생존율 (Survivability):
  • 기존 최첨단 방법들 (AudioSeal, WavMark, SilentCipher) 은 SNAC 코덱 재합성 후 0% 에 가까운 탐지율을 보이며 완전히 실패했습니다.
  • 반면, Latent-Mark는 SNAC 재합성 후에도 **58%~93%**의 높은 생존율을 기록했습니다. (단일 코덱 최적화인 Latent-Cluster 가 가장 높았으며, 교차 최적화인 Latent-Joint 도 58% 이상 유지).
• 전이성 (Transferability):
  • 특정 코덱 (예: SNAC) 으로 최적화된 워터마크가 다른 코덱 (EnCodec, DAC 등) 을 거친 후에도 생존하는 제로-샷 전이성을 확인했습니다.
  • 아키텍처가 유사한 코덱군 (Intra-family) 간 전이성이 가장 높았으며, 서로 다른 코덱군 간에도 50~70% 의 생존율을 보였습니다.
• 음질 및 투명성 (Imperceptibility):
  • $\Delta$SI-SNR 와 UTMOS (MOS 점수) 평가를 통해 워터마크 삽입으로 인한 음질 저하가 인간 청각에 거의 감지되지 않음을 확인했습니다.
• 기존 DSP 공격 견고성:
  • 가우시안 노이즈, 진폭 스케일링, 저역 통과 필터링, 리샘플링 등 전통적인 DSP 공격에 대해서도 AudioSeal 등 기존 방법들과 경쟁력 있는 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 오디오 워터마킹의 패러다임을 '파형 레벨의 잡음 추가'에서 '잠재 공간의 의미론적 구조 조작'으로 전환했습니다.
• 실용적 가치: 생성형 AI 모델과 신경 코덱 기반 오디오 배포가 표준화되는 미래 환경에서, 저작권 보호 및 딥페이크 탐지를 위한 필수적인 기술적 기반을 제공합니다.
• 미래 연구 방향: 다양한 생성형 왜곡 (Generative Distortions) 을 견딜 수 있는 범용적인 워터마킹 프레임워크 개발의 토대를 마련했습니다.

요약하자면, LATENT-MARK는 신경 코덱이 워터마크를 '잡음'으로 간주하여 제거하는 문제를 해결하기 위해, 워터마크를 코덱이 이해하는 '의미 (Semantic)'의 영역으로 이동시킴으로써, 신경 재합성 과정에서도 워터마크가 살아남도록 한 획기적인 연구입니다.