🤖 AI

LambdaMark: Semantic Audio Watermarking for Robustness and Radioactivity

LambdaMark는 시맨틱 잠재 표현(semantic latent representations)에 멀티 비트 메시지를 삽입하는 최초의 범용 방사성 오디오 워터마킹 기법을 도입하여, 일반적인 왜곡 및 적대적 제거 공격에 대해 탁월한 강건성을 달성하는 동시에 워터마크가 삽입된 데이터로 파인튜닝된 모델에서도 워터마크가 지속되도록 보장한다.

원저자: Kexin Li, Xiao Hu, Ilya Grishchenko, David Lie

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kexin Li, Xiao Hu, Ilya Grishchenko, David Lie

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 가치 있는 음성 녹음 파일을 소유하고 있다고 상상해 보십시오. 과거에는 누군가 이 파일을 훔치더라도, 원본 파일을 통해 그것이 당신의 것임을 증명할 수 있었을 것입니다. 하지만 오늘날의 발전된 AI 기술로는, 도둑이 당신의 목소리를 가져가 로봇에게 당신처럼 말하도록 학습시켜, 당신이 결코 말한 적 없는 새로운 문장들을 생성하게 만들 수 있습니다. 그 새로운 목소리는 당신과 똑같이 들리지만, 원본 파일은 사라진 상태입니다. 이럴 때 로봇이 당신의 훔친 목소리를 사용하고 있다는 것을 어떻게 증명할 수 있을까요?

이것이 바로 LambdaMark가 해결하고자 하는 문제입니다. LambdaMark는 오디오에 새겨지는 일종의 '디지털 문신'으로, 오디오가 복사되거나, 편집되거나, 새로운 AI를 학습시키는 데 사용되더라도 지워내기가 매우 어렵습니다.

이 기술이 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

1. 기존 방식: 표면에 그림 그리기

기존의 오디오 워터마킹 방식은 그림의 특정 지점에 아주 작고 투명한 점을 찍는 것과 같았습니다.

이 방식은 인간이 들을 수 없는 특정 잡음(예: 특정한 툭툭거림이나 웅웅거리는 소리) 속에 신호를 숨겼습니다.
결함: 만약 도둑이 그 그림을 가져가서 표면을 닦아내거나 복사한다면(이는 오디오를 압축하거나 필터를 통과시키는 것과 같습니다), 그 작은 점은 지워져 버립니다.
"방사능" 문제: 더 심각한 것은, 만약 도둑이 그 그림을 보고 로봇에게 그림 그리는 법을 가르친다면, 로봇은 그림의 '스타일'은 배우겠지만 그 작은 투명한 점은 잊어버린다는 것입니다. 그 점은 로봇이 새로 만들어낸 예술 작품에 "감염"되지 않습니다.

2. LambdaMark 방식: DNA 바꾸기

LambdaMark는 완전히 다른 접근 방식을 취합니다. 표면에 점을 찍는 대신, LambdaMark는 그림의 DNA를 바꿉니다.

의미론적 변화 (The Semantic Shift): 오디오를 단순한 음파가 아니라, 그 소리가 무엇인지 설명하는 일련의 지침(예: "안녕이라고 말하는 행복한 목소리")이라고 상상해 보십시오. LambdaMark는 이러한 지침을 미세하게 조정합니다. 단순히 잡음을 추가하는 것이 아니라, 인간의 귀에는 자연스럽게 들리면서도 비밀 코드를 담을 수 있도록 오디오의 '의미'나 '분위기'를 약간 변화시킵니다.
비유: 이것은 수프에 특정한 향신료를 미세하게 첨가하는 것과 같습니다.
- 기존 방식: 그릇 가장자리에 아주 작고 투명한 소금 한 알을 뿌려 놓는 것입니다. 만약 누군가 이 수프를 새 냄비에 붓거나(압축), 다른 사람이 맛을 본다면(다운스트림 AI), 그 소금 한 알은 사라집니다.
- LambdaMark: 레시피 자체를 약간 바꾸어 수프 자체가 아주 조금 다르게 느껴지도록 만드는 것입니다. 만약 이 수프를 새 냄비에 붓더라도, 그 맛은 여전히 남아 있습니다. 만약 요리사(AI)가 이 수프를 맛보고 이를 재현하려고 한다면, 그들은 배운 레시피의 일부가 된 그 특유의 맛을 의도치 않게 다시 만들어내게 될 것입니다.

3. 왜 "방사능"인가

논문에서는 이 특성을 **"방사능(Radioactivity)"**이라고 부릅니다.

물리학에서 방사성 물질은 접촉하는 다른 물체들을 방사성으로 만듭니다.
LambdaMark의 경우, 공격자가 워터마크가 삽입된 오디오를 훔쳐서 새로운 AI 모델을 학습시키면, 그 새로운 모델은 워터마크를 물려받게 됩니다.
설령 새로운 AI가 당신이 결코 말한 적 없는 완전히 새로운 문장을 생성하더라도, 그 새로운 문장들에는 여전히 당신의 "디지털 DNA"가 담겨 있게 됩니다. 당신은 새로운 AI의 출력물에서 당신의 워터마크를 감지하여, 그것이 당신의 데이터를 훔쳐서 학습되었다는 것을 증명할 수 있습니다.

4. 왜 제거하기가 그토록 어려운가

연구진은 해커들이 워터마크를 지우려고 시도하는 "적대적 공격(adversarial attacks)"을 대상으로 LambdaMark를 테스트했습니다.

기존 방식: 기존의 워터마크는 음파 속의 단순한 "점"이었기 때문에, 해커들은 수학을 이용해 이를 찾아내어 지우거나, AI를 이용해 점이 어디에 있는지 정확히 학습하여 제거할 수 있었습니다.
LambdaMark: 워터마크가 오디오의 '의미(semantic structure)' 속에 엮여 있기 때문에, 지울 수 있는 단 하나의 "점"이 존재하지 않습니다. 이를 제거하려면 해커는 단어의 의미나 목소리의 감정을 근본적으로 바꿔야 하는데, 이는 오디오를 망가뜨리는 결과를 초래합니다. 이는 마치 수프의 맛을 바꾸지 않고 수프에서 "매운맛"만 제거하려고 노력하는 것과 같으며, 이는 거의 불가능합니다.

결과

연구진은 실제 오디오 데이터셋을 통해 LambdaMark를 테스트하였으며 다음과 같은 결과를 얻었습니다:

완벽에 가까운 탐지율: 오디오가 왜곡되거나, 압축되거나, 잡음이 추가된 후에도 자신의 워터마크를 99.9% 확률로 감지해 냅니다.
교차 모델 성공: 오디오가 텍스트 음성 변환(TTS)이나 음악 생성기와 같은 완전히 다른 유형의 AI 모델을 학습시키는 데 사용되더라도 작동합니다.
"유령" 아티팩트 없음: 워터마크가 삽입된 오디오는 인간의 귀에 여전히 자연스럽게 들립니다.

요약하자면: LambdaMark는 단순히 문에 자물쇠를 다는 보안 시스템(오디오 파일)이 아니라, 집의 설계도를 바꾸는 시스템입니다. 누군가 설계도를 훔쳐서 새 집을 짓더라도, 그 새 집에는 도둑이 아무리 덧칠하려 해도 원래 주인의 고유한 서명이 남아 있게 됩니다.

기술 요약: LambdaMark

문제 정의

최근 생성형 오디오 모델의 발전으로 음성 클로닝과 무단 오디오 합성이 점점 더 용이해졌으며, 이는 음성 사기, 사칭 및 지적 재산권 침해의 위험을 초래하고 있습니다. 오디오 워터마킹은 방어 기제로서 역할을 하지만, 기존 방식들은 두 가지 결정적인 한계에 직면해 있습니다:

방사성(Radioactivity) 결여: 현재의 워터마크는 일반적으로 파형(waveform)이나 스펙트로그램에 저수준의 섭동(perturbation) 형태로 삽입됩니다. 결과적으로, 이들은 다운스트림 생성 모델이 미세 조정(fine-tuning)되는 과정에서 "학습"되지 않습니다. 만약 공격자가 워터마크가 포함된 데이터로 모델을 미세 조정한다면, 워터마크는 생성된 출력물에서 소실되어 출처 검증을 불가능하게 만듭니다.
적대적 공격에 대한 취약성: 지각적 충실도(perceptual fidelity)를 유지하기 위해, 기존 방식들은 심리음향 마스킹(psychoacoustic masking)에 의존하여 특정 시공간 주파수 빈(bin)에 신호를 삽입합니다. 이는 국소적이고 구조화된 잔차 패턴을 생성하며, 적응형 학습 기반 공격(예: HarmonicAttack)에 의해 쉽게 식별되고 제거될 수 있습니다.

핵심 과제는 강건성(신호 왜곡 및 적대적 제거를 견뎌냄)과 방사성(다운스트림 모델의 미세 조정 과정에서도 생존하여 생성된 출력물에서 탐지 가능함)을 동시에 갖춘 워터마킹 스킴을 설계하는 것입니다.

방법론: LambdaMark

저자들은 원시 파형이 아닌 **의미론적 오디오 잠재 표현(semantic audio latent representations)**에 멀티 비트 정보를 삽입하는 최초의 범용 방사성 워터마킹 스킴인 LambdaMark ( $\lambda$ Mark)를 제안합니다.

아키텍처

LambdaMark는 사전 학습된 의미론적 인코더( $E_s$ )와 의미론적 보코더( $V_o$ )로 구성된 고정된 의미론적 오디오 백본을 중심으로 작동합니다.

워터마크 인코더 ( $E_\theta$ ): $N$ -비트 메시지를 입력받아 잠재 공간 내의 단위 방향 벡터로 매핑하는 경량 3층 MLP입니다. 이 방향은 모든 시간 프레임에 걸쳐 균일하게 브로드캐스트되어 가산 잔차(additive residual) $\delta$ 를 형성합니다. 결정적으로, $\delta$ 의 크기는 원래 잠재 표현( $z_{orig}$ )의 $\ell_2$ 노름에 따라 적응적으로 조절되어, 섭동이 오디오의 의미론적 에너지와 함께 스케일링되도록 보장합니다.
워터마크 디코더 ( $D_\phi$ ): 워터마크가 삽입된 오디오의 의미론적 잠재값(재인코딩된 후)에서 직접 작동하는 디코더입니다. 시간 차원에 대한 평균 풀링(mean-pooling)을 사용하여 인코더에 의해 주입된 "평균 방향"을 복구한 뒤, 제로-비트 탐지(존재 여부) 및 멀티-비트 메시지 복구를 위한 병렬 헤드를 사용합니다.

학습 전략

시스템은 네 가지 목적 함수를 균형 있게 조절하는 커스텀 다중 구성 손실 함수를 사용하여 학습됩니다:

충실도(Fidelity): 지각적 자연스러움을 보장하기 위해 원본 오디오와 워터마크 오디오 간의 스펙트럼(STFT) 및 파형( $\ell_1$ ) 차이를 최소화합니다.
비트 복구(Bit Recovery): 재인코딩된 잠재 표현( $z_{wm}$ )으로부터 삽입된 비트를 최적화하여 복구함으로써, 워터마크가 합성( $V_o$ ) 및 재인코딩( $E_s$ ) 과정을 거친 후에도 생존하도록 합니다.
제로-비트 탐지(Zero-Bit Detection): 워터마크가 있는 잠재값과 없는 잠재값을 구별하는 이진 분류기를 학습시킵니다.
강건성(Robustness): 신호 수준의 왜곡 및 적대적 공격에 대한 탄력성을 높이기 위해 왜곡된 형태의 워터마크 오디오를 학습 루프에 포함합니다.

핵심 설계 통찰

워터마크를 국소적인 파형 잔차가 아닌 **의미론적 이동(semantic shift)**으로 잠재 다양체(latent manifold)에 삽려함으로써, LambdaMark는 다운스트림 모델이 학습하는 고수준의 음향적 특성(음성학, 운율, 음색)과 일치하도록 만듭니다. 이는 워터마크를 단순한 필터링 대상인 노이즈가 아니라, 미세 조정된 모델의 학습 분포 내에서 "구조화되고 반복되는 특징"으로 만듭니다.

주요 기여

최초의 범용 방사성 스킴: LambdaMark는 의미론적 잠재 표현에 멀티 비트 워터마크를 삽입함으로써, 다양한 다운스트림 모델의 출력에서도 탐지를 가능하게 하는 최초의 범용 방사성 프레임워크입니다.
새로운 아키텍처 및 손실 함수: 저자들은 충실도, 탐지 정확도, 비트 복구, 적대적 제거에 대한 강건성을 공동으로 최적화하는 다중 목적 손실 함수를 갖춘 의미론적 인코더-디코더 아키텍처를 설계했습니다.
우수한 강건성: LambdaMark는 테스트된 모든 공격 카테고리(일반적인 신호 수준 왜곡, 코덱 기반 공격, 최적화 기반 공격(예: AudioSquareAttack), 학습 기반 적응형 공격(예: HarmonicAttack))에 대해 강건함을 입증한 유일한 워터마크입니다.
일반화 가능한 방사성: 이 방법은 세 가지 서로 다른 다운스트림 아키텍처(YourTTS, SemanticVocoder, AudioLDM2)와 두 개의 데이터셋(LibriSpeech, VCTK)에서 강력한 방사성을 보여주었으며, 여기에는 워터마크 인코더가 LibriSpeech로만 학습된 교차 데이터셋 전이 시나리오도 포함됩니다.

실험 결과

LibriSpeech 및 VCTK 데이터셋을 대상으로 최신 베이스라인(AudioSeal, Wavemark, AudioMarkNet)과 비교 실험을 수행했습니다.

왜곡에 대한 강건성: LambdaMark는 일반적인 왜곡 하에서 근사 완벽한 탐지 정확도(LibriSpeech 99.92%, VCTK 99.88%)와 높은 비트 복구율(각각 97.94%, 95.08%)을 달성했습니다. 반면, 베이스라인들은 위상 변화(phase shifts)나 가우시안 노이즈 하에서 무작위 추측 수준(약 50% 정확도)으로 떨어지는 경우가 많았습니다.
적대적 제거: HarmonicAttack 및 AudioSquareAttack 하에서 AudioSeal 및 AudioMarkNet과 같은 베이스라인들은 성능이 급격히 저하되었습니다. LambdaMark는 높은 탐지 정확도(예: HarmokAttack 하의 LibriSpeech에서 98.5%)를 유지했습니다.
방사성(Radioactivity): 다운스트림 모델을 워터마크 데이터로 미세 조정한 후에도 LambdaMark의 워터마크는 생성된 출력물에서 탐지되었습니다.
- SemanticVocoder에서 LambdaMark는 100% 탐지 정확도와 F1 점수를 달성했습니다.
- 확산 모델인 AudioLDM2에서 전체 미세 조정 후에도 98%의 탐지 정확도를 달성했습니다.
- 베이스라인(예: AudioMarkNet)은 본 적 없는 화자나 다른 모델 아키텍처로 일반화하는 데 실패하여 종종 50%의 정확도(무작위 추측)로 떨어졌습니다.
미세 조정 후 강건성: 다운스트림 모델이 오디오를 생성한 후에도 LambdaMark의 워터마크는 후속적인 적대적 제거 시도 및 신호 왜곡으로부터 살아남았으며, 이는 어떤 베이스라인도 달성하지 못한 특성입니다.
충실도: LambdaMark는 높은 지각적 품질(NISQA 점수)을 유지했으나, 의미론적 이동으로 인해 ViSQOL과 같은 참조 기반 메트릭은 베이스라인보다 약간 낮았습니다.

의의 및 주장

본 논문은 LambdaMark가 오디오 워터마킹 전략의 근본적인 변화를 나타낸다고 주장합니다. 저수준 잔차 삽입에서 의미론적 잠재 삽입으로 전환함으로써, 저자들은 기존 방식의 핵심 취약점인 적응형 공격에 의해 쉽게 제거되거나 생성적 미세 조정에 의해 희석되는 국소적, 통계적으로 탐지 가능한 패턴에 대한 의존성을 해결했습니다.

이 연구의 의의는 다음과 같습니다:

블랙박스 검증 가능: 소유자가 다운스트림 모델의 내부 가중치나 학습 데이터에 접근하지 않고도 자신의 보호된 오디오가 다운스트림 모델 학습에 사용되었는지 확인할 수 있게 합니다.
특성 추적(Trait Tracing): 멀티 비트 용량은 정밀한 귀속을 지원하여, 어떤 특정 보호된 소스가 유출되었는지 식별할 수 있게 합니다.
회복력: 공격자가 미세 조정 전후에 워터마크를 제거하려고 시도하더라도 효과가 유지되는 방어를 제공하며, 이는 현재의 방어 체계가 실패하는 시나리오입니다.

저자들은 토큰 기반 음성 생성 모델(예: Spark-TTS)의 경우 양자화(quantization)가 연속적인 의미론적 신호를 방해할 수 있어 방사성이 덜 효과적일 수 있다는 한계를 인정하며, 이는 이산적 토큰화 공간에서의 추적 가능성과 충실도 사이의 트레이드오프를 시사합니다. 그러나 연속적인 의미론적 모델에 대해 LambdaMark는 강력하고 방사성 있는 오디오 보호의 새로운 표준을 제시합니다.