⚡ electrical engineering

MerkleSpeech: Public-Key Verifiable, Chunk-Localised Speech Provenance via Perceptual Fingerprints and Merkle Commitments

MerkleSpeech는 음성 데이터의 일부가 편집되거나 변형되더라도 특정 구간의 출처를 공개키 기반으로 검증할 수 있도록, 견고한 워터마크 기술과 머클 트리(Merkle tree) 기반의 암호학적 지문(fingerprint) 기술을 결합하여 구간별로 정밀한 출처 증명을 제공하는 시스템입니다.

원저자: Tatsunori Ono

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tatsunori Ono

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "편집된 목소리는 범죄의 도구가 된다"

우리가 뉴스나 유튜브에서 듣는 목소리는 아주 깨끗한 상태로 전달되지 않습니다. 인터넷에 올라오면서 용량을 줄이려고 압축되기도 하고(리샘플링), 잡음을 없애려고 필터를 씌우기도 하죠(필터링). 심지어 누군가 교묘하게 앞부분과 뒷부분을 잘라 붙여서(스플라이싱) 전혀 다른 말을 하는 것처럼 꾸밀 수도 있습니다.

기존의 기술들은 "이 목소리에 워터마크(숨겨진 표식)가 있나?" 정도만 확인했습니다. 하지만 이건 마치 **"이 편지에 위조 방지 종이가 쓰였나?"**만 확인하는 것과 같아서, 누군가 편지 내용을 교묘하게 고쳐 써도 알아채기 어려웠습니다.

2. 해결책: "MerkleSpeech (머클스피치)"

이 논문에서 제안하는 MerkleSpeech는 단순히 표식을 찾는 것을 넘어, **"이 목소리의 조각조각이 원래 설계된 그 조각이 맞는지"**를 수학적으로 증명하는 아주 꼼꼼한 시스템입니다.

이 시스템은 두 가지 단계의 '검문소'를 운영합니다.

1단계: "누가 만든 목소리인가?" (WM-only 단계)

비유: **"이 편지는 삼성에서 보낸 게 맞나?"**를 확인하는 단계입니다.
목소리 안에 아주 미세한 디지털 표식을 심어둡니다. 설령 목소리가 조금 찌그러지거나 잡음이 섞여도, "아, 이건 삼성에서 만든 목소리군!"이라는 사실은 알아낼 수 있습니다. 즉, **'출처'**를 확인하는 단계입니다.

2단계: "내용이 하나도 안 바뀌었나?" (MSv1 단계)

비유: **"편지 봉투의 인감이 찍혀 있고, 종이의 결이나 글자 모양이 처음과 똑같은가?"**를 확인하는 단계입니다.
이게 이 논문의 핵심입니다! 목소리를 아주 짧은 단위(예: 2초)로 쪼갠 뒤, 각 조각의 '지문(Fingerprint)'을 땁니다. 그리고 이 지문들을 **'머클 트리(Merkle Tree)'**라는 거대한 수학적 나무 구조로 엮어서 하나의 '뿌리(Root)'로 만듭니다. 이 뿌리에 발행자의 디지털 서명을 딱 찍어버립니다.
만약 누군가 목소리의 0.5초를 교묘하게 바꿨다면? 지문이 변하고, 수학적 나무 구조가 깨지면서 **"이 부분은 조작되었습니다!"**라고 즉각 경고를 보냅니다.

3. 이 기술이 특별한 이유 (핵심 요약)

"부분 조작"을 잡아냅니다 (Splice-aware): 전체 음성이 아니라, **"어느 지점(몇 초부터 몇 초까지)이 가짜인지"**를 정확하게 짚어낼 수 있습니다. 마치 퍼즐 조각 하나가 가짜인 것을 찾아내는 것과 같습니다.
"수학적 증거"를 제시합니다: 단순히 "내 느낌에 가짜 같아"가 아니라, "이 조각의 수학적 지문이 원래 등록된 값과 일치하지 않습니다"라는 확실한 근거를 제시합니다.
"유연한 검증"이 가능합니다:
- 목소리가 조금 변형되어도 **"누가 만든 건지는 알겠어"**라고 말해줄 수 있고(1단계),
- 아주 엄격한 확인이 필요할 때는 **"단 한 글자도 안 바뀌었어"**라고 확신(2단계)할 수 있습니다.

4. 결론: 우리 삶에 어떤 도움이 될까요?

앞으로 AI가 만든 가짜 목소리가 넘쳐나는 세상에서, 이 기술은 **"이 목소리는 진짜 뉴스 채널에서 송출된 원본이며, 중간에 단 1초도 편집되지 않았음"**을 전 세계 누구라도 수학적으로 검증할 수 있게 해주는 '디지털 진품 증명서' 역할을 하게 될 것입니다.

[기술 요약] MerkleSpeech: 지각적 지문과 머클 커밋먼트를 이용한 공개키 검증 가능 및 청크 단위 국소화 음성 출처 증명 시스템

1. 문제 정의 (Problem Statement)

현재의 음성 워터마킹 및 출처(Provenance) 기술은 다음과 같은 한계점을 가집니다:

변형에 취약한 암호화 결합: C2PA와 같은 기존 표준은 파일 단위의 해시를 사용하므로, 재인코딩, 리샘플링(Resampling), 트랜스코딩 등 일반적인 배포 과정에서 데이터가 변하면 암호화된 무결성 증명이 깨집니다.
이진적 판단의 한계: 기존 워터마킹은 "워터마크가 있는가?"라는 이진적 결과만 제공할 뿐, 특정 구간이 원본의 어느 부분인지, 혹은 중간에 편집(Splicing)되었는지에 대한 암호학적 증거를 제공하지 못합니다.
편집 대응 능력 부족: 음성 데이터는 흔히 잘라내기(Trimming), 이어붙이기(Splicing), 인용(Quoting) 등의 편집을 거치는데, 기존 시스템은 이러한 '부분적 변형'이 일어난 구간을 정밀하게 식별하고 검증하는 데 어려움이 있습니다.

2. 제안 방법론 (Methodology)

MerkleSpeech는 **두 가지 계층의 보증(Two-tier Assurance)**을 제공하는 시스템 사양을 제안합니다.

A. 핵심 구성 요소

결정론적 청크 지문 (Deterministic Chunk Fingerprints): 음성을 일정 길이(L=2.0s)의 청크로 나누고, 각 청크의 특징을 추출하여 지문( $b_i$ )을 생성합니다. (본 논문에서는 MFCC 기반의 엄격한 지문 사용)
머클 커밋먼트 (Merkle Commitment): 각 청크 지문을 리프(Leaf)로 하는 머클 트리를 구축하고, 그 루트(Root)를 발행자(Issuer)의 개인키로 서명합니다.
인밴드 워터마크 페이로드 (In-band Watermark Payload): 음성 신호 내에 직접 콘텐츠 식별자(CID), 청크 인덱스( $i$ ), 루트 포인터 등을 포함한 압축된 데이터를 삽입합니다. 이는 전체 머클 증명을 넣기에는 용량이 부족하므로, 저장소(Repository)에서 증명을 찾아올 수 있는 '포인터' 역할을 합니다.

B. 두 가지 검증 계층

Tier 1: WM-only (Attribution Layer): 워터마크 페이로드를 복구하여 "이 청크가 알려진 발행자에 의해 생성되었는가?"를 확인합니다. 리샘플링이나 노이즈 등 일반적인 변형에도 견딜 수 있도록 설계되었습니다.
Tier 2: MSv1 (Strict Integrity Layer): WM-only를 통과한 후, 해당 청크의 지문을 재계산하여 머클 트리 내에 포함되어 있는지(Merkle Inclusion Proof)를 검증합니다. 이는 "이 청크가 등록된 원본과 완전히 일치하는가?"를 확인하며, 아주 미세한 편집도 잡아냅니다.

3. 주요 기여 (Key Contributions)

공개키 검증 가능한 프로토콜: 발행자의 서명과 머클 증명을 결합하여, 제3자도 공개 정보만으로 음성 구간의 출처를 검증할 수 있는 프로토콜을 설계했습니다.
스플라이스 인식 타임라인 (Splice-aware Timeline): 음성 전체 타임라인에 대해 어떤 구간이 검증되었고, 어떤 구간이 왜 실패했는지(예: 페이로드 없음, 서명 불일치, 무결성 실패 등)를 시각화할 수 있는 구조를 제공합니다.
플러그형 지문 레이어: 엄격한 무결성을 위한 MFCC 방식과, 변형에 강한 SSL 임베딩 방식 중 선택할 수 있는 유연한 구조를 제안했습니다.

4. 실험 결과 (Results)

LibriSpeech 데이터셋을 사용하여 실험한 결과는 다음과 같습니다:

정확도: 깨끗한 음성에서 워터마크 페이로드 복구율 및 메시지 일치율은 **99.9%**에 달하며, 150만 개의 부정(Negative) 샘플에 대해 위양성(False Positive)이 0건으로 나타나 매우 높은 신뢰성을 보였습니다.
강건성 (Robustness):
- WM-only: 리샘플링, 클리핑, 30dB 노이즈 등 일반적인 변형 환경에서도 높은 복구율을 유지했습니다.
- MSv1: 설계 의도대로, 아주 미세한 변형(노이즈 등)이 발생하면 무결성 검증은 실패합니다. 이는 **"발행자는 맞지만, 내용이 수정되었다"**는 진단적 정보를 제공하기 위함입니다.
스플라이스 탐지: 청크 단위로 페이로드를 관리하므로, 서로 다른 소스의 음성을 이어 붙인 경우에도 각 구간의 출처를 완벽하게 식별(IoU 1.0)해냈습니다.

5. 의의 및 결론 (Significance & Conclusion)

MerkleSpeech는 단순한 워터마킹을 넘어, **"누가 만들었는가(Attribution)"**와 **"원본 그대로인가(Integrity)"**를 분리하여 검증할 수 있는 강력한 프레임워크를 제시합니다.

특히, 변형이 일어난 구간에 대해 **"발행자 인증은 성공했으나 무결성은 실패함"**이라는 구체적인 정보를 제공함으로써, 딥페이크나 음성 조작(Splicing)을 탐지하고 대응하는 데 있어 매우 실용적이고 암호학적으로 견고한 도구가 될 수 있음을 입증했습니다.