Deepfake Word Detection by Next-token Prediction using Fine-tuned Whisper

이 논문은 사전 학습된 Whisper 모델을 미세 조정하여 다음 토큰 예측을 통해 딥페이크 단어를 탐지하고, 부분적으로 보코딩된 데이터를 활용하여 데이터 수집 비용을 절감하는 비용 효율적인 방법을 제안하고 그 성능을 평가합니다.

핵심

🕵️‍♂️ 1. 문제 상황: "완벽한 위조"와 "조금만 바뀐 말"

상상해 보세요. 누군가 유명 정치인의 연설을 녹음해서 인터넷에 올렸어요. 그런데 그중 **"정부는 돈을 직접 통제하지 않는다"**는 문장을 **"정부는 물건을 통제하지 않는다"**로 바꿨어요.

• 기존의 기술: "이 녹음 파일 전체가 가짜인가?"를 판단합니다. (전체 파일이 진짜라면 가짜로 못 찾음)
• 이 논문이 해결하려는 문제: "이 문장 전체는 진짜인데, '물건'이라는 단어만 AI 가 만들어낸 가짜야!"라고 pinpoint(지정) 하는 것입니다.

🛠️ 2. 해결책: "Whisper"라는 똑똑한 번역기를 개조하다

연구진은 이미 유명한 AI 모델인 **Whisper(위스퍼)**를 사용했습니다. Whisper 는 원래 "소리를 듣고 글자로 바꿔주는 (음성 인식)" 아주 똑똑한 비서입니다.

• 기존 방식 (비효율적): 가짜를 찾아내는 새로운 감시관 (모델) 을 따로 뽑고, 훈련시키고, 시스템을 두 개로 나누는 건 비용이 많이 들고 무겁습니다.
• 이 논문의 방식 (효율적): "이미 있는 똑똑한 비서 (Whisper) 에게 **'가짜 단어가 보이면 주위에 표시를 해줘'**라고 가르치는 것"입니다.

🎭 비유: "가짜 지폐를 찾는 은행원"

기존의 Whisper 는 "이 지폐가 진짜인가?"만 봅니다. 연구진은 Whisper 에게 **"가짜 지폐가 섞여 있으면 그 지폐 주변에 빨간색 스티커 (...) 를 붙여줘"**라고 새로운 임무를 추가했습니다.
모델의 구조를 뜯어고치지 않고, 단순히 학습 데이터에 '스티커'라는 기호만 추가해서 가르쳤습니다. 그래서 비용이 거의 들지 않습니다.

🎙️ 3. 데이터 준비: "완벽한 가짜" 대신 "모방한 가짜"

가짜 말을 만들려면 고가의 AI(딥러닝) 를 써야 하는데, 이걸로 학습 데이터를 만드는 건 너무 비싸고 느립니다.

• 연구진의 아이디어: "완벽한 가짜를 다 만들지 말고, **목소리를 합성하는 '보이스 체인저 (Vocoder)'**로 단어를 살짝 변형해서 가짜라고 가르치자."
• 비유: 진짜 위조 지폐를 다 구해서 가르치는 대신, **진짜 지폐를 복사기에 복사해서 살짝 구겨진 '모조품'**으로 가르치는 것입니다.
  • 이 모조품 (보이스 체인저로 만든 데이터) 으로 Whisper 를 훈련시켰더니, 실제 고가의 AI 가 만든 가짜 말도 잘 찾아냈습니다.

📊 4. 실험 결과: "안방에서는 천재, 밖에서는 약해"

✅ 안방 (동일한 환경)

• 상황: 학습할 때 쓰인 목소리 (책 읽는 소리) 와 테스트할 때의 목소리가 비슷할 때.
• 결과: Whisper 는 거의 완벽하게 가짜 단어를 찾아냈습니다. (오류율 1% 미만)
• 비유: "내 집 안방에서 친구의 목소리를 흉내 낸 가짜를 찾아내니, Whisper 가 천재처럼 작동했습니다. 진짜와 가짜를 구분하는 전용 감시관 (ResNet 모델) 과도 거의 같은 실력을 냈습니다."

⚠️ 밖 (다른 환경)

• 상황: 학습 데이터와 완전히 다른 환경 (유튜브, 스튜디오 녹음, 다른 AI 가 만든 말) 에서 테스트했을 때.
• 결과: 성능이 떨어졌습니다. 가짜를 진짜로 착각하거나, 진짜를 가짜로 오인하는 경우가 생겼습니다.
• 비유: "내 집 안방에서는 친구를 잘 알아봤는데, 낯선 거리 (다른 도메인) 에 나가니 친구를 못 알아보거나, 지나가는 행인을 친구로 착각하는 일이 생겼습니다."

💡 5. 결론 및 시사점

1. 비용 절감의 승리: 별도의 복잡한 모델을 새로 만들지 않고, 기존 음성 인식 AI 에 '가짜 탐지' 기능을 추가하는 것만으로도 훌륭한 성능을 낼 수 있습니다.
2. 데이터의 중요성: 학습 데이터와 실제 테스트 데이터가 비슷해야 잘 작동합니다. (안방에서는 잘하지만, 밖에서는 약함)
3. 미래 과제: 앞으로는 더 다양한 환경과 목소리에서 가짜를 찾아낼 수 있도록 Whisper 를 더 단단하게 훈련시켜야 합니다.

📝 한 줄 요약

"이미 있는 똑똑한 음성 인식 AI 에 '가짜 단어 표시' 기능만 추가하고, 저렴한 모방 목소리로 훈련시켰더니, 가짜 단어를 찾아내는 데 아주 뛰어난 성능을 보였지만, 완전히 다른 환경에서는 아직 약점이 있다는 연구입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 딥페이크 (Deepfake) 음성 탐지는 이미 잘 정립된 분야이나, 최근에는 전체 발화가 합성된 것인지 여부를 판단하는 것을 넘어, 실제 발화 (bona fide) 내에 특정 단어만 합성된 것을 탐지하는 '부분적 조작 탐지'가 중요한 과제로 부상하고 있습니다.
• 문제점:
  • 기존 접근법은 합성된 부분을 찾기 위해 별도의 분류기 (Detector) 를 설계하거나, ASR(자동 음성 인식) 모델과 탐지 모델을 결합하는 방식을 사용했습니다. 이는 데이터 수집, 모델 설계, 학습, 하이퍼파라미터 튜닝 등 높은 비용과 계산 자원을 요구합니다.
  • 특히, 기존 음성 생성 모델 (DNN 기반) 로 생성된 단어는 아티팩트가 적어 탐지가 어렵고, 도메인 불일치 (Out-of-domain) 상황에서 일반화 성능이 떨어지는 문제가 있습니다.
• 목표: 기존 ASR 모델 (Whisper) 의 구조를 변경하지 않고, 최소한의 비용으로 합성 단어 탐지 기능을 추가하여 동시에 전사 (Transcription) 와 탐지를 수행하는 효율적인 방법론을 제시하는 것.

2. 제안 방법론 (Methodology)

2.1. 다음 토큰 예측을 통한 합성 단어 탐지 (Next-token Prediction)

• 핵심 아이디어: 합성 단어 탐지 기능을 별도의 분류 헤드가 아닌, Whisper 의 다음 토큰 예측 (Next-token Prediction) 작업에 통합합니다.
• 구현 방식:
  • 학습 데이터의 텍스트 토큰 시퀀스에 합성 단어를 감싸는 특수 토큰 <TOF> (Start of Fake) 와 <EOF> (End of Fake) 를 삽입합니다.
  • 예시: My <TOF>textbook<EOF> is good
  • 모델 아키텍처 변경 없이, 기존 Whisper 를 이 새로운 토큰 시퀀스로 **파인튜닝 (Fine-tuning)**합니다.
  • 추론 시, <TOF>와 <EOF> 사이에 위치한 모든 토큰을 합성 단어로 판별합니다.
  • 참고: 새로운 토큰을 추가하여 임베딩 벡터를 늘리는 대신, ASR 작업에서 거의 사용되지 않는 기존 토큰 (예: !!!!!!, ∼∼∼) 을 재사용하여 구현 비용을 절감했습니다.

2.2. 보코더 (Vocoder) 기반의 시뮬레이션 학습 데이터 활용

• 데이터 수집 비용 절감: 실제 딥페이크 생성 모델을 사용하여 학습 데이터를 만드는 것은 비용이 많이 듭니다. 이를 해결하기 위해 **보코더 (Vocoder)**를 활용한 '시뮬레이션 합성 단어'를 생성했습니다.
• 과정:
  1. 원본 발화에서 단어 단위로 정렬 (Alignment) 을 수행합니다.
  2. 특정 단어의 파형 구간을 추출하여 보코더 (HiFi-GAN, WaveGlow 등) 를 통해 재합성 (Copy-synthesis) 합니다.
  3. 재합성된 파형을 원본에 덮어씌워 (Overlap-add 알고리즘 사용) 인공적인 아티팩트를 포함한 '가짜' 단어를 생성합니다.
  4. 이렇게 생성된 데이터를 사용하여 Whisper 를 파인튜닝합니다.

3. 주요 기여 (Key Contributions)

1. 최소한의 변경으로 통합된 탐지: Whisper 의 아키텍처나 학습 알고리즘을 변경하지 않고, 토큰 시퀀스만 수정하여 ASR 과 합성 단어 탐지를 동시에 수행하는 최초의 연구입니다.
2. 비용 효율적인 데이터 전략: 실제 딥페이크 생성 모델 대신 보코더를 사용하여 학습 데이터를 대량으로 생성할 수 있음을 입증했습니다.
3. 성능 검증: 도메인 내 (In-domain) 데이터에서는 전용 탐지 모델 (ResNet 기반) 과 동등한 성능을 내면서도 전사 정확도를 유지함을 보였습니다.

4. 실험 결과 (Results)

4.1. 도메인 내 (In-domain) 성능

• 학습 데이터와 테스트 데이터가 일치할 때 (예: 보코더 학습 → 보코더 테스트):
  • 파인튜닝된 Whisper 는 합성 단어 탐지 오류율 (FAR/FRR) 에서 전용 ResNet 모델과 비슷하거나 더 나은 성능을 보였습니다.
  • 동시에 텍스트 전사 오류율 (WER) 은 크게 감소하거나 유지되었습니다 (예: E.Voc 데이터에서 WER 23.89% → 0.87% 로 대폭 개선).
  • 결론: 도메인이 일치하면 Whisper 가 합성 단어 탐지 기능을 자연스럽게 학습하여 전사 작업에 방해가 되지 않습니다.

4.2. 도메인 간 (Cross-domain) 및 미확인 생성 모델 성능

• 학습과 테스트의 생성 방식 불일치:
  • 보코더로 학습한 모델을 TTS(텍스트 - 음성) 시스템으로 생성된 데이터에 적용하거나 그 반대의 경우, 탐지 성능이 급격히 저하되었습니다.
  • 특히, 보코더 학습 모델이 TTS 생성 단어를 탐지할 때 **거짓 긍정 (FAR)**이 매우 높게 나타났습니다 (약 76% 이상).
• 도메인 불일치 (Out-of-domain):
  • 유튜브나 스튜디오 녹음 등 학습 데이터와 다른 도메인 (E.AV1M, E.PE) 에서 테스트 시, Whisper 와 ResNet 모두 성능이 저하되었습니다.
  • 특히 E.PE(부분 편집 데이터) 에서 보코더 학습 모델은 낮은 FRR(거짓 부인) 을 보였으나, 매우 높은 FAR(거짓 긍정, 약 80%) 을 기록하여 신뢰도가 낮았습니다.
• 어휘 길이 영향: 단어 길이가 길어질수록 아티팩트 패턴을 더 많이 포함하게 되어, 모델이 이를 '실제 (REAL)'로 오인하는 경향 (FRR 증가) 이 관찰되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의의:
  • 딥페이크 탐지를 위해 별도의 무거운 모델을 배포할 필요 없이, 기존 ASR 파이프라인에 저비용으로 탐지 기능을 통합할 수 있는 가능성을 제시했습니다.
  • 보코더 기반의 시뮬레이션 데이터가 실제 딥페이크 데이터의 대용량 대체재로서 학습에 유효함을 보였습니다.
• 한계 및 향후 과제:
  • 현재 방법은 학습 데이터와 테스트 데이터의 도메인 및 생성 모델이 일치할 때만 높은 성능을 발휘합니다.
  • 다양한 생성 모델 (Unseen synthesizers) 과 도메인에 대한 일반화 (Generalization) 능력이 부족하여, 실제 환경에서의 신뢰성은 아직 미흡합니다.
  • 향후 연구에서는 다양한 생성 모델과 도메인을 아우르는 보코더 데이터의 활용 및 일반화 성능 향상을 위한 전략이 필요합니다.

요약하자면, 이 논문은 Whisper 를 파인튜닝하여 전사와 합성 단어 탐지를 동시에 수행하는 효율적인 방법을 제안했으나, 도메인 불일치 상황에서의 성능 저하를 해결하는 것이 향후 핵심 과제로 남았습니다.