MultiAPI Spoof: A Multi-API Dataset and Local-Attention Network for Speech Anti-spoofing Detection

이 논문은 다양한 상업적 및 오픈소스 API 로 생성된 230 시간 규모의 'MultiAPI Spoof' 데이터셋과 로컬 어텐션 메커니즘을 강화한 'Nes2Net-LA' 모델을 제안하여, 기존 벤치마크의 한계를 극복하고 실제 환경에 부합하는 음성 위조 탐지 및 생성 소스 추적 성능을 크게 향상시켰습니다.

핵심

🎙️ 핵심 주제: "가짜 목소리 탐정단"의 새로운 훈련

1. 문제점: "지나치게 좁은 훈련장"

지금까지 가짜 목소리를 탐지하는 AI 들은 **유명한 공립 학교 (공개된 데이터셋)**에서만 훈련받았습니다. 하지만 현실 세계에서는 **수십 개의 서로 다른 사설 학원 (상용 API, 유료 서비스)**에서 가짜 목소리가 만들어지고 있습니다.

• 비유: 마치 "학교 운동장 (공개 데이터) 에서만 달리기 연습을 한 선수가, 갑자기 '산길, 모래사장, 빗길 (다양한 상용 API)'이 섞인 실제 마라톤 대회에 나가서 당황하는 상황"과 같습니다. 기존 AI 는 학교 운동장에서는 잘 뛰지만, 실제 세상에서는 가짜 목소리를 잘 못 찾아냅니다.

2. 해결책 1: "다양한 가짜 목소리 도서관 (MultiAPI Spoof)"

연구팀은 이 문제를 해결하기 위해 새로운 도서관을 만들었습니다.

• MultiAPI Spoof 데이터셋: 전 세계 30 개 이상의 서로 다른 AI 서비스 (유료 서비스, 무료 오픈소스, 웹사이트 등) 에서 만들어낸 약 230 시간 분량의 가짜 목소리를 모았습니다.
• 효과: 이제 AI 는 이 다양한 '가짜 목소리 도서관'에서 훈련을 받습니다. 덕분에 어떤 종류의 가짜 목소리가 나오더라도 "아, 이거 저기서 본 적 있는 스타일이네!"라고 더 잘 알아챌 수 있게 됩니다.

3. 해결책 2: "초점 렌즈를 단 탐정 (Nes2Net-LA)"

기존 AI 는 목소리의 큰 흐름만 보다가, 미세한 뉘앙스를 놓치는 경우가 있었습니다. 연구팀은 Nes2Net-LA라는 새로운 AI 모델을 개발했습니다.

• 비유: 기존 모델이 '광각 렌즈'로 넓은 세상을 한 번에 본다면, 이 새로운 모델은 **'국소 확대 렌즈 (Local Attention)'**를 달았습니다.
• 원리: 목소리의 아주 작은 부분 (예: 특정 음성의 떨림, 숨소리 등) 에 집중해서 "이 부분은 진짜 사람 목소리 같지만, 저 부분은 AI 가 만든 인위적인 느낌이네?"라고 미세한 차이까지 찾아냅니다. 덕분에 가짜 목소리를 훨씬 정확하게 잡아냅니다.

4. 새로운 미션: "누가 만들었는지 추적하기 (API Tracing)"

단순히 "가짜냐 진짜냐"를 구분하는 것을 넘어, **"이 가짜 목소리는 정확히 어떤 AI 가 만들었는지"**까지 찾아내는 미션도 추가했습니다.

• 상황: 가짜 목소리가 발견되면, "이건 A 회사 AI 가 만들었네, 저건 B 회사 AI 가 만들었네"라고 출처를 특정할 수 있습니다.
• 결과: 이미 본 적이 있는 AI(훈련 데이터) 가 만든 목소리는 95% 이상 정확히 찾아냈지만, 아직 본 적 없는 새로운 AI가 만든 목소리는 아직 찾아내는 데 어려움이 있습니다. 마치 "새로운 위조 지폐가 나오면, 기존 지폐 감별기로는 바로 알아채기 힘든 것"과 비슷합니다.

---

📊 연구의 성과 (한 줄 요약)

1. 더 넓은 훈련: 새로운 데이터 (MultiAPI Spoof) 를 훈련에 넣으니, AI 가 다양한 상황에서도 가짜 목소리를 훨씬 잘 찾아냈습니다. (기존 7% 오차 → 0.7% 로 대폭 감소!)
2. 더 똑똑한 모델: '국소 확대 렌즈'를 단 새로운 모델 (Nes2Net-LA) 이 기존 모델보다 훨씬 강력하고 정확한 성능을 보여줍니다.
3. 미래 지향: 단순히 가짜를 막는 것을 넘어, "누가 만들었는지" 추적하는 기술의 기초를 다졌습니다.

💡 결론

이 연구는 "가짜 목소리 탐정단"에게 더 다양한 사례 (데이터) 를 제공하고, 더 예리한 눈 (모델) 을 갖춰주어, 현실 세계의 복잡한 가짜 목소리 사기극을 막을 수 있는 강력한 무기를 개발했다고 할 수 있습니다.

이제 AI 는 학교 운동장 (공개 데이터) 에서만 뛰는 것이 아니라, 실제 세상 (다양한 상용 API) 에서도 가짜 목소리를 낱낱이 찾아낼 준비를 마쳤습니다!

기술 요약

논문 요약: MultiAPI Spoof 및 Nes2Net-LA

1. 문제 제기 (Problem)

기존의 음성 위조 방지 (Anti-spoofing) 벤치마크는 제한된 수의 공개 모델 (TTS, VC 등) 로 구성된 데이터셋에 의존하고 있습니다. 그러나 실제 세계에서는 상업용 서비스, 오픈소스 모델, 온라인 플랫폼 등 다양한 독점적 (Proprietary) API 를 통해 생성된 위조 음성이 광범위하게 사용됩니다.

• 현실과의 괴리: 기존 연구용 데이터셋은 실제 산업 환경에서 사용되는 다양한 생성 모델의 특성을 반영하지 못하여, 연구용 벤치마크와 실제 위조 공격 사이의 큰 간극 (Domain Gap) 이 존재합니다.
• 일반화 부족: 기존 공개 데이터셋으로 학습된 모델은 새로운 생성 모델이나 unseen(미확인) API 에 대한 위조 음성 탐지에서 성능이 급격히 저하되는 문제가 있습니다.

2. 제안 방법 (Methodology)

가. MultiAPI Spoof 데이터셋 구축

• 규모 및 구성: 약 230 시간 분량의 위조 음성 데이터와 동일한 양의 실제 음성 (CommonVoice 기반) 을 포함하는 1:1 균형 데이터셋입니다.
• 다양성: 30 개의 서로 다른 API(A0~A29) 로부터 생성된 음성을 포함합니다.
  • 상업용 TTS API
  • 오픈소스 신경망 TTS 및 음성 변환 (VC) 모델
  • 웹 기반 TTS 플랫폼
• 데이터 분할:
  • Training/Dev (A0-A20): 학습 및 개발용.
  • Dev Unseen (A21-A23): 개발용 미확인 데이터.
  • Eval Unseen (A24-A29): 평가용 완전히 미확인 데이터.
  • 이를 통해 '본 것 (Seen)'과 '보지 못한 것 (Unseen)'에 대한 일반화 성능을 평가할 수 있는 구조를 갖췄습니다.

나. Nes2Net-LA (로컬 어텐션 강화 네트워크)

• 기반 모델: 기존 Nested Res2Net (Nes2Net-X) 아키텍처를 기반으로 합니다.
• 혁신적 개선: 계층적 블록 간의 상호작용을 제한하는 기존 구조의 한계를 극복하기 위해 로컬 어텐션 (Local Attention) 모듈을 도입했습니다.
  • 슬라이딩 윈도우: 각 블록이 직전 블록뿐만 아니라 인접한 블록들 (예: 윈도우 크기 $K=1$, 즉 주변 3 개 블록) 과만 상호작용하도록 설계되었습니다.
  • 작동 원리: 전역 어텐션 (Global Attention) 은 긴 시퀀스 처리 시 계산 비용이 높지만, 로컬 어텐션은 인접 블록 간의 국소적 컨텍스트를 효과적으로 모델링하여 미세한 위조 특징 (Fine-grained spoofing features) 을 추출하고 표현의 일관성을 높입니다.
• 구조: 입력 오디오 $\rightarrow$ XLSR-300M 특징 추출 $\rightarrow$ Nested Multi-scale Feature Fusion $\rightarrow$ Local Attention (Sliding Window) $\rightarrow$ Fully Connected Layer $\rightarrow$ 최종 점수.

다. API 추적 (API Tracing) 태스크

• 단순한 '실제/위조' 이진 분류를 넘어, 위조 음성이 어떤 특정 API 에서 생성되었는지를 식별하는 세밀한 소스 추적 (Source Attribution) 태스크를 정의했습니다.
• 이는 22 클래스 분류 문제 (21 개 본 API + 1 개 미확인 클래스) 로 접근하며, 미확인 클래스는 확률 임계값을 통해 처리됩니다.

3. 주요 기여 (Key Contributions)

1. MultiAPI Spoof 데이터셋 공개: 실제 산업 환경의 다양성을 반영한 최초의 대규모 다중 API 음성 위조 방지 데이터셋을 공개했습니다.
2. Nes2Net-LA 모델 제안: 로컬 어텐션 메커니즘을 통합하여 국소적 컨텍스트 모델링을 강화하고, 다양한 위조 조건에서 뛰어난 강건성 (Robustness) 을 보이는 SOTA 성능의 모델을 개발했습니다.
3. API 추적 태스크 정의 및 벤치마크: 위조 음성의 생성 소스를 세밀하게 추적하는 새로운 평가 기준과 과제를 제시했습니다.
4. 실증적 효과 입증: 기존 벤치마크 데이터셋에 MultiAPI Spoof 학습 데이터를 추가함으로써, 기존 벤치마크 성능까지도 향상시킬 수 있음을 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋의 효과 (Table 1):

  • 기존 6 개 공개 데이터셋 (TIMIT, ODSS 등) 만으로 학습한 모델은 MultiAPI Spoof 테스트셋에서 높은 오검출률 (EER 약 7~12%) 을 보였습니다.
  • MultiAPI Spoof 학습 데이터를 추가한 경우, XLSR+Nes2Net-LA 모델은 MultiAPI Spoof 테스트셋에서 EER 를 7.08% 에서 0.69% (Nes2Net 기준) / 1.73% 에서 0.69% 로 대폭 감소시켰습니다.
  • 이는 특정 API 에 과적합되지 않고, 다양한 위조 조건에 대한 강건한 특징 학습이 가능함을 의미합니다.

• 모델 성능 비교 (Table 2):

  • 제안된 XLSR+Nes2Net-LA는 데이터 증강 (Augmentation) 이나 샘플 제거 (Pruning) 없이도 최신 SOTA 모델들 (XLSR+Mamba, XLSR+AASIST 등) 을 모든 평가 벤치마크 (ITW, AI4T, MultiAPI) 에서 능가했습니다.
  • 특히 Unseen(미확인) API 조건에서 성능 향상이 두드러졌습니다.

• API 추적 성능 (Table 3):

  • 본 API (Seen): 높은 정밀도 (Precision 0.95) 와 재현율 (Recall 0.92) 을 기록하여 정확한 추적이 가능함을 보였습니다.
  • 미확인 API (Unseen): 높은 정밀도 (0.97) 를 보였으나 재현율 (0.52) 이 낮았습니다. 이는 모델이 미확인 API 를 '알 수 없는 클래스'로 잘못 분류하는 경향이 있음을 시사하며, 제로샷 (Zero-shot) 추적의 어려움과 향후 연구 과제를 드러냈습니다.

• 시각화 분석 (Figure 2, 3):

  • MultiAPI Spoof 데이터는 기존 데이터셋보다 훨씬 넓은 품질 분포를 가지며, 이는 모델의 일반화 능력을 향상시킵니다.
  • t-SNE 시각화 결과, 미확인 API 의 임베딩은 학습된 API 군집과 분리되지 않고 섞여 있어, 현재 모델이 API 고유의 음향 단서 (Acoustic cues) 에 의존하고 있음을 보여줍니다.

5. 의의 및 결론 (Significance)

이 논문은 음성 위조 방지 기술이 실제 산업 환경에 적용되기 위해 필요한 데이터의 다양성과 모델의 강건성 문제를 해결했습니다.

1. 실용적 가치: 상업용 API 를 포함한 대규모 데이터셋을 통해 연구와 실제 적용 사이의 간극을 메웠습니다.
2. 기술적 발전: 로컬 어텐션을 통한 Nested 구조의 개선은 고차원 음성 표현에서의 특징 추출 능력을 획기적으로 향상시켰습니다.
3. 미래 방향: API 추적 태스크를 통해 위조 음성의 출처를 규명하는 새로운 패러다임을 제시했으며, 특히 미확인 (Unseen) 소스에 대한 일반화 능력 향상이 향후 핵심 과제로 부각되었습니다.

결론적으로, MultiAPI Spoof와 Nes2Net-LA는 음성 위조 탐지 분야에서 새로운 표준 (SOTA) 을 제시하며, 더욱 정교하고 다양한 위조 공격에 대응할 수 있는 기반을 마련했습니다.