기술 요약: 화자 인식의 적대적 회피를 위한 마스크 에너지 섭동 (Masked Energy Perturbation)

1. 문제 정의

음성 합성 및 딥페이크 기술의 급격한 발전은 화자 검증 시스템에 심각한 보안 취약성을 초introduces했습니다. 이러한 시스템은 금융 및 의료 분야에서 생체 인증을 위해 필수적이지만, 적대적 공격에 점점 더 취k기 쉬워지고 있습니다. 특히, 회피 공격(evasion attacks)은 훈련 과정을 변경하지 않고도 모델의 취약점을 악용하여 오분류를 유도합니다. 현재의 위협에는 높은 공격 성공률(일부 맥락에서는 최대 95%)을 달이는 표적 노이즈 신호와 음성 클로닝을 통한 무단 접근 가능성이 포함됩니다. 대응책 개발의 주요 과제는 공격의 효과성과 지각적 품질 사이의 균형을 맞추는 것입니다. 기존의 많은 적대적 방법들은 상당한 오디오 왜곡을 유발하여 인간 청취자가 쉽게 감지하거나 지각적으로 명확하게 느낄 수 있다는 단점이 있습니다.

2. 방법론

본 논문은 인간의 정신음향학적 원리를 준수함으로써 지각적 왜곡을 최소화하면서 화자 인식 모델을 공략하도록 설계된 새로운 적대적 공격 전략인 **마스크 에너지 섭동(Masked Energy Perturbation, MEP)**을 제안합니다.

2.1. 소에너지 마스킹 (Small Energy Masking, SEM)

MEP 접근 방식의 핵심은 주파수 영역의 특정 영역에 섭동을 선택적으로 적용하는 것입니다.

• 신호 처리: 오디오는 Hann window(크기 25 ms, 시프트 12.5 ms)를 사용하여 단시간 푸리에 변환(STFT)으로 처리되며 16 kHz로 리샘플링됩니다.
• 에너지 임계값 설정: 알고리즘은 시간-주파수 빈(bin) 전체에 걸쳐 에너지 분포 $x[m, k]$를 계산합니다. 임계값 $x_{th}$는 각 발화의 피크 에너지($x_{peak}$)를 기준으로 설정됩니다. 구체적으로, 임계값은 피크 대비 비율 $\eta_{th}$(실험에서는 -20 dB로 설정)를 사용하여 도출됩니다:
  $$x_{th} = x_{peak} 10^{\frac{\eta_{th}}{10}}$$
• 마스크 생성: 에너지 값이 임계값보다 높으면(고에너지 영역) 1, 그렇지 않으면 0인 이진 마스크 $\mu[m, k]$가 생성됩니다. 그러나 섭동은 마스킹된 특징에 적용되며, 이는 결과적으로 인간의 청각 모델에 덜 민감한 저에너지 영역(소에너지 영역)을 효과적으로 타겟팅하게 됩니다.
• 섭동 적용: 최종 마스크 에너지 섭동 $x_{mep}$를 생성하기 위해 적대적 섭동 $\delta$를 마스킹된 특징 $x_{sem}$에 곱합니다. 이를 통해 섭동이 인간의 귀가 덜 민감한 영역에 집중되도록 보장합니다.

2.2. 공격 전략

본 논문은 경사 하강법(gradient descent)을 기반으로 한 두 가지 변형 공격을 구현합니다:

1. 기본 MEP (Basic MEP): 손실 함수의 입력에 대한 기울기를 계산하고, 에너지 마스크를 기울기에 적용한 후, 원래 신호에 섭동을 더합니다.
2. 반복적 MEP (Iterative MEP, I-MEP): 섭동을 0에서 시작하여 $N$ 단계(예: 20회 반복) 동안 반복적으로 정밀화합니다. 각 단계마다 mel 필터뱅크 변환이 적용되고, 손실이 계산되며, 업데이트 전 기울기가 마스킹됩니다. 섭동은 제약 조건 $\epsilon$(0.0002로 설정)을 유지하도록 클리핑됩니다.

최종 적대적 파형은 수정된 파워 스펙트럼에 역 STFT를 적용하여 생성됩니다.

3. 실험 설정

• 데이터셋: 실험에는 LibriSpeech 데이터셋(clean set)을 사용하였으며, 116명의 화자로부터 화자당 평균 113개의 발화를 선택하였습니다.
• 대상 모델: 화이트박스(white-box) 조건 하에서 세 가지 최첨단 화자 인코더 모델을 테스트하였습니다:
  • ResNetSE34-L
  • ResNetSE34-V
  • ECAPA-TDNN
  • 모든 모델은 VoxCeleb 데이터셋으로 사전 훈련되었습니다.
• 비교 베이스라인: 제안된 방법은 표준 적대적 공격 알고리즘인 FGSM, I-FGSM, MI-FGSM 및 PGD와 비교되었습니다.
• 측정 지표:
  • 지각적 품질: PESQ(Perceptual Evaluation of Speech Quality) 및 SNR(Signal-to-Noise Ratio)을 사용하여 측정되었습니다.
  • 공격 효과성: 자동 화자 검증(ASV) 작업에서의 EER(Equal Error Rate)을 통해 측정되었습니다.

4. 주요 결과

연구 결과, MEP와 I-MEP는 기존 방식들에 비해 회피 효과와 오디오 품질 사이에서 우수한 균형을 달성함을 보여줍니다.

4.1. 오디오 품질 보존

• PESQ 점수: I-MEP 방식은 모든 모델에 대해 3.7657에서 3.7709 사이의 가장 높은 PESQ 점수를 기록했습니다. 반면, FGSM과 같은 전통적인 방식은 훨씬 낮은 점수(약 2.6)를 보였습니다.
• SNR: I-MEP는 38.07 dB에서 38.14 dB 사이의 가장 높은 신호 대 잡음비를 유지하여 신호 무결성의 저하가 최소화되었음을 나타냈습니다.
• 상대적 성능: 논문은 PESQ 평가에서 MEP의 상대적 성능이 FGSM 및 I-FGSM보다 26.68% 더 높다고 언급했습니다.

4.2. 회피 효과성

• EER 성능: 모델의 베이스라인 EER은 매우 낮았습니다(0.01% ~ 6.38%). 공격 하에서 EER은 유의미하게 증가하여 성공적인 오분류를 나타냈습니다.
  • ResNet34-L: I-MEP는 **44.04%**의 EER을 달성했습니다.
  • ResNet34-V: I-MEP는 **42.64%**의 EER을 달성했습니다.
  • ECAPA-TDNN: I-MEP는 **42.37%**의 EER을 달성했습니다.
• 비교: FGSM 및 기타 방식들도 EER을 증가시켰으나(약 40% ~ 43% 범위), MEP 기반 방식들은 훨씬 높은 오디오 품질을 유지하면서도 전통적인 최적의 공격들과 대등하거나 그 이상의 성능을 일관되게 보여주었습니다.

5. 의의 및 주장

본 논문은 마스크 에너지 섭동(MEP) 접근 방식이 정신음향학적 마스킹을 활용함으로써 화자 인식 시스템에 대한 적대적 공격의 중요한 진전을 나타낸다고 주장합니다.

• 정신음향학적 최적화: mel-필터뱅크 영역의 저에너지 영역을 선택적으로 왜곡함으로써, 이 방법은 인간의 청각 모델의 한계를 이용합니다. 이를 통해 인간 청취자에게는 인지되지 않으면서 머신러닝 모델에는 매우 효과적인 적대적 노이즈를 주입할 수 있습니다.
• 개인정보 보호: 저자들은 이 방법을 음성 프라이버시를 보호하기 위한 도구로 제시합니다. 지각적 자연스러움을 저해하지 않으면서 화자 임베딩 유사도를 감소시키는 섭동을 생성함으로써, MEP는 음성 데이터의 유용성을 유지하면서 생체 식별 정보를 은닉할 수 있는 방법을 제공합니다.
• 요소별 섭동 대비 우월성: 연구는 MEP 기반 방식(특히 I-MEP)이 기존의 요소별 섭동 기술(FGSM 등)보다 더 효과적이라고 결론짓는데, 이는 높은 PESQ 점수(>3.5)와 우수한 SNR을 유지하여 오디오 품질 분석을 통해 탐지하기 어렵기 때문입니다.

이 연구는 딥 뉴럴 네트워크가 복제된 목소리를 탐지하는 데는 강력하지만, 주파수 영역의 특정 에너지 분포를 겨냥하여 정교하게 제작된 정신음향학적 정보 기반 섭동에는 여전히 취약하다는 점을 강조합니다.