Beyond Waveform Robustness: Robust Feature-Vocoder Adversarial Attacks on Automatic Speech Recognition

기술 요약: 클린 참조 특징-보코더 적대적 공격 (Clean-Referenced Feature-Vocoder Attacks on ASR)

문제 정의
Whisper와 같은 대규모 파운데이션 모델을 포함한 자동 음성 인식(ASR) 시스템은 실제 애플리케이션에 점점 더 많이 배치되고 있으나, 적대적 공격에는 여전히 취약합니다. 기존의 적대적 공격은 일반적으로 원시 파형(raw waveform)에 직접 미세하고 인지할 수 없는 섭동(perturbation)을 추가하는 방식으로 작동합니다. 저자들은 이러한 파형 중심 접근 방식의 두 가지 결정적인 한계를 식별했습니다:

1. 제한된 블랙박스 전이성: 파형 섭동은 특정 대리 모델(surrogate model)의 그래디언트에 과적합되는 경향이 있어, 보지 못한 타겟 ASR 시스템으로 일반화되는 데 실패합니다.
2. 방어 기제에 대한 취약성: 적대적 신호가 가산적(additive) 파형 노이즈로 명시적으로 표현되기 때문에, 입력 공간 섭동에 특화된 방어 기제(예: 적대적 훈련 및 저역 통과 필터링, WaveGuard와 같은 입력 전처리)에 의해 쉽게 완화됩니다.

방법론: 클린 참조 특징-보코더 공격
본 논문은 적대적 탐색 공간을 원시 파형에서 자기지도 학습(SSL) 특징 표현으로 전환하는 대리 기반 블랙박스 공격을 제안합니다. 핵심 파이프라인은 세 단계로 구성됩니다:

1. 특징 추출 (Feature Extraction): 동결된 SSL 인코더(예: WavLM-Large)가 깨끗한 오디오 입력으로부터 프레임 수준의 음향-음성 표현($q$)을 추출합니다.
2. 특징 공간 섭동 (Feature-Space Perturbation): 파형을 수정하는 대신, 이 방법은 SSL 특징 공간 내에서 직접 학습 가능한 섭동($\delta$)을 최적화합니다. 섭동된 특징 궤적은 $z(\delta) = q + \delta$로 정의됩니다. 이 섭동은 공격 예산을 제어하기 위해 정규화된 특징 공간 반경에 의해 제한됩니다.
3. 보코더 재구성 (Vocoder Reconstruction): 섭동된 특징들은 동결된 신경 보코더(예: HiFi-GAN)를 사용하여 적대적 파형으로 재구성됩니다. 최종 적대적 오디오는 $x_{adv} = V(E(x) + \delta)$로 생성됩니다.

최적화 목적 함수
공격은 타겟 ASR 모델의 전사 오류를 최대화하는 동시에 지각적 품질을 유지하기 위해 복합 손실 함수를 최적화합니다:

• 공격 손실 (Attack Loss): 대리 ASR 모델에서 정답 전사의 음의 로그 가능도(negative log-likelihood)를 최대화하여, 모델이 오인식하도록 유도합니다.
• 클린 참조 지각 손실 (Clean-Referenced Perceptual Loss): 보코더에 의해 도입될 수 있는 시간적 불안정성이나 고주파 아티팩트를 방지하기 위해, 본 방법은 깨끗한 오디오를 참조하는 정규화 항을 사용합니다. 여기에는 다음이 포함됩니다:
  • 시간적 지터 페널티 (Temporal Jitter Penalty): 연속적인 특징 프레임 간의 분산을 최소화합니다.
  • 고주파 에너지 페널티 (High-Frequency Energy Penalty): 생성된 오디오의 고주파 에너지를 깨끗한 참조 오디오와 비교하여 제한함으로써, 섭동이 부자연스러운 스펙트럼 성분을 도입하지 않도록 합니다.

핵심 기여

1. 새로운 공격 공간: 파형 노이즈를 더하는 대신 SSL 음성 특징을 섭동하여 적대적 예제를 생성하는 클린 참조 특징-보코더 공격 공간을 도입했습니다.
2. 프레임워크 설계: SSL 표현에 적대적 변이를 삽입하고 이를 동결된 보코더를 통해 자연스러운 소리의 오디오로 재구성하는 프레임워크를 구축하여, 현재의 방어 기제들이 가정하는 명시적인 가산적 노이즈 가설을 우회합니다.
3. 실증적 검증: 이 접근 방식이 현재의 ASR 강건성 평가에 존재하는 "사각지대"를 드러낸다는 것을 입증하는 광범적인 실험을 수행했습니다. 특히 파형 경계 섭동에 설계된 방어 기제들에 대한 사각지대를 보여줍니다.

실험 결과
본 방법은 영어(LibriSpeech) 및 중국어(AISHELL-1) 데이터셋에 대해 Whisper 계열 모델과 CTC 기반 아키텍처(HuBERT, Wav2Vec2)를 대상으로 평가되었습니다.

• 전이성 (Transferability): 오직 원시 Whisper-small 대리 모델에 대해서만 최적화했음에도 불구하고, 블랙박스 타겟 모델로 전이되었을 때 SOTA 베이스라인 대비 +26.6%의 WER 개선을 달이트했습니다. 이는 다양한 모델 용량(Tiny부터 Large까지)과 아키텍처(Whisper vs. CTC) 전반에서 효과적으로 유지되었습니다.
• 방어 기제에 대한 강건성: 본 공격은 적대적 훈련 방어(예: CE-AT, DT-AT)와 입력 전처리 방어(예: LPF, WaveGuard) 모두에 대해 베이스라인보다 훨씬 뛰어난 성능을 보였습니다. 방어된 모델에 대해, SOTA 베이스라인 대비 영어에서 +36.2%의 WER 개선, 중국어에서 +31.3%의 CER 개선을 기록했습니다.
• 비인지성 (Imperceptibility): 인간 대상 연구 및 객관적 지표(DNS-MOS, NISQA, UTMOS)를 통해 적대적 오디오가 깨끗한 음성과 거의 구별되지 않음을 확인했습니다. 인간 평가에서 쌍을 이룬 샘플의 86%가 구별 불가능하다고 판단되었으며, 적대적 오디오는 인간에게도 명료하게 들렸습니다 (인간 전사 WER 5.47%).
• 물리적 실현 가능성 (Physical Feasibility): 예비 OTA(over-the-air) 실험 결과, 스마트폰을 통한 재생 및 재녹음 후에도 공격이 상당한 효과(78.23% WER)를 유지함을 입증했습니다.

의의 및 주장
본 논문은 현재 ASR 강건성 평가의 중대한 사각지대를 드러낸다고 주장합니다. 가산적 파형 노이즈나 적대적 접두사(adversarial prefixes)에 대한 강건성이 ASR 시스템의 실제 보안성을 과대평가할 수 있다고 논합니다. 공격 벡터를 특징 공간으로 이동시키고 재구성을 위해 보코더를 활용함으로써, 저자들은 적대적 예제가 입력 파형에 국한되어 있다는 가정을 기반으로 설계된 방어 기제들을 우회할 수 있음을 보여주었습니다. 이 연구는 향후 강건성 평가가 반드시 특징 공간 섭동을 고려해야 하며, 현재의 방어 기제들이 단순히 파형 노이즈만을 이용하는 공격에 대해서는 불충분하다는 점을 시사합니다.