Generative Testing of Automated Speech Recognition Systems

기술 요약: 자동 음성 인식 시스템의 생성적 테스트 (GATAS)

문제 정의
Whisper와 같은 트랜스포머 아키텍처 기반의 자동 음성 인식(ASR) 시스템은 높은 정확도를 달anim하여 핵심적인 애플리케션에 적합한 수준에 도달했습니다. 그러나 이러한 시스템은 여전히 적대적 조작(adversarial manipulation)에 취약합니다. 기존의 테스트 방법들은 효과성과 지각적 품질 사이에서 절충안을 찾아야 하는 문제에 직면해 있습니다. 화이트박스 공격(예: PGD)은 그래디언트 접근 권한이 필요하므로, 이미 배포된 시스템에 적용하기에는 한계가 있습니다. 블랙박스 방식은 일반적으로 원시 파형(waveform) 영역에서 직접 작동하며, 이는 전사 오류를 유도할 수는 있지만 종종 오디오를 부자연스럽게 만드는 가청 왜곡이나 "신호 파괴"를 초래합니다. 또한, 많은 블랙박스 접근 방식은 타겟 공격(특정 출력을 강제하는 방식)에 의존하는데, 이는 개방형 어휘(open vocabularies)와 가변 길이 출력을 가진 ASR의 특성상 비현실적입니다. 따라서 의미론적으로는 발산하면서도 지각적으로는 자연스러운 실패 유발 입력을 생성할 수 있는 블랙박스 테스트 전략이 부족한 실정입니다.

방법론: GATAS
본 논문은 원시 파형 도메인이 아닌 텍스트 음성 변환(TTS) 모델의 음소 수준 잠재 공간(phoneme-level latent space) 내에서 작동하는 블랙박스 테스트 방식인 GATAS(Generative Testing of Automatic Speech Recognition Systems)를 제안합니다.

• 핵심 메커니즘: GATAS는 음성을 음소 수준 임베딩 벡터로 표현하는 TTS 모델(구체적으로 StyleTTS2)을 활용합니다. 오디오 파형을 직접 섭동(perturbation)시키는 대신, 이 방법은 실제 음성(ground-truth) 음소 임베딩($h_{text}^{GT}$)과 노이즈 참조($h_{noise}$) 사이를 보간(interpolation)합니다.
• 섭동 제어: 보간은 음소당 스칼라 가중치 벡터 $\kappa \in [0, 1]^p$에 의해 제어됩니다. 섭동된 임베딩은 $h'_{text} = (1 - \kappa) \odot h_{text}^{GT} + \kappa \odot h_{noise}$로 계산됩니다. 이를 통해 검색 공간의 차원을 $512 \times p$에서 $p$($p$는 음소의 수)로 줄이는 동시에 개별 음소에 대한 미세한 제어를 가능하게 합니다.
• 최적화: 테스트 생성은 그래디언트 프리 진화 알고리즘(NSGA-II)을 사용하는 다목적 최적화 문제로 정식화됩니다. 두 가지 상충하는 목적 함수는 다음과 같습니다:
  1. 의미론적 발산(Semantic Divergence): 불용어 제거 및 표제어 추출 후, 실제 음성과 ASR 전사 결과 간에 보존된 내용어(content words)의 비율을 계산하는 SetOverlap으로 측정됩니다. 목표는 이를 최소화하는 것(발산 유도)입니다.
  2. 지각적 유사성(Perceptual Similarity): 원래의 오디오와 비교하여 오디오 품질을 평가하는 PESQ(Perceptual Evaluation of Speech Quality)로 측정됩니다. 목표는 이를 최대화하는 것(왜곡 최소화)입니다.
• 비타겟형 정식화(Untargeted Formulation): 이전의 많은 공격과 달리, GATAS는 타겟이 정해져 있지 않습니다. GATAS는 특정 임의의 타겟 문구로 수렴해야 하는 어려움을 피하면서, 원래 전사와 의미론적으로 유의미한 모든 편차를 찾는 것을 목표로 합니다.

주요 기여

1. 새로운 접근 방식: ASR 전사 오류를 유도하는 자연스러운 오디오를 생성하기 위해 TTS 잠재 공간에서 작동하는 블랙박스 테스트 방법인 GATAS를 도입했습니다.
2. 방법론적 정식화: 테스트 생성을 의미론적 발산과 지각적 비가시성 사이의 균형을 명시적으로 맞추는 다목적 최적화 문제로 프레이밍하여, 현실적인 테스트 케이스를 발견할 수 있게 했습니다.
3. 실증적 검증: Harvard Sentences 코퍼스와 Whisper ASR 시스템을 사용하여 블랙박스(WavefoRm, SMACK) 및 화이트박스(PGD) 베이스라인에 대한 포괄적인 평가를 수행했습니다.

결과
실증 연구 결과, GATAS는 높은 성공률을 달성하는 동시에 오디오 품질 측면에서 베이스라인들을 크게 앞질렀습니다:

• 효과성: GATAS는 전사 변경을 유도하는 데 있어 98%의 성공률을 기록하였으며, 이는 화이트박스 PGD(100%) 및 블랙박스 WavefoRm(99%)과 대등한 수준입니다.
• 오디오 품질: GATAS는 블랙박스 방법들 중 가장 높은 지각 품질을 나타냈으며, 기술적 품질 평가에서 화이트박스 PGD를 능가했습니다.
  • UTMOS (자연스러움): GATAS는 4.466을 기록하여 WaveFoRm(2.108)과 SMACK(2.101)보다 우수했으며, PGD(4.443)도 약간 상회했습니다.
  • 왜곡(Distortion): GATAS는 스펙트로그램 거리($d_F$-Spec: 0.017)와 문자 수준 차이($d_C$-Raw: 0.047) 모두에서 가장 낮은 왜곡을 보였습니다.
• 인간 평가: 10명의 참가자를 대상으로 한 연구에서, GATAS는 평균 기술 품질 점수 4.81(실제 음성 4.92 대비)과 의미 품질 점수 3.86(실제 음성 4.01 대비)을 받았습니다. 반면, 파형 기반 베이스라인(WavefoRm, SMACK)은 두 지표 모두에서 1.5 미만의 점수를 받아 심각한 저하를 보였습니다.
• 효율성: GATAS는 고정된 예산의 베이스라인인 SMACK(300) 또는 PGD(200)에 비해 더 높은 쿼리 예산(~5,067 쿼리)이 필요했지만, 더 효율적인 최적화 역학 및 조기 종료 덕분에 파형 기반 베이스라인(361초)보다 짧은 실행 시간(222초)을 달성했습니다.

의의 및 주장
본 논문은 모델 내부 구조에 대한 접근 권한보다 검색 공간의 구조적 선택이 더 중요하다는 점을 주장합니다. TTS 잠재 공간에서 작동함으로써, GATable은 생성된 오디오가 "자연스러운 음성의 매니폴드(manifold of natural speech)" 내에 머물도록 제한하며, 이를 통해 의미론적 발산과 지각적 품질을 동시에 최적화할 수 있게 합니다. 반면, 파형 기반 방식은 이들을 상충하는 목표로 취급하며, 오류를 달성하기 위해 흔히 신호를 파괴해야 합니다.

저자들은 표현(representation)과 지각적 정렬(perceptual alignment)이 효과적인 ASR 테스트 케이스를 생성하는 데 있어 그래디언트 접근 권한보다 더 결정적임을 결론지었습니다. GATAS는 비타겟형 잠재 공간 최적화가 기존의 블랙박스 공격에서 흔히 나타나는 가청 아티팩트 없이도, 다양한 실패 모드(예: 음소 치환 및 의미론적 표류)를 드러내는 현실적이고 효과적인 테스트 케이스를 생성할 수 있음을 입증했습니다. 이는 검색이 의미론적으로 구조화된 표현 공간 내에서 수행된다면, 화이트박스 접근 없이도 ASR의 일반화 성능에 대한 체계적인 테스트를 효율적으로 수행할 수 있음을 시사합니다.