Exploiting Neural Audio Codec Latents for Adversarial Audio Attacks

기술 요약: 신경 오디오 코덱 잠재 공간(Latents)을 이용한 적대적 오디오 공격

문제 정의
자동 화자 검증(ASV) 및 환경음 탐지를 포함한 딥러닝 기반 오디오 분류 시스템은 적대적 공격에 취착되어 있다. PGD(Projected Gradient Descent)나 C&W(Carlini–Wagner)와 같은 기존의 최적화 기반 방식들은 효과적이긴 하지만, 고차원 파형 도메인에서 작동하며 비용이 많이 드는 반복적인 업데이트를 필요로 한다. 이러한 계산 오버헤드는 실시간 또는 스트리밍 시나리오에서 실용성을 떨어뜨리며, 이는 중요한 공격 벡터가 된다. 반대로, 기존의 생성적 접근 방식(예: VAE, 확산 모델, 자기회귀 방식)은 종종 무거운 작업 특화형 아키텍처에 의존하여 높은 추론 지연 시간을 초래하거나 인지 가능한 아티팩트를 생성하여, 효율성과 은밀함 사이의 균형을 맞추는 데 실패한다.

방법론
저자들은 사전 훈련된 신경 오디오 코덱인 Descript Audio Codec(DAC)의 연속적인 잠재 공간 내에서 완전히 작동하는 화이트박스 생성적 적대 프레임워크를 제안한다. 이 접근 방식은 다음 네 가지 핵심 구성 요소로 이루어진 완전 미분 가능한 엔드 투 엔드 파이프라인으로 설계되었다:

1. 잠재 투영(Latent Projection): 동결된 DAC 인코더가 원시 오디오 파형($x$)을 압축된 연속 잠재 표현($z$)으로 매핑한다. 이 구조화된 매니폴드는 음향적 충실도를 보존하면서 차원을 축소하여, 최소한의 변위만으로도 상당한 의미론적 변화를 유도할 수 있게 한다.
2. 조건부 생성(Conditional Generation): 훈련 가능한 피드포워드 생성기($G_\theta$)가 단 한 번의 순전파(forward pass)를 통해 표적 섭동($\delta_z$)을 합성한다. 생성기는 프리스틴(pristine) 잠재값 $z$와 표적 클래스 임베딩($y_t$ 또는 $v_{tgt}$)을 조건으로 한다. 이는 절대적인 잠재값이 아닌 잔차 섭동(residual perturbation)을 출력하며, 안정성을 위해 학습 가능한 스케일링 파라미터를 활용하고 초기 노이즈를 최소화하기 위해 제로 초기화(zero-initialization)를 사용한다.
3. 미분 가능한 디코딩(Differentiable Decoding): 섭동이 가해진 잠재값($z_{adv}$)은 동결된 DAC 디코더를 통해 적대적 파형($x_{adv}$)으로 재구성된다. 파형과 피해 분류기 사이의 간극을 메우기 위해, 미분 가능한 전처리기가 STFT(단시간 푸리에 변환), Mel-필터뱅크 매핑 및 로그 압축을 수행한다.
4. 최적화 목적 함수(Optimization Objective): 본 프레임워크는 분류를 위한 교차 엔트로피(Cross-Entropy), 결정 경계를 넓히기 위한 마진 손실(margin loss), 그리고 섭동을 제한하기 위한 $L_2$ 정규화 항을 결합한 통합 복합 손실 함수를 사용한다. 비볼록(non-convex) 최적화 지형을 안정화하기 위해 생성기 가중치는 지수 이동 평균(EMA)을 사용하여 유지된다.

주요 기여

1. 잠재 공간 생성 공격: 본 논문은 직접적인 원시 파형 섭동을 피하면서, DAC 잠재 공간 내의 고수준 압축 음향 표현을 조작하는 훈련 가능한 조건부 생성기를 도입한다.
2. 완전 미분 가능한 코덱 파이프라인: 코덱의 양자화 전 공간에서 작동함으로써, 이 방법은 이산 코드북(discrete codebooks)의 비미분성 문제를 극복하고 잠재 섭동에 대한 직접적인 경사 기반 최적화를 가능하게 한다.
3. 실시간 생성: 본 프레임워크는 샘플당 7ms 미만의 추론 시간으로 단 한 번의 순전파를 통해 적대적 예시를 생성한다. 이는 생성적 베이스라인 대비 최대 24배, C&W와 같은 반복적 방법 대비 18,900배 빠른 속도이다.
4. 높고 일관된 공격 성공률: 이 방법은 CNN 및 트랜스포머 기반 오디오 모델 전반에 걸쳐 최대 99%의 표적 공격 성공률(ASR)을 달 achieves 하며, 강력한 아키텍처 일반성을 입증한다.

결과
제안된 방법은 네 가지 벤치마크 데이터셋(Google Speech Commands, TAU Urban Acoustic Scenes 2019, UrbanSound8k, LibriSpeech)에 대해 평가되었다.

• Speech Commands: 이 방법은 비표적 ASR 96.58%, 표적 ASR 77.65%를 달성하여, 효율성과 효과성 모두에서 경사 기반 방법(FGSM, PGD, C&W) 및 생성적 베이스라인(FAPG, CGAN)을 능가했다.
• 환경음 분류: UrbanSound8k 및 DCASE2019에서 이 접근 방식은 각각 99.11% 및 100%의 비표적 ASR을 달성했다. 표적 설정에서는 97.17% 및 94.07%의 ASR을 달성하며, 가장 낮은 지연 시간(0.0039–0.0056초)을 유지하면서 반복적 베이스라인을 크게 앞질렀다.
• 화자 검증: LibriSpeech에서 이 방법은 ECAPA-TDNN 모델에 대해 100% 비표적 ASR 및 99.80% 표적 ASR을 달성했다. 이는 FAPG 베이스라인보다 23.8배 빠르며, 반복적 방법보다는 수십 배 더 빠르다.

의의 및 주장
본 논문은 오디오 분류 및 생체 인식 시스템에 대한 실시간적이고 매우 효율적인 생성적 공격을 평가하는 데 있어 중요한 공백을 해결한다고 주장한다. 범용 신경 오디오 코덱의 연속적인 잠재 매니폴드를 활용함으로써, 제안된 프레임워크는 잠재 공간 조작의 은밀함과 구조적 충실도를 초저지연성과 결합한다. 저자들은 압축된 의미론적 잠재 매니폴드가 강력하면서도 이전에 탐구되지 않은 적대적 표면을 나타내며, 과도한 계산 비용 없이 높은 공격 성공률을 가능하게 한다고 단언한다. 이러한 실행 가능성은 실시간 스트리밍 오디오 시스템이 기존 방법들로 입증된 것보다 더 취약할 수 있음을 시사한다. 향후 연구로는 블랙박스 전이성(black-box transferability) 및 잠재 공간 방어에 대한 조사가 언급되었다.