기술 요약: 강력한 오디오 적대적 공격으로서의 이산 최적 운송(Discrete Optimal Transport)

1. 문제 정의

자동 화자 인증(ASV) 시스템은 실제 음성(bona fide)과 합성 또는 조작된 음성을 구별하기 위해 스푸핑 방어 기제(CM)에 의존한다. AASIST와 같은 현대적인 CM들은 ASVspoof2019 및 ASVspoof5와 같은 표준화된 벤치마크에서 강력한 성능을 달성하지만, 보지 못한 생성 방식(unseen generation methods) 및 후처리 공격에 대한 견고성은 여전히 중요한 취약점으로 남아 있다.

기존의 적대적 공격은 일반적으로 다음 두 가지 범주로 나뉜다:

1. 최적화 기반 공격: 모델의 그래디언트, 점수 피드백 또는 대리 모델(예: Malafide)을 악용한다. 이러한 공격은 CM에 접근할 수 있는 방법이 블랙박스 형태인 실제 시나리오에서는 제약이 따르는 경우가 많다.
2. 합성 기반 공격: 점점 더 정교해지는 텍스트 음성 변환(TTS) 또는 음성 변환(VC) 시스템에 의존한다. 그러나 이러한 방식은 서로 다른 데이터셋이나 방어 기제 설정 간에 일반화하는 데 실패하는 경우가 많다.

본 논문은 세 번째 패러다임인 **분포 정렬(distribution alignment)**을 조사한다. 핵심 가설은 생성된 음성을 bona fide 음성의 임베딩 분포와 일치하도록 수정함으로써, 타겟 모델에 대한 직접적인 최적화나 화자 유사성 극대화 없이도 CM을 우회할 수 있다는 것이다.

2. 방법론: kDOT 공격

제안된 방법인 kDOT 공격은 임의의 음성 생성 시스템 출력에 적용 가능한 블랙박스 형태의 후처리 단계로 작동한다. 이 공격은 모델 파라미터, 그래디언트 또는 훈련 데이터에 대한 접근을 요구하지 않는다.

핵심 메커니즘

공격은 **이산 최적 운송(Discrete Optimal Transport, DOT)**을 활용하여 소스 발화의 프레임 수준 임베딩을 짝이 맞지 않는(unpaired) bona fide 음성 풀(pool)과 정렬한다.

1. 임베딩 추출: 소스 오디오 $x$와 타겟 bona fide 오디오 풀 $y$는 WavLM Large(구체적으로 6번째 트랜스포머 레이어)를 사용하여 프레임 수준 임베딩으로 변환된다.
2. 최적 운송: 소스 임베딩 $X$와 타겟 임베딩 $Y$ 사이의 운송 비용(코사인 거리에 의해 정의됨)을 최소화하는 결합 행렬(coupling matrix) $\gamma$를 찾기 위해 엔트로피적 이산 OT 문제가 해결된다.
3. Top-k 바리센트릭 투영(Barycentric Projection): 임베딩을 재구성하기 위해 운송 맵(transport map)이 바리센트릭 투영을 통해 정의된다. 저자들은 top-k 전략(구체적으로 $k=5$)을 채택하며, 여기서 각 소스 임베딩은 타겟 분포 내의 상위 $k$개 근접 이웃의 가중 평균으로 매핑된다. kDOT-VC에서 유도된 이 접근 방식은 음성 명료성을 유지하면서 분포를 효과적으로 이동시킨다.
4. 재구성: 운송된 임베딩은 신경 보코더(HiFi-GAN)를 통해 다시 파형으로 변환된다.

위협 모델

• 공격자 지식: 공격자는 소스 발화(합성된 음성 또는 비타겟 실제 음성)와 타겟 또는 관련 도메인의 짝이 맞지 않는 bona fide 녹음 풀을 보유하고 있다.
• 접근 권한: 공격은 순수 블랙박스 방식으로, 생성 과정 중에 CM과 상호작용할 필요가 없다.
• 목표: 소스 신호를 CM에 의해 bona fide로 수용되도록 변환하는 동시에, 명료성을 유지하고, ASV 시나리오에서는 타겟 화자의 음향적 특성을 근사한다.

3. 주요 기여

본 논문의 기여는 다음과 같다:

• 새로운 공격 벡터: 이산 최적 운송 및 분포 정렬에 기반하여, 기존의 그래디언트 기반 또는 순수 합성 방식과는 구별되는 안티 스푸핑 시스템에 대한 블랙박스 적대적 공격을 도입한다.
• 성능 저하 입증: 최적 운송 후처리가 ASVspoof2019 및 ASVspoof5 벤치마크 전반에서 현대적인 스푸핑 방어 기제(AASIST)의 성능을 실질적으로 저하시킴을 입증한다.
• 포괄적 분석: CM 등가 오차율(EER), ASV EER, 화자 유사도(SIM), 분포 측정값(Fréchet Audio Distance)을 사용하여 공격의 유효성을 분석하고 실패 메커니즘에 대한 통찰을 제공한다.
• 전이성 및 견고성: 공격의 데이터셋 간 전이 능력과 방어 기제 미세 조정(fine-tuning)에 대한 회복력을 조사한다.
• 경험적 비교: OT 기반 후처리와 기존 음성 생성 공격 간의 비교를 제공하며, 보코더 불일치(vocoder mismatch) 및 도메인 적응의 역할을 논의한다.

4. 실험 결과

실험은 ASVspoof2019 및 ASVspoof5에서 AASIST 기반의 방어 기제를 사용하여 수행되었다.

방어 기제 우회

• ASVspoof2019: kDOT 공격(OT19)은 CM EER **29.67%**를 달성하였으며, 이는 가장 강력한 베이스라인 공격들(A17–A19, 0.65% ~ 2.58% 범위)보다 현저히 높은 수치이다.
• ASVspoof5: 이 공격(OT2)은 AASIST5에 대해 **11.18%**의 CM EER을 달성했다. 주목할 점은 AASIST5가 OT2 데이터로 미세 조정되었을 때, 베이스라인 A185 공격의 EER은 크게 감소한 반면, OT2의 EER은 **12.58%**로 여전히 높게 유지되었다는 것이다.
• 교차 데이터셋 전이: 공격은 강력한 전이성을 보여주었다. 예를 들어, ASVspoof2019 공격(A17–A19)에 OT를 적용하면 CM EER이 약 1.26%에서 약 26.13%로 증가했다.

화자 인증 영향

• 공격은 결합 시스템 평가에서 ASV EER을 0.79%에서 14.88%로 증가시켜 ASV 성능을 저하시켰다.
• 결정적으로, **화자 유사도(SIM)**의 증가폭은 완만했다(예: 0.41에서 0.47로). 이는 공격의 성공이 주로 화자 모방을 극대화하는 것에 의해 주도되지 않음을 시사한다.

메커니즘 분석

• 분포 정렬: t-SNE 시각화와 Fréchet Audio Distance(FAD) 지표를 통한 분석은 공격이 합성 음성의 임베딩 분포를 표현 공간 내의 bona fide 영역으로 이동시킨다는 것을 확인해주었다.
• 보코더 불일치: 논문은 보코더 중첩에 따라 성능이 달라진다고 언급한다. 예를 들어, ASVspoof5에서 OT2의 EER이 다른 공격들에 비해 낮은 이유는 공격과 ASVspoof5 훈련 데이터 모두에서 HiFi-GAN 보코더를 공유하여 사용하기 때문인 측면이 있다.

5. 의의 및 주장

본 논문은 최적 운송 기반의 분포 정렬이 현대적인 ASV 및 안티 스푸핑 시스템에 대해 이전에 충분히 탐구되지 않은 공격 벡터를 나타낸다고 주장한다.

저자들은 kDOT 공격의 성공이 특정 화자의 특성을 최적화하거나 특정 합성 모델의 아티팩트를 악용하는 것이 아니라, 스푸핑된 음성의 전역적 통계 분포를 bona fide 음성이 점유하는 영역으로 이동시키는 능력에서 비롯된다고 결론짓는다. 이 메커니즘은 다음을 설명한다:

• 상당한 수준의 CM EER 증가.
• 이전에 어려웠던 공격들에서 관찰된 강력한 성능 향상.
• 방어 기제 미세 조정에 대한 공격의 부분적인 견고성.
• 서로 다른 데이터셋 및 공격 제품군 간의 전이성.

이 연구는 현재의 방어 체계가 가진 실질적인 한계를 강조한다. 즉, 로컬 특징(예: 화자 정체성)이 완벽하게 최적화되지 않더라도, 입력 데이터의 전역적 분포를 변화시키는 공격에 취약할 수 있다는 것이다. 저자들은 이를 향후 안티 스푸핑 연구를 위한 중요한, 그리고 아직 충분히 탐구되지 않은 위협 모델로 제시한다.