From Self-Supervised Speech Models to Mixture-of-Experts for Robust Anti-Spoofing

기술 요약: 강건한 안티 스푸핑을 위한 자기지도 학습 음성 모델에서 전문가 혼합(Mixture-of-Experts) 모델로의 전환

문제 정의
신경 오디오 코덱, 플로우 매칭(flow-matching), 확산 기반 아키텍처를 포함한 최근의 음성 생성 기술의 발전은 합성 음성의 자연스러움을 크게 향상시켰습니다. 이러한 진보는 정당한 활용 측면에서는 이점이 되지만, 음성 안티 스푸핑 시스템에는 중대한 도전 과제를 제기합니다. 즉, 실제 음성(bona fide)과 스푸핑된(합성 또는 조작된) 음성을 구별하는 문제입니다. 특정 생성 아티팩트(artifact)를 탐지하도록 훈련된 지도 학습 기반의 딥 뉴럴 네트워크에 의존하는 현재의 대응책들은 일반화 능력에서 어려움을 겪고 있습니다. 특정 합성 기술 세트에 대해 훈련된 모델들은 새로운 공격 방식이나 진화하는 합성 방법에 의한 분포 변화(distribution shifts)를 감지하는 데 자주 실패합니다. Wav2vec2, WavLM, HuBERT와 같은 자기지도 학습(SSL) 모델들이 풍부한 음향 표현력을 바탕으로 강력한 백본(backbone)으로 부상했음에도 불구하고, 이질적인 스푸핑 아티팩트를 처리하는 능력은 여전히 핵심적인 과제로 남아 있습니다.

방법론
본 연구는 안티 스푸핑 작업에서의 일반화 성능을 높이기 위해, 사전 훈련된 SSL 음성 모델을 완전한 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처로 변환하는 방법을 제안합니다. 기존의 방식이 동결된 SSL 레이어를 수정하기 위해 저차원 적응(LoRA) 어댑터를 사용하는 것과 달리, 본 방법은 선택된 트랜스포머 인코더 레이어 내의 밀집 피드 포워드 네트워크(FFN)를 여러 개의 풀 용량(full-capacity) 전문가 네트워크로 교체합니다.

제안된 아키텍처의 핵심 구성 요소는 다음과 같습니다:

• MoE 변환: SSL 백본의 선택된 레이어(최적의 구성에서는 13개 레이어 중 마지막 6개 레이어) 내의 원래 FFN 모듈을 $E$개의 병렬 전문가 네트워크로 교체합니다. 이 전문가들은 사전 훈련된 지식을 보존하기 위해 원래의 밀집 FFN 가중치로 초기화됩니다.
• 게이팅 메커니즘(Gating Mechanism): 레이어별 게이팅 네트워크는 멀티 헤드 셀프 어텐션(MHA) 모듈의 프레임 레벨 출력으로부터 유도된 발화 수준(utterance-level) 표현을 기반으로 라우팅 확률을 계산합니다. 본 연구는 평균(mean), 최대(max), 통계적(statistical), 어텐티브(attentive) 등 다양한 풀링 전략을 평가하였으며, 통계적 풀링이 최적의 결과를 낸다는 것을 발견했습니다.
• 라우팅 전략: 주어진 발화에 대해 확률이 가장 높은 $k$개의 전문가를 활성화하는 top-$k$ 라우팅 전략을 사용합니다. 선택된 전문가들의 출력은 가중 합(weighted sum)을 통해 결합됩니다.
• 훈련 목적 함수: 모델은 스푸프 탐지를 위한 이진 교차 엔트로피 손실(binary cross-entropy loss)을 사용하여 훈련되며, 단일 전문가로 입력이 쏠리는 현상(expert collapse)을 방지하기 위해 보조 로드 밸런싱 손실(auxiliary load-balancing loss)이 추가됩니다. 훈련 프로토콜은 게이팅 네트워크, 전문가 레이어, 분류 헤드만을 먼저 최적화하는 초기 단계 이후, SSL 백본 파라미터를 점진적으로 언프리징(unfreezing)하는 과정을 거칩니다.

주요 기여

1. 전체 MoE 변환 패러다임: 본 연구는 최근 문헌에서 발견되는 파라미터 효율적이지만 용량이 제한적인 LoRA 기반 적응을 넘어, 사전 훈련된 SSL 음성 모델을 완전한 MoE 아키텍처로 변환하는 것을 조사한 첫 번째 연구입니다.
2. 아키텍처 분석: 본 논문은 설계 선택에 대한 광범적인 연구를 제공하며, MoE 레이어를 상위 수준(마지막 6개) 트랜스포머 레이어에 삽입하는 것이 초기 또는 전체 레이어 삽입보다 더 나은 성능을 낸다는 것을 확인했습니다. 또한, 게이팅 네트워크를 위해 통계적 풀링이 어텐티브 또는 평균 풀링보다 우수함을 입증했습니다.
3. 전문가 특화 분석: 저자들은 MoE 메커니즘이 특화(specialization)를 유도하는지 분석하며, 특히 서로 다른 전문가가 서로 다른 합성기(synthesizer)로 라우팅되는지 검토합니다. 젠슨-샤논 발산(Jensen–Shannon divergence)을 사용하여 다양한 합성 방법 전반에 걸친 전문가 활성화 분포를 조사합니다.

결과
제안된 접근 방식은 다양한 TTS, VC, 코덱 및 확산 기반 생성 방법을 다루는 14개의 다양한 스푸핑 데이터셋에서 평가되었습니다.

• 성능: WavLM-Large를 백본으로 사용했을 때, 최적의 MoE 구성(4개 전문가, top-1 라우팅, 통계적 풀링, 마지막 6개 레이어 삽입)은 매크로 등가 오류율(macro EER)을 베이스라인인 **5.46%**에서 **4.81%**로 낮추었습니다. 이는 베이스라인 대비 11.9%의 상대적 개선을 나타냅니다.
• LoRA와의 비교: 풀 MoE 방식은 테스트된 모든 랭크에서 LoRA 기반 대안보다 성능이 월등히 높았습니다. LoRA 기반 방식이 적은 수의 파라미터(예: 2M–16M)만을 업데이트한 반면, 329M 파라미터를 공동 미세 조정(fine-tuning)한 풀 MoE 방식은 더 우수한 강건성을 달 achievement 했으며, 이는 저차원 제약을 완화하고 백본을 공동으로 미세 조정하는 것이 이 작업에 결정적임을 시사합니다.
• 전문가 특화: 전문가 활성화 분포 분석 결과, 라우팅 패턴이 합성기에 따라 약간씩 다르기는 하지만, 특정 전문가가 일관되게 특정 공격 유형을 처리하는 명확한 특화의 증거는 발견되지 않았습니다. 평균 젠슨-샤논 발산이 비교적 낮게 유지되었는데, 이는 전문가들이 별개의 분리 가능한 아티팩트 클래스가 아니라 복잡하고 중첩된 음향 패턴을 포착함을 나타냅ers.

의의 및 주장
본 논문은 SSL 모델을 완전한 MoE 아키텍처로 변환하는 것이 미지의 합성 방법에 대한 안티 스푸핑 시스템의 강건성을 향상시키는 실행 가능한 경로임을 주장합니다. 밀집 레이어를 여러 전문가로 교체하고 전체 모델을 공동으로 미세 조정함으로써, 이 접근 방식은 사전 훈련 중에 학습된 풍부한 표현을 버리지 않으면서도 상호 보완적인 음향 패턴을 포착할 수 있는 모델의 용량을 확장합니다. 저자들은 이 방법이 LoRA와 달리 파라미터 효율성보다 성능과 강건성을 우선시하지만, 진화하는 스푸핑 위협의 맥락에서 일반화와 특화 사이의 간극을 성공적으로 메운다고 강조합니다. 결론적으로, 명시적인 전문가 특화는 관찰되지 않았더라도, MoE 구조가 다양한 미지의 공격 벡터에 대해 모델의 일반화 능력을 효과적으로 향상시킨다는 점을 밝힙니다.