기술 요약: 잠재 특징 재구성을 통한 보코더 인식에서의 분포 외(OOD) 탐지 연구

문제 정의

음성 합성 및 음성 변환 기술의 급격한 발전은 매우 자연스럽고 인간과 유사한 음성을 생성할 수 있게 하여, 오디오 위조 및 딥페이크와 관련된 심각한 보안 위험을 초와했습니다. 이러한 합성 오디오 샘플을 탐지하는 데 있어 핵심적인 과제는 분포 외(Out-of-Distribution, OOD) 탐지입니다. 현재의 딥페이크 인식 시스템은 분류 모델이 기존 또는 미래의 모든 보코더 알고리즘을 포괄할 수 없기 때문에 탐지에 어려움을 겪는 경우가 많습니다.

OOD 탐지를 위한 기존의 접근 방식은 주로 다음 두 가지에 의존합니다:

1. 확률 점수 기반 방식: 분포 내(In-Distribution, ID) 샘플이 분포 외(OOD) 샘플보다 더 높은 최대 소프트맥스 확률을 가진다고 가정합니다.
2. 분류 거리 기반 방식: ID 클래스의 중심에서 멀리 떨어진 샘플을 OOD로 분류합니다.

저자들은 이러한 방식들에 내재된 한계를 지적합니다. 확률 기반 방식은 모델이 ID 데이터로만 학습되었기 때문에 이상치(outliers) 처리에 어려움을 겪습니다. 거리 기반 방식은 임계값 경계에서 정확도가 저하될 수 있습니다. 또한, 이러한 이진 분류 방식은 세심한 임계값 선택이 필요하며, 오디오 생성 프로세스 자체의 특성적인 경향을 명시적으로 고려하지 못한다는 단점이 있습니다.

방법론

본 논문은 보코더 인식에서의 OOD 탐지를 해결하기 위해 오토인코더 아키텍처를 활용한 재구성 기반 탐지 접근 방식을 제안합니다. 이 시스템은 특정 보코더 클래스에 특화된 음향 특징만이 해당 클래스로 학습된 디코더에 의해 효과적으로 재구성될 수 있다는 전제하에 작동합니다.

시스템 아키텍처

1. 특징 추출: 시스템은 사전 학습된 WavLM 모델을 사용하여 입력 오디오로부터 음향 특징을 추출합니다(학습 중에는 고정됨). 저자들은 WavLM의 다양한 중간 레이어를 조사하였으며, 6번째 레이어를 사용하거나 18번째 레이스까지의 레이어를 가중 결합하여 사용하는 것이 최적의 결과를 얻음을 확인했습니다.
2. 인코더-디코더 구조:
   • 인코더: 입력 음향 특징을 저차원의 은닉 표현(hidden representation)으로 압축합니다. 이는 세 개의 트랜스포머 모듈(컨볼루션 레이어, 트랜스포머 인코더 블록, 선형 레이어)로 구성됩니다.
   • 다중 디코더: 알려진 각 ID 보코더 클래스마다 하나의 디코더가 존재합니다. 각 디코더는 원래의 입력 공간으로 은닉 특징을 다시 재구성하려고 시도합니다.
3. 추론 로직:
   • 추론 시, 입력 특징은 모든 디코더를 통과합니다.
   • 원래의 입력과 재구성된 출력 사이의 평균 제곱 오차(MSE)가 각 디코더에 대해 계산됩니다.
   • ID 분류: 만약 특정 디코더의 MSE가 사전 정의된 임계값 미만인 경우(다른 디코더들은 높은 경우), 해당 샘플은 그 디코더의 클래스에 해당하는 ID로 분류됩니다.
   • OOD 분류: 만약 모든 디코더에 대한 MSE가 임계값을 초과하면, 해당 샘플은 OOD로 분류됩니다.

향상 및 제약 조건

ID와 OOD 샘플 간의 구별 불가능성을 해결하고 디코더가 클래스 특화된 표현을 학습하도록 보장하기 위해, 저자들은 두 가지 보조 제약 조건을 도입했습니다.

1. 대조 학습(Contrastive Learning): 재구성된 특징에 적용되어, 입력과 올바른 재구성물(양의 쌍) 사이의 거리는 최소화하고, 입력과 다른 디코더의 재구성물(음의 쌍) 사이의 거리는 최대화합니다.
2. 보조 분류기(Auxiliary Classifier): 인코더의 출력에 부착되어, 압축된 잠재 표현이 재구성 전에 특정 보코더 클래스와 밀접하게 일치하도록 합니다. 이는 인코더가 서로 다른 클래스에 대해 유사한 출력을 생성하는 것을 방지합니다.

전체 학습 손실은 재구성 손실(MSE), 대조 손실, 그리고 분류 손실의 가중 합으로 계산됩니다.

주요 기여

• 재구성 기반 패러다임: 본 논문은 확률/거리 기반 OOD 탐지에서 벗어나, 음성 합성 프로세스의 특성적인 경향을 명시적으로 모델링하는 재구성 기반 접근 방식으로 전환했습니다.
• 클래스 특화 디코딩: 본 아키텍처는 각 디코더가 특정 보코더 클래스에 특화되도록 하는 다중 디코더를 채택하여, 특징이 해당 디코더에 의해서만 잘 재구성되도록 보장합니다.
• 이중 제약 메커니즘: 대조 학습과 보조 분류기의 통합은 재구성된 특징의 구별성을 크게 향상시켜, 서로 다른 디코더로부터 발생하는 유사한 출력 문제를 해결합니다.
• 특징 레이어 조사: 연구는 WavLM 모델의 다양한 중간 레이어를 체계적으로 평가하여, 18번째 레이스까지의 출력을 가중 결합하는 것이 단일 레이어 출력보다 우수한 성능을 제공함을 확인했습니다.

실험 결과

제안된 방법은 7개의 알려진 보코더 아키텍처(ID 샘플)를 포함하는 WaveFake 데이터셋을 통해 평가되었습니다. OOD 샘플은 미지의 모델(BigvGAN 및 UnivNet)을 사용하여 생성되었습니다.

• 성능: 제안된 시스템은 평가 데이터셋에서 **F1 스코어 68.04%**를 달성하였으며, 이는 63.15%에서 64.08% 사이의 점수를 기록한 베이스라인 시스템(ECAPA-TDNN, AASIST, RawNet2)을 상회하는 수치입니다. 이는 베이스라인 대비 약 **10%**의 상대적 개선을 의미합니다.
• 절제 연구(Ablation Studies):
  • **대조 손실(contrastive loss)**을 제거했을 때 모든 지표가 크게 하락하여(F1이 59.21%로 감소), 클래스 인스턴스를 분리하는 데 있어 대조 학습의 역할을 확인했습니다.
  • **보조 분류기(auxiliary classifier)**를 제거했을 때도 성능이 감소하여(F1이 55.48%로 감소), 인코더의 잠재 공간을 제약하는 데 있어 그 필요성을 입증했습니다.
• 시각화: MSE 분석 결과, ID와 OOD 샘플 사이에 뚜렷한 경계가 나타났으며, OOD 샘플은 모든 디코더에서 일관되게 높은 재구성 오차를 보였습니다.

의의

본 논문은 재구성 기반 접근 방식이 확률 및 거리 임계값의 한계를 직접적으로 해결함으로써 딥페이크 알고리즘 인식에 대한 더 강력한 솔루션을 제공한다고 주장합니다. 클래스 특화 디코더의 재구성 능력에 집중하고 대조 학습과 보조 분류를 통해 구별성을 강화함으로써, 이 방법은 어떤 알려진 보코더 분포에도 속하지 않는 샘플을 효과적으로 식별합니다. 결과는 이 접근 방식이 특히 미지의 또는 보지 못한 생성 알고리즘이 개입되는 시나리오에서 합성 음성을 탐지하기 위한 우수한 안전 보호 솔루션을 제공함을 시사합니다.