BanglaFake: Constructing and Evaluating a Specialized Bengali Deepfake Audio Dataset

기술 요약: BanglaFake – 특화된 벵골어 딥페이크 오디오 데이터셋 구축 및 평가

문제 정의
딥페이크 오디오 생성은 음성 처리 및 생체 인식 검증 시스템, 특히 자동 화자 확인(ASV)에 심각한 위협이 되고 있습니다. 영어와 중국어 같은 고자원 언어를 위한 탐지 메커니즘은 발전해 온 반면, 벵골어와 같은 저자원 언어는 대규모의 고품질 데이터셋이 결정적으로 부족한 실정입니다. 이러한 결핍은 합성 음성에서 나타나는 미세한 음향적 아티팩트를 식별할 수 있는 강력한 탐지 모델의 개발을 저해합니다. 기존의 벤치마크는 주로 고자원 언어에 집중되어 있어, 과소 대표된 언어 공동체를 위한 연구 공백을 남겨두고 있습니다.

방법론
이러한 격차를 해소하기 위해 저자들은 실제 벵골어 발화와 합성된 벵골어 발화 모두를 포함하는 특화된 데이터셋인 BanglaFake를 구축하였습니다. 방법론은 세 가지 주요 단계로 구성됩니다:

1. 데이터 소싱 및 구성:

   • 실제 오디오: 데이터셋은 SUST TTS 코퍼스(음성학적으로 균형 잡힌 벵골어 음성 데이터셋)와 Mozilla Common Voice에서 추출한 12,260개의 실제 발화를 포함합니다. 이 샘플들은 7명의 서로 다른 화자(남성 및 여성)를 특징으로 합니다.
   • 딥페이크 오디오: 13,260개의 합성 발화는 VITS(End-to-end Text-to-Speech를 위한 변분 추론 및 적대적 학습) 아키텍처를 기반으로 한 최첨단 엔드 투 엔드 TTS 모델을 사용하여 생성되었습니다. 이 모델은 SUST TTS 코퍼스를 기반으로 처음부터 직접 학습되었습니다.
   • 음성 변환 시나리오: 음성 변환 공격을 시뮬레이션하기 위해, 저자들은 Mozilla Common Voice의 샘플 2,260개(5명의 화자)를 활용하였으며, 여기서 원본 녹음은 "보노파이드(bonafide)" 오디오로, VITS로 생성된 출력물은 "딥페이크" 대응물로 사용되었습니다.
   • 포맷: 모든 데이터는 기존의 TTS 및 탐지 프레임워크와의 호환성을 보장하기 위해 LJ Speech 포맷(WAV, 22,050 Hz, 6~7초 길이)으로 표준화되었습니다.

2. 모델 학습 및 생성:
   VITS 모델은 변분 추론과 적대적 학습의 조합을 채택합니다. 과정은 다음과 같습니다:

   • 텍스트를 음소로 변환하고 단조 정렬 탐색(Monotonic Alignment Search, MAS)을 통해 이를 잠재 변수와 정렬합니다.
   • 대상 파형으로부터 잠재 변수를 추출하기 위해 후험 인코더(posterior encoder)를 사용하고, 그 분포를 정교화하기 위해 사전 인코더(prior encoder)를 사용합니다.
   • HiFi-GAN 기반 디코더를 사용하여 변수를 원시 파형으로 업샘플링합니다.
   • 흐름 기반 생성 접근 방식을 사용하는 확률적 지속 시간 예측기(stochastic duration predictor)를 사용하여 음소 지속 시간을 모델링합니다.
   • 학습된 모델은 이후 텍스트로부터 새로운 음성을 합성하여 딥페이크 코퍼스를 생성하는 데 사용되었습니다.

3. 평가:
   데이터셋은 정성적 및 정량적 분석을 통해 평가되었습니다:

   • 정성적 평가 (MOS): 30명의 네이티브 벵골어 화자(연령 20~25세)를 대상으로 평균 의견 점수(MOS) 테스트를 실시했습니다. 참가자들은 학습 코퍼스 외부에 있는 무작위 선택된 10개의 합성 문장에 대해 자연스러움과 명료도를 평가했습니다. 점수는 최고점과 최저점을 제외하는 "Robust-MOS" 방식을 사용하여 계산되었습니다.
   • 정량적 평가 (특징 분석): 실제 오디오와 딥페이크 오디오의 분리 가능성은 멜 주파수 셉스트럼 계수(MFCC)의 t-SNE 시각화를 통해 분석되었습니다.

주요 결과

• 데이터셋 규모: 최종적인 BanglaFake 데이터셋은 12,260개의 실제 발화와 13,260개의 딥페이크 발화를 포함하여 총 25,000개 이상의 샘플을 보유하고 있습니다.
• 지각 품질: Robust-MOS 결과, 자연스러움 점수는 3.40, 명료도 점수는 4.01로 나타났습니다. 이 점수들은 합성 오디오가 수용 가능한 품질과 인간다운 특성을 갖추고 있음을 시사하며, 이는 탐지 모델에 도전적인 테스트베드가 됨을 의미합니다.
• 탐지 난이도: MFCC 특징의 t-SNE 시각화는 실제 오디오와 딥페이크 오디오 샘플 클러스터 간의 상당한 중첩을 보여주었습니다. 이러한 중첩은 VITS 모델로 생성된 합성 음성이 높은 자연스러움을 지니고 있음을 확인시켜 주며, 따라서 실제 오디오와 조작된 오디오를 구별하는 데 있어 진정한 어려움을 제공함을 입증합니다.

의의 및 기여
본 논문은 오디오 포렌식 및 저자원 언어 연구 분야에 다음과 같은 기여를 한다고 주장합니다:

1. 최초의 공개 벵골어 딥페이크 데이터셋: BanglaFake는 벵골어라는 저자원 언어의 자원 부족 문제를 해결하기 위해 도입된, 벵골어 딥페이크 오디오 탐지에 특화된 최초의 공개 데이터셋입니다.
2. 고품질 합성 벤치마크: 음성학적으로 균형 잡힌 코퍼스를 기반으로 처음부터 학습된 VITS 모델을 활용함으로써, 저자들은 단순한 음성 변환을 넘어 전체 음성 합성을 구현한 고도의 자연스러움을 가진 딥페이크 샘플을 구축했습니다.
3. 탐지 연구의 토대: 이 데이터셋은 딥페이크 탐지 모델을 학습시키고 평가하기 위한 벤치마크 역할을 하며, 특히 벵골어 미디어 오용에 대한 방어 체계를 강화하는 것을 목표로 합니다.
4. 개방적 가용성: 추가적인 연구를 촉진하기 위해 데이터셋과 모든 관련 산출물은 Hugging Face와 GitHub에 오픈 라이선스로 공개되어 있습니다.

저자들은 현재 데이터셋이 단일 남성 화자(합성 생성용)와 특정 소스에 집중되어 있으나, 이는 향후 작업의 필수적인 토대를 마련한 것이라고 결론짓습니다. 또한, 다양성과 견고함을 더욱 향mathcal하기 위해 다수의 화자(남성 및 여성)와 복잡한 음소를 포함하도록 데이터셋을 확장하는 것이 향후 발전 방향임을 명시했습니다.