Text-Dependent Speaker Verification (TdSV) Challenge 2024: Team Naive System Report

기술 요약: 2024 텍스트 의존 화자 검증 챌린지를 위한 Team Naïve 시스템

문제 정의
본 논문은 화자의 신원과 특정 발화 구문의 정확성을 동시에 검증해야 하는 생체 인식 보안 과제인 텍스트 의존 화자 검증 (TdSV) 작업을 다룹니다. 텍스트 비의존 시스템과 달리, TdSV 는 시스템이 "누가" 말하는지뿐만 아니라 "무엇"이 말해졌는지도 인식해야 합니다. 이러한 이중 요구사항은 복잡성을 초래하여, 스푸핑 및 재생 공격에 저항하기 위해 음성 특성과 구문별 패턴을 정밀하게 모델링할 것을 필요로 합니다. 구체적인 맥락은 2024 년 TdSV 챌린지이며, 이 챌린지는 배경 소음이 있는 실제 환경에서 녹음된 페르시아어와 영어 발화를 포함한 DeepMine 코퍼스를 활용했습니다. 저자들은 9 주라는 제한된 기간과 전용 GPU 자원에 대한 제한된 접근이라는 상당한 제약에 직면했습니다.

방법론
Team Naïve 시스템은 앙상블 접근법을 통해 화자 검증과 구문 검증을 통합하도록 설계된 이중 모듈 아키텍처를 사용합니다.

• 화자 검증 모듈 (앙상블): 시스템의 핵심은 출력이 융합되는 세 가지 고유한 화자 임베딩 추출기 (SEEs) 로 구성됩니다:
  1. NeXT-TDNN: VoxCeleb 1 및 2 의 사전 훈련된 가중치를 사용하여 챌린지 데이터셋으로 미세 조정된 최첨단 아키텍처입니다. 프레임 간 및 프레임 내 컨텍스트를 포착하기 위해 TS-ConvNeXt 블록 설계와 멀티 스케일 시간 컨볼루션 및 글로벌 응답 정규화 (GRN) 를 활용합니다.
  2. ResNet-TDNN: 챌린지 데이터셋으로 미세 조정된 또 다른 모델로, 깊은 화자 표현을 학습하기 위해 잔차 연결을 활용합니다. DeepMine 데이터의 미묘한 차이에 적응하도록 특정 하이퍼파라미터로 최적화되었습니다.
  3. EfficientNet-A0 (EfficientNet-Absolute Zero): 챌린지 데이터셋에 처음부터 훈련된 경량 모델입니다. 키워드 스포팅을 위해 설계된 이 모델은 화자 임베딩 생성에 적응되어 앙상블에 자원 효율적인 구성 요소를 제공합니다.
• 구문 검증 모듈: 발화 내용을 검증하기 위해 시스템은 wav2vec 2.0 모델 (특히 lighteternal/wav2vec2-large-xlsr-53-greek 변형) 을 사용합니다. 이 모델은 발화 내용의 특징 추출기로 작용하여 오디오를 사전 정의된 구문 범주로 분류합니다.
• 점수 매기기 및 융합:
  • 임베딩 생성: 세 가지 SEE 가 시험 오디오를 처리하여 고차원 임베딩을 생성합니다.
  • 유사도 계산: Scorer 모듈이 등록 임베딩과 시험 임베딩 간의 코사인 유사도를 계산합니다.
  • 정규화: 시스템은 훈련 데이터셋의 임베딩 코호트 분포에 기반하여 원시 유사도 점수를 조정하는 S-norm(점수 정규화) 을 적용하여 환경적 변이를 보정합니다.
  • 최종 결정: 최종 점수는 세 모델의 정규화된 화자 점수를 융합하고, 이 결과를 구문 분류기에서 출력된 확률과 곱하여 도출됩니다.

주요 기여 및 시스템 설계

• 자원 제약 적응: 논문은 제한된 챌린지 기간과 하드웨어 자원으로 인해 처음부터 훈련하는 대신 VoxCeleb 에서 사전 훈련된 기존 최첨단 모델 (NeXt-TDNN 및 ResNet-TDNN) 을 적응시키는 전략을 강조합니다.
• 하이브리드 앙상블: 처음부터 훈련된 경량 EfficientNet-A0 모델과 미세 조정된 무거운 모델의 통합은 저자원 환경에서 앙상블 성능을 강화하는 방법으로 제시됩니다.
• 포괄적인 데이터 증강: 훈련 파이프라인에는 실제 음향 조건을 시뮬레이션하기 위해 소음 주입 (SNR 0-15 dB), Room Impulse Responses (RIR) 를 통한 잔향, 주파수 대역 드롭핑, 시간적 청크 드롭핑을 포함한 광범위한 증강 기법이 포함됩니다.
• 전처리: 시스템은 모델이 비음성 세그먼트의 아티팩트에 오도되지 않도록 처리하기 전에 오디오 클립에서 침묵을 제거하기 위해 음성 활동 감지 (VAD) 를 사용합니다.

결과
시스템은 챌린지 평가 세트에서 다음과 같은 성능 지표를 달성했습니다:

• 최소 탐지 비용 함수 (MinDCF): 0.0461
• 동일 오류율 (EER): 1.3%

탐지 오류 트레이드오프 (DET) 곡선은 시스템이 다양한 인구 통계 및 언어 그룹에서 견고하게 작동함을 나타냅니다. 남성 하위 집단은 가장 낮은 위음성률을 보인 반면, 여성 하위 집단은 약간 더 높은 오류율을 보였습니다. 페르시아어와 영어 언어 그룹 간의 성능은 일관되었으나, 전체 남성 성능보다는 약간 낮았습니다. 시스템은 텍스트 제약 및 텍스트 비의존 작업 변형 모두에서 경쟁력 있는 성능을 유지했습니다.

의의 및 주장
저자들은 그들의 시스템이 화자 및 구문 검증을 위한 다중 모델 앙상블 학습의 효과성을 입증한다고 주장합니다. 고급 신경 아키텍처와 강력한 점수 매기기 메커니즘 (S-norm) 및 점수 융합을 결합함으로써 시스템은 다양한 조건에서 강력한 일반화를 달성합니다.

논문은 제한된 제약 하에서 기존 자원을 효과적으로 활용하는 실용적인 솔루션으로 그 의의를 겸손하게 제시합니다. 화자 검증을 위해 EfficientNet-A0 모델을 사용한 것은 해당 도메인에 이 특정 아키텍처를 적용한 초기 사례 중 하나임을 지적합니다. 저자들은 시스템이 잘 작동하지만, 향후 연구는 성별 및 언어 하위 집합 간의 성능 격차를 최소화하는 아키텍처 정교화와 가변 조건 하에서 구문 검증 정확도를 더욱 향상시키는 데 초점을 맞출 수 있다고 결론지었습니다.