기술 요약: WorldSpeech: 전 세계의 다국어 음성 말뭉치

문제 제기

자동 음성 인식 (ASR) 시스템은 현재 풍부한 쌍을 이룬 오디오-전사 데이터가 있는 고자원 언어에서는 견고하게 작동합니다. 그러나 공개적으로 이용 가능하고 인간과 정렬된 데이터의 부족으로 인해 전 세계 대부분의 언어에 대해서는 정확도가 급격히 저하됩니다. 기존 솔루션은 상당한 한계에 직면해 있습니다: 크라우드 소싱된 말뭉치인 Common Voice 는 광범위한 커버리지를 제공하지만 언어당 제한된 시간을 제공하며, 오디오북 컬렉션은 양을 제공하지만 다루는 언어가 적습니다. 그리고 MOSEL 및 YODAS 와 같은 대규모 데이터셋은 인간이 만든 기준이 아닌 ASR 이 생성한 의사 레이블에 의존합니다. 또한, VoxPopuli, EuroSpeech 와 같은 의회 기록을 활용하는 기존 접근 방식은 다른 지역의 데이터 접근 제한과 저자원 언어에서 초기 ASR 모델이 성능이 저조할 때 정렬 파이프라인의 실패로 인해 기준 전사 (ground-truth transcripts) 를 복구하지 못하게 되어 주로 유럽으로 제한됩니다.

방법론

저자들은 WORLDSPEECH를 소개합니다. 이는 국제 방송사, 국가 공영 방송사, 그리고 퍼블릭 도메인 오디오북 아카이브로 의회 정렬 레시피를 확장하여 구축된 다국어 음성 말뭉치입니다.

데이터 수집 및 표준화

이 말뭉치는 의회 회의록, 국제 방송 (예: VOA, RFA, RFE/RL), 그리고 퍼블릭 도메인 오디오북 (예: LibriVox, Aozora) 을 포함한 82 개국의 79 개 독립 소스에서 데이터를 집계합니다. 파이프라인은 다음을 포함합니다:

• 형식 표준화: 다양한 오디오 형식 (MP4, MP3, HLS 스트림) 을 모노 24 kHz 로 변환하고 전사본 (HTML, XML, DOCX, PDF, SRT) 을 일반 텍스트로 변환합니다.
• 강건한 텍스트 추출: 이미지 렌더링과 열 자르기를 통해 복잡한 PDF 레이아웃 (예: 두 열로 구성된 Hansard 문서) 을 처리합니다. 표준 추출이 실패하는 스크립트 (예: Nastaliq 우르두어, 미얀마어) 의 경우 Tesseract 와 Surya 신경 OCR 엔진을 사용한 OCR 백업 방식을 채택합니다.
• 정규화: 아랍어 harakat 제거, 광둥어 성조 기호 정규화, 다국어 의회의 코드 스위칭 처리를 위한 언어 감지 등 언어별 정화를 적용합니다.

정렬 파이프라인

방법론의 핵심은 EuroSpeech 에서 적응된 2 단계 거칠기에서 정밀한 정렬 전략입니다:

1. 분할: Silero VAD 를 사용하여 장형 오디오를 3~30 초 발화 단위로 분할합니다.
2. ASR 선택: 제거 분석 (ablation study) 을 통해 각 언어에 대해 10 시간 샘플에서 Character Error Rate (CER) < 0.3 임계값을 통과하는 세그먼트의 비율을 최대화하는 ASR 모델 (예: Whisper-large-v3-turbo, 어댑터가 있는 MMS-1B, 또는 커뮤니티 파인튜닝 모델) 을 선택합니다.
3. CER 기반 매칭: 시스템은 ASR 가설과 인간 전사의 후보 구간 사이의 CER 을 계산합니다. 최소 CER 이 0.3 미만인 경우에만 세그먼트가 유지됩니다. ASR 출력은 기준이 아닌 검색 목적으로만 사용됩니다.

반복적 정렬 정제

초기 ASR 성능이 저조하여 정렬이 불가능해지는 '콜드 스타트' 문제를 해결하기 위해, 저자들은 반복적 정제 방식을 제안합니다:

1. 1 차 통과: 초기 ASR 모델을 사용하여 오디오와 전사를 정렬합니다.
2. 파인튜닝: 1 차 통과에서 성공적으로 정렬된 세그먼트로 ASR 모델을 파인튜닝합니다.
3. 2 차 통과: 파인튜닝된 모델을 사용하여 나머지 정렬되지 않은 오디오를 재정렬합니다.
   이 과정은 환각이나 스크립트 오류로 인해 초기에 불일치했던 세그먼트를 복구하여 새로운 데이터 수집 없이 정렬된 시간을 증가시킵니다. 저자들은 세 번째 통과가 두 번째 통과에 비해 (+0.2%~+8.8%) 체감 수익을 가져온다는 것을 발견했습니다.

주요 기여

1. WORLDSPEECH 말뭉치: 76 개 언어에 걸쳐 64,970 시간의 정렬된 오디오-전사 데이터를 포함하는 공개 가능한 말뭉치입니다. 광범위한 커버리지와 상당한 깊이를 결합한 최초의 공개 말뭉치로, 다음을 특징으로 합니다:
   • 1,000 시간 이상을 가진 24 개 언어.
   • 500 시간 이상을 가진 28 개 언어.
   • 200 시간 이상을 가진 37 개 언어.
   • 기존 데이터셋에서 종종 누락된 지역 및 방언 변형 (예: 퀘벡 프랑스어, 오스트리아 독일어, 바레인 아랍어) 포함.
2. 반복적 정제 기법: 정렬 ASR 을 반복적으로 파인튜닝하여 언어당 정렬된 데이터 양을 19.5% 에서 201.1% 까지 증가시키는 방법으로, 초기 ASR 성능이 약한 언어 (예: 미얀마어, 라오어, 크메르어) 에 특히 유리합니다.
3. 성능 향상: WORLDSPEECH 로 기존 다국어 ASR 백본을 파인튜닝하면 유형학적으로 다양한 언어에서 Word Error Rate (WER) 가 크게 감소함을 입증했습니다.

결과

저자들은 WORLDSPEECH 학습 분할로 Whisper-large-v3-turbo를 파인튜닝하고 공개 벤치마크 (FLEURS) 또는 홀드아웃 테스트 세트로 테스트하여 말뭉치를 평가했습니다.

• WER 감소: 파인튜닝은 11 개의 유형학적으로 다양한 언어에서 평균 상대 WER 을 63.5% 감소시켰습니다.
• 저자원 영향: 제로샷 기준 WER 이 1.0 을 초과한 언어 (참조 단어보다 오류가 더 많음을 나타냄) 에서 가장 큰 향상이 관찰되었습니다. 예를 들어:
  • 사모아어: WER 가 4.72 에서 0.39 로 감소 (−91.7%).
  • 라오어: WER 가 2.47 에서 0.76 으로 감소 (−69.4%).
  • 로망슈어: WER 가 1.31 에서 0.17 로 감소 (−87.5%).
• 데이터 확장: 제거 분석은 사용 가능한 시간에 따라 WER 이 단조롭게 감소함을 보여주었으며, 가장 급격한 개선은 처음 200 시간 내에 발생하고 500 시간을 넘으면 체감 수익이 감소했습니다.

의의

이 논문은 WORLDSPEECH 를 저자원 언어에 대한 고정밀 ASR 모델을 훈련하는 데 필요한 양과 현재 공개적으로 이용 가능한 정렬된 데이터 간의 격차를 해소하는 중요한 자원으로 위치시킵니다. 언어별 깊이 (1,000 시간 이상의 인간 레이블 데이터가 있는 24 개 언어) 와 광범위한 글로벌 커버리지 (76 개 언어) 를 결합한 최초의 공개 말뭉치를 제공함으로써, WORLDSPEECH 는 이전에 소외되었던 언어와 방언에 대한 ASR 시스템의 훈련 및 평가를 가능하게 합니다. 반복적 정제 전략은 추가 데이터 수집 노력 없이 기존 공개 아카이브의 활용도를 극대화하는 확장 가능한 방법을 추가로 제공합니다.