Sometin Beta Pass Notin (SBPN): Improving Multilingual ASR for Nigerian Languages via Knowledge Distillation

기술 요약: 소메틴 베타 패스 노틴 (SBPN)

문제 제기
나이지리아는 500 개 이상의 언어를 보유한 언어적 다양성을 지니고 있음에도 불구하고, 현대의 다국어 자동 음성 인식 (ASR) 시스템은 영어나 프랑스어와 같은 고자원 언어에 비해 나이지리아어에서 일관되게 낮은 성능을 보입니다. 저자들은 몇 가지 결정적인 장애물을 확인했습니다: 심각한 데이터 부족, 불일치하는 표기법, 요루바어와 이보어에서 필수적인 성조 부호의 필요성, 다양한 억양, 빈번한 코드스위칭, 그리고 지역화된 고유명사의 존재입니다. 기존 데이터셋은 대부분 미리 정의된 템플릿에 기반한 읽기 말하기에 의존하여, 실제 생활의 대화 시나리오로 일반화되지 못합니다. furthermore, 인터넷에서 고자원 언어의 지배적 지위는 언어 소실을 가속화하여, 언어적 연속성을 보장하기 위해 전문화된 ASR 자원 개발이 필수적인 디지털 격차를 만들어냅니다.

방법론
본 논문은 요루바어, 하우사어, 이보어, 나이지리아 피진, 나이지리아 영어라는 다섯 가지 특정 나이지리아 언어를 위해 설계된 다국어 기반 ASR 모델인 **소메틴 베타 패스 노틴 (SBPN)**을 소개합니다. 이 프레임워크는 두 단계의 증류 과정을 사용합니다:

1. 단어 언어 모델 교사로부터의 지식 증류:

   • 교사 모델: 저자들은 W2v-bert-2.0 및 w2v-large-xlsr-53 과 같은 아키텍처에 기반한 기존 최첨단 단어 언어 모델을 "교사"로 활용했습니다.
   • 언어 모델 융합: CTC 기반 교사 모델이 언어 모델링 없이 저자원 환경에서 어려움을 겪는다는 점을 인식하여, 팀은 Common-Crawl-100 및 특정 저장소에서 가져온 텍스트 말뭉치를 사용하여 다섯 가지 언어 각각에 대한 대규모 N-그램 언어 모델을 구축했습니다.
   • 의사 레이블링: 교사 모델은 레이블이 없는 오디오 데이터에 대한 하드 의사 레이블을 생성했습니다. 결정적으로, 이러한 레이블은 추론 중 (Flashlight 디코더 사용) ASR 예측과 구축된 N-그램 언어 모델을 얕게 융합하여 워드 오류율 (WER) 을 줄이기 위해 정제되었습니다.
   • 데이터 구축: 파이프라인에는 광범위한 오디오 처리가 포함되었습니다: 잡음 제거 (MossFormer2), 화자 분리 (Pyannote), 음성 활동 감지, 그리고 언어 식별입니다. 나이지리아 피진의 경우 비표준 표기법과 동음이의어를 처리하기 위해 특정 정규화 전략이 적용되었는데, 이는 단어를 클러스터링하고 N-그램 LM 을 기반으로 가장 확률이 높은 토큰을 선택하는 방식이었습니다.

2. 반복적 자기 개선:

   • 다국어 학생 모델 (SBPN) 은 먼저 실제 데이터와 1 단계에서 생성된 의사 레이블 데이터의 조합으로 훈련되었습니다.
   • 이후, 모델은 레이블이 없는 데이터에 대해 더 정확한 새로운 의사 레이블을 생성하는 자기 개선 루프를 거쳤으며, 이는 모델을 추가적으로 미세 조정하는 데 사용되었습니다. 이 과정은 평균 WER 이 정체될 때까지 계속되었습니다.

모델 아키텍처
SBPN 모델은 빠른 Conformer 인코더, 상태 유지 LSTM 기반 예측 네트워크, 그리고 피드포워드 결합 네트워크를 특징으로 하는 순환 신경망 기반 전사기 (RNNT) 아키텍처를 기반으로 합니다. 보조 CTC 헤드가 특징을 정규화하기 위해 인코더에 연결되는데, 이는 잡음이 많은 의사 레이블 데이터로 훈련할 때 특히 유익합니다. 모델은 두 가지 크기로 출시됩니다:

• SBPN-Base: 1 억 2 천만 개 파라미터.
• SBPN-Large: 6 억 개 파라미터.
  두 모델 모두 추론 시 CPU 에서 실행되도록 설계되어 대규모 GPU 자원이 없는 연구자들에게도 접근 가능합니다.

주요 기여

• 나이지리아 언어를 위한 최초의 다국어 기반 모델: SBPN 은 다섯 가지 대상 언어 전반에 걸쳐 읽기 말하기와 빠른 대화 말하기 모두를 정확하게 전사할 수 있으며, 구어 언어 식별 (SLID) 을 수행할 수 있는 최초의 모델입니다.
• 구축된 N-그램 언어 모델: 저자들은 이 다섯 가지 언어에 대한 최초의 대규모 N-그램 언어 모델을 생성했으며, 의사 레이블의 품질과 전반적인 ASR 성능을 개선하는 데 있어 이들의 결정적인 역할을 입증했습니다.
• 저자원 환경에서의 의사 레이블링 검증: 이 연구는 대규모 의사 레이블링이 지식 증류 및 언어 모델 융합과 결합될 때, 고자원 언어뿐만 아니라 저자원 언어의 인식 정확도를 크게 향상시킨다는 것을 증명합니다.
• 오픈 릴리스: 모델 (SBPN-Base 및 SBPN-Large) 과 체크포인트는 해당 지역의 음운론적 및 문화적 풍경을 더 깊이 연구하기 위해 오픈 기반 모델로 공개되었습니다.

결과

• 성능 향상: SBPN 은 성능 격차를 크게 해소하여 단어 언어 모델 기준 대비 평균 워드 오류율 (WER) 29% 의 상대적 감소를 달성했습니다.
• 교사 모델과의 비교: SBPN-Large 모델은 N-그램 LM 과 융합된 모델조차 포함하는 단어 언어 모델 교사들보다 평균 16% 의 상대적 WER 감소로 더 우수한 성능을 보였습니다.
• 최첨단 비교: SBPN 모델은 Common Voice 및 Fleurs 와 같은 주요 벤치마크에서 기존 최첨단 다국어 모델 (AfriHuBERT, mHuBERT-147, MMS-1B 등) 보다 우수한 성능을 보였습니다. 특히 6 억 개 파라미터 SBPN-Large 는 나이지리아어에 대해 평균적으로 수십억 개 파라미터 모델보다 우수한 성능을 발휘했습니다.
• 견고성: SBPN-Large 는 말하기 속도가 증가함에 따라 성능이 급격히 저하된 단어 언어 모델 교사들에 비해, 빠른 대화 말하기 (정상 속도의 최대 2 배) 전사에서 우수한 안정성을 보여주었습니다.
• 언어 식별: 모델은 나이지리아 영어와 피진에 대해 전용 오디오 기반 및 텍스트 기반 언어 식별 모델보다 우수한 성능을 보이며, 구어 언어를 식별하는 데 있어 거의 완벽한 마이크로 평균 F1 점수 (대부분의 언어에서 100%) 를 달성했습니다.
• 부호화 도전: 성능이 향상되었음에도 불구하고, 논문은 부호화 기호 예측이 여전히 도전 과제임을 지적합니다. 특히 요루바어의 경우 부호화 기호가 있거나 없는 예측 간의 WER 격차가 여전히 크지만, 기준선에 비해 감소했습니다.

의의
이 논문은 SBPN 이 디지털 격차를 해소하고 나이지리아 언어의 언어적 연속성을 보장하기 위한 중요한 단계라고 주장합니다. "평균적인 교사" (단어 언어 모델) 가 엄격한 의사 레이블링과 언어 모델 융합을 통해 우월한 "학생" (다국어 모델) 으로 증류될 수 있음을 입증함으로써, 이 연구는 저자원 언어 처리를 위한 확장 가능한 프레임워크를 제공합니다. CPU 친화적 모델의 공개는 해당 지역의 언어학자와 연구자들에게 ASR 기술 접근을 민주화하여, 해당 지역의 풍부한 음운론적 및 문화적 다양성에 대한 추가적인 탐구를 장려하는 것을 목표로 합니다. 저자들은 SBPN 이 기초적인 단계이지만, 부호화 기호 예측 문제를 해결하고 나이지리아의 500 개 이상 언어를 더 많이 포괄하도록 프레임워크를 확장하기 위해 상당한 작업이 남아 있음을 겸손하게 인정합니다.