기술 요약: Omnilingual ASR

문제 정의

고자원 언어에 대한 자동 음성 인식(ASR) 기술은 상당한 발전을 이루었음에도 불구하고, 체계적인 문자 시스템을 갖춘 4,000개 이상의 언어들이 여전히 지원되지 않고 있습니다. 현재의 접근 방식은 두 가지 주요 장벽에 직면해 있습니다:

1. 확장성 및 비용: 상대적으로 작은 규모의 학습 데이터셋에 투입되는 엔지니어링 및 데이터 수집 노력으로 인해, 수천 개의 언어로 범위를 확장하는 것이 경제적으로 불가능하다고 간주됩니다.
2. 구조적 한계: 기존 시스템은 고정된 언어 집합에 의존하는 경우가 많아, 전문가 주도의 미세 조정(fine-tuning) 없이 새로운 언어를 추가하기 어렵습니다. 이는 많은 공동체가 접근하기 어려운 과정입니다.
3. 윤리적 우려: 세심한 조정이나 지역적 주체성 없이 기술을 저자원 공동체에 배포할 경우, 해당 공동체의 역량을 약화시킬 위험이 있습니다.

방법론

데이터 구축

저자들은 지금까지 가장 언어적으로 다양한 ASR 코퍼스를 구성하였습니다. 이는 두 가지 주요 구성 요소로 이루어집니다:

• 비라벨 사전 학습 데이터: 자기 지도 학습 기반의 사전 학습을 위해 1,239개 언어에 걸친 380만 시간의 음성(언어 식별 정보가 없는 46만 시간 포함)을 수집했습니다.
• 라벨링된 미세 조정 데이터: 1,690개 언어에 걸친 177,700시간의 음성과 전사(transcription) 쌍을 포함합니다.

라벨링된 데이터는 다음을 통합합니다:

• 공공 데이터셋: LibriSpeech, Common Voice, VoxPopuli, FLEURS, MLS 등으로부터 확보한 약 15,000시간의 데이터.
• 내부 및 라이선스 데이터: 내부 컬렉션 및 상업적 라이선스(예: IARPA Babel)에서 확보한 약 150,000시간의 데이터.
• 커뮤니티 소스 및 위탁 데이터: 지역 조직(예: African Next Voices, Lanfrica/Naijavoices)과의 파트너십 및 "언어 기술 파트너 프로그램(LTPP)"을 포함하는 핵심 요소입니다. 여기에는 **Omnilingual ASR 코퍼스(OASRC)**가 포함되며, 이는 348개 언어에 걸친 3,350시간의 맞춤형 컬렉션입니다. 기존의 많은 데이터셋과 달리, OASRC는 문화적 관련성과 참여를 보장하기 위해 대본을 읽는 방식이 아닌 설문 조사 스타일의 프롬프트를 통해 유도된 자연스러운 비유창성(disfluencies)을 포함한 자발적 발화를 우선시합니다.

모델 아키텍처

Omnilingual ASR은 제로샷 일반화(zero-shot generalization)를 위해 설계된 인코더-디코더 아키텍처를 활용합니다:

• 인코더: 자기 지도 사전 학습을 통해 강력하고 교차 언어적인 음성 표현을 추출하도록 설계된 70억 개의 파라미터를 가진 대규모 트랜스포머 네트워크입니다.
• 디코더: 두 가지 변형이 제안되었습니다:
  1. CTC 모델: 선형 레이어를 사용하여 인코딩된 프레임을 문맥적 확률로 매핑하며, 연결주의 시간적 분류(Connectionist Temporal Classification, CTC) 손실을 사용합니다.
  2. LLM-ASR 모델: 대규모 언어 모델(LLM)에서 영감을 얻은 디코더와 교차 엔트로피 손실을 채택했습니다. 이 변형은 추론 시 언어 코드를 조건화하여 저자원 환경에서 흔히 발생하는 실패 모드인 스크립트 모호성을 해결할 수 있습니다.

제로샷 능력

라벨링된 데이터가 없는 언어를 처리하기 위해, LLM-ASR 모델은 제로샷 추론 기능을 확장했습니다. 추론 시 새로운 언어에 대한 몇 가지 인컨텍스트 예시(음성-전사 쌍)를 제공함으로써, 모델은 추가 학습 없이도 이전에 본 적 없는 언어에 대해 ASR을 수행할 수 있습니다.

모델 제품군

다양한 배포 제약 조건을 수용하기 위해, 모델은 다음과 같은 제품군으로 출시됩니다:

• 경량 변형: 저전력 기기에 적합한 3억 개(300M)의 파라미터 모델.
• 대형 변형: 최대 정확도에 최적화된 70억 개(7B)의 파라미터 모델.

주요 결과

지원 언어 성능

• 규모: 이 시스템은 500개 이상의 언어를 포함하여 1,660개 이상의 언어를 지원하며, 이는 이전에 어떤 ASR 시스템에 의해서도 서비스되지 않았던 언어들을 포함합니다.
• 정확도:
  • 고자원 및 중자원 카테고리(>10시간의 데이터): 90%의 언어가 5 미만의 문자 에러율(Character Error Rate, CER)을 달성했습니다.
  • 저자원 카테고리(<10시간의 데이터): 34~36%의 언어가 CER 10 미만 임계값을 충족했습니다.
  • 7B LLM-ASR 모델은 평가된 1,570개 언어 전체에서 평균 7.1의 CER을 달성했으며, **78%**의 언어가 CER ≤ 10을 기록했습니다.
• 비교: Omnilingual ASR은 여러 벤치마크(FLEURS-102, MLS, MMS-Lab)에서 Whisper(large-v3), USM, MMS를 포함한 강력한 베이스라인 모델들을 능가합니다. 특히, 300M CTC 변형은 평균 CER 측면에서 Whisper-large-v3보다 뛰어난 성능을 보였습니다.

제로샷 성능

• 보지 못한 언어에 대해, 제로샷 LLM-ASR 모델(10개의 컨텍스트 예시 포함)은 평균 CER을 26.3%(베이스라인 CTC)에서 **14.4%**로 낮추었습니다.
• 제로샷 모델은 스크립트 혼동 오류를 크게 줄여, 스크립트 오인식이 빈번하게 발생하는 FLEURS-102 및 CV22 데이터셋에서 비제로샷 베이스라인보다 우수한 성능을 보였습니다.

미세 조정 효율성

• 저자원 언어(5~10시간의 데이터)에 대한 300M 및 1B 모델의 언어 특화 미세 조정은 7B OmniASR 모델과 경쟁할 만한 CER을 생성하며, 종종 CER < 5를 달성합니다.
• OmniASR CTC 체크포인트를 미세 조정의 시드로 사용하는 것은 표준 w2v2 체크포인트를 사용하는 것보다 더 효율적이며, 더 적은 학습 단계(5k vs 30k)만으로 수렴합니다.

의의 및 주장

본 논문은 Omnilingual ASR을 고정된 전문가 주도 시스템에서 커뮤니티 주도의 확장성으로 이동하는 패러다임의 전환으로 규정합니다.

1. 접근의 민주화: 공동체가 데이터를 제3자에게 넘기거나 방대한 컴퓨팅 자원을 요구하지 않고도, 단 10개의 쌍을 이룬 오디오-텍스트 샘플만으로 언어를 추가할 수 있게 함으로써 소외된 공동체의 장벽을 낮춥니다.
2. 과학적 기여: 1,600개 이상의 언어를 포함하는 거대하고 다양한 데이터셋으로 학습하는 것이 광범위한 일반화를 위한 강력한 표현을 학습할 수 있음을 입증함으로써, 저자원 언어가 완전히 별도의 자원 집약적인 개발 파이프라인을 필요로 한다는 통념에 도전합니다.
3. 오픈 소스 및 협업: 모델, 학습 파이프라인, 코퍼스를 오픈 소스 산물로 공개하는 것은 단순한 투명성을 넘어, 혁신의 권력을 재분배하여 지역적 적응과 통제를 가능하게 하려는 개입으로 프레임화됩니다.
4. 실질적 배포: 7B 및 300M 변형의 가용성은 고성능 클라우드 환경과 저전력 비연결 기기 모두에서의 배포를 가능하게 하여, ASR의 적용 범위를 연구에서 커뮤니티 주도의 아카이브 및 접근성 도구로 넓힙니다.

저자들은 비록 성능 격차가 존재하고 고위험 상황에서는 인간의 검토가 여전히 필요하지만, Omnilingual ASR이 언어 기록, 보존, 그리고 세계의 언어적 다양성을 위한 음성 기반 인터페이스 개발을 위한 확장 가능한 토대를 제공한다고 결론짓습니다.