기술 요약: MoLGE – 대규모 다국어 음성 인식을 위한 효율적 확장을 위한 언어 그룹 전문가 혼합 방식 (Mixture of Language Group Experts)

문제 정의

수백 개의 언어를 단일 모델 내로 확장하는 자동 음성 인식(ASR)은 언어 확장성과 자원 접근성 사이의 근본적인 긴장 상태에 직면해 있습니다. 기존 방식은 모델 용량(수십억 개의 파라미터)과 학습 데이터(수백만 시간)를 균일하게 확장하는 데 의존하며, 이는 계산적으로 매우 부담스럽고 실질적으로 불가능한 경우가 많습니다. 또한, 이러한 밀집형(dense) 모델은 **다국어의 저주(curse of multilinguality)**를 겪으며, 고정된 모델 용량이 다양한 언어로 희석되어 특히 저자원 언어에서 성능 저하를 초러합니다. 기존의 전문가 혼합(Mixture-of-Experts, MoE) 및 매개변수 효율적 미세 조정(PEFT) 방법은 일반적으로 개별 언어에 전문가를 할당하는데, 이 전략은 수백 또는 수천 개의 언어를 다룰 때 확장성이 떨어집니다. 또한, 이전 연구들은 언어적 관계의 구조적 특성을 간과하고, 언어를 유전적, 형태론적, 계통적 유사성을 활용하는 독립적인 엔티티로 취급하는 경향이 있습니다.

방법론: MoLGE

저자들은 언어적 관계를 전문가 할당 메커니즘에 직접 통합하여 구조화된 언어 전문화를 가능하게 하도록 설계된 프레임워크인 **MoLGE (Mixture of Language Group Experts)**를 제안합니다. 이 접근 방식은 음성 자기지도 학습 모델(S3M)을 기반으로 하며, 두 가지 주요 설계 원칙을 포함합니다:

1. 계층적 음성 지향 적응 (Hierarchical Speech-Oriented Adaptation)

MoLGE는 S3M 아키텍처를 하위 음향 계층과 상위 언어 계층으로 분해하고, 각 계층에 서로 다른 적응 전략을 적용합니다:

• 하위 계층 (공유 음향): 하위 계층은 언어 중립적인 보편적 음향 특징을 포착하므로, MoLGE는 여기에 공유 저계층 적응(shared Low-Rank Adaptation, LoRA) 모듈을 적용합니다. 이는 라우팅 오버헤드를 도입하지 않고 글로벌 음향 변동성을 모델링합니다.
• 상위 계층 (언어 특화 전문가): 상위 계층은 언어 특화 정보를 인코딩합니다. MoLGE는 이러한 계층에만 **LoRA 전문가 혼합(Mixture of LoRA Experts, MoLE)**을 배치합니다.
• 준언어적 요인을 위한 공유 전문가: 언어 전반에 걸쳐 불변하는 준언어적 요인(예: 화자 정체성, 발화 속도)을 처리하기 위해 **공유 전문가(shared expert)**를 도입합니다. 이를 통해 언어 특화 전문가가 뚜렷한 언어적 표현에 더 효과적으로 집중할 수 있게 합니다.
• 주의 집중 풀링 라우터 (Attentive Pooling Router): 음성 신호는 시간적으로 불균형한 정보(예: 무음)를 포함하고 있으므로, 프레임워크는 주의 집중 통계적 풀링(Attentive Statistical Pooling, ASP) 분류기를 라우팅 메커니즘으로 채택합니다. 이는 중요한 음향 영역을 강조하여 라우터가 전문가 할당을 위한 정보가 풍부한 표현을 식별하도록 보장합니다.

2. 구조화된 언어 그룹화 전략

MoLGE는 전문가를 개별 언어에 할당하는 대신, 관련 언어들을 클러스터링하고 각 그룹에 공유 전문가를 할당합니다. 본 논문은 최적의 언어적 사전 지식 주입을 결정하기 위해 세 가지 범주에 걸친 6가지 그룹화 전략을 조사합니다:

• 암시적 그룹화 (Implicit Grouping): 사전 정의된 레이블 없이 라우터의 학습된 행동으로부터 자연스럽게 발생하는 그룹화입니다. 프레임 레벨(토큰 레벨) 및 발화 레벨 라우팅 변형이 포함됩니다.
• 임베딩 가이드 그룹화 (Embedding-Guided Grouping): 사전 학습된 음성 모델의 고차원 표현으로부터 클러스터를 도출합니다. 두 가지 변형이 테스트되었습니다:
  • SSL 기반: 일반적인 자기지도 학습 모델(OmniASR-W2V 1)의 임베딩 사용.
  • LID 기반: 언어 식별 모델(MMS-LID-4017)의 임베딩 사용.
  • 클러스터링은 Ward의 연결 방식을 사용하는 응집 계층 클러스터링(Agglomerative Hierarchical Clustering, AHC)을 통해 수행됩니다.
• 지식 가이드 그룹화 (Knowledge-Guided Grouping): 큐레이션된 언어 데이터베이스를 통합한 URIEL+ 언어 벡터를 사용하여 클러스터를 구성합니다. 두 가지 변형이 테스트되었습니다:
  • 지리적 (Geographic): 공간적 근접성 및 지역적 접촉 기반.
  • 계통적 (Genetic): 계통적 관계(언어족 및 하위 언어족) 기반.

3. 2단계 밀집-투-희소 업사이클링 (Two-Stage Dense-to-Sparse Upcycling)

이 프레임워크는 LLM 업사이클링에서 영감을 얻은 2단계 훈련 전략을 활용합니다:

1. 밀집 훈련 (Dense Training): 견고한 글로벌 표현을 구축하기 위해 사전 학습된 S3M 상단에서 밀집 ASR 모델을 훈련합니다.
2. 희소 업사이클링 (Sparse Upcycling): MoLGE 프레임워크를 도입하여 밀집 모델을 희소하고 매개변수 효율적인 아키텍처로 변환합니다. LoRA는 모든 선형 계층(어텐션 프로젝션 및 피드 포워드 네트워크)에 적용되어 사전 정의된 언어 그룹 간의 전문가 전문화를 가능하게 합니다.

주요 기여

1. MoLGE 프레임워크: 균일한 확장을 넘어 언어 구조를 전문가 전문화를 위한 아키텍처 사전 지식으로 포함하는, 효율적이고 확장 가능한 대규모 다국어 ASR 프레임워크를 제공합니다.
2. 음성 인식형 아키텍처: 계층적 적응, 준언어적 요인을 위한 공유 전문가, 주의 집중 풀링 라우터를 통해 LoRA 및 MoE에 음성 모델링 원칙을 통합했습니다.
3. 그룹화에 대한 체계적 연구: 495개 언어를 대상으로 6가지 언어 그룹화 전략을 종합적으로 평가했습니다. 이 연구는 명시적 언어적 사전 지식(지식 가이드 및 임베딩 가이드)이 암시적 또는 무작위 그룹화보다 일관되게 우수한 성능을 보이며, 그 이점이 대상 언어 공간의 복잡성에 따라 확장됨을 입증했습니다.

결과

실험은 LAMA-UT(로마자 표기법을 통한 음성 모델링)와 Omnilingual ASR(언어별 스크립트를 통한 철자 모델링)이라는 두 가지 백본 모델을 사용하여 495개 언어를 아우르는 벤치마크에서 수행되었습니다.

• 성능 향상: MoLGE는 최소한의 학습 가능 매개변수 증가로 밀집형 다국어 베이스라인을 지속적으로 능가했습니다.
  • 음성 영역 (LAMA-UT): 문자 에러율(CER)에서 11.5% 상대적 감소를 달성했습니다.
  • 철자 영역 (OmniASR): CER에서 19.0% 상대적 감소를 달성했습니다.
• 그룹화의 효과성: 명시적 그룹화 전략(특히 LID 기반 및 지리적 지식 가이드 방식)은 암시적 또는 무작위 그룹화보다 상당한 개선을 보였습니다. 이러한 이점은 철자 영역에서 더 두드러졌으며, 이는 구조화된 언어 전문화가 복잡한 언어 구조를 모델링하는 데 필수적임을 시사합니다.
• 저자원 일반화: MoLGE는 저자원 언어와 고자원 언어 간의 성능 격차를 크게 좁혔습니다. 철자 영역에서 저자원 언어의 CER은 42%에서 30%로 떨어졌으며, 신뢰 구간이 좁아져 자원 수준에 관계없이 더 일관된 성능을 나타냈습니다.
• 절제 연구 (Ablation Studies): 공유 전문가 또는 계층적 적응을 제거하면 성능 저하가 발생하여, 효과적인 음향 모델링 및 전문가 전문화를 위한 이 구성 요소들의 필요성을 확인했습니다.

의의 및 주장

본 논문은 구조화된 언어 전문화가 다국어 ASR 시스템의 언어 커버리지를 대규모로 확장하는 효과적인 경로를 제공한다고 주장합니다. 언어 관계에 기반한 구조적 아키텍처 설계로 전환함으로써, MoLGE는 언어 확장성과 자원 접근성 사이의 긴장을 완화합니다.

저자들은 다음과 같이 상정합니다:

1. 언어적 사전 지식의 중요성: 특히 대규모 다국어 환경에서는 데이터 기반의 라우터 학습에만 의존하는 것보다 명시적으로 언어 구조를 활용하는 것이 더 효과적입니다.
2. 복잡도 의존적 이점: 언어 인지 모델링의 효용성은 대상 언어 공간(예: 철자 vs 음성)의 복잡성이 높을수록 증가합니다.
3. 지식 전이: 공유된 언어적 특성에 따라 언어를 그룹화하면 지식 전이가 용이해져, 저자원 언어가 동일한 전문가 그룹 내의 관련 고자원 언어로부터 학습 신호를 받는 데 도움을 줍니다.

궁극적으로, 이 연구는 수십억 개의 파라미터를 가진 밀집 모델을 확장하는 과도한 계산 비용 없이도, 대규모 다국어 음성 인식을 가능하게 하는 효율적이고 확장 가능한 통합 프레임워크를 제시합니다.