기술 요약: 다국어 ASR을 위한 SMEAR-MoE

1. 문제 정의

최근 자동 음성 인식(ASR)의 발전은 동결된 음성 인코더를 경량 프로젝터를 통해 대규모 언어 모델(LLM)에 연결하는 패러다임을 구축했습니다. 이러한 구조는 단일 언어 작업에는 효과적이지만, 다국어 환경에서는 심각한 병목 현상에 직면합니다. 단일 모놀리식(monolithic) 프로젝터는 유형론적으로 구별되는 언어들(예: 인도-아리아어족 vs 드라비다어족)에 필요한 다양한 음향-의미 매핑을 정렬하는 데 어려움을 겪으며, 이로 인해 표현상의 타협을 강요받게 됩니다.

기존의 대안들은 다음과 같은 트레이드오프를 가집니다:

• 언어별 프로젝터는 언어별 정확도를 높이지만, 교차 언어적 지식 공유를 저해합니다.
• 표준 혼합 전문가(Mixture-of-Experts, MoE) 설계는 전문화를 가능하게 하지만, 종종 불안정성 및 전문가 붕괴(expert collapse) 문제를 겪습니다. 이는 불량한 그래디언트 흐름으로 인해 소수의 전문가만이 학습을 독점하여 모델을 무력하게 만드는 현상입니다.

2. 방법론: SMEAR-MoE

저자들은 모든 전문가에게 조밀한 그래디언트 흐름을 보장하여, 붕괴를 방정하면서도 교차 언어적 공유를 가능하게 하도록 설계된 프로젝터 아키텍처인 SMEAR-MoE(Stabilized Mixture-of-Experts for ASR)를 제안합니다.

아키텍처 개요

SLAM-ASR 프레임워크를 기반으로, 이 시스템은 동결된 Whisper large-v3 인코더를 동결된 Gemma-2-9B LLM에 연결합니다. 학습 가능한 구성 요소는 프로젝터이며, 다음과 같이 재설계되었습니다:

1. 공유 다운샘플러(Shared Downsampler): 공유 컨볼루션 레이어($D$)가 인코더의 은닉 상태($H_S$)의 시퀀스 길이를 중간 표현($Z_S$)으로 축소합니다.
2. 전문가 MLP(Expert MLPs): 일련의 경량 다층 퍼셉트론(MLP) 전문가들($\{P_m\}_{m=1}^M$)이 $Z_S$ 상에서 동작합니다.
3. 안정화된 라우팅 (핵심 혁신):
   • 하드 게이팅(토큰 또는 발화당 top-$k$ 전문가를 선택)을 사용하는 표준 MoE와 달리, SMEAR-MoE는 **소프트 게이팅(soft gating)**을 채택합니다.
   • 게이팅 네트워크는 토큰 수준의 확률($G$)을 생성하며, 이는 발화 수준의 가중치($\bar{g}$)를 얻기 위해 평균화됩니다.
   • 특정 전문가로 라우팅하는 대신, 모델은 모든 전문가 파라미터를 $\bar{g}$에 따라 병합하여 **미분 가능한 가상 전문가(virtual expert)**를 구축합니다:
     $$\bar{W} = \sum_{m=1}^M \bar{g}_m W_m, \quad \bar{b} = \sum_{m=1}^M \bar{g}_m b_m$$
   • 이 가상 전문가는 입력에 적용됩니다. 결정적으로, 이는 모든 전문가가 자신의 게이팅 가중치에 비례하는 조밀한 그래디언트 신호를 받도록 보장하여, 일반적인 희소(sparse) MoE에서 흔히 발생하는 "전문가 붕괴" 현상을 제거합니다.

실험 설정

• 언어: 네 가지 중급 자원 인도 언어: 힌디어, 마라티어, 타밀어, 텔루구어.
• 데이터: IndicVoices 및 IndicSUPERB에서 추출한 언어당 약 250시간의 데이터로 학습되었습니다. VISTAR 벤치마크(Kathbath, MUCS, IndicTTS, Fleurs)에서 평가되었습니다.
• 베이스라인: 모놀리식 프로젝터, 정적 멀티 프로젝터 변형(언어별, 결합형, 밀집 앙상블) 및 표준 top-$k$ MoE 전략(발화 수준 및 토큰 수준)과 비교되었습니다.

3. 주요 결과

네 가지 테스트 세트에 대한 실험 결과, SMEAR-MoE가 전반적으로 가장 우수한 성능을 달encing함을 입증했습니다:

• 성능 향상: SMEAR-MoE는 단일 프로젝터 베이스라인 대비 최대 7.6%의 상대적 단어 오류율(WER) 감소를 달성했습니다. 이는 하드 게이팅 MoE 모델 및 정적 앙상블보다 일관되게 뛰어난 성능을 보였습니다.
• 효율성: 멀티 전문가 설계에도 불구하고, SMEAR-MoE는 단일 프로젝터 베이스라인과 유사한 런타임 효율성을 유지합니다.
  • 실시간 계수(Real-Time Factor, RTF): SMEAR-MoE는 단일 프로젝터(0.196)와 거의 동일한 0.198의 RTF를 달성했습니다.
  • 반면, 밀집 앙상블(모든 전문가의 정적 평균)은 더 높은 파라미터 수로 인해 더 느립니다(RTF 0.243).
• 파라미터 효율성: MoE 설계의 총 파라미터는 약 52M이며, 이는 동적 전문화를 제공하면서도 밀집 앙상블(~72M)보다 효율적입니다.

4. 라우팅 동작 분석

이 논문의 중요한 발견은 학습된 라우팅의 해석 가능성입니다. 게이팅 메커니즘은 명시적인 지시 없이도 언어학적으로 의미 있는 전문화를 자발적으로 학습합니다:

• 인도-아리아어족 (힌디어 및 마라티어): 데바나가리 문자를 공유하고 언어 계통이 같은 이 언어들은 주로 동일한 전문가(예: 전문가 4)를 선호하며, 이는 모델이 이들의 음향적 및 구조적 공통점을 활용함을 나타냅니다.
• 드라비다어족: 타밀어는 일관되게 별도의 특화된 전문가로 라우팅됩니다. 텔루구어는 역시 드라비다어족이지만, 타밀어와 구별되는 문자와 음운론적 분기를 반영하여 더 분산된 라우팅 패턴을 보입니다.

5. 의의 및 주장

본 논문은 SMEAR-MoE가 다국어 LLM 기반 ASR의 핵심 병목 현상인 프로젝터 안정성을 해결한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 전문가 붕괴 완화: 파라미터 병합을 통해 조밀한 그래디언트 흐름을 보장함으로써, SMEAR-MoE는 저/중급 자원 환경에서 발생하는 일반적인 MoE의 불안정성과 전문가 미활용 문제를 방지합니다.
2. 확장성 및 견고성: 전문가의 전문화와 교차 언어적 공유 사이의 균те를 맞추는 확장 가능한 솔루션을 제공하며, 모놀리식 및 정적 앙상블 접근 방식보다 뛰어난 성능을 보입니다.
3. 해석 가능성: 모델이 알려진 언어 가족과 일치하는 라우팅 전략을 학습한다는 점은, 안정적인 멀티 전문가 프로젝터가 다양한 언어를 ASR 시스템이 어떻게 처리하는지에 대한 해석 가능한 통찰을 제공할 수 있음을 시사합니다.

저자들은 안정적인 멀티 전문가 프로젝터가 LLM 기반의 확장 가능하고 효율적이며 견고한 다국어 ASR 시스템을 개발하기 위한 핵심 방향이라고 결론짓습니다.