기술 요약: Mixture of Experts 및 Dynamic Downsampling을 통한 다국어 LLM 기반 ASR 성능 향상

1. 문제 정의

대규모 언어 모델(LLM)의 급격한 발전은 자동 음성 인식(ASR) 분야에 새로운 지평을 열었으며, 전통적인 통계적 언어 모델에 비해 우수한 의미론적 추론 및 문맥 이해 능력을 제공한다. 그러나 LLM을 ASR 시스템에 효과적으로 통합하는 것은 여전히 도전적인 과제이다. 초기 접근 방식들은 LLM을 단순히 후처리 도구나 외부 언어 모델로 활용했으나, 최근의 "인코더-프로젝터-LLM(Encoder–Projector–LLM)" 패러다임은 유망한 결과를 보여주었음에도 불구하고 다국어 환경에서 두 가지 결정적인 한계점을 노출했다:

1. 다국어 일반화(Multilingual Generalization): 음성 인코더를 다국어 LLM과 정렬하기 위해서는 다양한 음성적 및 언어적 패턴을 처리할 수 있는 유연한 매핑이 필요하다. 단순한 통합 방식은 견고한 교차 언어 적응성을 달 Achieve하는 데 실패하는 경우가 많다.
2. 모달리티 정렬(Modality Alignment): 기존의 프로젝터 설계는 일반적으로 고정된 다운샘플링 비율에 의존하여 음향 특징을 텍스트 토큰으로 압축한다. 이러한 경직성은 음성 속도 변화에 매우 민감하게 반응하며 명시적인 정렬 모델링이 부족하여, 오디오와 텍스트 시퀀스 길이가 자연스럽게 일치하지 않을 때 환각(hallucination) 현상과 성능 저하를 초래한다.

2. 방법론

저자들은 두 가지 주요 아키텍처 개선 사항인 Mixture of Experts (MoE) 프로젝터와 Continuous Integrate-and-Fire (CIF) 기반의 동적 다운샘플링 메커니즘을 통해 이러한 문제를 해결하는 새로운 프로젝터 기반 LLM-ASR 프레임워크를 제안한다.

2.1. 베이스라인 아키텍처

본 시스템은 표준적인 Encoder–Projector–LLM 패러다임을 따른다:

• 음성 인코더(Speech Encoder): 사전 학습된 Whisper-large-v3 인코더를 사용하여 음향 특징을 추출한다.
• LLM: 핵심 디코딩 모듈로 동결된(frozen) Qwen-2.5 7B 모델을 채택하여 그 의미론적 능력을 활용한다. 언어별 프롬프트가 수렴을 가속화하기 위해 사용된다.
• 프로젝터(Projector): 인코더와 LLM 사이를 연결하며, 음향 특징을 LLM의 임베딩 공간으로 매핑한다.

2.2. MoE 강화 프로젝터

교차 언어 적응성을 향상시키기 위해, 표준 선형 프로젝터 레이어를 MoE 아키텍처로 대체한다.

• 구조: 기존의 합성곱(convolutional) 레이어가 공유 백본 역할을 한다. 여기에 학습 언어의 수와 일치하는 전문가(expert) 서브 네트워크 세트가 추가된다.
• 메커니즘: 게이팅 메커니즘은 입력 음향 특징을 기반으로 각 전문가에 대한 활성화 가중치를 계산한다. 최종 출력은 선택된 전문가들의 가중치 합이다:
  $$y = \sum_{k=1}^{K} g_k(x)E_k(x)$$
  여기서 $g_k(x)$는 게이팅 가중치이고 $E_k(x)$는 전문가의 출력이다. 이를 통해 모델은 입력을 특화된 네트워크로 동적으로 라우팅하여 다양한 언어적 패턴을 더욱 효과적으로 모델링할 수 있다.

2.3. CIF 기반 모달리티 정렬

고정된 다운샘플링을 대체하기 위해, 저자들은 Continuous Integrate-and-Fire (CIF) 메커니즘을 통합한다.

• 메커니즘: CIF는 각 음향 프레임에 가중치(0에서 1 사이)를 할당한다. 이 가중치들이 누적되어 합계가 임계값(예: 1)을 초超過하면, 새로운 토큰의 검출을 알리는 "발화(fire)" 이벤트가 발생한다. 이는 입력 오디오에 따라 출력 길이를 동적으로 결정한다.
• 수정 사항: 표준 CIF는 베이스라인의 고정 비율인 4와 비교했을 때 과도한 압축(공격적인 다운샘플링)을 유발하여 정보 손실을 일으킬 수 있다. 이를 완화하기 위해 저자들은 **완화된 CIF 변형(relaxed CIF variant)**을 도입했다. 학습 목적 함수는 예측기가 타겟 토큰 시퀀스보다 $n$배 더 긴 출력 시퀀스를 생성하도록 권장하도록 수정되었다. 실험에서는 CIF의 음성 속도 변화 적응성을 유지하면서 베이스라인의 유효 다운샘플링 비율을 맞추기 위해 $n=4$를 선택하였다.

3. 실험 설정

• 데이터셋: 11개 언어(영어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 러시아어, 스페인어, 태국어, 베트남어)를 다루는 1,500시간의 다국어 데이터셋(Nexdata/MLC-SLM Challenge)으로 학습을 진행했다. 확장 실험에서는 CommonVoice, GigaSpeech2, LibriSpeech, MLS, VoxPopuli로부터 추가된 6,500시간을 활용했다(총 8,000시간).
• 평가: 성능은 인도메인(MLCSLM-dev) 및 아웃오브도메인(FLEURS-test, CommonVoice-test) 벤치마크에서 단어 오류율(WER)을 사용하여 측정되었다.
• 베이스라인: Whisper-large-v3 및 표준 LLM-ASR 베이스라인(단순 선형 프로젝터와 고정 다운샘플링을 사용하는 frozen encoder/LLM)과 비교하였다.

4. 주요 결과

실험 결과는 제안된 구성 요소들이 성능을 유의미하게 향상시킨다는 것을 입증한다:

• MoE의 영향: MoE 강화 프로젝터만 적용했을 때 MLCSLM-dev 세트의 WER이 23.26%(베이스라인)에서 16.10%로 감소하여, Whisper-large-v3(21.48%)를 능가하였으며 대부분의 언어에서 일관된 개선을 보였다.
• CIF의 영향: 고정 다운샘플링을 표준 CIF로 교체했을 때 과도한 압축으로 인해 초기에는 성능이 저하(18.95%)되었다. 그러나 수정된 CIF(완화된 변형)는 성능을 회복하여 MLCSLM-dev에서 15.27%의 WER을 달성했다.
• 결합된 성능: 제안된 전체 방법(MoE + Modified CIF)은 모든 데이터셋에서 최상의 결과를 달성했다:
  • MLCSLM-dev: 15.27%
  • CommonVoice-test: 13.87%
  • FLEURS-test: 10.46%
• 데이터 스케일링: 학습 데이터를 8,000시간으로 확장했을 때 아웃오브도메인 데이터셋에서 상당한 이득을 얻었으나(CommonVoice-test 9.86%, FLEURS-test 8.65%로 하락), 인도메인 WER은 약간 증가(15.45%)했다. 이는 본 방법론이 교차 도메인 일반화에 우선순위를 두고 있음을 시사한다.

5. 의의 및 주장

본 논문은 제안된 프레임워크가 더 정확하고 견고하며 일반화 가능한 LLM 기반 ASR 시스템을 구축하는 데 있어 중요한 진전이라고 주장한다. 저자들은 다음을 강조한다:

1. MoE 아키텍처는 다국어 ASR에 필요한 복잡하고 다양한 매핑을 처리하는 데 효과적이며, 표준 프로젝터에 비해 우수한 교차 언어 일반화 능력을 제공한다.
2. CIF를 통한 동적 다운샘플링은 정보 손실을 방지하기 위해 압축 비율을 신중하게 조정(완화된 변형을 통해)하는 조건 하에 모달리티 정렬에 필수적이다.
3. 잘 설계된 프로젝터와 정렬 전략은 다국어 시나리오에서 견고한 성능을 달리는 데 있어 LLM 백본 자체만큼이나 중요하다.

본 연구는 이러한 개선 사항들이 단순한 LLM 통합의 한계를 성공적으로 해결하여, 강력한 베이스라인 모델보다 실질적인 성능 향상을 이끌어냈으며, 더 신뢰할 수 있는 다국어 음성 인식 시스템을 위한 길을 열었다고 결론짓는다.