기술 요약: MEUSLI – LLM 기반 ASR 및 그 이상의 기능을 위한 다국어 프로젝터

1. 문제 정의

대규모 언어 모델(LLM)이 텍스트 기반 자연어 처리(NLP)를 혁신했지만, 자연스러운 멀티모달 상호작용을 위해 이러한 능력을 음성으로 확장하는 것은 여전히 도전적인 과제입니다. 전통적인 음성 지원 LLM은 계단식 파이프라인(ASR $\to$ LLM $\to$ TTS)에 의존하며, 이는 오류 전파, 부가적인 언어적 단서(paralinguistic cues)의 손실, 그리고 지연 시간 증가 문제를 야기합니다. 최근의 통합 음성 언어 모델(SLM)들은 훈련 가능한 프로젝터를 통해 음성 인코더를 LLM에 직접 연결하려고 시도하고 있으나, 기존 솔루션들은 주로 영어 중심적이거나, 고자원 언어에 국한되어 있으며, 독점적인 데이터와 가중치에 의존한다는 한계가 있습니다. 따라서 저자원 언어를 효과적으로 지원하고 다양한 유럽 언어를 위한 재현 가능하며 확장 가능한 아키텍처를 제공할 수 있는 오픈 사이언스 기반의 다국어 SLM에 대한 상당한 격차가 존재합니다.

2. 방법론

본 논문은 사전 학습된 음성 인코더와 오픈 소스 다국어 LLM을 연결하도록 설계된 프레임워크인 MEUSLI(Multilingual EU Speech LInear projector)를 소개합니다.

• 아키텍처: MEUSLI는 SLAM-ASR 아키텍처를 채택합니다. 고차원 음향 특징으로 오디오를 변환하기 위해 동결된(frozen) Whisper-large-v3-turbo 인코더를 활용합니다. 이러한 특징들은 경량 **선형 프로젝터(linear projector)**를 통해 LLM의 임베딩 공간으로 매핑됩니다. 사용된 LLM은 EuroLLM 1.7B-Instruct, EuroLLM 9B, 그리고 Apertus-8B입니다. 인코더와 LLM은 모두 훈련 중 동결 상태를 유지하며, 프로젝터(및 선택적으로 LLM에 적용되는 LoRA 어댑터)만 훈련됩니다.
• 프로젝터 설계: 프로젝터는 ReLU 활성화 함수가 포함된 단일 은닉층과 회귀층으로 구성되며, 약 1,731만 개의 훈련 가능한 파라미터를 포함합니다. 저차원 적응(Low-Rank Adaptation, LoRA)은 랭크 $r=8$ 및 스케일링 계수 $\alpha=32$로 LLM에 적용되어 138만 개의 추가 튜닝 가능한 파라미터를 도입합니다.
• 훈련 데이터: 모델은 28개의 유럽 언어(영어, 프랑스어, 독일어, 이탈리아어 및 브르타뉴어, 몰타어, 바스크어와 같은 저자원 언어 포함)에 걸친 7,622시간의 오디오로 훈련됩니다. 데이터는 Common Voice 17.0, FLEURS, VoxPopuli에서 가져왔습니다. 데이터 불균형을 관리하기 위해 각 데이터셋당 언어별 오디오 샘플은 10만 개로 제한됩니다.
• 훈련 구성: 오디오는 128-빈 멜 스펙트로그램(mel spectrogram)으로 변환됩니다. 음성 임베딩은 $k=5$의 비율로 다운샘플링됩니다. 훈련에는 Adam 옵티마이저를 사용하며, 초기 학습률은 $1 \times 10^{-4}$, 선형 웜업(warmup)은 1,000 스텝, LLM 출력에 대한 교차 엔트로피 손실(cross-entropy loss)을 사용합니다.
• 지속 학습(Continual Learning): 새로운 언어를 추가할 때 발생하는 파괴적 망각(catastpping forgetting) 문제를 해결하기 위해, 저자들은 새로운 언어에 대해 미세 조정하는 동안 기존 언어의 샘플 버퍼를 끼워 넣는 데이터 리플레이(data replay) 전략을 사용합니다.

3. 주요 기여

1. 최초의 오픈 다국어 프로젝터 제품군: MEUSLI는 Whisper를 오픈 소스 다국어 LLM에 연결하는 최초의 완전 오픈 소스 프로젝터 제품군이며, 28개의 유럽 언어를 지원합니다. 프로젝터들은 HuggingFace에 공개됩니다.
2. 저자원 적응: MEUSLI가 저자원 언어에 대한 미세 조정을 위한 강력한 초기화 지점 역할을 한다는 것을 입증합니다. 이는 다국어 사전 훈련이 매우 적은 데이터(예: 브르타뉴어 2.5시간, 알바니아어 46분)만으로도 효과적인 부트스트래핑을 가능하게 함을 보여줍니다.
3. 새로운 언어를 위한 지속 학습: 저자들은 데이터 리플레이와 같은 최신 지속 학습 방법론을 사용하여, 이전에 학습된 언어의 성능을 무너뜨리지 않고도 새로운 언어를 추가할 수 있음을 보여줍니다.
4. ASR을 넘어: 이 프레임워크는 음성 번역(ST) 및 **주제 식별(TID)**로 확장됩니다. 저자들은 다국어 프로젝터가 언어-태스크 쌍당 불과 몇 시간의 태스크 특화 감독(supervision)만으로도 이러한 작업에 적응할 수 있음을 입증합니다.

4. 결과

• 다국어 ASR 성능: MEUSLI는 28개 언어에 대해 강력한 단어 오류율(WER) 결과를 달성했습니다. 고자원 언어는 낮은 WER을 보였으며, 중자원 언어는 일관된 개선을 보였습니다. 매우 저자원인 언어(예: 브르타뉴어, 아일랜드어)는 여전히 도전적이지만, MEUSLI는 이러한 시나리오에서 처음부터 학습된 단일 언어 시스템보다 우수한 성능을 보였습니다.
• 미세 조정 효율성:
  • 브르타뉴어 (2.5시간 데이터): MEUSLI를 미세 조정하면 WER이 95.7%(다국어 베이스라인)에서 24.5%(특화된 인코더 사용 시)로 감소하여, 처음부터 학습된 단일 언어 시스템(27.7%)보다 우수한 성능을 보였습니다.
  • 알바니아어 (46분 데이터): MEUSLI 미세 조정은 75.61% WER을 달이트한 반면, 처음부터 학습된 프로젝터는 수렴에 실패했습니다(389.12% WER).
• 파괴적 망각 완화: 우크라이나어로 단순 미세 조정을 수행했을 때 베이스 언어(예: 스페인어, 폴란드어)의 WER이 크게 악화되었습니다(예: 스페인어의 경우 4.09%에서 90.34%로). 데이터 리플레이 버퍼(언어당 1,000개 샘플)를 사용하자 베이스 언어의 성능이 원래 수준에 가깝게 복구되었으며, 동시에 우크라이나어 성능(17.56% WER)도 유지되었습니다.
• 멀티태스크 전이: ST 및 TID로 확장하여 언어-태스크 쌍당 5시간 미만의 데이터를 사용했을 때, MEUSLI로 부트스트래핑된 미세 조정은 처음부터 학습한 방식보다 유의미하게 높은 성능을 보였습니다. 예를 들어, 핀란드어의 경우 ASR WER이 53.0%(처음부터 학습)에서 18.6%(MEUSLI)로 감소했고, 주제 식별(Topic ID) 정확도는 57.5%에서 **81.7%**로 상승했습니다.

5. 의의 및 주장

본 논문은 MEUSLI가 다국어 음성 이해 작업에 대한 견고한 토대를 제공하며, 확장 가능하고 포용적인 오픈 소스 SLM(SpeechLLM)을 지원한다고 주장합니다.

• 확장성: 이 접근 방식은 다국어 사전 훈련이 효과적인 지식 전이를 가능하게 하여, 극도로 제한된 데이터만으로도 보이지 않는 언어에 대해 기능적인 ASR 시스템을 부트스트래핑할 수 있음을 증명합니다.
• 개방성: 완전한 오픈 소스 모델(Whisper, EuroLLM, Apertus)과 오픈 데이터셋을 사용함으로써, 현재 SLM 문헌의 투명성 및 재현성 부족 문제를 해결합니다.
• 다양성: 이 시스템은 단순히 전사(transcription)에 국한되지 않습니다. 데이터가 부족한 환경에서 번역, 분류와 같은 다른 음성 처리 작업을 위한 강력한 시작점 역할을 합니다.

저자들은 언어별 미세 조정이 ASR에 있어 여전히 유리할 수 있지만, 다국어 미세 조정은 다운스트림 이해 작업에 대한 강력한 공유 의미 표현을 제공하여 범용적인 LLM 기반 음성 기술의 기반을 마련한다고 결론짓습니다.