MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting

기술 요약: MiLorE-SSL

문제 정의
자기지도 학습(Self-supervised learning, SSL)은 음성 표현 학습에 혁신을 가져왔으나, 다국어 SSL 모델은 상당한 제약에 직면해 있습니다. 기존 모델은 일반적으로 사전 학습 중에 접했던 언어들로 제한됩니다. 새로운 언어를 통합하려면 대개 처음부터 다시 수행해야 하는 계산 비용이 많이 드는 재학습 과정이 필요합니다. 또는 완화 전략 없는 순차적 학습은 이전에 학습된 언어의 성능이 심각하게 저하되는 "파괴적 망각(catastrophic forgetting)" 현상을 초래합니다. 데이터 재생(data replay)과 같은 기존 솔루션은 방대한 과거 코퍼스와 저장 공간을 요구하고, 어댑터 기반 모듈은 언어 수가 증가함에 따라 확장성이 떨어지는 반면, 이전 지식을 버리지 않으면서도 과도한 비용을 들이지 않고 효율적인 지속적 다국어 학습을 가능하게 하는 프레임워크가 필요합니다.

방법론
저자들은 SSL 모델의 지속적인 확장을 위해 설계된 경량 프레임워크인 MiLorE-SSL(Mixture of LoRA Experts)을 제안합니다. 이 아키텍처는 표준 Transformer 기반 SSL 모델(구체적으로 HuBERT)을 수정하여, 각 블록의 표준 피드 포워드 네트워크(FFN)를 MiLorE 모듈로 교체합니다. 이 모듈은 세 가지 구성 요소로 이루어집니다:

1. 동결된 백본(Frozen Backbone): 원래의 FFN 가중치($W_0$)는 이전의 다국어 지식을 보존하기 위해 동결된 상태로 유지됩니다.
2. LoRA 전문가(LoRA Experts): 저계수 행렬($\Delta W = BA$)으로 매개변수화된 $N$개의 전문가 집합(Low-Rank Adaptation, LoRA 사용)입니다. 이는 최소한의 학습 가능한 파라미터를 도입합니다.
3. 소프트 라우터(Soft Router): 입력 은닉 상태(hidden states)를 기반으로 소프트 라우팅 가중치($p$)를 계산하는 학습 가능한 메커니즘입니다. 하드 라우팅(hard routing)과 달리, 이는 입력이 여러 전문가에 분산될 수 있도록 하여 명시적인 언어 식별자 없이도 유연한 지식 공유와 특성화를 촉진합니다.

모듈의 출력은 동결된 백본의 출력과 전문가 출력들의 가중 합으로 계산됩니다: $o = W_0h_{in} + \sum_{i=1}^{N} p_i \cdot E_i(h_{in})$.

파괴적 망각을 더욱 완화하기 위해, 본 프레임워크는 **재생 전략(replay strategy)**을 채택합니다. 방대한 과거 코퍼스에 의존하는 대신, 새로운 언어를 학습하는 동안 기존 언어에서 무작위로 샘플링된 작은 데이터 서브셋(예: 100시간)을 활용합니다. 이를 통해 모델은 새로운 패턴에 적응하면서도 이전의 언어적 분포를 다시 검토할 수 있습니다.

주요 기여

• 새로운 프레임워크: MiLorE-SSL은 SSL 모델의 지속적인 다국어 확장을 위해 LoRA와 소프트 Mixture-of-Experts(MoE) 메커니즘을 결합한 최초의 프레임워크입니다.
• 소프트 전문가 라우팅: 이 설계는 지식 공유와 언어 간 특성화 사이의 균형을 맞추는 소프트 라우팅 메커니즘을 도입하여 교차 언어 간섭을 줄입니다.
• 효율적인 망각 완화: 최소한의 기존 언어 데이터를 사용하는 재생 전략의 통합은 전체 역사적 데이터셋에 대한 접근 없이도 망각을 줄여줍니다.
• 파라미터 효율성: 이 방식은 전체 파라미터의 단 **2.14%**만을 사용하여 높은 성능을 달-성합니다.

실험 결과
실험은 단일 언어 자동 음성 인식(ASR) 및 언어 식별(LID) 작업에 초점을 맞춘 ML-SUPERB 벤치마크에서 수행되었습니다. 연구에서는 영어로 사전 학습된 HuBERT-Large 모델을 사용하여 만다린(Mandarin)과 광둥어(Cantonese)를 지속적으로 학습시켰으며, 영어 데이터를 재생에 사용했습니다.

• 성능 향상: MiLorE-SSL은 베이스라인인 영어 전용 HuBERT-Large와 다국어 mHuBERT-147을 모두 크게 앞질렀습니다. CommonVoice 데이터셋에서 mHuBERT-147이 각각 18.5%, 15.5%, 14.8%의 CER을 기록한 것에 비해, MiлоRE-SSL은 영어 10.3%, 만다린 10.7%, 광둥어 11.0%로 CER을 낮추었습니다.
• 언어 식별: 모델은 평균 99.40%의 LID 정확도를 달성하여 mHuBERT-147(97.21%)과 HuBERT-Large(94.94%)를 능가했습니다.
• 절제 연구(Ablation Studies): MoE 구성 요소나 재생 전략을 제거하면 모든 작업에서 성능 저하가 발생했습니다. 특히, MoE를 제거했을 때 전문가 특성화의 필요성이 확인되었고, 재생을 제거했을 때 주로 영어 성능이 저하되어 영어 성능 유지에 대한 역할을 입증했습니다.
• 전문가 활성화: 전문가 활성화 패턴 분석 결과, 낮은 층은 언어 독립적인 특징을 인코딩하는 반면, 중간 및 높은 층은 언어 특이적인 분기(divergence)를 보이는 것으로 나타나, 공유 및 구별된 언어적 특징을 모델링하는 데 있어 MoE 구조의 유용성을 입验证했습니다.

의의 및 주장
본 논문은 MiLorE-SSL이 SSL 모델의 계산 효율성과 다국어 능력 사이의 트레이드오프를 효과적으로 해결한다고 주장합니다. 저계수 적응(low-rank adaptation)과 소프트 MoE 및 경량 재생 전략을 결합함으로써, 이 프레임워크는 기존 언어에 대한 강력한 성능을 유지하면서 새로운 언어를 점진적으로 학습할 수 있게 합니다. 저자들은 이것이 정적 학습의 엄격한 데이터 균형 요구 사항이나 전통적인 재생 방법의 방대한 저장 공간 필요성 없이 달성되었다는 점을 강조합니다. 결과는 최소한의 학습 가능한 파라미터(2.14%)만으로 파괴적 망각을 피하면서 SSL 모델을 새로운 언어로 확장하는 것이 가능하다는 것을 보여주며, 글로벌 언어 다양성을 위한 확장 가능한 솔루션을 제공합니다.