Polyglot-Lion: Efficient Multilingual ASR for Singapore via Balanced Fine-Tuning of Qwen3-ASR

1. 문제 정의 (Problem Definition)

싱가포르는 영어, 중국어 (만다린), 타밀어, 말레이어라는 4 가지 공식 언어가 공존하며, 종종 한 문장 내에서 언어가 섞여 사용되는 (Code-switching) 독특한 언어 환경을 가지고 있습니다. 또한 '싱글리시 (Singlish)'와 같은 크리올 언어와 다양한 억양, 화자 연령 차이로 인해 자동 음성 인식 (ASR) 에 매우 까다로운 환경입니다.

기존의 솔루션들은 다음과 같은 한계가 있었습니다:

• 일반 다국어 모델 (Whisper, MMS 등): 저자원 언어 (타밀어, 말레이어) 와 싱가포르 억양 영어에서 정확도가 크게 떨어집니다.
• 대규모 오디오 - 언어 모델 (Qwen2.5-Omni, SeaLLMs 등): 파라미터 수가 7B 이상으로 방대하여 미세 조정 (Fine-tuning) 과 배포 비용이 매우 비쌉니다.
• 전문가 시스템 (MERaLiON-2-10B-ASR): 싱가포르 환경에 최적화되어 높은 성능을 보이지만, 128 개의 GPU 와 약 1 만 8 천 달러의 훈련 비용이 필요하여 대부분의 연구팀이나 중소기업이 접근하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 Polyglot-Lion이라는 경량 다국어 ASR 모델 군 (0.6B 및 1.7B 파라미터) 을 제안하며, 이는 공개된 음성 코퍼스를 기반으로 Qwen3-ASR 베이스 모델을 미세 조정하여 구축되었습니다. 핵심 방법론은 다음과 같습니다.

가. 균형 잡힌 다국어 샘플링 (Balanced Multilingual Sampling)

기존 훈련 데이터는 영어와 중국어에 편향되어 있어 저자원 언어 (타밀어, 말레이어) 의 성능이 저하되는 문제가 있었습니다. 이를 해결하기 위해 2 단계 결정론적 업샘플링 (Two-stage Deterministic Upsampling) 전략을 도입했습니다:

1. 언어 내 균형 (Intra-language balancing): 각 언어 내의 여러 데이터셋 중 가장 큰 데이터셋 크기에 맞춰 다른 데이터셋을 복제하고 무작위 하위 샘플링하여 균형을 맞춥니다.
2. 언어 간 균형 (Inter-language balancing): 4 개 언어 (영어, 중국어, 타밀어, 말레이어) 각각의 총 샘플 수를 최대 언어 그룹 크기에 맞춰 균등하게 조정합니다.
   • 결과적으로 각 언어가 훈련 데이터의 정확히 25% 를 차지하도록 하여, 저자원 언어에 대한 편향을 제거하고 모든 언어의 인식 정확도를 동등하게 향상시켰습니다.

나. 언어 중립적 디코딩 (Language-Agnostic Decoding)

기존 다국어 ASR 모델은 입력 시 언어 태그 (Language Token) 를 명시적으로 제공받아야 합니다. 하지만 싱가포르의 대화에서는 언어가 섞여 사용되거나 사전에 언어를 알 수 없는 경우가 많습니다.

• 접근 방식: 훈련 및 추론 시 언어 태그를 전혀 사용하지 않습니다.
• 효과: 모델이 오디오 신호의 음향 및 언어적 패턴만으로 언어를 암시적으로 (Implicitly) 식별하도록 강제하여, 코드 스위칭이 빈번한 싱가포르 환경에서 더욱 강건한 성능을 발휘합니다.

다. 훈련 세부 사항

• 베이스 모델: Qwen3-ASR-0.6B 및 1.7B.
• 하드웨어: 단일 NVIDIA RTX PRO 6000 GPU (48GB VRAM).
• 데이터: 공개된 코퍼만 사용 (Librispeech, NSC, AISHELL, Common Voice, Fleurs 등 총 4 개 언어, 약 968 시간).
• 비용: 약 48 시간 훈련에 81 달러 소요.

3. 주요 기여 (Key Contributions)

1. 균형 잡힌 미세 조정 레시피: 독점 데이터 없이 공개 데이터만으로 저자원 언어 (타밀어, 말레이어) 의 인식을 획기적으로 개선하는 균등 샘플링 전략 제시.
2. 명시적 언어 태그 제거: 오디오 신호만으로 언어를 식별하는 언어 중립적 아키텍처를 통해 코드 스위칭 환경에 강건한 모델 개발.
3. 포괄적인 벤치마킹: 싱가포르 4 개 공식 언어를 아우르는 12 개 표준 데이터셋에서 8 개의 기존 모델 (Whisper, MERaLiON 등) 과 정량적 비교 수행.
4. 비용 효율성 분석: 최상위 성능의 전문가 모델 대비 233 배 낮은 훈련 비용과 20 배 빠른 추론 속도를 달성함을 입증.

4. 실험 결과 (Results)

12 개 벤치마크 (영어, 중국어, 타밀어, 말레이어) 에서의 성능은 다음과 같습니다:

• 정확도 (Accuracy):

  • Polyglot-Lion-1.7B: 평균 오류율 (WER/CER) 14.85% 달성.
  • 비교 대상: 6 배 큰 모델인 MERaLiON-2-10B-ASR (14.32%) 과 거의同等한 성능을 보임.
  • 저자원 언어 개선: 미세 조정 전 Qwen3-ASR-1.7B 의 타밀어 오류율은 139.96% 였으나, 균형 잡힌 미세 조정 후 39.19% 로 72% 감소했습니다. 말레이어에서도 MERaLiON 을 능가하는 성능을 기록했습니다.
  • 소규모 모델: 0.6B 모델 (Polyglot-Lion-0.6B) 도 16.52% 의 평균 오류율로 1B 이하 모델 중 최상위 성능을 기록했습니다.

• 속도 및 비용 (Speed & Cost):

  • 추론 속도: 샘플당 0.10 초 (MERaLiON 대비 약 20 배 빠름, Whisper 대비 3 배 빠름).
  • 훈련 비용: 81 달러 (MERaLiON 의 18,862 달러 대비 233 배 절감).

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 Polyglot-Lion을 통해 대규모 전문가 시스템 없이도, 중규모 사전 학습 모델에 데이터 균형 전략과 언어 중립적 설계를 적용함으로써 싱가포르와 같은 다국어 환경에서 SOTA(최첨단) 수준의 ASR 을 구축할 수 있음을 증명했습니다.

• 접근성: 단일 GPU 와 소액 예산으로도 고품질 다국어 ASR 시스템을 개발할 수 있어, 학술 연구 및 중소기업의 접근성을 크게 높였습니다.
• 실용성: 언어 태그에 의존하지 않는 구조는 실시간 코드 스위칭이 발생하는 실제 환경 (방송, 고객 서비스 등) 에 매우 적합합니다.
• 향후 과제: 현재 평가에는 코드 스위칭 (Code-switching) 이 포함된 테스트 세트가 포함되어 있지 않으며, 싱가포르 특유의 발음 (Singlish) 과 타밀어의 복잡한 형태론적 특성을 더 잘 처리하기 위해 추가적인 도메인 적응 훈련이 필요함을 인정했습니다.

결론적으로, Polyglot-Lion 은 계산 비용과 모델 크기를 획기적으로 줄이면서도 다국어 ASR 의 성능을 유지하는 효율적이고 실용적인 솔루션을 제시했습니다.