Task Arithmetic with Support Languages for Low-Resource ASR

논문 요약: 저자원 언어를 위한 지원 언어를 활용한 태스크 산술 (Task Arithmetic)

1. 문제 정의 (Problem)

• 저자원 언어 (Low-Resource Languages) 의 ASR 한계: 자동 음성 인식 (ASR) 기술은 데이터가 풍부한 언어에서는 뛰어난 성능을 보이지만, 학습 데이터가 부족한 저자원 언어에서는 성능이 현저히 떨어집니다.
• 기존 접근법의 부족: 기존 저자원 NLP 작업들은 종종 고자원 언어의 데이터를 활용하거나, 유전적으로 밀접한 언어 (Support Languages) 를 통해 전이 학습 (Transfer Learning) 을 수행합니다. 하지만 이러한 방법들은 종종 대규모 모델 재학습이 필요하거나 데이터 부족으로 인해 한계가 있습니다.
• 과제 배경: 2025 Mozilla Common Voice 자발적 음성 ASR 공유 과제 (Shared Task) 는 26 개 저자원 언어 (이 중 5 개는 학습 데이터가 없는 '보이지 않는 언어') 에 대한 ASR 시스템 개발을 목표로 하며, 특히 자발적 음성 (Spontaneous Speech) 인식과 모델 크기 제약 (500MB) 을 강조합니다.

2. 방법론 (Methodology)

이 연구는 태스크 산술 (Task Arithmetic) 기법을 활용하여 고자원 언어의 지식을 저자원 언어 모델에 주입하는 방식을 제안합니다.

• 모델 아키텍처 및 학습:

  • Whisper 모델 활용: OpenAI 의 Whisper 모델 (Whisper-tiny 와 Whisper-large-v3) 을 기반으로 합니다.
  • 파인튜닝 전략:
    • Whisper-tiny: 전체 파라미터에 대한 풀 파인튜닝 (Full Fine-tuning) 을 수행하여 Task 3 의 모델 크기 제약 (500MB) 을 충족합니다.
    • Whisper-large-v3: 저랭크 어댑터 (LoRA, Low-Rank Adapters) 를 사용하여 효율적으로 파인튜닝합니다.
  • 데이터 전처리: Common Voice (CV) 데이터셋을 사용하며, 오디오 길이가 30 초를 초과하면 잘라내고, 텍스트 정제 및 투표 메타데이터 (Quality votes) 를 기반으로 데이터 가중치 (Upsampling) 를 적용하여 고품질 데이터를 더 많이 학습시킵니다.

• 태스크 산술 (Task Arithmetic) 적용:

  • 태스크 벡터 (Task Vectors, TV) 정의: 사전 학습된 Whisper 모델의 가중치 ($\theta$) 와 지원 언어 (Support Language) 로 파인튜닝된 모델의 가중치 ($\theta_S$) 의 차이로 정의됩니다 ($\tau_S = \theta_S - \theta$).
  • 모델 병합 (Merging): 타겟 저자원 언어 모델 ($\theta_T$) 에 지원 언어의 태스크 벡터를 선형 결합하여 최종 모델을 생성합니다.
    • 공식: $\theta_{final} = \theta_T + \lambda \tau_S$
    • 여기서 $\lambda$는 스케일링 하이퍼파라미터입니다.
  • LoRA 적용: Whisper-large-v3 의 경우, 지원 언어 어댑터의 가중치를 스케일링하여 타겟 언어 어댑터에 더하는 방식으로 병합합니다.

• 지원 언어 선정 및 최적화:

  • 선정 기준: 유전적 관련성, 공유 스크립트, Common Voice 내 데이터 가용성을 기준으로 선정합니다. (예: 푸노 케추아어에는 13 개의 케추아어 계열 언어를 지원 언어로 사용).
  • 하이퍼파라미터 튜닝: 검증 세트 (Validation Set) 의 단어 오류율 (WER) 을 기준으로 베이지안 최적화 (Bayesian Optimization) 를 통해 최적의 $\lambda$ 값을 탐색합니다.

3. 주요 기여 (Key Contributions)

• 지원 언어 통합을 통한 태스크 산술 확장: 기존 연구 (Nagasawa et al., 2025) 가 Whisper 학습 데이터에 포함된 4 개 언어로 제한되었던 것과 달리, Whisper 학습 데이터에 포함되지 않은 다양한 언어 계열의 저자원 언어 23 개에 대해 태스크 산술 기법을 확장 적용했습니다.
• 효율적인 저자원 ASR 전략 제안: 가장 큰 모델을 사용하는 대신, 작은 모델 (Whisper-tiny) 과 관련성 높은 지원 데이터를 결합하는 전략이 저자원 환경에서 더 효과적임을 입증했습니다.
• LoRA 와 태스크 산술의 결합: LoRA 어댑터의 선형 결합을 통해 태스크 산술이 성공적으로 수행될 수 있음을 보여주었습니다.

4. 실험 결과 (Results)

• 성능 향상: 23 개 저자원 타겟 언어에 대해 제안된 방법을 적용했을 때, 베이스라인 (지원 언어 미사용) 대비 최대 10% 까지 단어 오류율 (WER) 이 감소했습니다.
  • Whisper-tiny: 모든 적용 가능한 타겟 모델에서 성능이 향상되었으며, 평균 WER 개선률은 **-3.51%**였습니다. 가장 큰 개선은 Adyghe 언어에서 -49.72% (Whisper-large-v3 기준) 를 기록했습니다.
  • Whisper-large-v3: 일부 언어에서는 성능이 저하되기도 했으나, 평균적으로 **-5.43%**의 WER 개선을 보였습니다. 다만, Whisper-tiny 에 비해 전체적인 성능은 낮았습니다.
• 언어 유사성과의 상관관계:
  • Whisper-tiny: 타겟 언어와 지원 언어 간의 토큰 중첩 (Cosine Similarity) 과 WER 개선량 ($\Delta$WER) 사이에 **중간 정도의 양의 상관관계 (Pearson 0.52)**가 관찰되었습니다. 즉, 언어가 유사할수록 지원 효과가 큽니다.
  • Whisper-large-v3: 언어 유사성과의 상관관계는 뚜렷하지 않았으나, 기초 모델의 WER 이 높을수록 (성능이 나쁠수록) 지원 언어의 효과 ($\Delta$WER) 가 컸습니다.
• 비교: 제안된 시스템은 Fine-tuning 된 Massively Multilingual Speech (MMS) 모델을 기반으로 한 과제 베이스라인보다는 성능이 낮았으나, Whisper 기반 베이스라인 대비는 확연히 개선되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 ASR 을 위한 실용적 접근: 대규모 모델을 무조건 파인튜닝하는 대신, 작은 모델과 관련성 높은 지원 언어 데이터를 결합하는 태스크 산술이 저자원 ASR 에 매우 효과적임을 입증했습니다. 이는 계산 자원과 데이터가 제한된 환경에서 실용적인 솔루션을 제공합니다.
• 원주민 언어 지원: 연구에 포함된 많은 저자원 언어가 원주민 언어임을 고려할 때, 이 기술은 해당 언어 화자들에게 유용한 기술을 제공하는 데 기여할 수 있습니다.
• 한계 및 향후 과제:
  • 계산 자원 부족으로 인한 하이퍼파라미터 탐색의 불완전성.
  • Whisper 모델의 고정된 컨텍스트 윈도우 (30 초) 로 인해 긴 오디오 처리 시 성능 저하 가능성.
  • 향후에는 더 나은 베이스 모델 (예: MMS) 선정, 최적의 $\lambda$ 탐색 범위 축소, 그리고 음운론/어휘적 유사성을 고려한 더 정교한 지원 언어 선정 기준이 필요함을 지적했습니다.

이 논문은 제한된 데이터 환경에서 ASR 성능을 극대화하기 위해 모델 병합 (Model Merging) 기법과 언어학적 지식을 효과적으로 결합한 새로운 패러다임을 제시합니다.