기술 요약: IWSLT2025를 위한 KIT의 저자원 음성 번역 시스템

문제 정의

본 논문은 Bemba, 북부 레반트 아랍어(North Levantine Arabic), 튜니지아 아랍어(Tunisian Arabic)를 영어로 번역하는 세 가지 언어 쌍에 초점을 맞추어, 저자원 언어를 위한 음성 번역(ST) 시스템 구축의 과제를 다룹니다. 이 분야의 주요 장애물은 엔드 투 엔드(end-to-end, E2E) 병렬 ST 학습 데이터의 부족입니다. 자동 음성 인식(ASR) 및 기계 번역(MT) 자원은 더 쉽게 확보할 수 있는 반면, 직접적인 ST 데이터의 부재는 강력한 E2E 모델 학습을 저해합니다. 또한, 본 논문은 저자원 ST 시스템이 불균형한 파라미터 사용으로 인해 어려움을 겪는 경우가 많으며, 추가적인 외부 자원에 의존하지 않고 일반화 성능을 향상시키기 위해 효과적인 정규화 전략이 필요하다고 지적합니다.

방법론

저자들은 다국어 사전 학습 모델을 기반으로 합성 데이터 증강, 모델 정규화, 그리고 시스템 결합 전략을 결합한 포괄적인 프레임워크를 제안합니다.

1. 합성 데이터 증강 (Synthetic Data Augmentation)

데이터 부족 문제를 완화하기 위해, 저자들은 두 가지 구별된 증강 양식을 탐구합니다:

• MT 증강 ST (MT-augmented ST): 기존 ASR 데이터셋에서 훈련된 MT 모델을 사용하여 번역을 생성함으로써 합성 ST 쌍을 만듭니다. 이 접근 방식은 특히 병렬 ST 학습 데이터가 부족한 북부 레반트 아랍어에 적용되었습니다.
• TTS 증강 ST (TTS-augmented ST): MT 데이터셋으로부터 합성 음성을 생성하기 위해 TTS 모델(특히 E2TTS 및 VITS)을 ASR 데이터에 대해 훈련시킵니다. 이는 ST 학습 데이터를 증강하기 위한 합성 음성-텍스트 쌍을 생성하며, 주로 Bemba에 대해 테스트되었습니다.

2. 모델 정규화 (내부 증류, Intra-Distillation)

본 연구는 저자원 MT에서 성공적이었던 기술인 내부 증류(Intra-Distillation, ID)를 ASR, MT 및 ST 작업으로 확장 적용합니다. 작업 목적과 ID 손실(loss)을 단일 미세 조정 단계에서 결합했던 이전 연구들과 달리, 저자들은 2단계 접근 방식을 채택합니다:

1. 바닐라 미세 조정 (Vanilla Fine-tuning): 사전 학습된 모델을 다운스트림 작업에 적응시킵니다.
2. ID 미세 조정 (ID Fine-tuning): 모델 자체의 중간 예측값을 사용하여 적응된 모델을 정규화합니다.
   이 전략은 작업 특화 적응의 이점을 유지하면서 정규화를 통해 강건성을 확보하는 것을 목표로 합니다.

3. 시스템 결합 (System Combination)

저자들은 최소 베이즈 위험(Minimum Bayes Risk, MBR) 디코딩을 사용하여 계층형(ASR + MT) 시스템과 엔드 투 엔드(E2E) ST 시스템을 결합합니다. 두 시스템 유형의 가설을 의사 참조(pseudo-references)로 취급하고 BLEU를 효용 함수(utility function)로 사용하여, 두 구조의 장점을 모두 활용하는 것을 목표로 합니다.

4. 사전 학습 모델 및 자원

실험에는 다음과 같은 최첨단 사전 학습 모델들이 사용됩니다:

• SeamlessM4T: 고도로 다국어적이고 다중 모달한 모델 (v2 large).
• NLLB: 다국어 MT 모델 (1.3B 파라미터).
• MMS 및 XEUS: 다국어 ASR 모델.
  저자들은 unconstrained track 조건 하에서 개발 세트 데이터와 광범위한 외부 자원(LDC 데이터셋, Tatoeba, UFAL 및 내부 개발 대화 데이터 포함)을 활용합니다.

주요 결과

세 가지 언어 쌍에 대한 실험 결과는 다음과 같은 몇 가지 중요한 사실을 보여줍니다:

• 합성 데이터의 효능:
  • 북부 레반트 아랍어의 경우, 합성 데이터(MT 증강을 통해 생성됨)로만 훈련된 시스템이 실제 데이터로 훈련된 계층형 시스템을 약간 앞질러 약 1 BLEU 포인트의 개선을 달형했습니다.
  • Bemba의 경우, TTS 증강 데이터는 ST 성능을 최대 1 BLEU 포인트까지 향상시켰습니다. 그러나 북부 레반트 아랍어의 경우, TTS 생성 데이터에만 의존했을 때 특정 방언에 대한 TTS 모델의 미발달된 상태로 인해 계층형 시스템보다 낮은 성능을 보였습니다.
• 모델 정규화: 내부 증류(ID)는 대부분의 모델에서 ASR, MT, ST 작업 전반에 걸쳐 일관되게 성능을 향상시켰으며, ASR에서는 약 1포인트의 단어 오류율(WER) 감소를, MT 및 ST에서는 1 BLEU 포인트의 이득을 가져왔습니다. ID가 아랍어 방언에 대한 ASR 성능에 부정적인 영향을 미친 예외 사례도 관찰되었습니다.
• 시스템 결합: 개별 시스템에 MBR 디코딩을 적용했을 때는 개선이 미미하거나 없었습니다. 그러나 MBR 디코딩을 통해 계층형 시스템과 E2E 시스템을 결부터 결합했을 때는 일관되게 약 1.5 BLEU 포인트의 개선이 나타났습니다.
• 언어별 변동성: 사전 학습 모델과 훈련 전략의 효과는 언어에 따라 크게 달랐습니다. 예를 들어, NLLB는 Bemba에 대해 SeamlessM4T보다 우수한 성능을 보였으나, 특정 미세 조정 전략이 없는 아랍어 방언의 경우 그 반대의 결과가 나타나기도 했습니다.

의의 및 주장

본 논문은 합성 데이터 증강과 모델 정규화가 추가적인 실제 세계의 자원을 요구하지 않고도 저자원 음성 번역을 강화하는 데 효과적인 전략임을 입증했다는 점에서 주요한 의의가 있다고 주장합니다.

구체적으로 저자들은 다음과 같이 결론짓습니다:

1. 합성 데이터는 유망하며, 생성된 데이터의 품질이 합리적인 수준이라면 모델 성능을 향상시키는 데 효과적입니다.
2. **모델 정규화(특히 내부 증류)**는 다양한 작업(ASR, MT, ST)과 사전 학습 모델 전반에 걸쳐 성능을 높이는 일반화 가능한 접근 방식입니다.
3. 언어별 접근 방식이 결정적입니다. Bemba와 아랍어 방언 간의 상이한 결과는 "원 사이즈 피츠 올(one-size-fits-all)" 전략이 불충분함을 강조하며, 사전 학습 모델과 훈련 전략의 선택은 특정 언어 및 코퍼스 특성에 맞춰 조정되어야 합니다.

본 연구는 별도의 ASR 및 MT 구성 요소를 활용하여 계층형 시스템을 구축하는 것의 실질적인 타당성과, 병렬 ST 데이터가 존재하지 않는 격차를 메우기 위한 합성 데이터의 잠재력을 재확인합니다.