기술 요약: 의미 공간 정렬을 통한 세밀한 코드스위치 음성 번역

문제 정의

코드스위치 (CS) 음성 번역 (ST) 은 여러 언어가 교차하는 음성을 목표 언어 텍스트로 번역하는 작업을 의미합니다. 이 작업은 두 가지 주요 난관에 직면해 있습니다:

1. 의미 모델링의 복잡성: 언어의 교차는 복잡한 의미 모델링 요구사항을 도입하여, 모델이 CS 음성으로부터 효과적인 표현을 포착하기 어렵게 만듭니다.
2. 데이터 부족: 고품질의 대규모 CS 음성 번역 데이터셋은 제한적이며 구축이 어렵습니다. 이전 접근법들은 종종 비용이 많이 드는 수동 주석이나 인공 데이터를 의존하는데, 이는 비자연스러운 전환과 문법적 불일치를 겪습니다.

대형 언어 모델 (LLM) 은 크로스-모달 작업에서 유망한 결과를 보여왔으나, 기존 연구들은 CS 데이터에서 단일 언어 데이터에 비해 제한적인 크로스-링구얼 능력을 보인다고 지적합니다. 또한, CS 맥락에서의 LLM 에 대한 현재 연구는 주로 기계 번역 (MT) 에 집중되어 있어, CS 음성 번역에서의 잠재력은 largely 미탐구 상태로 남아 있습니다.

방법론

저자들은 의미 간극과 데이터 부족을 해결하기 위해 혼합 전문가 (MoE) 음성 프로젝터와 다단계 학습 패러다임을 통해 LLM 을 강화하는 프레임워크를 제안합니다.

1. 모델 아키텍처

프레임워크는 세 가지 주요 구성 요소로 이루어집니다:

• 음성 인코더: 입력 음성에서 특징을 추출합니다 (예: Whisper-large-v3 사용).
• MoE 음성 프로젝터: 음성 인코더를 LLM 에 연결합니다. 단일 공유 프로젝터와 달리, 이 모듈은 전문가들을 언어 인식 그룹으로 조직화합니다. $m$개의 언어가 관여하는 시나리오의 경우, 각 그룹에 $n$명의 전문가가 포함된 $m$개의 전문가 그룹이 존재합니다. 희소 라우터는 특정 언어 그룹 내의 특정 전문가에게 음성 토큰을 동적으로 할당합니다.
• 대형 언어 모델 (LLM): 연결된 프롬프트와 정렬된 음성 표현을 처리하여 번역을 생성합니다 (예: Llama-3-8B-Instruct).

2. 다단계 학습 패러다임

데이터 부족을 완화하고 원활한 도메인 적응을 보장하기 위해 저자들은 4 단계 학습 과정을 도입합니다:

• 1 단계 (ASR 사전 학습): 각 언어별로 고자원 자동 음성 인식 (ASR) 데이터를 사용하여 개별 MLP 기반 프로젝터를 사전 학습시켜 음성 및 텍스트 모달리티를 정렬합니다.
• 2 단계 (MoE 구성 및 전문화): 사전 학습된 프로젝터가 전문가 그룹을 초기화합니다. 라우터가 삽입되고 모델은 다음을 사용하여 학습됩니다:
  • 교차 엔트로피 손실 ($L_{ce}$): 표준 번역/인식 목적 함수.
  • 언어별 손실 ($L_{lang}$): 단일 언어 ASR 데이터에서 사용 가능한 오라클 라벨을 사용하여 토큰을 올바른 언어 전문가 그룹으로 라우팅하는 것을 명시적으로 감독합니다.
  • 그룹 내 부하 균형 손실 ($L_{balance}$): 동일한 언어 그룹 내의 전문가들 간에 토큰 분배가 균형을 이루도록 장려하여 일부 전문가에 대한 과도한 의존을 방지합니다.
• 3 단계 (단일 언어 ST 전환): 모델은 ASR 에서 단일 언어 음성 번역 (ST) 데이터로 전환됩니다. 전환 손실($L_{transition}$) 을 사용하여 ASR 과 ST 데이터를 원활하게 혼합하여 인식과 번역 간의 작업 간극을 연결합니다.
• 4 단계 (CS 적응): 모델은 CS 음성 번역 데이터에 적응합니다. 전환 손실이 다시 적용되어 단일 언어 ST 와 CS ST 데이터를 혼합합니다. 이 단계에서는 CS 데이터에서 개별 토큰에 대한 오라클 언어 라벨을 사용할 수 없으므로 $L_{lang}$과 $L_{balance}$는 제외됩니다.

주요 기여

1. E2E CS-ST 에서의 첫 LLM 탐구: 이 작업은 엔드투엔드 코드스위치 음성 번역을 위한 대형 언어 모델의 첫 번째 탐구를 나타내며, 향후 연구를 위한 기준선 결과를 제공합니다.
2. MoE 음성 프로젝터: 전문가를 언어별 그룹으로 조직화하여 서로 다른 언어의 음성 특징을 세밀하게 모델링할 수 있는 새로운 아키텍처로, CS 음성에서의 의미적 구분을 포착하는 능력을 향상시킵니다.
3. 다단계 학습 패러다임: 쉽게 구할 수 있는 ASR 과 단일 언어 ST 데이터를 활용하여 음성 - 텍스트 정렬을 안내하고 CS 시나리오로의 점진적 적응을 도모하는 새로운 전략으로, 고품질 CS 데이터의 부족을 효과적으로 완화합니다.
4. 실증적 검증: 광범위한 실험을 통해 모델의 유효성을 검증하였으며, MoE 아키텍처, 손실 함수, 학습 단계의 기여도에 대한 심층 분석을 제공했습니다.

실험 결과

이 접근법은 Fisher(영어 - 스페인어) 및 NTUML2021(중국어 - 영어) 데이터셋에서 Whisper, SeamlessM4T, 캐스케이드 Whisper+LLaMA 파이프라인과 같은 기준선과 비교하여 평가되었습니다.

• 성능 향상: 제안된 모델은 강력한 SeamlessM4T 기준선을 능가하는 최첨단 결과를 달성했습니다.
  • 평균 향상: 테스트 세트 전반에 걸쳐 BLEU +0.86 및 COMET +0.93.
  • 최대 향상: 특정 테스트 세트에서 BLEU +1.49 및 COMET +1.41.
  • 구체적 점수: NTUML2021 CS 테스트 세트에서 모델은 39.52 BLEU 및 81.33 COMET을 달성하여 다음으로 가장 좋은 기준선 (SeamlessM4T 의 38.03 BLEU / 79.93 COMET) 을 능가했습니다.
• 일반화: 모델은 단일 언어 ST 데이터에서도 경쟁력 있거나 우수한 성능을 보여주어, 단일 언어 및 CS 시나리오 전반에 걸친 견고성을 나타냅니다.
• 절차적 연구: MoE 프로젝터, 언어별 손실, 부하 균형 손실, 또는 전환 단계를 제거할 경우 성능이 크게 저하되어 각 구성 요소의 필요성을 확인했습니다.
• 라우팅 분석: 실험 결과, 라우터가 영어 및 스페인어 토큰의 95% 이상 (및 중국어 토큰의 80% 이상) 을 해당 언어 전문가 그룹으로 성공적으로 유도하여 의미 공간 정렬을 검증했습니다.

의의 및 주장

이 논문은 언어 인식 MoE 프로젝터를 통해 언어 간 의미 공간 간극을 명시적으로 해결하고, 구조화된 다단계 학습 패러다임을 통해 데이터 부족을 극복함으로써 코드스위치 음성 번역의 품질을 크게 향상시킬 수 있다고 주장합니다. 이 작업은 LLM 기반 E2E CS-ST 를 위한 새로운 기준선을 수립하며, 신중한 아키텍처 설계와 데이터 활용 전략이 이 까다로운 도메인에서의 암시적 학습과 데이터 부족의 한계를 극복할 수 있음을 보여줍니다. 향후 작업은 모델을 더 많은 언어 쌍과 ASR 및 MT 와 같은 관련 작업으로 확장하는 것을 목표로 합니다.