PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs

기술 요약: PROST-LLM

문제 정의

대규모 언어 모델(LLM)은 다양한 영역에서 놀라운 잠재력을 입증해 왔으나, **음성-음성 번역(Speech-to-Speech Translation, S2ST)**에 대한 적용은 여전히 미개척 분야로 남아 있습니다. 주요 장벽은 쌍을 이룬(paired) S2ST 데이터의 부족입니다. 전통적인 S2ST 시스템은 일반적으로 계단식 파이프라인(ASR + MT + TTS)이나 복잡한 엔드 투 엔드(end-to-end) 아키텍처에 의존하며, 이는 확장성이 떨어집니다. **선호도 최적화(Preference Optimization, PO)**가 자연어 처리(NLP) 작업에서 LLM을 정렬하는 데 효과적임이 입증되었음에도 불구하고, S2ST 성능을 개선하기 위한 PO의 잠재력은 아직 연구되지 않았습니다. 또한, 기존의 PO 방법들은 비용이 많이 드는 인간의 피드백이나 고품질의 선호도 쌍(preference pairs)에 의존하는 경우가 많으며, 이는 S2ST 작업에서 확보하기 어렵습니다.

방법론: PROST-LLM

저자들은 세 가지 뚜렷한 단계를 통해 LLM의 S2ST 능력을 점진적으로 향상시키도록 설계된 프레임워크인 PROST-LLM(PROgressive Speech-to-speech Translation)을 제안합니다.

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT)

먼저 사전 학습된 LLM을 CVSS 코퍼스에 대해 미세 조정하여 초기 S2ST 능력을 습득합니다. 데이터 부족 문제를 해결하고 작업 이해도를 높이기 위해 두 가지 특정 전략이 사용됩니다:

• 삼중 작업 학습 (Tri-task Learning): S2ST 코퍼스를 병렬적인 자동 음성 인식(ASR) 및 음성-텍스트(S2T) 데이터로 변환합니다. 모델은 교차 작업 지식 전이를 장려하기 위해 작업별 지시어를 사용하여 ASR, S2T, S2ST 작업을 공동으로 학습합니다.
• 모달리티 체인 (Chain of Modality): 직접적인 음성-음성 생성을 단순화하기 위해, 모델은 단일 순방향 패스(forward pass) 내에서 먼저 대상 텍스트를 생성한 다음 대상 음성 유닛을 생성하도록 지시받습니다. 이 순차적 구조는 교차 모달 학습을 용이하게 하고 생성 안정성을 향상시킵니다.
• 아키텍처: 시스템은 음성 토크나이저(K-means를 통해 SSL 추출 특징을 이산화), LLM 백본(LLaMA 3.2-3B), 그리고 음성 디토크나이저(HiFi-GAN)를 활용합니다.

2. 선호도 데이터 구축 (Preference Data Construction)

비용이 많이 드는 인간 주석과 대규모 쌍 데이터의 필요성을 제거하기 위해, 저자들은 자동화된 선호도 쌍 구축 방법을 도입합니다:

• 자기 샘플링 및 역번역 (Self-Sampling & Back-Translation): 미세 조정된 모델은 소스 음성 입력에 대해 여러 개의 번역 후보를 생성합니다. 이 후보들은 동일한 모델을 사용하여 소스 언어 음성으로 역번역됩니다.
• 자동 평가: 번역의 품질은 역번역된 음성을 원래의 소스 음성과 비교하여 평가됩니다. 평가지표에는 음향 측정치(Mel-Cepstral Distortion - MCD), 텍text 기반 지표(Word Error Rate - WER), 그리고 번역 지표(BLEU, METEOR)가 포함됩니다.
• 쌍 생성: 후보들의 점수가 매겨지며, 마진 하이퍼파라미터($\delta$)를 기준으로 "선호되는" 후보($S^p_B$)가 "거절된" 후보($S^r_B$)보다 성능이 현저히 우수한 경우 쌍이 형성됩니다. 이 과정은 단일 언어 음성 코퍼스를 사용하여 선호도 쌍을 구축할 수 있게 합니다.

3. 선호도 최적화 (Preference Optimization, PO)

구축된 선호도 쌍은 **직접 선호도 최적화(Direct Preference Optimization, DPO)**를 통해 모델을 더욱 정교하게 만드는 데 사용됩니다. 목적 함수는 선호되는 번역과 거절된 번역 사이의 마진을 최대화하여, 인간의 피드백 없이도 고품질의 음성 번역을 구별하고 생성하는 모델의 능력을 향가시킵니다.

주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. LLM 기반 S2ST를 위한 첫 번째 프레임워크: 삼중 작업 학습과 모달리티 체인 전략을 사용하여 LLM에 S2ST 능력을 부여하는 첫 번째 프레임워크를 제시합니다.
2. S2ST에서의 PO의 새로운 적용: 역번역을 통해 구축된 선호도 쌍을 사용하여 S2ST 능력을 향상시키기 위해 선호도 최적화를 적용한 첫 번째 연구이며, 이를 통해 인간 평가에 대한 의존성을 제거했습니다.
3. 데이터 의존성 감소: 단일 언어 음성 코퍼스를 활용하여 선호도 쌍을 구축함으로써, 희소한 쌍 데이터 S2ST에 대한 LLM의 의존성을 크게 줄였습니다.
4. 성능 검증: 실험을 통해 PROST-LLM이 S2ST 품질을 효과적으로 개선하며, 엔드 투 엔드 시스템과 계단식 베이스라인 사이의 성능 격차를 좁힌다는 것을 입증했습니다.

실험 결과

실험은 LLaMA 3.2-3B 백본을 사용하여 CVSS 코퍼스(영어-프랑스어 번역)에서 수행되었습니다.

• 베이스라인 비교: 삼중 작업 학습과 모달리티 체인 전략 모두 "Vanilla" LLM 기반 S2ST 베이스라인보다 우수한 성능을 보였습니다. 모달리티 체인(Chain of Modality) 접근 방식이 가장 큰 이득을 얻었으며, 음성-텍스트 모달리티 간의 격차를 효과적으로 메웠습니다.
• 선호도 최적화의 영향: PO(DPO)를 적용했을 때 추가적인 성능 향상이 나타났습니다.
  • CVSS-C 데이터셋에서, PROST-LLM (Chain of Modality)와 계단식 시스템 간의 BLEU 격차는 en2fra의 경우 14.38에서 3.15로, fra2en의 경우 8.83에서 1.04로 좁혀졌습니다.
  • 또한, 시스템은 계단식 베이스라인에 비해 더 높은 UTMOS 점수(더 자연스러운 음성을 나타냄)를 달성했습니다.
• 단일 언어 vs. 쌍 데이터: 단일 언어 코퍼스(Commonvoice)에서 유도된 선호도 쌍으로 학습된 모델이 쌍을 이룬 S2ST 데이터로 학습된 모델보다 우수한 성능을 보였으며, 이를 통해 BLEU 격차를 en2fra의 경우 1.65, fra2en의 경우 1.2까지 더욱 줄였습니다.
• 강건성: 이 접근 방식은 다양한 역번역 지표(WER, MCD, BLEU, METEOR)와 서로 다른 PO 알고리즘(DPO 및 SimPO)에 대해 효과적으로 작동함을 유지했습니다.
• 효율성: 시스템은 제한된 데이터(예: 2,500개 샘플)와 단일 반복 학습에서도 강력한 성능을 보여 높은 효율성을 시사했습니다.

의의

본 논문은 PROST-LLM이 LLM을 위한 S2ST에 있어 확장 가능하고 효과적인 솔루션을 제공한다고 주장합니다. 역번력을 통한 자동 선호도 구축을 활용함으로써, 이 프레임워크는 데이터 부족과 높은 인간 주석 비용이라는 결정적인 병목 현상을 극복합니다. 결과는 LLM이 점진적 향상을 통해 S2ST 작업을 효과적으로 적응시킬 수 있음을 입증하며, 더 단순한 아키텍처와 더 적은 쌍 데이터를 사용하면서도 전통적인 계단식 시스템에 근접하는 성능 수준을 달eric히는 것을 보여줍니다. 향-후 연구로는 이 프레임워크를 더 많은 언어와 더 큰 단일 언어 자원으로 확장하는 것이 언급되었습니다.