Cross-Lingual Interleaving for Speech Language Models

1. 문제 정의 (Problem)

구어 언어 모델 (Spoken Language Models, SLMs) 은 텍스트 감독 없이 직접 음성 데이터에서 언어 능력을 학습하여, 텍스트 자원이 부족한 언어에 대한 NLP 기술 접근성을 넓히는 것을 목표로 합니다. 그러나 현재 SLM 연구는 다음과 같은 두 가지 주요 병목 현상으로 인해 영어 중심적으로 진행되고 있습니다.

1. 평가 벤치마크의 부족: 교차 언어 (Cross-lingual) 의미 능력을 측정할 수 있는 음성 평가 기준이 거의 없습니다.
2. 학습 방법의 한계: 기존 교차 언어 학습 방법은 텍스트 - 음성 간 인터리빙 (Interleaving) 에 의존하거나 텍스트를 필요로 합니다. 이는 '텍스트 없는 (Textless)' SLM 의 순수 음성 학습 패러다임과 호환되지 않으며, 여러 언어를 섞어 학습하는 데 직접 적용하기 어렵습니다.

이로 인해 텍스트 자원이 부족한 언어에서도 대규모로 음성만으로 학습하고 여러 언어 간에 소통할 수 있는 SLM 을 구축한다는 초기 약속이 아직 실현되지 못했습니다.

2. 제안 방법론 (Methodology)

저자들은 텍스트 토큰을 전혀 사용하지 않고, 서로 다른 언어의 음성 토큰 (Speech Tokens) 을 문장 단위로 섞어 학습하는 '교차 언어 인터리빙 (Cross-lingual Interleaving)' 방법을 제안합니다.

• 교차 언어 인터리빙 메커니즘:

  • 문장 수준의 정렬 (Sentence-level alignment) 이 된 다국어 음성 데이터를 사용합니다.
  • 단일 학습 시퀀스 내에서 서로 다른 언어 (예: 영어와 프랑스어) 의 음성 세그먼트를 무작위로 번갈아 배치합니다.
  • 텍스트 토큰은 전혀 사용하지 않으며, 오직 음성 토큰만 사용하여 다음 토큰 예측 (Next-token prediction) 과정을 수행합니다.
  • 이 방식은 모델이 다양한 언어의 맥락에 노출되도록 하여 공유된 표현 공간 (Shared representational subspace) 을 형성하고 언어 간 전이 (Transfer) 를 촉진합니다.

• 데이터셋 구축 (TinyStories EN-FR):

  • 기존 텍스트 코퍼스인 'TinyStories'를 기반으로, GPT-4 를 사용하여 문장 단위로 번역하고 정렬한 EN-FR (영어 - 프랑스어) 음성 코퍼스를 구축했습니다.
  • 총 약 42,000 시간의 음성 데이터 (영어 약 20k 시간, 프랑스어 약 21k 시간) 를 생성했습니다.
  • 화자 일관성을 유지하기 위해 44 명의 화자 (여성 26 명, 남성 18 명) 를 선정하여 양쪽 언어 모두 동일한 화자로 음성을 합성했습니다.

• 평가 벤치마크:

  • 교차 언어 의미 이해 능력을 평가하기 위해 GPT-4 로 생성된 Spoken StoryCloze (sSC) 와 Spoken TopicCloze (sTC) 벤치마크를 개발했습니다. 이는 모델이 한 언어로 프롬프트를 받고 다른 언어로 이야기를 이어갈 수 있는지, 혹은 문맥에 맞는 결말을 선택할 수 있는지를 평가합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 학습 전략: 텍스트 감독 없이 문장 단위로 정렬된 음성 세그먼트를 교차하여 인터리빙하는 전략을 제안하여, 텍스트 없는 SLM 에서 교차 언어 학습을 가능하게 함.
2. 오픈 소스 리소스: 약 42k 시간 규모의 EN-FR 정렬 음성 코퍼스 (TinyStories) 와 교차 언어 의미 평가를 위한 새로운 벤치마크 (sSC, sTC) 를 공개.
3. 실증적 성과: 360M 및 1B 파라미터 규모의 SLM 에서, 동일한 학습 토큰 예산 (Token Budget) 하에서 단일 언어 성능 향상, 강력한 교차 언어 연속성 (Continuation) 달성, 그리고 은닉 상태 (Hidden-state) 의 교차 언어 정렬 강화 효과를 입증.

4. 실험 결과 (Results)

저자들은 360M 과 1B 파라미터 모델을 사용하여 다양한 실험을 수행했습니다.

• 단일 언어 성능 향상 (Positive Transfer):

  • 인터리빙 학습 후, 프랑스어 (저자원 언어) 의 의미 정확도 (StoryCloze) 가 단일 언어 학습보다 향상되었습니다. 특히 360M 모델은 프랑스어 학습 데이터 양이 3 배 적음에도 불구하고 더 높은 점수를 기록했습니다.
  • 영어 (고자원 언어) 의 성능은 초기 인터리빙 단계에서 약간의 하락이 있었으나, 이후 영어와 프랑스어 단일 언어로 미세 조정 (Fine-tuning) 하는 '안정화 단계'를 거치면 영어-only 기준선과 거의 동일한 수준으로 회복되었습니다.

• 교차 언어 능력의 출현:

  • 인터리빙을 적용하지 않은 단순 혼합 데이터 학습 (EN+FR without interleaving) 은 한 언어로 입력을 받고 다른 언어로 응답하는 작업에서 성능이 낮았습니다.
  • 반면, 인터리빙을 적용한 모델은 교차 언어 연속성 (EN→FR, FR→EN) 에서 단일 언어 수준의 성능에 근접하는 결과를 보였습니다. (예: 360M 모델의 sSC 교차 언어 정확도가 약 55~56% 수준으로 단일 언어 성능과 유사)

• 표현 공간 정렬 (Representation Alignment):

  • 은닉 상태 간의 코사인 유사도 분석 결과, 인터리빙 학습을 거친 모델이 단순 혼합 학습 모델보다 영어와 프랑스어 간 표현 정렬이 더 강하게 이루어진 것을 확인했습니다 (1B 모델 기준 평균 유사도 0.75 vs 0.73).

5. 의의 및 결론 (Significance)

이 논문은 텍스트 자원이 부족한 언어 환경에서도 대규모 음성 데이터를 활용하여 다국어 SLM 을 구축할 수 있는 확장 가능한 경로를 제시합니다.

• 텍스트 의존성 제거: 텍스트 - 음성 간 정렬이나 텍스트 토큰 없이 순수 음성만으로 교차 언어 학습이 가능함을 증명했습니다.
• 효율성: 동일한 학습 데이터 양 (토큰 예산) 으로도 인터리빙 기법을 통해 저자원 언어의 성능을 획기적으로 개선할 수 있음을 보여주었습니다.
• 미래 전망: 이 방법은 다국어 음성 모델의 최적화 동역학에 최소한의 제약만 가하므로, 향후 더 규모가 크고 다양한 언어를 지원하는 SLM 개발의 기초가 될 것으로 기대됩니다.

결론적으로, 교차 언어 인터리빙은 단순하고 확장 가능한 방법으로, 여러 언어를 이해하고 대화할 수 있는 진정한 다국어 음성 언어 모델을 만드는 핵심 열쇠입니다.