기술 요약: SPEECHCOMBINE을 통한 음성-텍스트 구성 능력의 해제

문제 정의

음성 언어 모델(SLM)을 위한 지시어 튜닝(Instruction tuning)은 텍스트 기반 대규모 언어 모델(LLM)보다 훨씬 더 큰 어려움에 직면해 있습니다. 텍스트 LLM은 사전 학습(Pre-training)과 지시어 튜닝으로 이어지는 표준적인 훈련 패러다임을 따르는 반면, SLM은 새로운 모달리티(음성)와 더불어 음성 이해(예: 감정 탐지) 및 음성 생성(예: 표현력 있는 합성)을 포함한 더 넓은 범위의 지시어를 마스터해야 합니다.

현재의 SLM 훈련 방식은 주로 텍스트 LLM의 파이프라인을 그대로 복제합니다: 방대한 음성 코퍼스로 사전 학습을 수행한 후, 음성 지시어 데이터셋을 통해 지도 미세 조정(SFT) 또는 강화 학습(RL)을 진행하는 방식입니다. 이 전략은 두 가지 결정적인 병목 현상을 야기합니다:

1. 데이터 팽창(Data Inflation): 음성 시퀀스는 텍스트 시퀀스보다 훨씬 길기 때문에(예: 5개 토큰의 텍스트 문장이 60~200개의 음성 토큰으로 확장됨), 효과적인 데이터셋 규모를 확장하기가 어렵습니다.
2. 파괴적 망각(Catastrophic Forgetting): 음성 토큰에 대한 광범한 훈련은 종종 모델이 텍스트 LLM의 지식과 추론 능력을 잊게 만들며, 모델이 더 배우기 어려운 음성 표현 방식으로 이러한 기술을 다시 학습하도록 강요합니다.

이를 완화하기 위해 텍스트 LLM을 동결하고 어댑터만 훈련하는 등의 기존 시도들은 종종 음성 특화 지시어(이해 및 생성)를 지원하는 데 실패하며, 모델을 텍스트 중심의 작업에 국한시킵니다.

방법론: SPEECHCOMBINE

본 논문은 반복적인 지시어 튜닝 없이 훈련된 지시어 준수 SLM인 SPEECHCOMBINE을 제안합니다. 핵심 가설은 최근의 모델 병합(Model merging) 발전에서 영감을 받아, 텍스트 LLM에 인코딩된 지시어 준수 능력이 가중치 결합을 통해 음성 적응 모델으로 직접 전이될 수 있다는 것입니다.

1. 프레임워크 및 가중치 결합

이 방법은 파라미터 공간 내에서 세 단계로 작동합니다:

• 베이스 모델 ($\theta_{base}$): 사전 학습된 텍스트 LLM.
• 지시어 튜닝 모델 ($\theta_{inst}$): 지시어 준수를 위해 미세 조정된 텍스트 LLM.
• 음성 적응 모델 ($\theta_{speech}$): 음성 데이터에 대해 단 한 번의 연속적 사전 학습을 거친 베이스 모델 ($\theta_{base}$).

최종 모델 파라미터 ($\theta_{SC}$)는 다음과 같이 가중치 차이를 선형적으로 결합하여 구축됩니다:
$$\theta_{SC} = \theta_{base} + \lambda \Delta\theta_{speech} + \Delta\theta_{inst}$$
여기서:

• $\Delta\theta_{inst} = \theta_{inst} - \theta_{base}$ 는 지시어 준수 행동을 인코딩합니다.
• $\Delta\theta_{speech} = \theta\theta_{speech} - \theta_{base}$ 는 음성 모달리티 지식을 포착합니다.
• $\lambda \in (0, 1]$ 는 음성 지식의 통합과 텍스트 능력 보존 사이의 균형을 맞추는 소프트 가중치입니다.

결정적 차이점: 음성 사전 학습은 $\theta_{inst}$가 아닌 $\theta_{base}$에서 시작해야 합니다. $\theta_{inst}$에서 시작하는 것은 성공적인 병합에 필요한 구성적 구조를 저해합니다.

2. 사전 학습 데이터 구조

모델이 음성 토큰 시퀀스에 익숙해지고 음성 정보(내용 및 운율)를 이해하는 두 가지 목표를 달est하기 위해, 저자들은 특정 사전 학습 데이터 구조를 설계했습니다:
[S1 cap] [S1 text] [S1 speech] [S1 cap] ...

• [cap]: 음성의 속성(내용, 피치, 속도, 강조, 감정)에 대한 자연어 설명.
• [text]: 음성의 정확한 전사(Transcription).
• [speech]: 음성 발화를 나타내는 이산적 운율 토큰.

[speech]와 함께 [text]를 포함하는 것은 텍스트 기반 지시어 준수 능력의 전이를 고정(Anchor)하는 데 필수적입니다. [cap] 섹션은 생성, 이해 및 다회차 패턴을 가르치기 위해 무작위로 배치됩니다(앞에 나타나거나, 뒤에 나타나거나, 생략됨).

3. 토큰화 및 추론

• 토큰화: 저자들은 전체 파형 대신 운율적 특징(피치, 지속 시간, 에너지)만을 인코딩하는 운율 토큰화 방식(Qian et al., 2025 기반)을 사용하여 토큰 길이와 중복성을 크게 줄였습니다.
• 추론: 모델은 텍스트 LLM과 유사한 템플릿을 따르되 [speech] 섹션을 포함합니다. 입력 음성을 [text] 섹션으로 전사하기 위해 외부 ASR 시스템이 사용됩니다. 모델이 요구되는 출력 구조를 준수하도록 보장하고 음성 토큰 생성을 안정화하기 위해 "포맷 강제(Format forcing)" 기술이 채택되었습니다.
• 긴 사고(Long Thinking): 모델은 단순히 답변 템플릿에 <thought> 섹션을 포함하도록 수정함으로써 텍스트 LLM으로부터 "긴 사고(Chain of Thought)" 능력을 그대로 상속받습니다. 추가 훈련은 필요하지 않습니다.

주요 기여

1. 지시어 튜닝이 필요 없는 SLM 훈련: 단 한 번의 사전 학습(3만 시간의 데이터)과 가중치 결합만으로 텍스트, 음성 이해, 음성 생성 전반에 걸쳐 강력한 지시어 준수 능력을 갖춘 SLM을 구축할 수 있음을 입증하여, 대규모 음성 지시어 튜닝 데이터셋의 필요성을 제거했습니다.
2. 구성적 일반화(Compositional Generalization): 지시어 준수 능력($\Delta\theta_{inst}$)이 음성 적응($\Delta\theta_{speech}$)과 결합될 때 음성 도메인으로 일반화됨을 보여주며, 이를 통해 명시적인 훈련 없이도 미학습 음성 특화 작업(예: 감정 탐지, 강조 생성)을 처리할 수 있게 합니다.
3. 텍스트 능력 보존: 이 전략은 표준 SLM 훈련 파이프라인에서 흔히 발생하는 파괴적 망실을 피하면서, 원래 텍스트 LLM의 지식과 추론 기술을 성공적으로 보존합니다.
4. 효율성: 기존 SLM(예: 수백만 시간의 데이터를 학습한 FUN-AUDIO-CHAT)에 필요한 훈련 데이터의 1% 미만을 사용하여 최첨단 또는 경쟁력 있는 성능을 달엽합니다.

실험 결과

저자들은 두 가지 범주의 작업, 즉 얕은 결합(Shallow Combination) (음성 모달리티에서의 텍스트 지향적 작업)과 깊은 결합(Deep Combination) (음성 특화 작업)에 대해 SPEECHCOMBINE을 평가했습니다.

• 텍스트 지향적 작업 (QA, 추론): SPEECHCOMBINE은 "ASR + 텍스트 LLM" 베이스라인(망실이 발생하지 않는 모델)과 대등하거나 더 나은 성능을 보이며, 방대한 데이터셋으로 학습된 다른 SLM들(예: GLM-4-Voice, Step-Audio)을 유의미하게 능가합니다. OpenbookQA, GSM8k, MLC와 같은 데이터셋에서 최고 또는 차석의 결과를 달성했습니다.
• 음성 이해 (감정, 강조):
  • 감정: 사전 학습 데이터 내의 감정 캡션 부족으로 인해 중간 정도의 성능을 보였습니다.
  • 강조 탐지: 베이스라인 대비 상당한 격차를 두고 최첨단 성능을 달성하여, 모델이 운율적 단서로부터 강조를 추론할 수 있음을 입증했습니다.
• 음성 생성 (표현력, 강조):
  • 표현력 있는 생성: 감정 생성에서 두 번째로 높은 성능을 기록했습니다.
  • 강조 생성: 비교 가능한 모델 중 최고의 성능을 달성했습니다.
  • 특히, 이러한 능력들은 명시적인 작업별 훈련 없이 구성적 기술 전이를 통해 나타났습니다.
• 절제 연구(Ablation Studies):
  • $\lambda$ 가중치: $\lambda=0.85$와 같은 최적의 지점이 텍스트 보존과 음성 습득 사이의 균형을 맞춥니다.
  • 데이터 구조: [cap] 또는 [text]를 제거하면 성능이 크게 저하되어, 지식 전이와 앵커링을 위한 이들의 필요성을 확인시켜 줍니다.
  • 긴 사고: 사고 모드를 활성화하면 복잡한 추론 및 음성 작업에서 성능이 향상됩니다.

의의 및 주장

본 논문은 SPEECHCOMBINE이 "비효적인 데이터 축적이라는 과도한 고난"을 피하는, SLM 훈련을 위한 새로운 확장 가능한 방향을 제시한다고 주장합니다. 모델 병합을 활용함으로써, 이 접근 방식은 대규모 음성 데이터셋을 다시 학습할 필요 없이 진화하는 텍스트 LLM으로부터 새로운 능력을 빠르게 상속받을 수 있게 합니다.

저자들은 외부 ASR에 의존하는 추론 방식, 현재의 토큰화 방식에서 음색/목소리 품질 인코딩의 부재, 출력 안정성을 위한 포맷 강제의 필요성 등 한계점을 인정합니다. 그러나 이 패러다임이 데이터 효율적이면서도 복잡한 추론이 가능한 강력한 지시어 준수 음성 모델을 구축하기 위한 견고한 토대를 제공한다고 확신합니다.