기술 요약: TextPro-SLM 을 통한 입력 측 모달리티 간극 최소화

1. 문제 제기

음성 대규모 언어 모델 (SLM) 은 주로 텍스트 대규모 언어 모델 (TLM) 체크포인트를 기반으로 지속적인 학습을 수행하여 추론 및 언어 이해 능력을 구두 상호작용으로 확장하는 방식으로 구축됩니다. 강력한 TLM 과 백본을 공유함에도 불구하고, SLM 은 상당한 모달리티 간극으로 고통받고 있으며, 이는 음성 기반 질문 응답 (QA) 성능이 텍스트 기반 QA 성능에 비해 현저히 뒤처지는 현상 (예: GLM-4-Voice 와 같은 벤치마크에서 최대 20% 하락) 으로 나타납니다.

이전 연구들은 주로 출력 측에서 이 간극을 해소하려 시도해 왔으며, 엔드투엔드 음성 토큰 생성에서 LLM 이 텍스트 토큰을 생성하고 별도의 모듈이 음성을 합성하는 '생각하는 사람 - 말하는 사람 (thinker-talker)' 아키텍처로 진화했습니다. 이러한 접근 방식은 생성 과정을 TLM 패러다임과 정렬함으로써 성능을 개선하지만, 모달리티 간극은 여전히 존재합니다. 저자들은 남은 병목 현상이 입력 측에 있다고 주장합니다. TLM 과 달리 SLM 은 언어적 내용과 부언어적 단서 (억양, 감정, 화자 정체성) 를 모두 음성 표현에서 직접 추론해야 하며, 이러한 정보는 종종 LLM 이 완전히 활용할 수 있는 형식으로 제공되지 않기 때문입니다.

2. 방법론

본 논문은 구두 입력을 억양 인식 텍스트 LLM의 표현과 유사하게 변환함으로써 모달리티 간극을 최소화하도록 설계된 TextPro-SLM 프레임워크를 제안합니다. 핵심 철학은 음성을 단일 잠재 스트림으로 압축하는 대신, 입력 단계에서 '무엇이 말해졌는지 (의미론적 내용)'와 '어떻게 말해졌는지 (부언어적 정보)'를 분리하는 것입니다.

2.1 WhisperPro: 통합 음성 인코더

첫 번째 구성 요소는 Whisper-large-v3를 기반으로 한 음성 인코더인 WhisperPro입니다. 어휘 내용을 우선시하는 표준 ASR 모델과 달리, WhisperPro 는 두 가지 동기화된 출력을 생성하도록 학습됩니다:

1. 텍스트 토큰: 발화 내용의 정확한 전사본.
2. 억양 임베딩: 부언어적 정보 (화법, 감정, 음색) 를 인코딩하는 토큰 정렬 임베딩.

아키텍처 및 학습:

• 인코더: Whisper-large-v3 의 32 층 트랜스포머 인코더 - 디코더를 사용합니다.
• 추출: 억양 임베딩은 생성된 텍스트 토큰과 정렬된 16 번째 디코더 레이어의 은닉 상태에서 추출됩니다.
• 재구성 목적: 인코더가 부언어적 세부 사항을 유지하도록 보장하기 위해 **Mel 재구성기 (디코더)**가 연결됩니다. 이 재구성기는 짝을 이룬 텍스트 토큰과 억양 임베딩으로부터 원래 로그 - Mel 스펙트로그램을 재구성하려고 시도합니다.
• 손실 함수: 모델은 멀티태스크 목적 함수로 최적화됩니다:
  $$L = L_{ASR} + \lambda L_{mel}$$
  여기서 $L_{ASR}$은 전사를 위한 교차 엔트로피 손실이고, $L_{mel}$은 스펙트로그램 재구성을 위한 평균 제곱 오차 (MSE) 손실입니다. $\lambda$는 1.0 으로 설정됩니다.
• 데이터: LibriSpeech 와 CommonsenseQA 의 1,000 시간 오디오로 학습되었으며, 견고성을 높이기 위해 구두가 포함된 전사본과 TTS 로 합성된 QA 데이터를 활용했습니다.

2.2 억양 인식 LLM 백본

두 번째 구성 요소는 의미론적 능력을 유지하면서 부언어적 이해를 학습하도록 학습된 LLM 백본 (Qwen2.5-3B 또는 7B-Instruct) 입니다.

입력 형식:
LLM 은 텍스트 전사본을 주요 입력으로 받으며, 두 가지 전략을 통해 억양 정보가 주입됩니다:

1. 글로벌 프리펜딩 (기본값): 억양 임베딩이 단일 발화 수준 벡터로 평균화되어 MLP 를 통해 투영된 후 텍스트 시퀀스 앞에 추가됩니다.
2. 인터리빙: 압축된 억양 임베딩이 텍스트 토큰 사이에 고정 간격으로 삽입되어 더 세밀한 억양 변이를 포착합니다.

학습 파이프라인:
LLM 은 두 가지 결합된 목적 함수를 가진 2 단계 파이프라인을 사용하여 학습됩니다:

1. 의미론적 지능 유지 (지식 증류): 모델은 TTS 를 통해 음성으로 변환된 텍스트 전용 데이터셋 (UltraChat, CommonsenseQA) 을 사용하여 교사 TLM 들로부터 증류됩니다. 학생 모델은 WhisperPro 의 텍스트 + 억양 입력을 받지만, 교사의 텍스트 전용 응답을 모방하도록 학습합니다.
2. 부언어적 이해: IEMOCAP, CREMA-D, Common Voice 와 같은 데이터셋을 사용하여 화자 감정 (SER), 성별, 나이, 억양 감지 작업을 포함한 작업으로 모델이 학습됩니다.

3. 주요 기여

1. 입력 측 모달리티 간극 축소: 본 논문은 출력 측 생성 전략에서 입력 측 표현으로 초점을 이동시켜, 음성 입력을 '억양 인식 텍스트 LLM'과 유사하게 만드는 것이 간극을 줄이는 핵심이라고 주장합니다.
2. WhisperPro 인코더: 정확한 전사본과 풍부한 토큰 정렬 억양 임베딩을 동시에 출력하는 통합 인코더를 도입했으며, ASR 정확도를 희생하지 않으면서 음향 세부 사항을 보존하도록 재구성 목적 함수를 통해 학습됩니다.
3. 데이터 효율성: 엔드투엔드 음성 모델에 종종 필요한 방대한 데이터셋과 대조적으로, LLM 학습에 약 1,000 시간의 오디오 데이터만으로도 상당한 향상을 달성할 수 있음을 보여줍니다.
4. 듀얼 스트림 표현: 의미론적 정보와 부언어적 정보를 명시적으로 분리하고 동기화하는 설계를 제안하여, LLM 이 고유한 텍스트 처리 강점을 유지하면서 억양 인식을 획득할 수 있도록 합니다.

4. 실험 결과

3B 및 7B 파라미터 규모에서 실험을 수행하여 TextPro-SLM 을 주요 SLM 들 (예: GLM-4-Voice, Qwen2.5-Omni, Kimi-Audio) 과 캐스케이드 베이스라인과 비교했습니다.

• 모달리티 간극: TextPro-SLM 은 비교된 모든 SLM 중에서 가장 낮은 평균 모달리티 간극을 달성했습니다.
  • TextPro-SLM-7B는 평균 간극이 **0.7%**로, SALAD-7B(7.1%) 와 Qwen2.5-Omni-7B(3.1%) 를 크게 능가했습니다.
  • 추론이 중요한 벤치마크 (MMSU, OBQA) 에서 TextPro-SLM 은 간극을 거의 0 에 가깝게 줄였습니다 (예: OBQA 에서 0.7%). 반면 다른 모델들은 10~30% 를 초과하는 간극으로 어려움을 겪었습니다.
• 부언어적 이해: TextPro-SLM 은 베이스라인 중 부언어적 작업 (감정, 성별, 나이, 억양) 에서 최첨단 성능을 달성했으며, 7B 모델은 평균 정확도 **64.8%**에 도달했습니다.
• 어블레이션 연구:
  • 지식 증류 (KD) 를 제거하면 성능이 크게 저하되어 TLM 의미론적 능력을 유지하는 것의 필요성을 확인했습니다.
  • WhisperPro 의 재구성 목적 함수를 제거하면 부언어적 성능이 저하되어, 억양 인코딩을 위한 재구성 손실의 중요성을 검증했습니다.
  • 인터리빙 입력 (5:1 비율) 을 사용하면 글로벌 프리펜딩과 유사한 결과를 얻어, 종종 컴팩트한 글로벌 억양 벡터만으로도 충분함을 시사했습니다.

5. 중요성 및 주장

본 논문은 TextPro-SLM이 가장 효과적인 강력한 음성 LLM 구축 경로가 이를 억양 인식 텍스트 LLM으로 변환하는 것임을 검증한다는 가설을 주장합니다. 음성 입력을 텍스트 스타일 표현과 정렬하면서 부언어적 단서를 명시적으로 보존함으로써, 모델은 다음과 같은 성과를 달성합니다:

• 최소 모달리티 간극: 음성 기반 성능이 텍스트 기반 성능에 접근하며, 특히 추론 작업에서 두드러집니다.
• 높은 데이터 효율성: 이전 방법들에 비해 훨씬 적은 오디오 데이터 (~1,000 시간) 만으로도 충분하여, 병목 현상이 데이터 양이 아닌 아키텍처 정렬에 있음을 시사합니다.
• 실용적 사용성: 이 방법은 기반 TLM 의 강력한 추론 능력을 유지하여, 음성 데이터에 대한 지속적 학습에서 흔히 발생하는 파국적 망각 없이 SLM 을 일반 작업에 더 신뢰할 수 있게 만듭니다.

저자들은 현재 음성 합성 모듈이 부재하다는 점 (평가 기반이 텍스트 출력에 의존함), 비스트리밍 ASR 사용으로 인한 지연 시간 발생, 그리고 전체 구두 단서 스펙트럼 대신 특정 부언어적 속성 집합에 초점을 맞췄다는 한계를 지적합니다. 그러나 그들은 이러한 입력 측 정렬 전략이 향후 SLM 개발을 위한 유망하고 효율적인 방향을 제시한다고 주장합니다.