기술 요약: DiffuSpeech – 통합 음성-텍스트 확산 모델을 통한 침묵의 사고와 음성 답변

1. 문제 정의

현재의 음성 대규모 언어 모델(Speech LLMs)은 주로 자기회귀(Autoregressive, AR) 생성 방식에 의존하며, 중간의 명시적인 추론 과정 없이 입력으로부터 직접 음성 응답을 생성합니다. 이러한 구조는 두 가지 결정적인 한계를 가집니다:

1. 명시적 추론의 부재: 사고의 사슬(Chain-of-Thought, CoT)을 활용하여 정확도를 높이는 텍스트 LLM과 달리, 기존 음성 시스템은 추론 과정을 노출하지 않고 토큰을 순차적으로 생성합니다. 이러한 불투명성은 사용자가 답변이 어떻게 도출되었는지 검증하는 것을 방해하며, 오디오가 생성되기 전에 모델이 오류를 수정할 수 있는 능력을 제한합니다.
2. 음성의 비가역성: 일단 오디오가 생성되면, 발화 도중에 오류를 수정할 수 없습니다. 좌측에서 우측으로(left-to-right) 생성하며 양방향 문맥을 활용하지 못하는 AR 모델은 추론 과정과 최종 음성 출력 사이의 전역적 의존성을 활용하는 데 어려움을 겪으며, 이로 인해 유창하지만 사실 관계가 틀린 응답을 내놓는 경우가 빈번합니다.

저자들은 모델이 내부적인 텍스트 기반 추론 흔적("침묵의 사고")을 음성 응답과 함께 생성하는 새로운 패러다임인 **"침묵의 사고, 음성 답변(Silent Thought, Spoken Answer)"**을 제안합니다. 이 접근 방식은 인간의 인지 과정을 모방하여, 추론 과정이 최종 음성 출력의 품질을 정보화하고 개선하도록 하는 것을 목표로 합니다.

2. 방법론: DiffuSpeech

이 패러다임을 실현하기 위해, 저자들은 이산 텍스트와 토큰화된 음성을 단일 마스크 확산(Masked Diffusion) 프레임워크 아래 통합한 최초의 확산 기반 음성-텍스트 언어 모델인 DiffuSpeech를 소개합니다.

2.1 통합 표현 (Unified Representation)

DiffuSpeech는 통합 어휘집 $V = V_{text} \cup V_{special} \cup V_{speech}$를 사용합니다:

• 음성 토큰화: 원시 오디오 파형은 동결된 HuBERT 인코더와 선형 양자화기(linear quantizer)를 통해 이산 음성 토큰(25Hz, 500 vocab)으로 처리됩니다.
• 시퀀스 구조: 멀티모달 작업은 $x = [\tau, c, y]$로 구조화됩니다. 여기서 $\tau$는 태스크 토큰, $c$는 조건부 입력, $y$는 타겟입니다. 핵심 작업(추론이 포함된 음성-대-음성)의 경우, 시퀀스는 입력 음성, 텍스트 기반 추론 흔적, 그리고 출력 음성을 포함합니다.

2.2 마스크 확산 프레임워크 (Masked Diffusion Framework)

토큰을 순차적으로 생성하는 AR 모델과 달리, DiffuSpeech는 **마스크 확산 언어 모델(MDLMs)**을 사용합니다:

• 순방향 과정 (Forward Process): 코사인 스케줄에 따라 확률 $\gamma(t)$를 기반으로 토큰들이 독립적으로 마스킹됩니다.
• 역방향 과정 (Reverse Process): 트랜스포머 백본($f_\theta$)은 반복적인 디노이징을 통해 마스킹된 시퀀스로부터 원래의 토큰을 예측합니다.
• 결합 생성 (Joint Generation): 모델은 추론 흔적과 음성 토큰을 공동으로 생성합니다. 결정적으로, 텍스트와 오디오의 서로 다른 특성을 수용하기 위해 **양식별 마스킹 스케줄(modality-specific masking schedules)**을 채택하여, 생성 과정 중 추론 흔적과 음성 토큰이 양방향 문맥을 통해 서로에게 정보를 제공할 수 있도록 합니다.

2.3 2단계 훈련 파이프라인

모델은 커리큘럼 학습 방식을 통해 훈련됩니다:

1. 1단계 (음성-텍스트 정렬): 모델은 ASR(음성 $\to$ 텍스트), TTS(텍스트 $\to$ 음성), 그리고 텍스트 언어 모델링 작업을 사용하여 음성과 텍스트 간의 대응 관계를 학습합니다. 이 단계는 동결된 HuBERT 인코더와 HiFi-GAN 보코더를 LLaDA 백본과 정렬합니다.
2. 2단계 (지시 이행): 모델은 THINKINGTALK 데이터셋을 통해 미세 조정됩니다. 이 단계에서는 특히 음성-대-음성 질의응답(S2S), 음성-대-텍스트(S2T), 텍스트-대-텍스트(T2T)와 같은 작업을 수행할 때 내부 추론 흔적을 응답과 함께 생성하도록 모델을 학습시킵니다.

2.4 추론 (Inference)

추론 시, DiffuSpeech는 단일 확산 과정을 수행합니다. 모델은 마스크 토큰으로 타겟 시퀀스를 초기화하고 이를 반복적으로 디노이징합니다. 신뢰도 기반 언마스킹 전략은 각 단계에서 가장 신뢰도가 높은 상위-$k$개의 예측을 선택하여 언마스킹함으로써, 모델이 쉬운 결정을 먼저 내리고 더 어려운 결정을 나중에 정교화할 수 있도록 하여 "침묵의 사고"와 "음성 답변"을 동시에 효과적으로 생성하게 합니다.

3. 주요 기여

3.1 "침묵의 사고, 음성 답변" 패러다임

본 논문은 음성 LLM이 음성 응답을 가이드하는 내부 텍스트 추론 흔적을 생성하는 새로운 프레임워크를 도입합니다. 이를 통해 모델은 텍스트 LLM의 강력한 추론 능력을 활용하면서도 자연스러운 음성을 생성할 수 있으며, 오디오 토큰을 확정하기 전에 응답을 계획함으로써 음성 생성의 "비가역성" 문제를 해결합니다.

3.2 최초의 통합 음성-텍스트 확산 아키텍처

DiffuSpeech는 마스크 확산을 음성-텍스트 영역으로 확장하여, 확산 방식이 멀티모달 음성 모델링을 위한 유효한 대안임을 입증했습니다. 이 모델은 단일 모델 내에서 이해(ASR)와 생성(TTS/S2S)을 모두 지원하며, 음성-대-텍스트만을 지원했던 기존 확산 모델(DiFFA 등)과의 간극을 메웁니다.

3.3 THINKINGTALK 데이터셋

저자들은 텍스트 추론 흔적이 쌍으로 구성된 최초의 음성 QA 데이터셋인 THINKINGTALK를 구축했습니다.

• 규모: 총 319시간 분량의 오디오를 포함한 26,387개의 샘플.
• 구성: Smoltalk 및 SoundMind 데이터셋에서 유래되었으며, 명시적인 "사고" 단계를 포함하도록 재작성되었고, 품질 필터링 및 다양한 목소리로 합성되었습니다.
• 의의: 이는 이전의 음성 LLM에서는 불가능했던 "말하면서 생각하기" 능력을 위한 필수적인 훈련 자원을 제공합니다.

4. 실험 결과

4.1 음성 질의응답 (QA)

DiffuSpeech는 음성-대-음성(S2S) QA에서 최첨단 성능을 달ей합니다:

• LlamaQ: 68.5% 정확도 (+Moshi 대비 +4.3)
• TriviaQA: 33.5% 정확도 (+Moshi 대비 +3.0)
• WebQ: 49.7% 정확도 (+Moshi 대비 +9.0)
• Ablation (절제 연구): "추론 흔적"을 제거했을 때 성능이 크게 하락(예: DiffuSpeech에서 평균 -13.4 포인트)하였으며, 이는 추론 흔적이 정확도에 결정적임을 확인시켜 줍니다.

4.2 음성 처리 (ASR & TTS)

• ASR: 경쟁력 있는 단어 오류율(WER)을 달성합니다 (예: LibriSpeech-Clean에서 3.0%).
• TTS: 테스트된 모든 생성 모델 중 최고의 TTS 품질을 달성했습니다. LibriSpeech-Clean에서 6.2%의 WER을 기록하며, 자기회귀 기반 모델인 MinMo(6.7%)와 Moshi(7.0%)를 능가했습니다.

4.3 언어 이해

음성 양식이 추가되었음에도 불구하고, DiffuSpeech는 강력한 언어 이해 능력을 유지합니다:

• MMLU: 66.2% (기본 LLaDA 모델과 일치)
• TriviaQA: 60.3% (LLaDA 대비 +4.7)
• GSM8K: 72.8% (LLaDA 대비 +2.5)

4.4 효율성 및 아키텍처 비교

• Diffusion vs. AR: AR 모델은 초기 학습 속도가 빠르지만, DiffuSpeech는 중후반 학습 단계(약 10k 스텝 이후)에서 AR 모델을 앞질러 더 낮은 최종 WER을 달성합니다. 이는 확산의 양방향 모델링이 장기적인 음성-텍스트 정렬에 더 우수함을 시사합니다.
• 샘플 효율성: DiffuSpeech는 적은 디노이징 스텝(예: 1024 스텝 대비 512 스텝)에서도 강력한 성능을 유지하여, 선형적으로 확장되는 AR 생성에 비해 빠른 추론 가능성을 보여줍니다.

5. 의의 및 주장

본 논문은 DiffuSpeech가 확산 기반 생성이 멀티모달 음성-텍스트 모델링을 위한 유효하고 효과적인 패러다임임을 입증한다고 주장합니다. 주요 의의는 내부 추론 흔적을 음성 출력과 함께 공동으로 생성할 수 있다는 점에 있으며, 이는 더 정확하고 신뢰할 수 있는 음성 대화 시스템을 구축할 수 있는 새로운 가능성을 엽니다.

"침묵의 사고, 음성 답변" 패러다임을 도입함으로써, 본 연구는 현재 음성 LLM의 근본적인 한계인 "말하기 전 명시적 추론 불가능" 문제를 해결합니다. 저자들은 이 접근 방식이 QA 작업에서의 사실적 정확도를 높일 뿐만 아니라, 우수한 TTS 지표에서 나타나듯 전반적인 음성 생성 품질을 향상시킨다고 주장합니다. THINKINGTALK 데이터셋의 구축은 추론이 강화된 음성 생성 연구를 위한 기초 자원으로서 강조됩니다.

본 논문은 현재의 작업이 음성과 텍스트에 집중하고 있으나, 향후 방향으로 시각적 양식 및 Mixture-of-Experts(MoE) 아키텍처를 포함할 수 있음을 언급하며 겸허히 마무리하며, 머신러닝 능력의 발전을 넘어선 구체적인 사회적 영향에 대해서는 추측하지 않습니다.