기술 요약: Bagpiper-TTS

문제 정의

전통적인 텍-투-스피치(TTS) 시스템은 미리 정의된 메타데이터 슬롯(예: 특정 화자 ID, 감정 레이블 또는 언어 코드)에 의존하는 경직된 입력 형식으로 인해 제약을 받습니다. 이러한 패러다임은 사용자의 요청이 유동적이고 예측 불가능하며 자유로운 형식의 자연어로 표현되는 실제 응용 분야와 근본적인 불일치를 발생시킵니다. 또한, TTS가 다중 화자 대화, 역할극, 가창 합성(Singing Voice Synthesis)과 같은 복잡한 도메인으로 확장됨에 따라, 현재의 아키텍처는 유연성을 희생하거나 파이프라인의 복잡성을 증가시키지 않고 이러한 다양한 기능들을 하나의 응집된 프레임워크로 통합하는 데 어려움을 겪고 있습니다. 기존 모델들은 구조화된 입력을 요구하므로, 미묘하고 인간 중심적인 지침을 쉽게 수용할 수 없습니다.

방법론

본 논문은 자유로운 형식의 자연어 요청과 고충실도 음성 생성을 연결하기 위해 설계된 범용 음성 합성 시스템인 Bagpiper-TTS를 소개합니다. 이 시스템은 단일 통합 모델 내에서 작동하는 Planning-Caption-Generation(계획-캡션-생성) 워크플로우를 기반으로 합니다.

1. 핵심 아키텍처

Bagpiper-TTS는 6,000억 개의 토큰으로 사전 학습된 오디오 중심의 파운데이션 모델인 Bagpiper-Base를 기반으로 구축되었습니다.

• 백본(Backbone): Qwen3-8B-Base 디코더 전용 LLM을 활용합니다.
• 오디오 토큰화(Audio Tokenization): 50Hz로 작동하는 멀티 스트림 X-Codec을 사용하여 프레임당 8개의 이산 코드(discrete codes)를 생성합니다.
• 사전 학습(Pre-training): 캡션-오디오 합성, 오디오-캡션 이해, 그리고 음성, 음악, 환경음을 아우르는 순수 텍스트 모델링을 포함합니다.

2. Planning-Caption-Generation 워크플로우

슬롯 채우기 방식 대신, 이 시스템은 세 가지 계층적 단계를 통해 사용자 요청을 처리합니다.

1. 텍스트 계획(Textual Planning): 모델은 사용자의 의도를 추론하여 전사 레이아웃, 음성 이벤트 및 스타일 제약 조건을 포함한 개념적 요약을 구성합니다.
2. 풍부한 캡션 합성(Rich Caption Synthesis): 계획된 출력에 기반하여, 모델은 전사 내용과 광범위한 준언어적 메타데이터(예: 녹음 환경, 화자의 피치, 억양, 배경 소음 등)를 정밀하게 인코딩하는 종합적인 텍스트 청사진인 "Rich Caption"을 생성합니다.
3. 음성 생성(Speech Generation): 풍부한 캡션은 사전 학습 단계에서 확립된 강력한 정렬(alignment)을 활용하여 대상 음성을 합성하기 위한 직접적인 가이드 역할을 수행합니다.

3. 데이터 시뮬레이션 파이프라인

자유로운 형식의 지시 이행을 가능하게 하기 위해, 저자들은 6단계 시뮬레이션 파이프라인을 사용하여 특화된 미세 조정 코퍼스를 큐레이션했습니다.

• 큐레이션 및 캡셔닝(Curation & Captioning): 고품질 음성 클립에서 시작하여, 자동 캡셔닝 모델(Qwen-30B-A3B-Captioner)이 풍부한 캡션을 생성합니다.
• 필터링(Filtering): 정확성을 보장하기 위해 단어 오류율(WER)을 사용하여 전사 내용을 그라운드 트루스(ground truth)와 대조하고 검증합니다.
• 요청 및 계획 시뮬레이션(Request & Planning Simulation): 대규모 언어 모델(LLM)이 풍부한 캡션으로부터 다양한 사용자 요청을 역설계하고, 요청과 캡션 사이의 간극을 메우기 위한 텍스트 계획 프로세스를 구축합니다.
• 검증(Validation): LLM-as-a-judge가 (사용자 요청, 계획 프로세스, 풍부한 캡션) 삼중항의 논리적 일관성을 평가하여, 높은 일관성 점수를 가진 샘플만을 유지합니다.
• 범위(Scope): 데이터셋은 클래식 TTS, 다중 화자, 의도-투-스피치(Intent-to-Speech), 역할극, 가창 합성(SVS) 및 일반 목적의 서브셋을 포함하며, 총 738,000개의 예시로 구성됩니다.

주요 기여

• 범용 인터페이스(Universal Interface): 경직된 메타데이터 슬롯을 임의의 사용자 지침을 해석할 수 있는 인간 중심적 접근 방식으로 대체하여, 자연어를 TTS의 범용 인터페이스로 제안합니다.
• 풍부한 캡션 메커니즘(Rich Caption Mechanism): 콘텐츠와 복잡한 음향적 속성을 모두 캡슐화하는 확장 가능한 중간 표현으로서 "Rich Caption"을 도입하여, 단일 프레임워크 내에서 다양한 작업(예: 역할극, SVS)을 처리할 수 있도록 합니다.
• 엔드 투 엔드 추론(End-to-End Reasoning): 외부 모듈형 컴포넌트 없이도 모델이 사용자 의도, 계획, 음향 실현을 자율적으로 추론하는 워크플로우를 입증합니다.
• 다재다능한 응용(Versatile Application): 클래식 TTS를 다중 화자 대화, 의도-투-스피치(맥락으로부터 콘텐츠 추론), 역할극 합성, 가창 합성(SVS)과 같은 고급 작업들과 성공적으로 통합하였습니다.

실험 결과

저자들은 세 가지 계층에 걸쳐 Bagpiper-TTS를 평가했습니다.

1. 클래식 TTS: Seed-TTS-Eval (En) 벤치마크에서 Bagpiper-TTS는 **단어 오류율(WER) 1.7%**를 달성하여, 전용 모델(예: Qwen3-TTS 1.5%, CosayVoice 2 2.6%)과 대등한 성능을 보였습니다.
2. 고급 응용 분야: 다중 화자, 의도-투-스피치, 역할극, SVS에 대해 LLM-as-a-judge (Gemini-3-Flash) 및 인간 주관적 평가(MTurk)를 통해 평가되었습니다.
   • 과업 수행도(Task Fulfillment): 고급 응용 분야 전반에서 평균 4.09/5 점을 기록했습니다.
   • 주관적 품질(Subjective Quality): 평균 의견 점수(MOS) 3.69/5를 달성하였으며, 이는 특정 카테고리에서 VibeVoice나 YuE와 같은 전문화된 베이스라인과 비슷하거나 이를 상회하는 수준입니다.
3. 정성적 분석: 모델은 비직관적인 논리(예: 프롬프트에 따라 숫자를 거꾸로 세는 과정)를 해석하고, 미묘한 요청(예: "부드러운 비판")에 맞춰 음향적 전달 방식을 조정하는 능력을 보여주었습니다.

의의 및 주장

본 논문은 Bagpiper-TTS가 직관적이고 범용적인 음성 파운데이션 모델을 향한 중요한 진전이라고 주장합니다. 기술적 전문성(메타데이터 슬롯 채우기)의 요구를 기본적인 자연어 숙련도로 전환함으로써, 이 시스템은 정교한 음성 합성을 대중화합니다. 저자들은 인간 중심적 접근 방식이 경직된 TTS 시스템의 한계를 성공적으로 해결하며, 표준 벤치마크에서 경쟁력 있는 성능을 달 동시에 전례 없는 다재다능함을 제공한다고 주장합니다. 이 연구는 자연어 인터페이스가 분절된 모듈형 파이프라인을 효과적으로 대체하여, 단일 모델이 광범위한 음성 합성 작업을 처리할 수 있음을 시사합니다.