TurnGuide: Enhancing Meaningful Full Duplex Spoken Interactions via Dynamic Turn-Level Text-Speech Interleaving

기술 요약: TurnGuide

문제 정의

전이중(Full-Duplex) 음성 언어 모델(FD-SLM)은 중단(interruption), 백채널(backchannel), 중첩 발화(overlapping speech)와 같은 복잡한 차례 주고받기(turn-taking) 행동을 모델링하여 실시간의 인간다운 음성 상호작용을 가능하게 하는 것을 목표로 합니다. 엔드투엔드(e2e) FD-SLM은 이중 채널 대화 오디오로부터 직접 학습함으로써 계단식(cascaded) 시스템보다 더 자연스러운 접근 방식을 제공하지만, 텍스트 전용 대규모 언어 모델(TLM)에 비해 대화 품질이 저하되는 문제를 겪습니다. 이러한 저하는 고품질 음성 데이터의 부족과 긴 음성 시퀀스 처리의 복잡성에서 기인합니다.

유망한 해결책은 **텍스트-음성 인터리빙 생성(text-speech interleaved generation)**으로, 모델이 음성을 생성하기에 앞서 텍스트를 먼저 생성하여 가이드를 제공하는 방식입니다. 그러나 이를 e2e FD-SLM에 적용할 때는 두 가지 결정적인 과제가 발생합니다:

1. 삽입 타이밍(Insertion Timing): 텍스트는 어시스턴트가 말을 시작하는 시점에 정확하게 삽입되어야 합니다. 너무 일찍 삽입되면 환각(문맥 부족)이 발생하고, 너무 늦게 삽입되면 가이드로서의 효과가 저해됩니다.
2. 삽입 길이(Insertion Length): 텍스트 세그먼트는 적절한 길이를 가져야 합니다. 길이가 너무 길면 어시스턴트가 "말을 과하게 하여(overspeak)" 사용자 입력에 적응하지 못하게 되고, 너무 짧으면 의미적 내용이 파편화됩니다.

Moshi와 같이 특정 소리가 발생하는 정확한 시점에 텍스트 토큰을 삽입하는 기존 방식은 텍스트의 의미를 지나치게 파편화하며 성능을 크게 개선하지 못하는 경우가 많습니다.

방법론: TurnGuide

저자들은 실제 환경의 이중 채널 데이터로 학습된 e2e FD-SLM에 텍스트 가이드를 원활하게 통합하도록 설계된 프레임워크인 TurnGuide를 제안합니다. 이 방법론은 두 가지 주요 구성 요소로 이루어집니다.

1. 동적 차례 분할 및 정렬 프레임워크 (Dynamic Turn Segmentation and Alignment Framework)

삽입 타이밍과 길이를 해결하기 위해, TurnGuide는 어시스턴트의 음성을 "차례(turn)"—완전한 표현을 전달하는 합리적인 단위—로 동적으로 분할합니다.

• 분할(Segmentation): 시스템은 음성 활동 감지(VAD)를 사용하여 음성 세그림트를 식별하고, 휴지 임계값(0.5초)을 기준으로 인접한 세그먼트들을 간격 단위(Inter-Pausal Units, IPU)로 병합합니다.
• 정렬(Alignment): 단어 수준의 타임스탬프 추출 기능이 있는 자동 음성 인식(ASR) 모듈이 텍스트 전사본을 오디오와 정렬합니다.
• 그룹화(Grouping): 단어들은 해당 IPU의 시작 시간을 기준으로 차례(turn)로 그룹화되며, 타임스탬프 불일치를 처리하기 위해 허용 오차 매개변수(0.6초)를 사용합니다. 이를 통해 $W_j$는 $j$번째 차례의 텍스트이고 $S_j$는 그에 대응하는 음성인 정렬된 텍스트-음성 쌍 $(W_j, S_j)$가 생성됩니다.

2. 텍스트 가이드형 전이중 대화 모델링 프레임워크 (Text-Guided Full Duplex Dialogue Modeling Framework)

GLM-4-Voice를 백본으로 사용하는 이 프레임워크는 두 가지 인터리빙 전략을 사용하여 모델을 학습시킵니다.

• 채널별 인터리빙(Channel-wise Interleaving): 교차 채널 상호작용을 모델링하기 위해, 사용자 및 어시스턴트 음성 토큰은 토큰 단위가 아닌 청크 단위(400ms에 해당하는 5개 토큰)로 인터리빙됩니다. 각 청크에는 화자 ID 토큰(User ID 또는 Assistant ID)이 접두사로 붙습니다.
• 텍스트-음성 인터리빙(Text-Speech Interleaving): 어시스턴트 채널의 경우, 텍스트 토큰이 음성 토큰과 차례(turn)별로 인터리빙됩니다. 한 차례의 텍스트는 청크(5개 토큰씩)로 나뉘어 해당 음성 청크의 시작 부분에 삽입됩니다. 모델이 동적인 차례 경계를 학습할 수 있도록 텍스트 청크 끝에는 "청크 종료(⟨EOC⟩)" 토큰이 추가됩니다.
• 비율(Ratio): 텍스트 생성이 음성 생성을 효과적으로 가이드할 수 있도록 텍스트와 음성 청크의 비율을 5:5로 유지합니다.

주요 기여

1. TurnGuide 프레임워크: 실제 음성 데이터에 기반하여 실제 환경의 이중 채널 대화를 처리하도록 특별히 설계된 새로운 텍스트-음성 인터리빙 생성 방식입니다.
2. 동적 차례 분할: 어시스턴트 음성을 동적으로 분할하고 텍스트를 음성 차례와 정렬하는 프레임워크를 도입하여, 이중 채널 대화에서의 삽입 타이밍 및 길이 문제를 효과적으로 해결했습니다.
3. 실증적 검증: TurnGuide가 생성된 음성의 의미적 일관성을 크게 향상시키고 다양한 차례 주고받기 이벤트에서 최첨단(SOTA) 성능을 달와 성을 입증하는 광범위한 실험을 수행했습니다.

실험 결과

저자들은 Fisher 데이터셋(2,000시간의 전화 통화)을 사용하여 dGSLM, Moshi 및 다양한 인터리빙 전략(STI, SCI, Moshi TS)을 포함한 베이스라인 모델들과 TurnGuide를 비교 평가했습니다.

• 의미적 일관성(Semantic Coherence): TurnGuide는 의미적 유의미함과 일관성 측면에서 베이스라인 모델들을 크게 앞질렀습니다(GPT-4o 점수로 측정). 예를 들어, 조건부 생성에서 TurnGuide는 평균 7.27점을 기록하여, Moshi(5.85) 및 Speech Chunk Interleaving(SCI, 5.91)보다 높은 성적을 거두었습니다.
• 차례 주고받기 행동(Turn-Taking Behaviors): Full-Duplex-Bench에서 TurnGuide는 휴지(pause), 백채널, 매끄러운 차례 전환, 사용자 중단 등을 처리하는 데 있어 탁월한 자연스러움을 보여주었으며, 여러 지표에서 베이스라인을 능가했습니다.
• 삽입 매개변수에 대한 강건성: 절제 연구(Ablation studies)를 통해 모델이 삽입 타이밍과 길이에 매우 민감함을 확인했습니다. 편차(너무 빠름, 너무 늦음, 너무 김, 너무 짧음)는 성능을 크게 저하시켰으며, 이는 제안된 동적 차례 분할의 필요성을 입증합니다.
• QA 능력 보존: TurnGuide는 Web Questions 및 Trivia QA와 같은 벤치마크에서 기본 모델과 대등한 성능을 보이며 기존 GLM-4-Voice의 질의응답(QA) 능력을 보존했습니다.
• 지연 시간(Latency): TurnGuide의 이론적 상호작용 지연 시간은 약 0.69초로 계산되었습니다. 저자들은 청크 처리로 인해 토큰 단위 인터리빙 방식보다는 높지만, 실시간 음성 상호작용에 수용 가능한 수준이라고 언급했습니다.

의의 및 주장

본 논문은 TurnGuide가 텍스트 전용 LLM의 의미적 지능과 전이중 음성에 필요한 자연스러운 음향 흐름 사이의 간극을 성공적으로 메웠다고 주장합니다. 음성을 차례 단위로 동적으로 분할하고 텍스트를 차례 수준에서 인터리빙함으로써, 이 방식은 기존의 토큰 단위 접근 방식에서 나타나는 의미적 파편화 문제를 방지합니다.

저자들은 TurnGuide가 의미 있고 일관된 음성을 생성하는 동시에 차례 주고받기 이벤트에서 최첨단 성능을 유지할 수 있게 한다고 강조합니다. 또한, 쌍체 비교(pairwise comparisons)와 절대 평점 테스트를 통해 GPT-4o 기반의 평가 지표가 인간의 판단과 밀접하게 일치함을 검증했습니다.

결론적으로 TurnGuide는 더욱 의미 있고 인간다운 음성 상호작용을 위한 길을 열어주지만, Fisher 데이터셋(전화 통화)에 대한 의존성과 최적의 지연 시간을 달로하기 위한 보코더(vocoder) 최적화의 필요성 등 한계점도 인정하고 있습니다.