Discourse-Aware Dual-Track Streaming Response for Low-Latency Spoken Dialogue Systems

1. 문제 정의 (Problem)

기존의 캐스케이드형 (Cascaded) 구어 대화 시스템 (ASR → LLM → TTS) 은 인간과 유사한 자연스러운 응답 속도를 달성하는 데 근본적인 한계가 있습니다.

• 순차적 처리의 병목 현상: 기존 시스템은 사용자의 발화를 완전히 인식 (ASR) 하고, LLM 이 전체적인 추론을 완료한 후, TTS 가 음성 합성을 시작하는 엄격한 순차적 (Sequential) 파이프라인을 따릅니다.
• 높은 응답 지연: 이로 인해 응답 시작 시점 (Response Onset) 이 자연스러운 대화에서 요구되는 수백 밀리초 (sub-second) 이내로 도달하지 못하며, 사용자는 긴 대기 시간과 끊긴 대화 흐름을 경험하게 됩니다.
• 인간 행동과의 괴리: 인간은 생각하면서 말하기 (Thinking while speaking) 가 가능합니다. 즉, 고차원적인 추론이 진행되는 동안 "음", "알겠습니다"와 같은 담화 연결사 (Discourse Connectives) 를 먼저 말하여 대화의 흐름을 유지합니다. 하지만 기존 시스템은 이러한 전략을 활용하지 못합니다.

2. 방법론 (Methodology)

저자들은 DDTSR (Discourse-Aware Dual-Track Streaming Response) 프레임워크를 제안하여, 캐스케이드 시스템의 모듈성 장점을 유지하면서도 지연 시간을 획기적으로 줄이는 아키텍처를 설계했습니다. 이 프레임워크는 세 가지 핵심 메커니즘으로 구성됩니다.

(1) 연결사 기반 소형 - 대형 모델 시너지 (Connective-Guided Small–Large Model Synergy)

• 역할 분담: 응답 생성을 두 가지 역할로 분해합니다.
  • 소형 모델 (Lightweight Model): 즉각적으로 발화 가능한 안전하고 의미 부하가 적은 **담화 연결사 (Discourse Connectives)**를 생성합니다.
  • 대형 모델 (Large Model): 사용자의 질의에 대한 심층적인 지식 기반 추론과 본질적인 응답 내용을 생성합니다.
• 동시 실행: 두 모델은 사용자의 입력을 받으면 병렬로 작동합니다. 소형 모델은 즉시 초기 응답을 내보내고, 대형 모델은 배경에서 추론을 계속합니다.

(2) 스트리밍 기반 교차 모달 협업 (Streaming-Based Cross-Modal Collaboration)

• 조기 발화 (Early Emission): 최종 ASR 전사본을 기다리지 않고, 스트리밍 ASR 이 생성하는 **부분적 가설 (Partial Hypotheses)**을 기반으로 소형 모델이 즉시 연결사를 예측하고 발화합니다.
• 교차 모달 오버랩: ASR, LLM 추론, TTS 합성이 순차적으로 수행되는 대신, 서로 다른 모드 (모달리티) 에서 교차 및 병렬로 실행됩니다.
  • 사용자가 말하고 있는 동안 소형 모델이 ASR 입력을 처리하여 연결사를 TTS 로 변환해 발화합니다.
  • 동시에 대형 모델이 최종 전사본을 기반으로 본질적인 응답을 생성하여, 소형 모델의 음성이 끝나는 순간 자연스럽게 이어집니다.

(3) 커리큘럼 학습 기반 담화 연속성 강화 (Curriculum-Learning-Based Discourse Continuity Enhancement)

• 일관성 보장: 초기에 발화된 연결사가 이후 대형 모델이 생성하는 본질적 응답과 논리적으로 모순되지 않도록 보장합니다.
• 학습 전략:
  • 담화 지향 공동 학습: 소형 모델이 대형 모델의 응답 방향을 예측하여 적절한 연결사를 생성하도록 훈련합니다.
  • 커리큘럼 학습: 전체 문맥 대화에서 시작하여 점진적으로 잘린 (Truncated) 입력 세그먼트로 훈련을 진행하여, 불완전한 ASR 입력 상황에서도 일관된 연결사를 생성하도록 적응시킵니다.
  • 신뢰도 기반 선택: 스트리밍 단계에서 연결사의 예측 불확실성 (Entropy) 을 계산하여, 신뢰도가 충분히 높을 때만 발화하도록 제어합니다.

3. 주요 기여 (Key Contributions)

1. 지연 시간 재정의: 캐스케이드 ASR-LLM-TTS 시스템에서 발생하는 '응답 시작 딜레마 (Response-onset Dilemma)'를 식별하고, 이를 시간적 재구성 (Temporal Reorganization) 문제로 접근했습니다.
2. DDTSR 프레임워크 제안: 소형 - 대형 모델 시너지와 교차 모달 스트리밍 협업을 통해 초기 연결사 생성과 심층 추론을 분리하는 새로운 아키텍처를 제시했습니다.
3. 플러그 앤 플레이 모듈: 기존 ASR/TTS 모듈을 변경하지 않고도 적용 가능한 범용 모듈로 설계되었으며, 다양한 LLM 백본과 호환됩니다.

4. 실험 결과 (Results)

SD-Eval 및 SpokenNativQA 라는 두 가지 구어 대화 벤치마크에서 실험을 수행했습니다.

• 지연 시간 감소: 기존 단일 스트림 캐스케이드 시스템 (SSC) 및 표준 듀얼 스트림 시스템 (SDC) 대비 응답 대기 시간 (Waiting Latency) 을 19%~51% 감소시켰습니다.
  • 예: SD-Eval (8B 모델) 에서 평균 대기 시간이 1003ms (SSC) → 548ms (DDTSR) 로 단축됨.
  • 1 초 미만 응답: 대부분의 상황에서 1 초 이내의 응답 시작을 달성하여 인간 수준의 턴 테이킹 (Turn-taking) 에 근접했습니다.
• 품질 유지: 응답 지연이 크게 단축되었음에도 불구하고, 텍스트의 일관성 (Consistency), 담화 연속성 (Coherence), 그리고 음성 자연스러움 (UTMOSv2 점수) 은 기존 시스템 및 골드 스탠다드와 비교해 유의미한 저하 없이 유지되었습니다.
• 입력 길이 영향: 입력 길이가 길어질수록 DDTSR 의 지연 감소 효과가 더욱 두드러졌습니다 (최대 58.3% 감소). 이는 긴 대화일수록 병렬 처리의 이점이 커지기 때문입니다.

5. 의의 및 결론 (Significance)

• 실용성: 완전한 엔드 - 투 - 엔드 (End-to-End) 음성 모델의 고비용과 복잡한 훈련 파이프라인 없이도, 기존 캐스케이드 시스템의 모듈성과 제어 가능성을 유지하면서 인간과 같은 낮은 지연 응답을 구현할 수 있음을 증명했습니다.
• 대화 자연스러움: "생각하면서 말하기"라는 인간의 심리언어학적 특성을 시스템 아키텍처에 성공적으로 반영하여, 대화의 끊김을 줄이고 사용자 경험을 획기적으로 개선했습니다.
• 확장성: DDTSR 은 실시간 음성 상호작용을 위한 대화 시스템 설계에 새로운 방향을 제시하며, 실제 환경에서의 적용 가능성과 확장성이 매우 높습니다.

요약하자면, 이 논문은 소형 모델이 '연결사'를 빠르게 발화하여 대기 시간을 숨기고, 대형 모델이 '본질적 내용'을 병렬로 처리하는 혁신적인 아키텍처를 통해 캐스케이드 구어 대화 시스템의 가장 큰 약점인 '지연 시간'을 해결했습니다.