Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot

기술 요약: 문맥 인지형 서문 생성을 통한 저지연 턴 테이킹(Turn-Taking)

문제 정의
ASR-LLM-TTS가 계단식으로 연결된 대규모 언어 모델(LLM) 기반 대화 시스템은 일반적으로 사용자의 발화가 완전히 인식된 후에야 응답 생성이 시작되기 때문에 상당한 응답 지연이 발생한다. 대화형 필러(예: "어허", "그렇군요")가 이러한 지연을 가리기 위해 흔히 사용되지만, 이들은 일반적이거나 반복적일 경우 시간이 지남에 따라 부자연스러워질 수 있다. 핵심 과제는 응답 속도와 생성 품질 사이의 균ков를 맞추는 것이다. 단순한 점진적 생성은 일관성을 저해할 수 있는 반면, 전체 발화 인식을 기다리는 것은 인지 가능한 지연을 초래한다. 따라서 시스템은 실질적인 답변을 구성하는 동안 문맥적으로 적절한 예비 응답을 통해 대화의 주도권을 유지할 수 있는 메커니즘이 필요하다.

방법론
저자들은 응답 준비와 발화 시작을 분리하도록 설계된 2단계 점진적 응답 프레임워크를 제안한다. 시스템 아키텍처는 다음 구성 요소로 이루어진다:

1. 의도 준비도 탐지(Intent Readiness Detection): 이 이진 분류 모델은 현재 발화 접두사(이전 시스템 발화에 의해 조건화됨)로부터 사용자의 의도가 충분히 예측 가능한지를 결정한다.

   • 학습: 모델은 두 단계로 학습되었다. 먼저 LLM 유사 레이블 코퍼스(765k 인스턴스)를 통해 학습되었고, 그 후 인간이 주석을 단 코퍼스(30k 인스턴스)를 통해 미세 조정되었다. 두 데이터셋 모두 망설임과 자기 수정(self-repair)을 포함하도록 다양화되었다.
   • 아키텍처: 이진 분류 헤드를 가진 일본어 ModernBERT 30M 인코더를 기반으로 하며, 클래스 불균형을 해결하기 위해 포컬 로스(focal loss)를 활용한다.
   • 트리거: 의도 준비도 점수가 임계값(0.35)을 초과하면, 짧은 서문 응답 생성이 트리거된다.

2. 2단계 생성:

   • 1단계 (서문 응답): 의도 준비도가 감지되면, 시스템은 문맥을 인지하는 짧은 서문 응답(예: "버거 가게는...")을 생성한다. 엄격한 제약 조건이 적용된다: 응답은 일본어 10자로 제한되며, 새로운 사실을 도입하거나, 확정적인 진술을 하거나, 강한 동의를 표현해서는 안 된다.
   • 2단계 (주 응답): 동시에, 시스템은 완전한 사용자 발화에 기반하여 작업 관련성이 높은 전체 주 응답을 생성한다.

3. 턴 테이킹 제어: 음성 활동 투영(Voice Activity Projection, VAP) 모델이 사용자가 턴을 넘기는 시점을 독립적으로 추정한다. 만약 VAP가 턴 전환을 예측할 때 서문 응답이 준비되어 있다면, 시스템은 이를 즉시 전달한다. 주 응답은 전체 STT 결과가 확보된 후 뒤따른다.

주요 기여

• 분리된 아키텍처: 본 논문은 발화 시작의 타이밍(VAP에 의해 제어됨)과 응답의 준비(의도 준비도 탐지에 의해 제어됨)를 분리하는 프레임워크를 소개한다.
• 문맥 인지형 서문: 고정된 필러와 달리, 이 시스템은 사용자의 드러나는 의도에 조건화된 예비 응답을 생성하여, 턴 테이킹 예측과 실질적인 답변 생성 사이의 간극을 메운다.
• 안전 제약 조건: 시스템은 조기 예측 오류 및 실제 배포 시의 환각 위험을 완화하기 위해 서문 응답에 대한 엄격한 길이 및 의미론적 제약을 강제한다.

실험 결과
본 프레임워크는 일본의 한 쇼핑몰에 배치된 경로 안내 로봇을 사용하여 현장 실험을 통해 평가되었다. 세 가지 조건이 비교되었다: 필러 없음(no-filler), 고정 필러(fixed-filler) (예: "네"), 문맥적 서문(contextual-preface).

• 초기 응답 지연: 고정 필러와 문맥적 서문 조건 모두 필러 없는 베이스라인에 비해 초기 응답 지연을 유의미하게 감소시켰다. 그러나 고정 필러 조건이 문맥적 서문 조건보다 초기 지연 시간이 유의미하게 짧았다.
• 초기-주 응답 간격: 문맥적 서문 조건은 고정 필러 조건에 비해 초기 응답과 주 응답 사이의 간격이 유의미하게 짧았다. 이는 서문 생성에 약간 더 많은 시간이 걸리더라도, 상호작용 시작 시점 대비 주 응답을 더 빨리 전달할 수 있음을 나타낸다.
• 트리거 타이밍: 문맥적 서문 조건에서 의도 준비도 탐지기는 평균적으로 5.53자(최종 발화 길이의 69.2%) 후에 작동하였으며, 사용자가 말을 마치기 전에 트리거된 경우는 58.2%였다.
• 대화 중단(Breakdowns): 약 8%의 서문 응답이 출력 절단 또는 약한 문맥적 근거로 인해 중단(예: 파편화된 문장 또는 일반적인 질문)으로 주석 처리되었다.
• 주관적 평가: 탐색적 사후 상호작용 설문 조사(조건당 30명) 결과, 대화 속도, 자연스러움, 적절성 또는 만족도 측면에서 네 가지 조건 간에 통계적으로 유의미한 차이가 나타나지 않았다.

의의 및 주장
본 논문은 문맥 인지형 서문 응답이 실제 환경의 대화 로봇을 위한 실용적인 절충안을 제공한다고 주장한다. 이 방식이 고정 필러만큼 절대적인 최저 초기 지연을 달성하지는 못하지만, 실질적인 답변이 전달되기 전의 지연을 유의미하게 줄여줌으로써 부자연스럽고 반복적인 필러에 의존하지 않고도 정보 흐름을 개선한다는 것이다.

저자들은 이 방법이 턴 종료 후의 대기 시간을 채움으로써 응답 생성의 실용성을 높이지만, 주관적 평가에서 유의미한 차이가 없다는 점은 전반적인 사용자 경험에 미치는 영향을 결정하기 위해 더 크고 표적화된 연구가 필요함을 시사한다고 겸허히 결론지었다. 본 연구는 짧은 서문의 안정적이고 문맥에 근거한 생성이 여전히 핵심적인 병목 구간임을 강조하며, 향후 연구는 서문과 주 응답 사이의 의미적 및 운율적 연속성을 개선하는 데 집중해야 한다고 밝히고 있다.