MTR-DuplexBench: Towards a Comprehensive Evaluation of Multi-Round Conversations for Full-Duplex Speech Language Models

1. 문제 제기 (Problem)

풀 듀플렉스 음성 언어 모델 (FD-SLMs) 은 사용자와 동시에 듣고 말하며 실시간으로 중첩된 대화 ( Interruption, Backchannel 등) 를 가능하게 하여 더 역동적인 사용자 경험을 제공합니다. 그러나 기존 벤치마크와 평가 방법론에는 다음과 같은 심각한 한계가 존재합니다.

• 단일 회차 (Single-round) 평가의 한계: 기존 벤치마크 (Full-Duplex-Bench 등) 는 주로 한 번의 상호작용만 평가하며, 실제 자연스러운 대화처럼 여러 번의 회차 (Multi-round) 를 거치는 상황에서의 모델 성능을 평가하지 못합니다.
• 회차 경계 모호성 (Blurred Turn Boundary): 풀 듀플렉스 대화는 엄격한 턴 테이킹 (Turn-taking) 구조를 따르지 않아, 사용자와 어시스턴트의 발언 시작과 끝을 명확히 구분하기 어렵습니다. 이로 인해 특정 회차별 응답 품질을 평가하는 것이 난해합니다.
• 맥락 불일치 (Context Inconsistency): 실제 데이터에서는 사용자의 다음 발언이 어시스턴트의 이전 답변에 의존하지만, 평가 시 모델이 생성한 이전 답변이 실제 정답 (Ground Truth) 과 달라 맥락이 끊어지는 문제가 발생합니다.
• 평가 범위의 부족: 기존 평가는 대화의 특징 (Interruption 등) 에만 집중하여, 지시 따르기 (Instruction Following) 나 안전성 (Safety) 같은 핵심 능력을 종합적으로 평가하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 이러한 격차를 해소하기 위해 MTR-DuplexBench라는 새로운 벤치마크를 제안했습니다.

A. 풀 듀플렉스 턴 분할 방법론 (Full Duplex Turn Segmentation)

연속적인 풀 듀플렉스 대화를 이산적인 (Discrete) 턴으로 분할하여 턴별 평가를 가능하게 하는 알고리즘을 개발했습니다.

1. 정보 추출: Whisper-timestamped 와 Silero VAD 를 사용하여 오디오의 전사 텍스트 및 시작/종료 타임스탬프를 추출합니다.
2. GPT 기반 분할: GPT-4o 를 활용하여 콘텐츠와 타임스탬프 정보를 종합적으로 분석하여 턴 경계를 자동 분할합니다.
3. 다수결 투표 및 클러스터링: 분할 결과의 변동성을 줄이기 위해 6 회 반복 실행 후 다수결 투표 (Majority Voting) 와 30% 시간 겹침 기준의 클러스터링을 적용하여 안정성을 확보합니다.
4. 최종 겹침 해결: 남은 겹침 구간을 병합하여 최종 사용자 턴을 정의합니다.
5. 맥락 일관성 유지: 모델 추론 시, 현재 턴에 대한 응답만 생성하고 이전 턴의 어시스턴트 응답은 정답 (Ground Truth) 오디오로 채워 넣어 맥락 불일치를 방지합니다.

B. 종합 평가 차원 (Evaluation Dimensions)

기존 벤치마크보다 포괄적인 4 가지 평가 차원을 도입했습니다 (표 1 참조):

1. 대화 특징 (Conversational Features): 자연스러운 턴 전환, 중첩 (Interruption), 일시 정지 처리, 배경음 처리, 백채널링 (Backchanneling) 능력을 평가합니다.
2. 대화 품질 (Dialogue Quality): Candor 데이터셋의 자연 발화 데이터를 사용하여 생성된 대화의 의미와 일관성을 GPT-score 로 평가합니다.
3. 지시 따르기 (Instruction Following): Llama Question 데이터셋을 활용하여 여러 회차에 걸쳐 사용자의 지시를 올바르게 수행하는지 평가합니다.
4. 안전성 (Safety): AdvBench 데이터셋을 사용하여 유해한 요청에 대한 거부 능력 (Refusal Rate) 을 평가합니다.

3. 주요 기여 (Key Contributions)

1. MTR-DuplexBench 제안: 풀 듀플렉스 SLM 을 다중 회차 대화 환경에서 종합적으로 평가하기 위한 최초의 벤치마크입니다. 대화 특징, 품질, 지시 따르기, 안전성을 모두 포함합니다.
2. 턴 분할 방법론 개발: 모호한 턴 경계와 맥락 불일치 문제를 해결하여, 연속적인 풀 듀플렉스 대화를 정밀한 턴별 평가가 가능한 형태로 변환하는 알고리즘을 제시했습니다.
3. 실험적 통찰 도출: 기존 FD-SLM 들이 다중 회차 및 다양한 평가 차원에서 일관된 성능을 유지하는 데 어려움을 겪고 있음을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

Moshi (End-to-end), Freeze-Omni (Cascaded), VocalNet (HD-SLM), Cascaded approach 등 주요 모델들을 대상으로 실험한 결과는 다음과 같습니다.

• 성능 저하: 대화 회차가 증가할수록 모든 모델의 성공률 (Success Rate) 이 지속적으로 감소했습니다. 특히 Moshi 와 Freeze-Omni 는 10 회차까지 성능이 급격히 떨어졌습니다.
• 지연 시간 (Latency) 증가: 회차가 늘어날수록 응답 지연 시간이 증가하여 대화의 자연스러움이 해쳐졌습니다.
• 특징 처리 능력:
  • 배경음 처리: HD-SLM 과 Cascaded 방식은 배경음이 감지되면 즉시 발화를 멈추는 구조적 한계로 인해 이 기능에서 실패했습니다.
  • 복합 특징: 단일 특징보다 여러 특징이 복합적으로 나타날 때 모델의 성능 저하가 더 심각했습니다.
• 대화 품질: End-to-end 모델 (Moshi) 이 Cascaded 모델 (Freeze-Omni) 보다 의미 있는 대화 생성 능력이 낮았으며, Cascaded 방식은 높은 지연 시간으로 인해 응답 길이가 짧아지는 문제가 있었습니다.
• 지시 따르기 및 안전성:
  • Moshi 는 회차가 증가함에 따라 지시 따르기 능력이 현저히 저하되었습니다.
  • 반면, 모든 모델은 안전성 (유해 요청 거부) 에서는 높은 성능 (90% 이상) 을 유지하며 일관성을 보였습니다.
  • 중첩 (Interruption) 상황에서도 모델들의 성능은 원활한 턴 전환 상황과 큰 차이가 없었습니다.

5. 의의 및 결론 (Significance)

이 연구는 MTR-DuplexBench를 통해 풀 듀플렉스 음성 언어 모델의 평가 패러다임을 '단일 회차'에서 '다중 회차'로 확장했습니다.

• 필요성 입증: 현재 존재하는 FD-SLM 들은 장시간의 대화나 복잡한 상호작용에서 성능이 불안정하며, 특히 맥락 유지와 지연 시간 관리에 취약함을 확인했습니다.
• 표준화: 턴 분할 방법론과 종합적인 평가 지표를 제공함으로써, 향후 더 강력하고 견고한 풀 듀플렉스 모델 개발을 위한 기준을 마련했습니다.
• 향후 방향: 자연어 대화의 다양성 확보, 다국어 지원, 그리고 실제 환경에서의 End-to-End 추론과 평가 간의 간극을 줄이는 것이 향후 과제로 제시되었습니다.

결론적으로, MTR-DuplexBench 는 풀 듀플렉스 음성 AI 가 실제 인간과 자연스럽게 소통하기 위해 해결해야 할 핵심 과제들을 체계적으로 평가하고 개선 방향을 제시하는 중요한 도구입니다.