$\tau$-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains

1. 문제 정의 (Problem)

전중이중 (Full-Duplex) 음성 에이전트는 사용자와 동시에 듣고 말하며, 자연스러운 대화 흐름 (중단, 턴 테이킹, 백채널링) 을 처리할 수 있는 차세대 AI 시스템입니다. 그러나 현재까지의 평가 방식은 다음과 같은 한계를 가지고 있습니다.

• 평가의 분리: 기존 벤치마크는 '작업 완료 (Task Completion)'와 '대화 역학 (Conversational Dynamics)'을 각각 따로 평가했습니다. 텍스트 기반 에이전트의 도구 사용 능력을 평가하는 벤치마크 (τ-bench 등) 는 음성 특유의 실시간 제약과 오디오 환경을 고려하지 않았고, 대화 역학만 평가하는 벤치마크 (Full-Duplex-Bench 등) 는 실제 도구 호출이나 데이터베이스 상태 변경이 없는 가상의 시나리오에 그쳤습니다.
• 실제 복잡성 부재: 실제 음성 환경은 배경 소음, 다양한 억양, 발음 불일치, 전화 통신 압축 등으로 인해 텍스트와 달리 오류가 전파되기 쉽습니다. 또한, 실시간으로 중단 (interruption) 이 발생하고 턴을 넘겨주는 (turn-taking) 복잡한 상황에서 에이전트가 작업을 성공적으로 완수할 수 있는지 검증된 바가 없습니다.
• 접근성 문제: 이상적인 환경 (청명한 오디오, 표준 억양) 에서만 작동하는 에이전트는 비표준 억양을 가진 사용자나 소음 환경의 사용자를 배제할 수 있습니다.

2. 방법론 (Methodology)

저자들은 기존 텍스트 벤치마크인 τ²-bench를 확장하여 τ-Voice라는 새로운 벤치마크를 제안했습니다. 이는 다음 세 가지 핵심 요소를 결합합니다:

가. 풀-듀플렉스 오케스트레이터 (Full-Duplex Orchestrator)

• 시간 디커플링: 실제 벽시계 시간 (wall-clock time) 과 시뮬레이션 시간을 분리합니다. 이를 통해 사용자 시뮬레이터가 실시간 제약 없이 가장 강력한 LLM 을 사용할 수 있게 하여, 에이전트의 성능을 공정하게 평가합니다.
• 이산적 시뮬레이션 틱 (Discrete Ticks): 오디오 스트림을 200ms 단위의 고정된 '틱 (tick)'으로 분할합니다. 각 틱마다 양측이 오디오를 교환하며, 중단 시 버퍼를 비워 에이전트의 진행 중인 응답을 잘라내는 등 실제 풀-듀플렉스 동작을 정밀하게 모사합니다.
• 재현성: 모든 시뮬레이션 파라미터 (소음 타이밍, 프레임 드롭 등) 를 시드 (seed) 기반으로 제어하여 에이전트 간 비교를 가능하게 합니다.

나. 현실적인 음성 사용자 시뮬레이터 (Voice User Simulator)

• 다양한 억양 및 환경: 7 가지 다른 억양과 인구통계학적 특성을 가진 '페르소나'를 정의하고, ElevenLabs TTS 를 통해 자연스러운 음성을 생성합니다.
• 오디오 환경 시뮬레이션: 배경 소음 (지속적/간헐적), 전화 통신 압축 (G.711), 프레임 드롭, 동적 머플링 (muffling) 등을 적용하여 실제 전화 환경을 구현합니다.
• 대화 역학: LLM 기반의 의사결정으로 중단 (interruption), 백채널링 (backchanneling), 비의도적 발성 (기침, 재채기) 등을 생성하여 에이전트의 턴 테이킹 능력을 테스트합니다.
• ASR 우회: 에이전트의 음성을 시뮬레이터가 직접 인식하는 것이 아니라, 에이전트의 텍스트 트랜스크립트를 직접 주입하여 에이전트의 음성 인식 (ASR) 오류가 아닌 에이전트의 논리적/대화적 오류를 집중적으로 평가합니다.

다. 평가 지표 (Metrics)

• 작업 완료 (Task Completion): τ²-bench 방식을 따르며, 최종 데이터베이스 상태가 목표와 일치하는지 확인합니다. (Pass@1)
• 음성 상호작용 품질:
  • 반응성 (Responsiveness): 사용자 발화 응답률 및 중단 시 양보 (Yield) 비율.
  • 지연 (Latency): 응답 및 양보까지의 시간.
  • 중단 (Interrupt): 사용자가 말하고 있을 때 에이전트가 불필요하게 말을 끊는 비율.
  • 선택성 (Selectivity): 백채널링, 발성 틱, 비의도적 발성 등에 대해 올바르게 반응하지 않고 무시하는 능력.

3. 주요 기여 (Key Contributions)

1. τ-Voice 벤치마크: 작업 완료, 풀-듀플렉스 상호작용, 현실적인 오디오 환경을 모두 통합한 최초의 벤치마크를 공개했습니다.
2. 제어 가능한 시뮬레이터: 다양한 억양, 소음, 대화 역학을 정밀하게 제어할 수 있는 사용자 시뮬레이터를 개발하여, 개별 요인이 성능에 미치는 영향을 분리 (Ablation) 하여 분석할 수 있게 했습니다.
3. 실증적 발견: 주요 음성 에이전트 (Google, OpenAI, xAI) 를 평가하여 텍스트 에이전트 대비 심각한 성능 격차와 특정 요인 (억양, 중단) 에 따른 취약점을 규명했습니다.

4. 실험 결과 (Results)

278 개의 작업 (리테일, 항공, 통신 도메인) 에 대해 Google, OpenAI, xAI 의 음성 에이전트를 평가한 결과는 다음과 같습니다.

• 텍스트 vs 음성 성능 격차:
  • 추론 능력이 뛰어난 텍스트 모델 (GPT-5) 은 **85%**의 성공률을 보인 반면, 음성 에이전트는 **청정 환경 (Clean)**에서도 **31~51%**에 그쳤습니다.
  • **현실적인 환경 (Realistic, 소음/억양/중단 포함)**에서는 성능이 **2638%**까지 하락하여, 텍스트 최상위 모델의 능력을 **3045%**만 유지했습니다.
• 성능 저하 요인 분석 (Ablation Study):
  • 억양 (Accents): 평균적으로 가장 치명적인 요인이었으나, 공급자별로 편차가 큽니다. xAI 는 억양으로 인해 성능이 38% 급감한 반면, Google 은 거의 영향을 받지 않았습니다.
  • 중단 및 턴 테이킹: Google 은 중단에 가장 강건했으나, OpenAI 는 응답 속도가 빠르고 지연이 낮았으나 선택성 (불필요한 반응) 이 매우 낮았습니다. xAI 는 작업 완료율은 높았으나 중단 빈도가 매우 높았습니다.
• 실패 원인 분석:
  • 실패 사례의 **79~90%**가 시뮬레이터가 아닌 에이전트의 행동 (논리적 오류, 환각, 인증 실패 등) 에서 비롯된 것으로 확인되었습니다. 이는 벤치마크가 에이전트의 실제 한계를 잘 반영하고 있음을 시사합니다.
  • 특히 인증 단계 (이름, 이메일 철자 확인) 에서의 오류가 하류 작업을 모두 차단하는 주요 병목 현상이었습니다.

5. 의의 및 결론 (Significance)

• 배포 준비도 평가: 현재 음성 에이전트 기술은 텍스트 기반 에이전트에 비해 아직 초기 단계이며, 특히 복잡한 작업과 실시간 대화 역학을 동시에 처리하는 데 큰 격차가 존재함을 명확히 했습니다.
• 접근성 경고: 다양한 억양과 소음 환경에서 성능이 급격히 저하되는 현상은 음성 AI 가 특정 사용자 집단을 배제할 수 있는 접근성 문제를 제기합니다.
• 향후 연구 방향: τ-Voice 는 재현 가능한 테스트베드를 제공하여, 자연스럽고 신뢰할 수 있으며 현실적인 조건에서도 작업을 완수하는 음성 에이전트 개발을 위한 기준을 마련했습니다. 이는 단순한 음성 인식의 정확도를 넘어, 에이전트의 추론 능력과 대화 관리 능력을 통합적으로 개선해야 함을 강조합니다.

이 논문은 음성 AI 의 현재 한계를 정량적으로 규명하고, 향후 연구가 집중해야 할 방향 (실시간 추론, 강건한 턴 테이킹, 접근성) 을 제시한다는 점에서 중요한 의의를 가집니다.