💬 NLP

DuplexWorld: Can voice agents help you get through the day?

이 논문은 음성 대 음성 보이스 에이전트를 대화, 분석 및 자연스러움 지표 측면에서 총체적으로 평가하기 위해 6개의 실제 세계 도메인과 156개의 시나리오를 특징으로 하는 포괄적인 벤치마크인 DuplexWorld를 소개하며, 현재 시스템들의 도입이 증가하고 있음에도 불구하고 나타나는 상당한 성능 격차를 밝혀낸다.

원저자: Aryan Vijay Bhosale, Harshit Rajgarhia, Akhil Pothanapalli, Asif Shaik, Abhishek Mukherji, Dinesh Manocha

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aryan Vijay Bhosale, Harshit Rajgarhia, Akhil Pothanapalli, Asif Shaik, Abhishek Mukherji, Dinesh Manocha

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 인간과 대화하는 법을 가르치고 있다고 상상해 보십시오. 오랫동안 과학자들은 로봇에게 텍스트를 주고받게 하며 테스트를 진행해 왔습니다. 마치 매우 빠른 이메일 게임처럼 말이죠. 하지만 현실 세계는 텍스트가 아닙니다. 현실은 무질서하고, 시끄러우며, 실시간으로 일어납니다. 이것이 바로 음성 대 음성(Speech-to-Speech, S2S) 음성 에이전트의 세계입니다. 이들을 당신의 목소리를 듣고, 이해하고, 전화 통화를 하는 사람처럼 즉각적으로 대답할 수 있는 디지털 동반자라고 생각하십시오. 과학자들이 던지는 핵심 질문은 이것입니다. 이 로봇들이 실제로 은행 계좌를 수정하거나 도시를 안내하는 것처럼 우리를 위해 '무언가를 할 수' 있는가, 아니면 그저 잘 듣는 척하는 데 능숙한 것뿐인가? 우리가 이 문제에 주목하는 이유는, 만약 우리가 이 에이전트들에게 일상적인 잡무를 맡긴다면, 그들이 길을 잃거나, 우리의 이름을 잊어버리거나, 혹은 우리의 말을 끊지 않고 실제로 일을 완수할 수 있는지 알아야 하기 때문입니다.

여기에 연구자들이 음성 에이전트를 현실 세계에서 테스트하기 위해 만든 새로운 "훈련장"인 DUPLEXWORLD가 등장합니다. 연구자들은 단순히 화면상의 수학 문제를 풀게 하는 대신, 우리의 일상을 모방한 여섯 가지 서로 다른 "세계"를 구축했습니다: 금융, 보험, 여행, 의료, 물류, 그리고 에이전트가 보행자를 도시로 안내해야 하는 까다로운 새로운 영역인 경로 탐색(Pathfinding)입니다. 그들은 다섯 가지 서로 다른 상용 음성 에이전트를 이 세계들에 배치하고, 해결해야 할 156가지의 서로 다른 시나리오를 부여하여 총 3,800회 이상의 대화를 진행했습니다. 이것은 마치 에이전트들이 듣기, 생각하기, 행동하기를 동시에 수행해야 하는 거대하고 위험 부담이 큰 비디오 게임과 같습니다.

결과는 어떠했을까요? 가장 "뛰어난" 에이전트들조차 여전히 발전 중인 단계였습니다. 연구자들은 대화를 잘하는 것이 곧 업무를 잘 수행하는 것을 의미하지 않는다는 사실을 발견했습니다. 어떤 에이전트는 믿기지 않을 정도로 자연스럽게 들리고 대화를 완벽하게 이어가지만, 정 actually로는 항공권을 예약하거나 올바른 은행 계좌를 찾는 데 실패할 수도 있습니다. 실제로, 가장 성적이 좋은 에이전트조차 첫 시도에서 약 49%의 작업만을 성공시켰습니다(점수 0.490). 또 다른 핵심 발견은 "좋게 들리는 것"이 함정이라는 점입니다. 음성 품질 점수가 가장 높은 에이전트가 반드시 작업을 가장 잘 완수한 것은 아니었습니다. 경로 탐색 세계에서는 너무 많은 시간을 "탐색"하거나 질문을 너무 많이 던진 에이전트들이 오히려 더 자주 길을 잃은 반면, 계획을 고수했던 에이전트들은 목적지에 도착했습니다.

이 논문은 우리가 단지 이 에이전트들이 얼마나 예의 바르거나 매끄럽게 들리는지로 판단할 수 있다는 생각을 명시적으로 부정합니다. 데이터는 에이전트가 실제로는 아무것도 하지 않으면서 말만 번지르르하게 늘어놓는 "수다쟁이"가 될 수 있음을 보여주며, 만약 우리가 대화 점수만 본다면 잘못된 로봇을 선택하게 될 수도 있음을 시사합니다. 더욱이, 연구자들은 최고의 시스템조차 신뢰성 측면에서 어려움을 겪는다는 것을 발견했습니다. 만약 같은 작업을 세 번 시도한다면, 그들은 종종 적어도 한 번은 실패합니다. 이 연구는 음성 에이전트가 진정으로 우리를 돕기 위해서는, 단순히 말하는 법이 아니라 실제 업무 수행 능력에서 훨씬 더 나아져야 한다고 제언합니다. 이는 기술이 인상적이기는 하지만, 아직 우리가 우리의 일상을 그들에게 온전히 맡길 준비가 되지 않았음을 상기시켜 줍니다.

기술 요약: DUPLEXWORLD

문제 정의

현재의 음성 대 음성(Speech-to-Speech, S2S) 보이스 에이전트 벤치마크는 실제 환경 배포 시 중요한 축들을 총체적으로 평가하는 데 실패하고 있습니다. 기존의 평가 방식은 보이스 에이전트를 정적인 데이터베이스에 대한 에이전트 도구 호출(tool calling) 테스트로 축소하는 경향이 있으며, 일상적인 활동에서 발생하는 대화의 다양성을 간과합니다. 또한, 내비게이션이나 복잡한 다단계 조정과 같이 데이터베이스 조작을 넘어선 과업을 충실히 지원하는 능력을 거의 테스트하지 않습니다. 이전 벤치마크들은 보이스 에이전트가 현실적인 오디오 조건 하에서 텍스트 기반 에이전트 성능의 극히 일부만을 유지하며, 현재 어떤 단일 시스템도 작업 정확도와 대화 경험을 동시에 탁월하게 수행하지 못한다는 것을 보여주었습니다. 따라서 다양한 현실적 "세계(worlds)"를 사용하여 단일하고 일관된 메트릭 세트로 에이전트를 평가할 수 있는 통합된 벤치마크가 필요합니다.

방법론

저자들은 풀-듀플렉스(full-duplex) 보이스 에이전트의 통합적이고 총체적인 평가를 위해 설계된 벤치마크인 DUPLEXWORLD를 소개합니다.

벤치마크 구조

6개의 세계(Six Worlds): 이 벤치마크는 뱅킹(Banking), 보험(Insurance), 여행(Travel), 의료(Healthcare), 물류(Logistics), 경로 탐색(Pathfinding)의 6가지 뚜렷한 도메인을 포괄합니다.
- 처음 5개는 엔터프라이즈 중심이며, 셀프 서비스가 실패한 후 호출자가 기관의 라인에 연결되는 시나리오를 시뮬레이션합니다. 에이전트는 통화를 주도하고, 도구 호출을 관리하며, 기록이 에이전트의 행동을 통해서만 이동하는 상태 공간을 탐색해야 합니다.
- **경로 탐색(Pathfinding)**은 새로운 프런티어를 제시합니다. 이는 에이전트가 합성된 8x8 도시 그리드 상의 보행자를 위한 코파일럿(copilot) 역할을 수행하는 내비게이션 과업입니다. 엔터프라이즈 세계와 달리, 이곳의 상태는 보행자의 물리적 행동에 따라 변화하며, 에이전트는 오직 언어를 통해서만 이에 영향을 미칩니다. 이는 정보의 비대칭성을 유발하며, 발화가 완료되기 전에 이미 쓸모없게 될 수도 있는 발화를 계획해야 하는 과제를 부여합니다.
시나리오 및 유형: 이 벤치마크는 156개의 저작된 시나리오(주 결과에는 144개 사용)와 11개의 대화 유형으로 구성됩니다. 이러한 유형은 난이도가 아닌 상호작용의 형태(예: 단일 의도, 경로 재설정, 종일 보조 등)를 나타냅니다.
평가 하네스(Evaluation Harness): 단일 통합 하네스가 모든 평가를 실행합니다. 이는 틱 기반 설계(200ms 틱)를 사용하며, 시뮬레이션된 사용자(GPT-5.6-Luna)와 더불어, 현실적인 채널을 위해 인터럽트(중단) 및 백채널링(backchanneling)을 처리하는 결정 모델(Claude-Haiku-4.5)을 사용합니다.
평가 대상 시스템: 다섯 가지 상용 실시간 S2S 시스템을 테스트했습니다:
- Nova 2 Sonic
- Gemini-3.1-Flash-Live
- GPT-Realtime-2.1
- GPT-Realtime-2.1-mini
- Grok Voice Think Fast 1.0
조건: 평가는 "클린(Clean)"(열화 없음)과 "리얼리스틱(Realistic)"(전화 노이즈, 프레임 드롭, 먹먹함 등을 시뮬레이션)이라는 두 가지 오디오 채널을 통해 수행되었습니다. 각 시나리오는 시스템 및 채널당 5회씩 실행되어 총 3,825회의 점수화된 대화를 생성했습니다.

메트릭(Metrics)

평가 세트는 세 가지 기둥으로 그룹화된 12개의 메트릭으로 구성되며, 단일 복합 점수를 형성하지 않고 개별적으로 계산됩니다.

에이전트 역량(Agentic Capability): 목표 상태 확인(Goal-State check, GS), Pass@1, Pass@3, Pass3(모든 $k$ 번의 실행이 성공할 확률)를 통해 과업 성공을 측정합니다. 또한 노력 지표인 과잉 노력 비율( $\varrho^+$ )과 노력 부족 점유율( $\pi^-$ )을 포함합니다.
대화 역동성(Conversational Dynamics): 턴테이킹(Turn-taking, TT) 점수, 대화 진행도(Conversation Progression, CP), 그리고 주입된 방해 요소에 대한 선택성(Selectivity, SEL)을 포함합니다.
자연스러움(Naturalness): LLM이 판단하는 충실도(Faithfulness, FAI)와 음향 품질 예측 모델(DNSMOS, UTMOS, NISQA)을 포함합니다.

주요 기여

범위 확장: DUPLEXWORLD는 내비게이션 세계와 5개의 엔터프라이즈 세계를 결합하여 156개의 시나리오와 11개의 대화 유형을 다루는 최초의 벤치마크입니다. 이는 비정적(non-static), 지각적 환경에서의 에이전트 역량을 테스트하기 위한 새로운 프런티어를 도입합니다.
통합 평가 세트: 다양한 도메인과 요구 사항을 아우르는 단일 하네스와 메트릭 세트를 제공하여, 서로 다른 작업 유형과 오디오 조건 전반에서 시스템 간의 직접적인 비교를 가능하게 합니다.
역량 해리(Capability Dissociation)의 실증적 증거: 본 연구는 대화 능력, 에이전트 역량, 그리고 자연스러움이 서로 함께 움직이지 않는다는 증거를 제시합니다. 즉, 한 시스템이 하나의 기둥에서는 탁월할 수 있지만 다른 기둥에서는 실패할 수 있습니다.

결과

다섯 가지 상용 시스템을 평가한 결과, 모든 축에서 상당한 개선의 여지가 있음이 드러났습니다:

성능 한계: 가장 우수한 성능을 보인 시스템조차 (모든 세계를 통합했을 때) Pass@1은 0.490, Turn-taking 점수는 0.653, DNSMOS는 3.378을 달성하는 데 그쳤습니다.
세계 의존성: 성능은 특정 세계에 크게 의존합니다. 예를 들어, 동일한 시스템임에도 불구하고 GPT-Realtime-2.1의 Pass@1은 뱅킹에서는 0.200이었으나 여행에서는 0.674까지 나타나는 등 큰 차이를 보였습니다.
기술의 해리(Dissociation of Skills):
- 대화 vs 에이전트: 최고의 대화가들은 최고의 과업 완수자가 아니었습니다. 예를 들어, Nova 2 Sonic은 준수한 턴테이킹과 높은 선택성을 보여주었지만, 에이전트 역량은 거의 제로에 가까웠습니다.
- 음향 품질 vs 유능함: 음향 품질(MOS 점수)은 과업 완수를 예측하지 못했습니다. 유사한 MOS 점수를 가진 시스템들이 매우 상이한 Pass@1 점수를 기록했습니다.
실패 모드:
- 엔터프라이즈 세계: 몰입형 시스템은 "과잉 작업"(이상적인 도구 호출 횟수를 초과)을 통해 실패하는 경우가 많았고, 비몰입형 시스템은 "노력 부족"으로 인해 실패했습니다.
- 경로 탐색: 본 연구는 탐색-활용(explore–exploit) 관점을 적용했습니다. 더 많이 탐색한(표지판 읽기, 시도적 걷기 등) 시스템이 목적지에 덜 도착했습니다. 가장 많이 탐색한 시스템은 도착하지 못했고, 가장 적게 탐색한 시스템이 성공할 확률이 가장 높았습니다.
신뢰성: 신뢰성은 급격히 저하됩니다. 선두 시스템들의 경우 Pass@3는 Pass@1의 약 절반 수준이었으며, 모든 세계에서 5번의 실행 중 단 한 번이라도 안정적으로 통과한 시나리오는 없었습니다.
병목 현상: 엔터프라이서 세계에서는 자격 증명 오청(Word Error Rate)이 주요 병목 현상이었습니다. 약 6명 중 1명꼴로 발화된 자격 증명이 잘못 들려 신원 확인을 제한했습니다.

의의 및 주장

본 논문은 현재의 보이스 에이전트들이 급격한 발전에도 불구하고, 아직 일상생활이나 복잡한 기업 업무에 원활하게 통합될 준비가 되지 않았다고 주장합니다.

벤치마크의 필요성: 기존 벤치마크는 대화 역동성의 다양성을 고려하지 않거나, 데이터베이스 조작 이상의 과업을 테스트하지 못하기 때문에 불충분합니다. DUPLEXWORLD는 더 넓고 현실적인 테스트베드를 제공함으로써 이를 해결합니다.
배포에 대한 경고: 저자들은 인지된 음향 품질이 유능함의 나쁜 대리 지표라고 주장합니다. "좋게 들리는 것"에 의존하여 구매 결정을 내리는 것은 핵심 과업에서 실패하는 시스템을 선택하는 결과를 초래할 수 있습니다.
메트릭 권장 사항: 저자들은 분야에서 완료 점수와 함께 **노력 부족 점유율( $\pi^-$ )**을 보고할 것을 권장합니다. 이는 침묵을 통해 "이길" 수 없는, 실패의 강력한 예측 인자이기 때문입니다.
제한적 주장: 본 논문은 호출자를 위한 실제 인간 음성 대신 합성 음성을 사용했다는 점, 영어 전용 벤키마크라는 점, 그리고 판정 기반 메트릭이 이 특정 코퍼스에 대해 인간의 평가와 재검증되지 않았다는 점 등 한계를 인정합니다. 저자들은 본 연구의 목적이 확정적인 솔루션을 제공하는 것이 아니라 현재 기술의 격차를 강조하는 데 있음을 명시합니다.