북적이는 커피숍에 있다고 상상해 보세요. 당신은 두 사람이 나누는 대화를 엿듣고 있습니다. 당신은 법정 기록관처럼 그들이 말한 것을 토씨 하나 틀리지 않고 그대로 받아 적을 수도 있습니다. 하지만 나중에 그 녹취록만 읽는다면, 당신은 정말 중요한 것들을 놓치게 될 것입니다. 한 사람의 목소리가 긴장으로 떨리던 순간, "괜찮아요"라는 단순한 말에 담긴 비꼬는 듯한 말투, 혹은 상대가 거짓말을 하고 있다는 것을 깨달았을 때 갑자기 변하던 어조 같은 것들 말이죠. 인간의 언어는 이중 레이어로 이루어진 신호입니다. 첫 번째 레이어는 사전적 단어와 문법을 통해 문자 그대로의 의미를 전달하는 **텍스트(text)**입니다. 두 된 번째 레이어는 피치, 속도, 음량, 그리고 감정, 정체성, 의도를 드러내는 미세한 떨림과 숨소리를 포함한 목소리의 음악인 **음향 신호(acoustic signal)**입니다.

오랫동안 우리와 대화하려는 기술인 보이스 AI(Voice AI)는 첫 번째 레이어를 완벽하게 만드는 데 집착해 왔습니다. 우리는 음성을 텍스트로 놀라울 정도로 정확하게 변환하거나, 텍스트를 로봇 같은 목소리로 읽어주는 시스템을 구축해 왔습니다. 하지만 과학자들이 지금 던지는 핵심적인 질문은 이것입니다. "이 기계들이 두 번째 레이어를 실제로 '들을' 수 있는가?" 즉, 떨리는 목소리로 말하는 "네"가 실제로는 "아니오"를 의미한다는 것을, 혹은 웃음소리가 억지스러운 웃음인지 진심 어린 웃음인지 구별할 수 있느냐는 것입니다. 만약 우리가 이 기계들을 단순히 대본을 얼마나 잘 읽는지로만 테스트한다면, 우리는 그들이 실제 인간의 대화를 이해하는 데 얼마나 형편없는지 놓치고 있는 것일지도 모릅니다. 이것이 바로 Hume AI Research의 새로운 연구가 메우고자 하는 간극이며, 단순한 텍스트 점수를 넘어 AI가 우리가 실제로 말하는 방식인 무질서하고 감정적이며 소란스러운 현실을 얼마나 잘 다루는지 확인하는 작업입니다.

---

"실제 세상"의 목소리 테스트: 왜 당신의 AI는 음치일 수 있는가

현재 보이스 AI의 상태를 모든 사전적 정의를 암기했지만 실제 대화는 한 번도 해본 적 없는 학생에 비유해 보세요. 그 학생은 시를 완벽하게 낭송할 수는 있지만, 당신이 무표정하게 농담을 던진다면 그 농담을 이해하지 못할 수도 있습니다. 이를 해결하기 위해 Hume AI의 연구원들은 RW-Voice-EQ Bench라는 새로운 거대 성적표를 만들었습니다. 연구진은 AI 시스템에 단 하나의 등급(예: A 또는 B)을 주는 대신, 네 가지 매우 다른 영역인 텍스트-음성 변환(TTS), 음성-음성 변환(STS), 음성 이해(SU), 그리고 **자동 음성 인식(ASR)**에서 그들의 능력을 상세히 체크하여 프로필을 작성하기로 했습니다.

연구진이 이 시스템들을 혹독하게 시험했을 때 발견한 결과는 다음과 같습니다.

1. 배우 테스트 (Text-to-Speech)

배우에게 슬픈 캐릭터, 코미디언, 그다음에는 뉴스 앵커를 연기해 달라고 요청한다고 상상해 보세요. 좋은 배우는 자신의 정체성을 잃지 않으면서도 이러한 역할들을 전환할 수 있습니다. 연구진은 31개의 서로 다른 AI 음성 시스템을 대상으로 이와 같은 일을 할 수 있는지 테스트했습니다.

놀라운 사실은 무엇이었을까요? 모든 분야에서 최고인 단 하나의 AI는 없었다는 점입니다. 이는 마치 단거리 선수가 자동으로 수영도 잘할 것이라고 말하는 것과 같습니다. 어떤 AI는 자연스럽고 표현력이 풍able(마치 훌륭한 이야기꾼처럼)했지만, 캐릭터가 감정적으로 변할 때 일관된 목소리를 유지하는 데는 형편없었습니다. 반면, 어떤 AI는 복잡한 숫자나 의학 용어를 정확하게 읽는 데는 매우 견고했지만, 농담을 해보라는 요청에는 로봇 같고 단조로운 소리를 냈습니다.

예를 들어, 연구에 따르면 Gemini 3.1 Flash는 연기와 감정 표현에 뛰어난 스타였던 반면, Fish Audio S2는 캐릭터가 소리를 지르거나 속삭일 때도 목소리를 안정적으로 유지하는 데 챔피언이었습니다. 여기서 얻는 교훈은 "자연스러움"과 "표현력"은 서로 다른 기술이라는 점입니다. AI가 듣기에 좋다고 해서 반드시 연기를 잘하는 것은 아니며, 연기를 잘한다고 해서 대본이 길어졌을 때 이상하게 들리지 않는다는 보장도 없습니다.

2. "분위기 파악" 테스트 (Speech-to-Speech)

이 부분이 까다로운 지점입니다. 고객 서비스 봇과 대화하고 있다고 상상해 보세요. 당신은 "네, 구독을 취소하고 싶어요"라고 말하지만, 목소리에는 당혹감과 망설임이 섞여 있습니다. 똑똑한 인간이라면 그 당혹감을 듣고 "정말 괜찮으시겠어요?"라고 물을 것입니다. 하지만 멍청한 봇은 그냥 "알겠습니다, 취소되었습니다"라고 답할 것입니다.

연구진은 AI 에이전트가 단순히 단어를 이해하는 것을 넘어, 목소리의 톤을 실제로 '사용'할 수 있는지 테스트했습니다. 그 결과, 오디오 데이터에 접근할 수 있다고 해서 AI가 반드시 그 데이터를 활용하는 것은 아니라는 점을 발견했습니다. 많은 시스템이 여전히 사용자가 겁에 질렸거나 화가 났다는 사실을 무시한 채, 마치 대본을 읽고 있는 것처럼 행동했습니다.

하지만 일부 시스템은 더 나은 모습을 보였습니다. Gemini 3.1 Flash Live는 최고의 성능을 보였는데, 이는 사용자가 망설이거나 적대적인 태도를 보일 때 이를 감지하고 반응을 조절할 수 있음을 보여주었습니다. 하지만 반전은, 가장 뛰어난 시스템조차 차분해지려고 노력할 때 때때로 부자연스럽게 들렸다는 점입니다. 이는 마치 좋은 조언을 해주지만 스트레스를 받으면 목소리가 로봇처럼 변하는 사람과 같습니다. 연구는 AI가 진정으로 도움이 되려면 감정을 '듣는' 능력과 적절한 톤으로 '말하는' 능력을 모두 갖춰야 하며, 현재 이 두 가지를 모두 잘하는 시스템은 매우 드물다고 시사합니다.

3. 탐정 테스트 (Speech Understanding)

이 섹션에서 연구진은 AI를 미스터리를 풀려는 탐정처럼 다루었습니다. AI에게 오디오 클립을 듣게 한 뒤 다음과 같은 질문을 던졌습니다: "이 사람은 행복한가요, 아니면 슬픈가요?", "두 클립에서 말하는 사람이 동일 인물인가요?", 혹은 "이 목소리는 진짜인가요, 가짜인가요?"

결과는 엇갈렸습니다. AI는 단일 클립에서 특정 감정(예: '좌절함'과 '짜증 남'의 구분)을 명명하는 데는 놀라울 정도로 서툴렀습니다. 하지만 두 클립을 비교하는 질문, 즉 "두 개 중 어느 쪽이 더 화가 난 소리인가요?"와 같은 질문에는 훨씬 더 나은 모습을 보였습니다. 이는 AI가 감정을 '라벨링(이름 붙이기)'하는 것보다 비교하는 것에 더 능숙하다는 것을 시사합니다.

또한, 가짜 목소리(합성 음성)를 찾아내는 데 있어서 AI는 종종 속아 넘어갔습니다. AI는 컴퓨터로 생성된 목소리를 "매우 인간적이다"라고 평가하기도 했습니다. 연구 결과, 목소리 검증만을 위해 특화된 도구들(소리의 지문 스캐너 같은 것들)이 일반적인 AI 탐정들보다 훨씬 더 뛰어난 성능을 보였습니다. 결국, 일반론적인 지식이 아니라 전문가가 필요하다는 뜻입니다.

4. "혼돈" 테스트 (Automatic Speech Recognition)

마지막으로, 연구진은 세상이 무질서할 때 AI가 얼마나 말을 잘 받아 적는지 테스트했습니다. 깨끗하고 조용한 녹음본을 사용하지 않았습니다. 대신 강한 억양, 웃거나 우는 소리, 배경 음악, 그리고 시끌벅적한 군중 소리가 섞인 오디오를 사용했습니다.

결과는 우리가 흔히 보는 리더보드의 "깨끗한" 테스트들이 우리를 속이고 있다는 것을 보여주었습니다. 조용하고 표준적인 테스트에서 만점을 받는 시스템이라도, 사람이 강한 억양을 쓰거나 웃으면서 말할 때는 처참하게 실패할 수 있습니다.

• 억양: AI는 비원어민의 영어 발음에 가장 큰 어려움을 겪었습니다. 원어민과 비원어민 사이의 성능 격차가 매우 컸는데, 이는 AI가 원어민의 말투에 편향되어 있음을 시사합니다.
• 감정: 놀랍게도 AI는 화나거나 슬픈 목소리보다 행복하고 흥분한 목소리(예: 웃음소리)를 받아 적는 데 더 애를 먹었습니다. 이는 AI가 주로 중립적인 목소리로 학습되었으며, 사람들이 진심으로 즐거워할 때 혼란을 느낀다는 것을 보여줍니다.
• 소음: 배경 음악은 AI가 쉽게 무시할 수 있었지만, 배경의 잡담(예: 붐비는 식당의 소음)은 AI를 무너뜨렸습니다.

ElevenLabs Scribe가 전반적으로 가장 높은 성적을 거두었지만, 이 역시 모든 면에서 완벽하지는 않았습니다. 이 연구는 우리가 AI를 판단할 때 단 하나의 숫자만 봐서는 안 된다고 결론짓습니다. 우리는 억양, 감정, 소음을 각각 어떻게 처리하는지 별도로 확인해야 합니다.

종합적인 결론

이 논문의 핵심 요지는 보이스 AI는 단일 기술이 아니라, 여러 가지 다양한 기술의 집합체라는 점입니다. 단순히 "이 AI는 똑똑하다" 혹은 "멍청하다"라고 말해서는 안 됩니다. 대신 이렇게 물어야 합니다: "이 AI는 연기를 잘하는가? 분위기를 잘 파악하는가? 가짜 목소리를 잘 잡아내는가? 소음을 뚫고 잘 듣는가?"

연구진은 이러한 시스템에 단 하나의 등급을 매기는 것을 멈추고, 대신 그들의 "프로필"을 살펴봐야 한다고 제안합니다. 어떤 시스템은 훌륭한 이야기꾼이지만 듣는 능력은 형편없을 수 있습니다. 또 다른 시스템은 잘 듣지만 목소리는 로봇 같을 수 있습니다. 우리가 고객 서비스부터 동반자 역할에 이르기까지 모든 곳에 이 목소리들을 사용하기 시작함에 따라, 이들의 구체적인 강점과 약점을 이해하는 것이야말로 AI가 정말로 현실 세계에 준비되었는지 알 수 있는 유일한 방법입니다. 이 논문은 우리가 이들을 무질서한 실제 환경에서 테스트하기 전까지는, 그들이 실제로 얼마나 잘 작동할지 그저 추측하고 있을 뿐이라고 시사합니다.