당신이 로봇에게 인간의 대화를 이해하도록 가르치려 한다고 상상해 보십시오. 당신은 아마도 책에 적힌 명확하고 느린 이야기를 들려주는 것부터 시작할 것입니다. 하지만 실제 삶은 엉망진창입니다. 사람들은 서로 말을 가로채기도 하고, 속어를 사용하며, 다양한 억양으로 말하고, 이야기책에는 등장하지 않는 복잡한 단어들을 던지기도 합니다. 이것이 바로 음성된 말을 텍스트로 변환하는 기술인 **자동 음성 인식(ASR)**의 세계입니다. 이 로봇들은 명확한 목소리를 듣는 데는 꽤 능숙해지고 있지만, 대화가 혼란스럽거나 전문적이거나 전문 용어로 가득 차게 되면 종종 비틀거립니다. 과학자들에게 주어진 큰 질문은 이것입니다: 우리는 로봇이 정말로 현실 세계를 위해 준비된 것인지, 아니면 그저 대본을 읽는 데 능숙한 것뿐인지 어떻게 알 수 있을까요? 이에 답하기 위해, 우리는 단순히 기억력을 테스트하는 것이 아니라, 소음이 많고 복로가 복잡한 환경에서 살아남을 수 있는지를 테스트하는 "최종 시험"이 필요합니다.

여기서 블룸버그(Bloomberg)의 한 팀이 Earnings25라는 새로운 형태의 거대한 도전 과제를 들고 등장합니다. 기업의 실적 발표 전화 회의(earnings calls)를 기업 대화의 "올림픽"이라고 생각하십시오. 이 회의들은 기업의 수장들과 재무 분석가들이 돈, 주식, 그리고 미래 계획에 대해 이야기하는 한 시간짜리 전화 컨퍼런스입니다. 이곳은 난이도의 완벽한 폭풍우가 몰아치는 곳입니다: 사람들은 빠르게 말하고, 무거운 금융 속어를 사용하며, 서로의 말을 가로채고, 준비된 대본을 읽는 것과 즉흥적이고 까다로운 질문에 답변하는 것 사이를 오갑니다. 저자들은 기존의 테스트들이 마치 조용한 체육관의 러닝머신 위에서 달리기 연습을 하는 것과 같다고 깨달았습니다. 그것들은 언덕, 바람, 혹은 군중을 포착하지 못했습니다. 그래서 그들은 현재의 음성 인식 로봇이 금융 세계의 실제적이고 혼란스러운 상황을 얼마나 잘 다룰 수 있는지 확인하기 위해 새롭고 매우 상세한 벤치마크를 구축했습니다.

위대한 금융 경청 챌린지

이 논문은 음성 인식 AI를 위한 궁극적인 스트레스 테스트로 설계된 거대한 새로운 데이터셋인 Earnings25를 소개합니다. 저자들은 단순히 무작위로 전화 통화 몇 개를 가져온 것이 아닙니다. 그들은 로봇을 서로 다른 방식으로 테스트하기 위해 두 개의 뚜렷한 "아레나(경기장)"를 구축했습니다.

첫 번째 아레나는 testset-full로, 2025년 4분기 S&P 500 기업들의 편집되지 않은 완전한 실적 발표 통화 498시간 분량의 거대한 컬렉션입니다. 거의 500시간에 달하는 연속적인 금융 회의를 쉬지 않고 듣는다고 상상해 보십시오. 이 세트는 실제 상황에서 발생하는 어색한 침묵, 겹치는 목소리, 그리고 길고 구불구불한 이야기들을 포함하여 대화의 완전하고 자연스러운 흐름을 보존합니다. 이는 로봇에게 몇 개의 클립을 보여주는 대신, 복잡한 TV 시리즈의 한 시즌 전체를 시청하게 하는 것과 같습니다.

두 번째 아레나는 290개의 특정 구간으로 구성된 더 정교하게 선별된 46시간의 testset-segmented입니다. 여기서 연구진은 영리한 "공정성" 게임을 수행했습니다. 현실 세계에서는 특정 산업(예: 은행이나 석유 회사)이 다른 산업(예: 틈새 제조업)보다 훨씬 더 자주 언급됩니다. 만약 가장 흔한 산업의 내용만 듣는다면 로봇이 훌륭하다고 생각할 수도 있지만, 희귀한 주제를 접했을 때는 처참하게 실패할 수도 있습니다. 이를 해결하기 위해 팀은 2,0로 건 이상의 통화 중에서 정확히 산업당 하나의 세그먼트를 선택하여, "3D 프린터"부터 "풍력 터빈"에 이르기까지 모든 유형의 비즈니스가 동등한 목소리를 낼 수 있도록 했습니다. 이 세그먼트들은 약 5~10분 정도로 짧으며, 로봇이 방대한 양의 콘텐츠에 압도되지 않으면서도 특정하고 까다로운 어휘를 얼마나 잘 처리하는지 테스트하기에 완벽합니다.

핵심 요소: 메타데이터와 "누가 무엇을 말했는가"

Earnings25를 진정으로 특별하게 만드는 것은 단순히 오디오만이 아닙니다. 그것은 함께 제공되는 "치트 시트(정답지)"입니다. 기존의 데이터셋들은 대부분 소리와 텍스트만을 제공했습니다. 하지만 Earnings25는 소리, 텍스트, 그리고 누가, 언제, 왜 말했는지에 대한 상세한 지도를 제공합니다.

연구진은 각 화자의 역할을 태깅했습니다: 시작 부분에서 규칙을 읽는 **운영자(operator)**였는가? 세련된 연설을 하는 CEO였는가? 아니면 까다로운 질문을 던지는 **분석가(analyst)**였는가? 또한 산업군과 통화의 구조도 라벨링했습니다. 이를 통해 과학자들은 다음과 같은 질문을 던질 수 있습니다: "로봇은 CEO가 말할 때 더 혼란스러워하는가, 아니면 분석가가 말을 가로지를 때 더 혼란스러워하는가?", 혹은 "바이오테크 산업에서 뱅킹 산업보다 더 자주 실패하는가?" 이는 단순한 "단어를 얼마나 맞혔는가?"라는 테스트를 어디서 그리고 왜 로봇이 고전하고 있는지에 대한 심층적인 조사로 탈바꿈시킵니다.

결과: 로봇은 뛰어나지만 완벽하지는 않다

팀은 두 가지 인기 있는 음성 인식 시스템인 Whisper와 Parakeet-TDT를 혹독하게 시험대에 올렸습니다. 그들은 로봇에게 이 특정 데이터에 대한 특별한 훈련을 시키지 않았습니다. 대신, 로봇이 스스로 파악해야 하는 실제 상황을 시뮬레이션하여 단순히 듣고 받아쓰도록 요청했습니다.

결과는 이 로봇들이 인상적이긴 하지만, 여전히 갈 길이 멀다는 것을 보여주었습니다. 거대한 498시간 세트에서 가장 우수한 모델(Parakeet-TDT)은 약 **10.8%**의 단어를 틀렸습니다. 산업 균형이 맞춰진 더 작은 세트에서는 오류율이 **11.1%**로 약간 상승했습니다. 이 작은 상승은 사실 매우 중요한 의미를 갖습니다. 이는 로봇에게 희귀하고 어려운 산업(비즈니스의 "롱 테일")을 듣게 하면 더 자주 비틀거린다는 것을 시사합니다.

논문은 총계 점수(aggregate scores)가 오해를 불러일잡 수 있다는 흥미로운 발견을 강조합니다. 만약 단순히 평균 오류율만 본다면, 로봇이 뱅킹과 같은 흔한 산업에 강하기 때문에 잘하고 있다고 생각할 수 있습니다. 하지만 바이오테크(Biotech)나 제약(Pharma)과 같은 특정하고 복잡한 분야를 살펴보면, 오류율이 15% 이상으로 치솟습니다. 이는 학생이 쉬운 문제들을 다 맞혀서 수학 시험에서 A를 받았지만, 고급 미적분 섹션에서는 낙제한 것과 같습니다. "평균" 성적은 그들이 여전히 가장 어려운 부분에서 고전하고 있다는 사실을 숨기고 있습니다.

이것이 왜 중요한가

저자들은 자신들이 문제를 "해결했다"고 주장하는 것이 아님을 분명히 합니다. 대신, 그들은 재현 가능한 벤치마크—모두가 진전을 측정할 수 있는 표준화된 방법—를 제공합니다. Earnings25 이전에는 새로운 음성 AI가 실제로 더 나아진 것인지, 아니면 단지 테스트 데이터에 운이 좋았던 것인지 구분하기 어려웠습니다. 이제 연구자들은 모델이 어디에서 실패하고 있는지 정확히 이해할 수 있는 풍부한 세부 정보를 가진 명확하고 공정한 경기장을 갖게 되었습니다.

또한 논문은 자체적인 한계점도 지적합니다. Earnings25는 주로 미국 기반 기업들의 영어 통화에 집중되어 있습니다. 이는 테스트를 통제 가능하고 고품질로 만들지만, 아직 글로벌한 억양과 언어의 다양성을 모두 담아내지는 못합니다. 저자들은 다음 단계로 이 "금융 경청 챌레인지"를 더 많은 국가와 언어로 확장할 것을 제안합니다.

요약하자면, Earnings25는 세심하게 조직된 금융 혼돈의 거대한 도서관입니다. 이것은 단순히 로봇이 들을 수 있는지를 알려주는 것이 아니라, 로봇이 복잡하고 전문 용어가 가득하며, 목소리가 겹치고, 이해관계가 걸린 비즈니스의 혼란스러운 세계를 이해할 수 있는지를 알려줍니다. 그리고 현재로서는, 로봇들이 듣고는 있지만, 여대 여전히 그 대화를 따라잡는 법을 배우고 있는 단계입니다.