💬 NLP

Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions

본 논문은 언어학적 근거를 둔 차원 수준의 텍사스-투-스피치(Text-to-Speech) 시스템 메타 평가 벤치마크를 소개하며, 이를 통해 MOS 예측기 및 오디오-LLM 판정기를 포함한 현재의 자동 평가 도구들이 기본적인 음향 품질을 넘어 지각적 음성 차원의 전체 폭을 신뢰성 있게 포착하는 데 실패하고 있음을 밝힌다.

원저자: Oluwanifemi Bamgbose, Simon Rosen, Jash Shah, Lindsay Devon Brin, Hoang H Nguyen, Anke Koelzer, Rachel Hansen, Tara Bogavelli, Fanny Riols

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Oluwanifemi Bamgbose, Simon Rosen, Jash Shah, Lindsay Devon Brin, Hoang H Nguyen, Anke Koelzer, Rachel Hansen, Tara Bogavelli, Fanny Riols

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 말하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 버그가 난 비디오 게임 캐릭터처럼 들리는 것이 아니라, 진짜 사람처럼 들리기를 원합니다. 하지만 로봇이 잘하고 있는지 어떻게 알 수 있을까요? 오랫동안 과학자들은 '평균 의견 점수(Mean Opinion Score, MOS)'를 사용해 왔습니다. 이것은 마치 인간 청취자가 로봇이 얼마나 자연스럽게 들리는지에 대해 "B" 또는 "5점 만점에 4점"과 같이 단일한 성적을 매기는 학교 성적표와 같습니다. 최근에는 수천 개의 녹음 파일을 듣기 위해 인간에게 요청하는 시간을 아끼고자, 자동화된 점수를 주는 매우 똑똑한 AI 판사들(Audio-LLM이라고 불리는)을 사용하기 시작했습니다.

중요한 질문은 이렇습니다. 이 자동 판사들이 실제로 왜 목소리가 이상하게 들리는지 그 '이유'를 이해하고 있을까요? 로봇이 단어를 잘못 발음해서일까요? 아니면 너무 빨리 말해서일까요? 그것도 아니라면 로봇이 정말 로봇처럼 들리기 때문일까요? 만약 AI 판사가 구체적으로 무엇이 잘못되었는지 알지 못한 채 그냥 "B"라는 점수만 준다면, 그것은 마치 학생이 수학 시험을 망쳤는데 선생님이 덧셈을 틀린 것인지, 뺄셈을 틀린 것인지, 아니면 곱셈을 틀린 것인지 알려주지 않고 그냥 나쁜 점수만 주는 것과 같습니다. 이 논문은 우리의 현재 자동 판사들이 이러한 구체적인 실수를 포착할 만큼 정말 똑똑한지, 아니면 그저 오디오가 얼마나 "노이즈"가 섞여 있는지에 기반해 추측하고 있는 것인지를 파헤칩니다.

ServiceNow의 연구원들은 이 자동 판사들에게 매우 구체적인 테스트를 수행하기로 했습니다. 그들은 8,600개의 음성 샘플으로 구성된 거대하고 맞춤 제작된 데이터셋을 구축했는데, 단순히 무작위 문장을 기록한 것이 아니었습니다. 그들은 마치 미친 과학자처럼 의도적으로 특정 유형의 오류를 주입했습니다. 그들은 아주 작은 단어 수준의 오류(예: "bat" 대신 "cat"이라고 말하기)부터, 잘못된 감정으로 말하거나 인간이 물리적으로 낼 수 없는 목소리를 내는 것과 같은 더 큰 문제에 이르기까지 10가지 서로 다른 "오류의 맛"을 만들어냈습니다. 그러고 나서 훈련된 언어학자들이 모든 클립을 듣고 정확히 무엇이 잘못되었는지 라벨을 붙였습니다.

이 완벽한 "정답지"를 손에 쥐고, 그들은 네 가지 유형의 자동 MOS 예측기와 네 가지 유형의 Audio-LLM 판사를 테스트했습니다. 그들은 AI 모델들에게 다양한 조건 하에서 음성을 평가하도록 요청했습니다. 때로는 일반적인 "자연스러움" 점수만을 요구하기도 했고, 다른 때에는 10가지의 구체적인 오류 유형을 찾아보라는 상세한 체크리스트를 제공하기도 했습니다.

결과는 다소 충격적이었습니다. 전통적인 MOS 예측기들(단일 숫자만을 제공하는 것들)은 화재가 발생했을 때만 울리고 깨진 창문은 무시하는 화재 경보기와 같았습니다. 그들은 로봇 특유의 윙윙거리는 소리나 이상한 정적(논문에서 "인간적 타당성(Human Plausibility)" 오류라고 부르는 것)과 같은 명백하고 낮은 수준의 결함을 포착하는 데는 뛰어났지만, 언어적인 실수에는 완전히 눈이 멀어 있었습니다. 만약 로봇이 단어를 잘못 발음하거나 음절의 강세를 잘못 주더라도, MOS 예측기는 인간 청취자들이 인상을 찌푸릴 때조차 전혀 신경 쓰지 않고 높은 점수를 주곤 했습니다.

Audio-LLM 판사들은 조금 더 복잡했습니다. 그들은 오류를 찾아내는 능력을 보여주긴 했지만, 오직 올바른 방식으로 질문했을 때만 그러했습니다. 연구진이 단순히 "이것이 자연스러운가?"라고 물었을 때, AI 판사들은 일관성이 없었고 많은 구체적인 오류를 놓쳤습니다. 그러나 연구진이 10가지 차원을 확인하라는 상세한 "참조 가이드(schema)"를 제공했을 때, 판사들은 단어 수준의 실수를 훨씬 더 잘 찾아냈습니다. 하지만 함정이 있었습니다. 만약 AI에게 10가지 차원을 한꺼번에 확인하라고 요청하면, AI는 종종 혼란에 빠져 모든 것에 동일한 점수를 주는 '붕괴' 현상을 보였습니다. AI는 한 번에 한 가지 유형의 오류에만 집중하도록 요청했을 때 가장 잘 작동했습니다.

궁극적으로, 이 논문은 텍스트 음성 변환(TTS) 시스템이 좋은지 판단하기 위해 단 하나의 "자연스러움" 점수에 의존해서는 안 된다고 제안합니다. 현재의 자동 판사들은 지저한 책상은 잘 찾아내지만 철자 오류는 찾아내지 못하는 학생들과 같습니다. 그들은 실제 말해지는 언어보다는 녹음된 소리의 품질에 집중하는 경향이 있습니다. 저자들은 이러한 시스템을 진정으로 개선하기 위해서는 "자연스러움"을 하나의 커다란 미스터리로 취급하는 것을 멈추고, 발음, 강세, 감정, 속도와 같은 각 구체적인 차원을 개별적으로 평가해야 한다고 결론짓습니다. 그렇게 하지 않는 한, 우리의 자동 판사들은 로봇이 인간처럼 들리지만 실제로는 엉뚱한 말을 하고 있는 상황에 대해서도 합격점을 줄 수도 있습니다.

기술 요약: 자연스러움을 넘어: 언어학적 근거를 가진 차원들에 대한 자동 텍스트 음성 변환(TTS) 평가 모델 조사

문제 제기
자동 텍스트 음성 변환(TTS) 평가 방법, 특히 신경망 기반의 평균 의견 점수(MOS) 예측 모델과 오디오 대규모 언어 모델(Audio-LLM) 판별기는 품질 평가를 확장하기 위해 점점 더 많이 의존되고 있다. 그러나 이러한 모델들이 인간 청자가 실제로 인지하는 언어적으로 구조화된 음성의 구별되는 측면들을 포착하고 있는지는 여전히 불분명하다. 현재의 평가 모델들은 일반적으로 총체적인 점수를 출력하며, 이로 인해 서로 구별되는 지각적 실패 유형(예: 오발음 vs 부자연스러운 억양)이 단일한 "자연스러움" 지표 아래 하나로 혼재된다. 이러한 불투명성은 시스템의 실패를 해석 가능한 특정 차원으로 귀인하여 진단하는 것을 방해하며, 결과적으로 목표 지향적인 시스템 개선을 저해한다.

방법론
저자들은 언어학적으로 동기 부여된 주석 스키마를 바탕으로, 자동 TTS 평가 모델을 위한 최초의 차원 수준 메타 평가 벤치마크를 구축하였다.

평가 스키마: 저자들은 "자연스러움"을 세 가지 언어적 수준에 걸쳐 조직된 10개의 지각적으로 분리 가능한 차원으로 분해하였다.
- 단어 수준 (Word Level): 음성 정확도(Phonetic Accuracy) 및 어휘 강세(Lexical Stress).
- 운율 수준 (Prosodic Level): 억양(Intonation), 운율적 강세(Prosodic Stress), 운율적 경계 배치(Prosodic Boundary Placement), 그리고 적절한 발화 속도(Speech Rate Appropriateness).
- 부수 언어적 수준 (Paralinguistic Level): 정서적 적절성(Emotional Appropriateness), 표현력(Expressiveness), 화자 정체성 일관성(Speaker Identity Consistency), 그리고 인간 유사성(Human Plausibility).
데이터셋 구축: 860개의 발화 데이터를 생성하기 위해 Cartesia Sonic-3를 사용하였다. 그라운드 트루스(Ground Truth)를 확보하기 위해 세 가지 경로를 통해 통제된 오류를 삽입하였다.
1. LLM을 통한 IPA 변형: 음성 및 강세 오류(예: 음소 치환, 강세 전이)를 위해 사용.
2. LLM을 통한 일반 텍스트 변형: 운율적 강세 및 경계 오류(예: 기능어에 따옴표 삽입, 쉼표 삽입)를 위해 사용.
3. 음향적 조작: Praat/Parselmouth을 사용하여 F0, 지속 시간을 조작하고 디지털 아티팩트(예: 글리치, 화자 간 크로스 페이드)를 도입.
4. API 기반 감정 강제: 감정 태그와 텍스트 내용 간의 불일치 유도.

주석 작업: 훈련된 세 명의 언어학자가 모든 샘플을 10개 차원에 대해 주석을 달았다. 그라운드 트루스는 다수결 투표를 통해 확립되었으며, 균형 잡힌 이진 데이터셋(오류 존재/부재)을 생성하였다. 검사자 간 신뢰도는 Krippendorff's $\alpha$ 를 사용하여 측정되었다.

평가 프로토콜: 네 가지 신경망 MOS 예측기(UTMOSv2, DNSMOS-Pro, NISQA, Audiobox-Aesthetics)와 네 가지 Audio-LLM 판별기(Gemini 3/3.5 Flash, Qwen3-Omni, Step-Audio-R2-Mini)를 네 가지 프롬프트 조건 하에서 평가하였다.
1. 미지정 (C1): 일반적인 "자연스러움" 프롬프트.
2. 스키마 가이드, 단일 점수 (C2a): 전체 스키마가 제공되지만, 하나의 총체적인 점수를 출력.
3. 스키마 가이드, 차원별 점수 (C2b): 전체 스키마가 제공되며, 각 차원에 대한 점수를 출력.
4. 차원별 고립 (C3):* 한 번에 하나의 차원에 대해서만 프롬프트 제공.
  성능은 Kendall's $\tau_b$ , Mann-Whitney U, 그리고 AUROC를 사용하여 인간의 그라운드 트루스와 비교 측정되었다.

주요 결과

MOS 예측기: 이 모델들은 음향 신호 품질에 강한 편향을 보인다. 이들은 음향 조작과 관련된 부수 언어적 차원(인간 유사성, 발화 속도, 표현력)과는 높은 상관관계를 보이지만, 단어 수준(음성 정확도, 어휘 강세) 및 운율적 오류(억양, 경계 배치)를 탐지하는 데는 실패한다. 일부 모델은 심지어 음의 상관관계를 보여, 인간보다 저하된 부수 언어적 샘플에 더 높은 점수를 부여하기도 한다.
Audio-LLM 판별기: 이 모델들은 프롬프트에 따라 선택적이고 의존적인 민감도를 보이며, 이는 모든 차원에 걸쳐 일반화되지 않는다.
- 일반적인 프롬프트(C1) 하에서는 민감도가 희박하고 일관되지 않았다. Gemini 3.5 Flash만이 광범위한 커버리지를 보여주었다.
- 스키마를 제공하는 것(C2a)은 일부 모델에서 단어 수준의 탐지 능력을 향상시켰는데, 이는 가이드가 없으면 능력이 발현되지 않음을 시사한다.
- 그러나 차원별 점수 산출을 요구하는 것(C2b)은 종종 "출력 붕괴(output collapse)"를 초래하여, 모델이 모든 샘플에 최대 점수를 부여함으로써 상관관계 정의를 불가능하게 만들었다.
- 고립된 프롬프팅(C3)은 특정 차원(예: 텍스트 기록과 연계된 음성 정확도)에 대한 정렬을 개선했으나, 전체 세트에 대해 일관된 민감도를 생성하지는 못했다.
텍스트 기록 가용성: 참조 텍스트 기록에 대한 접근은 차원이나 모델 전반에 걸쳐 탐지 성능을 일관되게 향상시키지 못했으며, 이는 현재의 Audio-LLM이 차원별 오류 탐지를 위한 텍스트 기반 접지(textual grounding)를 활용하는 데 어려움을 겪고 있음을 나타낸다.

의의 및 주장
본 논문은 전문가의 차원별 인간 레이블과 언어학적 근거를 가진 분류 체계를 결다한 최초의 메타 평가 벤치마크를 제공한다고 주장한다. 저자들은 다음과 같이 주장한다:

자연스러움은 스칼라 구성 요소가 아니다: 현재의 자동 평가 모델들은 "자연스러움"을 단일 점수로 취급할 수 없다. 이들은 아키텍처(MOS vs LLM)와 프롬프팅 방식에 따라 체계적인 사각지대를 보인다.
진단적 토대: 제안된 데이터셋과 스키마는 연구자들이 TTS 실패를 불투명한 총체적 점수가 아닌, 특정하고 해석 가능한 차원으로 귀인할 수 있게 한다. 이는 기존 프레임워크에는 결여된 능력이다.
프롬프트 민감도: Audio-LLM 판별기의 성능은 프롬프트 전략에 크게 의존한다. 차원을 분리하여 점수를 매기도록 요청하는 것이 인간의 판단과 정렬을 개선하지만, 합동 점수 산출은 신뢰도를 저하시킨다.

저자들은 결론적으로, 견고한 TTS 평가를 위해서는 차원 인지형 벤치마크가 필요하며, 현재의 자동화된 방법들은 언어적으로 구조화된 음성 오류의 전체 범위를 포착하기에는 불충분하다고 밝히고 있다.

유사한 논문