Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions

당신이 인터넷을 통해 전송하기 위해 아주 작은 파일로 압축된 노래가 얼마나 좋은 소리를 내는지 판단하려고 한다고 상상해 보십시오. 디지털 오디오의 세계에서 이 "압축"은 **코덱(codec)**이라고 불리는 무언가에 의해 수행됩니다. 코덱을 거대하고 육즙이 가득한 스테이크(원래의 소리)를 당신의 주머니에 들어갈 만큼 작은 한 입 크기로 잘라낸 뒤, 나중에 이를 다시 조립하려고 노력하는 매우 효율적인 요리사라고 생각해 보십시오. 때때로 재조립된 스테이크는 맛이 아주 훌륭하지만, 어떤 경우에는 약간 퍽퍽하거나 질감이 이상할 수도 있습니다.

수십 년 동안 엔지니어들은 이 스테이크가 맛있는지 확인하기 위해 두 가지 주요 방법을 사용해 왔습니다. 첫 번째는 **주관적 테스트(Subjective Test)**입니다. 그들은 사람들을 불러 소리를 듣게 하고 1점에서 5점 사이의 척도로 점수를 매기게 합니다. 이것은 "골드 스탠다드(표준)"이지만, 느리고 비용이 많이 들며 많은 인간의 인내심을 필요로 합니다. 두 번째 방법은 **객관적 지표(Objective Metric)**입니다. 이는 컴퓨터 프로그램이 음파를 살펴보고 인간이 직접 듣지 않고도 점수를 추측하는 방식입니다. 이것은 빠르고 저렴하지만, 오랫동안 이 컴퓨터 심판들은 구식 오디오 문제들을 학습해 왔습니다. 이제 새로운 세대의 "뉴럴(neural)" 코덱이 등장했습니다. 이들은 인공지능을 사용하여 소리를 재현하는데, 마치 디지털 아티스트가 밑그림으로부터 그림을 그려내는 것과 비슷합니다. 큰 질문은, 기존의 컴퓨터 심판들이 여전히 이 새로운 AI 예술을 평가할 줄 아는지, 아니면 엉뚱한 것을 보고 있는가 하는 점입니다.

이 논문은 이 질문에 답하기 위해 대규모의 맛보기 대결을 조직함으로써 시작됩니다. 연구진은 각기 다른 속도와 비트레이트(최저 1.0 kbps에서 최고 8.0 kbps까지)로 작동하는 17가지의 서로 다른 뉴럴 오디오 코덱을 모았고, 여기에 100개의 깨끗한 음성 샘플을 입력했습니다. 그런 다음 사람들에게 MUSHRA-1S라고 불리는 방식을 사용하여 품질을 평가하도록 요청했는데, 이는 고품질의 소리 사이의 미세한 차이를 포착할 수 있는 초정밀 자와 같습니다. 그다음, 동일한 소리들을 45가지의 서로 다른 컴퓨터 점수 산출 프로그램에 통과시켰습니다. 이 중에는 원본 소리와 비교해야 하는 방식(침입형, intrusive)과 결과물만을 살펴보는 방식(비침입형, non-intrusive)이 있습니다.

결과는 예상했던 승자들이 나타나지 않은 깜짝 파티와 같았습니다. 연구 결과, PESQ나 WARPQ와 같은 기존 방식의 컴퓨터 심판들은 괜찮기는 했지만 뛰어나지는 않았으며, 인간의 의견과 약 0.73의 상관관계를 보였습니다. 그러나 새로운 AI 기반 지표들, 특히 ScoreQ, UTMOS, Audiobox가 명백한 챔피언이었으며, ScoreQ는 0.87의 상관관계에 도달했습니다. 이는 AI 오디오를 판단하기 위해서는 AI 심판이 필요하다는 것을 시사합니다.

하지만 이야기에는 반전이 있었습니다. 연구진이 매우 좋은 소리들, 즉 인간이 거의 완벽하다고 평가한 소리들을 자세히 살펴보았을 때, 이상한 결함을 발견했습니다. 비침입형 AI 지표들(원본 소리가 필요 없는 것들)은 "천장(ceiling)"에 부딪히는 것처럼 보였습니다. 소리가 정말 좋아지면, 이 지표들은 인간이 여전히 미세한 차이를 느낄 수 있음에도 불구하고 점수를 바꾸지 않았습니다. 이는 마치 온도가 100도에 도상 일단 멈춰버리는 온도계와 같습니다. 방 안이 더 뜨거워지더라도 말입니다. 저자들은 이 현상이 이러한 지표들이 종종 단순히 "5점 만점에 5점"인 인간의 평점을 바탕으로 학습되었기 때문에 발생한다고 제안합니다. 즉, 컴퓨터가 "5점"과 "5.5점"의 차이를 구분하기 어렵게 만든 것입니다.

대조적으로, 원본과 결과를 비교하는 침입형 지표들은 가장 높은 품질 수준에서도 완벽하게 작동하며, 더 작은 오차 범위를 보여주었고 미세한 변화에도 민감하게 반응했습니다. 이 논문은 실용적인 경험칙로 결론을 맺습니다. 만약 평균적이거나 약간 노이즈가 있는 오디오를 테스트하고 있다면, UTMOS나 ScoreQ와 같은 빠른 비침입형 AI 지표들이 당신의 가장 좋은 친구가 될 것입니다. 하지만 고충실도(high-fidelity) 오디오를 다듬고 있고 아주 미세한 결함까지 찾아내야 한다면, 상단부에서도 흐릿해지지 않는 돋말처럼 작동하는 ScoreQ Ref와 같은 침입형 방법을 고수해야 합니다. 이 연구는 단순히 최고의 도구들을 찾아낸 것뿐만 아니라, 각 도구가 정확히 어디에서 작동을 멈추는지 보여줌으로써 엔지니어들이 적절한 작업에 맞는 심판을 선택할 수 있도록 도왔습니다.