Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions

Stel je voor dat je probeert te beoordelen hoe goed een liedje klinkt nadat het is samengeperst tot een piepklein bestandje om over het internet te versturen. In de wereld van digitale audio wordt dit "samendrukken" gedaan door iets dat een codec wordt genoemd. Denk aan een codec als een superefficiënte chef die een enorme, sappige biefstuk (het originele geluid) in kleine, hapklare stukjes hakt zodat hij in je zak past, en hem later weer probeert te assembleren. Soms smaakt de geassembleerde biefstuk geweldig; andere keren is hij een beetje droog of heeft hij een vreemde textuur.

Decennialang hebben ingenieurs twee belangrijke manieren gebruikt om te controleren of de biefstuk goed smaakt. De eerste manier is de Subjectieve Test: ze nodigen een groep mensen uit om naar het eten te luisteren en het te beoordelen op een schaal van 1 tot 5. Het is de "gouden standaard", maar het is traag, duur en vereist veel menselijk geduld. De tweede manier is een Objectieve Metriek: een computerprogramma dat naar de geluidsgolven kijkt en probeert de beoordeling te raden zonder dat een mens het ooit hoort. Dit is snel en goedkoop, maar voor een lange tijd waren deze computerrechters getraind op ouderwetse audio-problemen. Nu is er een nieuwe generatie "neurale" codecs gearriveerd—deze gebruiken kunstmatige intelligentie om geluid te recreëren, bijna alsof een digitale kunstenaar een schilderij vanaf nul maakt. De grote vraag is: weten de oude computerrechters nog wel hoe ze deze nieuwe AI-kunst moeten beoordelen, of kijken ze naar de verkeerde dingen?

Dit artikel beoogt die vraag te beantwoorden door een massale proef van bekwaamheid te organiseren. De onderzoekers verzamelden 17 verschillende neurale audio-codecs, die elk op verschillende snelheden en bitrates draaien (sommige zo laag als 1,0 kbps, andere tot 8,0 kbps), en voerden ze 100 schone spraakmonsters. Vervolgens vroegen ze een menigte mensen om de kwaliteit te beoordelen met een methode genaamd MUSHRA-1S, wat een soort superprecieze liniaal is die in staat is om minuscule verschillen tussen hoogwaardige geluiden op te merken. Vervolgens lieten ze diezelfde geluiden door 45 verschillende computer-scoreprogramma's lopen—sommigen die het originele geluid nodig hebben om mee te vergelijken (intrusief) en anderen die alleen naar het resultaat kijken (niet-intrusief).

De resultaten waren een beetje als een verrassingsfeestje waarbij de verwachte winnaars niet opdagen. De studie vond dat de ouderwetse computerrechters, zoals PESQ en WARPQ, oké maar niet geweldig waren; ze behaalden een correlatie van ongeveer 0,7으로 met menselijke meningen. Echter, de nieuwe AI-gestuurde metrieken, specifweg ScoreQ, UTMOS en Audiobox, waren de duidelijke kampioenen, waarbij ScoreQ een correlatie van 0,87 bereikte. Dit suggereert dat je om AI-audio te beoordelen, een AI-rechter nodig hebt.

Maar er zat een wending in het verhaal. Toen de onderzoekers nauwkeuriger keken naar de allerbeste geluiden—de geluiden die mensen als bijna perfect beoordeelden—merkten ze een vreemde fout op. De niet-intrusieve AI-metrieken (degenen die het originele geluid niet nodig hebben) leken een "plafond" te bereiken. Zodra het geluid echt goed werd, stopten deze metrieken met het veranderen van hun scores, zelfs als mensen nog steeds subtiele verschillen konden horen. Het is als een thermometer die stopt met bewegen zodthought