Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions

Stellen Sie sich vor, Sie versuchen zu beurteilen, wie gut ein Lied klingt, nachdem es in eine winzige Datei gepresst wurde, um es über das Internet zu versenden. In der Welt des digitalen Audios wird dieses „Zusammendrücken“ durch etwas namens Codec erledigt. Betrachten Sie einen Codec als einen super effizienten Koch, der ein riesiges, saftiges Steak (den Originalklang) in winzige, mundgerechte Stücke hackt, damit es in Ihre Tasche passt, und dann versucht, es später wieder zusammenzusetzen. Manchmal schmeckt das zusammengesetzte Steak fantastisch; manchmal ist es etwas trocken oder seltsam texturiert.

Seit Jahrzehnten nutzen Ingenieure zwei Hauptwege, um zu prüfen, ob das Steak gut schmeckt. Der erste Weg ist der subjektive Test: Sie laden eine Gruppe von Menschen ein, das Essen anzuhören und auf einer Skala von 1 bis 5 zu bewerten. Das ist der „Goldstandard“, aber er ist langsam, teuer und erfordert viel menschliche Geduld. Der zweite Weg ist die objektive Metrik: Ein Computerprogramm betrachtet die Schallwellen und versucht, die Bewertung vorherzusagen, ohne dass ein Mensch jemals etwas gehört hat. Das ist schnell und günstig, aber lange Zeit wurden diese Computer-Richter auf altmodische Audioprobleme trainiert. Nun ist eine neue Generation von „neuronalen“ Codecs angekommen – diese nutzen künstliche Intelligenz, um Klang zu rekonstruieren, fast so, als würde ein digitaler Künstler ein Bild aus dem Nichts malen. Die große Frage ist: Wissen die alten Computer-Richter noch, wie man diese neue KI-Kunst bewertet, oder achten sie auf die falschen Dinge?

Diese Arbeit setzt sich zum Ziel, diese Frage zu beantworten, indem sie einen massiven Geschmackstest-Showdown organisiert. Die Forscher sammelten 17 verschiedene neuronale Audio-Codecs, die jeweils mit unterschiedlichen Geschwindigkeiten und Bitraten laufen (einige so niedrig wie 1,0 kbps, andere bis zu 8,0 kbps), und fütterten sie mit 100 sauberen Sprachproben. Dann baten sie eine Gruppe von Menschen, die Qualität mithilfe einer Methode namens MUSHRA-1S zu bewerten, was wie ein superpräzises Lineal ist, das in der Lage ist, kleinste Unterschiede zwischen hochwertigen Klängen zu erkennen. Danach ließen sie dieselben Klänge durch 45 verschiedene Computer-Bewertungsprogramme laufen – einige, die das Original benötigen, um es zu vergleichen (intrusiv), und einige, die nur das Ergebnis betrachten (nicht-intrusiv).

Die Ergebnisse waren ein wenig wie eine Überraschungsparty, bei der die erwarteten Gewinner nicht auftauchten. Die Studie fand heraus, dass die altmodischen Computer-Richter, wie PESQ und WARPQ, zwar okay, aber nicht großartig waren; sie erreichten eine Korrelation von etwa 0,73 mit der menschlichen Meinung. Die neuen KI-gestützten Metriken, insbesondere ScoreQ, UTMOS und Audiobox, waren jedoch die klaren Champions, wobei ScoreQ eine Korrelation von 0,87 erreichte. Dies deutet darauf hin, dass man, um KI-Audio zu beurteilen, einen KI-Richter braucht.

Aber es gab eine Wendung in der Geschichte. Als die Forscher die sehr besten Klänge genauer untersuchten – jene, die Menschen als nahezu perfekt bewerteten – bemerkten sie einen seltsamen Fehler. Die nicht-intrusiven KI-Metriken (jene, die das Original nicht benötigen) schienen eine „Deckelung“ zu erreichen. Sobald der Klang wirklich gut wurde, änderten diese Metriken ihre Werte nicht mehr, selbst wenn die Menschen noch subtile Unterschiede hören konnten. Es ist wie ein Thermometer, das aufhört sich zu bewegen, sobald es 100 Grad erreicht, selbst wenn der Raum heißer wird. Die Autoren schlagen vor, dass dies geschieht, weil diese Metriken auf menschlichen Bewertungen trainiert wurden, die oft nur ein einfaches „5 von 5“ waren, was es dem Computer schwer machte, den Unterschied zwischen einer „5“ und einer „5,5“ zu erkennen.

Im Gegensatz dazu arbeiteten die intrusiven Metriken (jene, die das Ergebnis mit dem Original vergleichen) selbst auf den höchsten Qualitätsstufen perfekt weiter und zeigten kleinere Fehlermargen sowie eine höhere Sensibilität für kleinste Veränderungen. Das Papier kommt zu einer praktischen Faustregel: Wenn Sie durchschnittliche oder leicht verrauschte Audioaufnahmen testen, sind die schnellen, nicht-intrusiven KI-Metriken wie UTMOS und ScoreQ Ihre besten Freunde. Aber wenn Sie High-Fidelity-Audio polieren und die kleinsten Unvollkommenheiten aufspüren müssen, sollten Sie bei den intrusiven Methoden wie ScoreQ Ref bleiben, die wie eine Lupe wirken, die am oberen Ende nicht verschwimmt. Die Studie hat nicht nur die besten Werkzeuge gefunden, sondern uns auch genau gezeigt, wo jedes Werkzeug aufhört zu funktionieren, was Ingenieuren hilft, den richtigen Richter für die richtige Aufgabe zu wählen.