QASTAnet: A DNN-based Quality Metric for Spatial Audio
Dieses Paper stellt QASTAnet vor, eine auf tiefen neuronalen Netzen basierende Metrik, die darauf ausgelegt ist, die subjektive räumliche Audioqualität bei begrenzten Trainingsdaten durch die Kombination von Experten-Auditory-Modellierung mit der Simulation hochgradiger kognitiver Funktionen präzise vorherzusagen und dadurch bestehende Methoden bei der Bewertung von Codec-Artefakten über verschiedene Inhaltstypen hinweg übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Dirigent eines gewaltigen, unsichtbaren Orchesters, das in Ihren Kopfhörern spielt. Dies ist nicht einfach nur Musik; es ist eine dreidimensionale Klanglandschaft, in der ein Vogel über Ihrem linken Ohr zwitschert, ein Auto hinter Ihnen vorbeizischt und Regen um Sie herum fällt. Dies ist die Welt des Spatial Audio, einer Technologie, die digitalen Klang so wirken lässt, als fände er direkt neben Ihnen statt, anstatt nur aus einem flachen Lautsprecher zu kommen. Aber hier liegt der Knackpunkt: Um diesen komplexen 3D-Sound über das Internet zu versenden oder auf Ihrem Telefon zu speichern, müssen Ingenieure ihn komprimieren, also die Daten wie einen Koffer zusammenquetschen. Manchmal entstehen durch dieses Quetschen „Artefakte“ – seltsame Glitches, statisches Rauschen oder ein Verlust dieses magischen 3D-Gefühls.
Um diese Fehler zu beheben, benötigen Ingenieure eine Möglichkeit, die Qualität zu messen. Die klassische Methode ist der „Hörtest“, bei dem eine Gruppe von Menschen in einem ruhigen Raum sitzt, Dutzende von Clips hört und diese auf einer Skala bewertet. Das ist genau, aber es ist auch langsam, teuer und erfordert jedes Mal, wenn ein neuer Codec getestet wird, die Rekrutierung echter Menschen. Deshalb haben Wissenschaftler versucht, „Roboter-Hörer“ zu entwickeln – Computerprogramme, die vorhersagen können, wie Menschen den Klang bewerten würden. Die Herausforderung besteht darin, dass diese Roboter oft zu simpel sind, um die kompleße Physik des 3D-Sounds zu verstehen, oder sie benötigen so viele Daten zum Lernen, dass sie unmöglich zu trainieren sind. Die Frage lautet: Können wir einen smarten, kleinen Roboter bauen, der das „Gefühl“ von 3D-Audio versteht, ohne einen Supercomputer oder tausend menschliche Freiwillige zu benötigen?
Hier kommt QASTAnet ins Spiel, ein neuer „Roboter-Hörer“, der von Forschern bei Orange Research in Frankreich entwickelt wurde. Betrachten Sie QASTAnet als einen hybriden Detektiv. Anstatt zu versuchen, alles von Grund auf neu zu lernen wie ein Baby (was massive Mengen an Daten erfordert), oder sich auf ein starres Regelwerk zu verlassen, das von Menschen geschrieben wurde (welches oft die Nuancen verpasst), kombiniert es das Beste aus beiden Welten. Die Forscher gaben dem Roboter zuerst „Expertenaugen“, um die rohen Sounddaten zu betrachten. Diese Augen suchen nach spezifischen Hinweisen, wie etwa der Lautstärke in jedem Ohr, wie die Schallwellen umhergeworfen werden und wie „diffus“ oder weit gestreut sich der Klang anfühlt. Dies sind die physikalischen Fakten des Sounds auf niedriger Ebene.
Sob der Roboter diese Hinweise gesammelt hat, leitet er sie an ein winziges, hocheffizientes Gehirn weiter – ein Deep Neural Network (eine Art von KI). Die Aufgabe dieses Gehirns ist es, das „hochwertige“ Rätsel zu lösen: „Wenn ein Mensch dies hören würde, würde er denken, dass es großartig klingt oder schrecklich?“ Die Forscher trainierten dieses Gehirn mit einem relativ kleinen Datensatz von etwa 364 Beispielen, bei denen echte Menschen bereits verschiedene Klänge (wie Sprache, Musik und Partylärm) gehört und bewertet hatten, die durch verschiedene Kompressionsmethoden verzerrt worden waren.
Die Ergebnisse legen nahe, dass QASTAnet ein sehr scharfer Detektiv ist. Als die Forscher es gegen andere existierende „Roboter-Hörer“ testeten, zeigte QASTAnet eine viel stärkere Fähigkeit, vorherzusagen, was Menschen denken würden, insbesondere bei Klängen, die realistische Echos und Nachhall enthalten (wie ein Schall, der von den Wänden eines Raumes abprallt). Während andere Roboter Schwierigkeiten hatten, zwischen einem guten und einem schlechten Klang zu unterscheiden, wenn Echos im Spiel waren, blieb QASTAnet gelassen. Es rät nicht nur; es hat gelernt, die subtilen Anzeichen von Kompressionsfehlern zu erkennen, die 3D-Audio „falsch“ oder „krümelig“ klingen lassen.
Das Paper legt nahe, dass dieser Ansatz – die Mischung aus Expertenwissen und einer kleinen, smarten KI – ein vielversprechender Weg nach vorne ist. Das bedeutet, dass wir bald in der Lage sein könnten, 3D-Audio-Codecs automatisch zu testen und zu verbessern, ohne jedes Mal ein Studio buchen und eine Menge von Zuhörern anheuern zu müssen. Die Forscher haben das Gehirn ihres Roboters sogar Open-Source zur Verfügung gestellt, damit andere Ingenieure es nutzen können, um bessere Spatial-Audio-Tools zu bauen. Obwohl der Roboter nicht perfekt ist (er vergibt manchmal etwas niedrigere Werte als Menschen im Durchschnitt, wahrscheinlich weil die Menschen, die ihn trainiert haben, etwas strenger waren), ist seine Fähigkeit, Klänge korrekt einzustufen, ein bedeutender Schritt nach vorn gegenüber den Werkzeugen, die wir heute haben. Es ist ein kleines, aber mächtiges Werkzeug, das hilft sicherzustellen, dass die Welt, wenn Sie das nächste Mal Ihre Kopfhörer aufsetzen, genau so klingt, wie sie sollte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.