PitchBench: Measuring Pitch Hearing in Audio-Language Models
Dieser Beitrag stellt PitchBench vor, eine umfassende Evaluierungssuite mit 28 Experimenten, die zeigt, dass aktuelle Audio-Sprachmodelle über verschiedene akustische Bedingungen, Instrumente und Antwortformate hinweg keine zuverlässige und stabile Tonhöhenwahrnehmung aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der Musik hören und darüber sprechen kann. Sie fragen ihn: „Welches Lied ist das?" oder „Welches Instrument spielt?" und er antwortet selbstbewusst. Aber haben Sie sich jemals gefragt, ob der Roboter die Töne tatsächlich hört oder ob er nur basierend auf den Wörtern, die er in seinen Trainingsbüchern gelesen hat, rät?
Diese Arbeit stellt PitchBench vor, einen neuen Test, der genau herausfinden soll, wie gut diese KI-Modelle die „Tonhöhe" eines Sounds wahrnehmen können – also die spezifische Höhe oder Tiefe eines Tons, wie den Unterschied zwischen einem Mäusequietschen und einem Löwengebrüll.
Hier ist eine Aufschlüsselung dessen, was die Forscher taten und was sie fanden, unter Verwendung einfacher Analogien:
1. Das Problem: Die Falle des „Rätselraten-Spiels"
Zuvor testeten Forscher diese KI-Modelle mit großen, komplizierten Musikfragen, wie „Ist dies ein fröhliches oder trauriges Lied?" oder „Welches Genre ist das?"
- Der Fehler: Es ist, als würde man die Mathekenntnisse eines Schülers testen, indem man ihn eine komplexe Textaufgabe lösen lässt. Wenn der Schüler die richtige Antwort rät, weil er die Wörter in der Aufgabe erkennt, erhält er eine bestandene Note, selbst wenn er die Mathe eigentlich nicht kann.
- Die Realität: Die KI könnte das Genre basierend auf dem Klang der Trommeln raten, aber sie weiß vielleicht nicht wirklich, welcher Ton gespielt wird. Die alten Tests prüften nicht, ob die KI einzelne Töne klar hören konnte.
2. Die Lösung: PitchBench (Der „Ton-Detektiv"-Test)
Die Autoren erstellten PitchBench, eine Reihe von 28 verschiedenen Tests, die wie eine Reihe von Rätseln funktionieren. Anstatt nach einer großen Zusammenfassung zu fragen, zerlegen sie Musik in winzige, grundlegende Bestandteile.
Stellen Sie sich vor, Sie testen die Geschmacksknospen eines Kochs:
- Level 1 (Atomar): Können Sie einen einzigen Tropfen Salz schmecken? (Einzelnen Ton identifizieren).
- Level 2 (Kontextuell): Können Sie das Salz schmecken, auch wenn die Suppe heiß, kalt ist oder andere Gewürze enthält? (Töne mit Hintergrundgeräuschen, unterschiedlichen Dauern oder innerhalb von Akkorden identifizieren).
- Level 3 (Melodisch): Können Sie die Stimme eines bestimmten Sängers in einem Chor verfolgen, in dem vier Personen gleichzeitig singen? (Eine Melodie in komplexer Musik verfolgen).
Sie testeten die KI mit Sounds von 19 verschiedenen „Instrumenten" (von einfachen Computerpieptönen bis hin zu realistischen Klavieren und Violinen) und baten die KI, die Töne auf vier verschiedene Arten zu identifizieren: durch Nummer (MIDI), durch Buchstabennamen (wie „C#4"), durch Solmisation (Do-Re-Mi) oder durch Frequenz (Hertz).
3. Die Ergebnisse: Die KI ist „Taub"
Die Forscher testeten sechs der fortschrittlichsten KI-Modelle, die heute verfügbar sind. Die Ergebnisse waren überraschend und für Musikliebhaber nicht sehr ermutigend:
- Die „Magie" ist meist eine Illusion: Die meisten Modelle schnitten sehr schlecht ab. Oft scheiterten sie daran, einen einzigen, klaren Ton zu identifizieren, geschweige denn eine komplexe Melodie.
- Die „A4"-Verzerrung: Die Modelle schienen einen Lieblingston zu haben: A4 (der Standard-Stimmungston, 440 Hz). Selbst wenn sie einen völlig anderen Ton hörten, rieten sie oft „A4", weil dieser so häufig in Lehrbüchern vorkommt. Es ist wie ein Schüler, der bei einem Multiple-Choice-Test immer „42" rät, weil er diese Zahl oft gesehen hat.
- Der „Multiple-Choice"-Betrug: Als die Forscher der KI eine Multiple-Choice-Frage stellten (z. B. „Ist dieser Ton C, D oder E?"), stiegen die Punktzahlen dramatisch. Dies beweist, dass die Modelle den Ton nicht wirklich hören; sie sind nur gut darin, die richtige Option aus einer Liste auszuwählen, ähnlich wie ein Schüler, der Mathe nicht kann, aber gut darin ist, falsche Antworten auszuschließen.
- Empfindliches Gehör: Wenn der Sound leicht verzerrt war, sehr leise gespielt wurde oder nur sehr kurz dauerte, brach die Leistung der Modelle zusammen. Sie konnten die „Unordnung" des realen Lebens nicht bewältigen.
- Der beste Performer: Ein Modell, Qwen-3.5 Omni Plus, schnitt am besten ab und erreichte im Durchschnitt etwa 48 % Korrektheit. Obwohl dies niedrig klingt, lag es weit vor den anderen. Selbst dieses „beste" Modell scheiterte jedoch völlig, wenn es gebeten wurde, eine einzelne Stimme aus einem vierstimmigen Chor herauszufiltern (wie bei einem Bach-Lied).
4. Das Fazit
Die Arbeit kommt zu dem Schluss, dass diese KI-Modelle zwar großartig darin sind, über Musik zu sprechen und Genres zu erkennen, aber derzeit unzuverlässig darin sind, die Töne tatsächlich zu hören.
Sie sind wie ein Musikkritiker, der jedes Buch über Musiktheorie gelesen hat, aber nie gelernt hat, ein Instrument zu spielen. Sie können die Theorie beschreiben, aber wenn Sie ihnen einen einzelnen Ton vorspielen, könnten sie Ihnen vielleicht nicht sagen, was er ist.
Die Autoren veröffentlichten ihre Testsuite (PitchBench) als kostenloses Werkzeug, damit andere Entwickler bessere Modelle entwickeln können, die Musik wirklich „hören" können, anstatt nur basierend auf Textmustern zu raten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.