From Prediction to Collaboration: Interactive Symbolic Music Analysis

Das neue Werkzeugset des Musik-Detektivs

Stellen Sie sich vor, Sie versuchen ein Rätsel zu lösen, aber anstatt nach Hinweisen an einem Tatort suchen Sie in einem Notenblatt. In der Welt der Musikwissenschaft gibt es eine spezielle Aufgabe namens „Römische-Zahlen-Analyse“. Es ist wie das Übersetzen eines Liedes in einen Geheimcode, der Ihnen genau verrät, was jeder Akkord macht und wie er in die Tonart des Liedes passt. Lange Zeit wurden Computer immer besser darin, diese Übersetzung automatisch durchzuführen, aber sie arbeiten meist wie ein starrer Roboter: Man füttert sie mit einem ganzen Lied, und sie spucken auf einmal eine vollständige Antwort aus. Wenn der Roboter in der Mitte einen winzigen Fehler macht, kann man ihn nicht einfach bitten, genau diese eine Stelle zu korrigieren; man muss von vorne beginnen. Echte Musikexperten arbeiten jedoch nicht so. Sie hören zu, vermuten, bemerken eine merkwürdige Stelle, ändern ihre Meinung und verfeinern ihre Vermutung Schritt für Schritt. Diese Arbeit stellt eine einfache, aber knifflige Frage: Können wir einen Computer bauen, der Musik nicht nur vorhersagt, sondern tatsächlich mit Menschen kollaboriert, indem er uns erlaubt, Fehler zu korrigieren und fehlende Teile nach und nach zu ergänzen?

Vom „Ein-Schuss“-Raten zum musikalischen Gespräch

Die Forscher hinter dieser Studie, Emmanouil Karystinaios und sein Team, beschlossen, die Musikanalyse nicht länger als ein einfaches „Rate das Ganze“-Spiel zu betrachten. Stattdessen entwickelten sie ein neues System, das eher wie ein hilfreicher Co-Pilot fungiert. Stellen Sie sich ihre alten Computermodelle wie einen Schüler vor, der eine Prüfung ablegt und alle Antworten aufschreibt, bevor er seine Arbeit überprüft. Wenn er bei Frage 15 einen Fehler macht, kann er diesen nicht einfach korrigieren, ohne die ganze Seite zu löschen. Das neue System, das die Autoren RNHybrid nennen, ist eher wie ein kluger Lernpartner. Es kann das ganze Lied betrachten, aber es erlaubt Ihnen auch zu sagen: „Hey, ich glaube, dieser Teil ist ein G-Dur-Akkord“, und dann berechnet es den Rest des Liedes sofort neu, um sicherzustellen, dass alles mit Ihrer neuen Idee weiterhin Sinn ergibt.

Um dies zu erreichen, kombinierte das Team zwei leistungsstarke Arten von KI-„Gehirnen“. Das erste ist ein MusicBERT, das wie ein Super-Leser ist, der Millionen von Liedern gelesen hat und das allgemeine „Gefühl“ und den Kontext der Musik versteht. Das zweite ist ein graphbasiertes Modell, das wie eine Landkarte funktioniert, die jede einzelne Note mit ihren Nachbarn verbindet und versteht, wie sie sich in Zeit und Harmonie zueinander beziehen. Durch die Verschmelzung dieser beiden erhält das System das Beste aus beiden Welten: Es kennt das große Ganze und die winzigen Details.

Das Paper führt einen cleveren Trick ein, um dies interaktiv zu gestalten. Normalerweise dauert das Ausführen eines superintelligenten KI-Modells viel Zeit und Rechenleistung. Aber dieses Team hat herausgefunden, wie man die schwere Arbeit einmal erledigt und dann diese Arbeit wiederverwendet. Stellen Sie sich vor, Sie erstellen nur einmal eine riesige, detaillierte Stadtkarte. Wenn Sie nun Ihre Route von „Zuhause“ nach „Schule“ ändern wollen, müssen Sie nicht die ganze Stadt neu zeichnen; Sie müssen nur eine neue Linie auf der bestehenden Karte nachzeichnen. Dies ermöglicht es dem Computer, sofort zu reagieren, wenn ein menschlicher Analyst auf eine Note klickt und sagt: „Ändere das“, wodurch die Interaktion flüssig und natürlich wirkt, anstatt langsam und sperrig.

Was sie herausgefunden haben (und was nicht)

Das Team testete ihr neues System an einer massiven Sammlung von Musikdaten namens Dilemmadata, die den größten und vielfältigsten Testdatensatz ihrer Art darstellt. Hier ist, was die Zahlen uns sagen:

• Blinde Vorhersage: Wenn das System das ganze Lied ohne Hilfe erraten musste (wie ein Schüler, der mit verbundenen Augen eine Prüfung ablegt), schnitt es sehr gut ab. Bei einem Teil des Tests lag es bei der „lokalen Tonart“ etwa 84,6 % der Zeit richtig und bei den vollständigen römischen Zahlen-Labels etwa 57,6 % der Zeit. Dies war besser als die meisten bisherigen Modelle, was zeigt, dass die Mischung aus dem „Super-Leser“ und dem „Landkarten-Ersteller“ wirklich hilft.
• Die „Lückentext“-Power: Hier glänzt das System. Als die Forscher dem Modell einige korrekte Labels gaben (wie zum Beispiel: „Wir wissen, dass die ersten 5 % des Liedes korrekt sind“) und es baten, den Rest zu ergänzen, sprang die Genauigkeit dramatisch nach oben. Mit nur 5 % der bekannten Labels gab es den Rest etwa 57,7 % der Zeit korrekt wieder. Aber je mehr bekannte Labels sie ihm gaben, desto stetiger stieg die Leistung. Als 95 % der Labels bekannt waren, gab das Modell die fehlenden Teile zu 83,1 % der Zeit richtig an. Dies beweist, dass das Modell exzellent darin ist, aus teilweisen Hinweisen den Rest abzuleiten, genau wie ein menschlicher Analyst.
• Das „Reparatur“-Werkzeug: Sie bauten auch eine Prototyp-Schnittstelle (ein visuelles Werkzeug), bei der man auf eine Note klicken kann, um die drei besten Vermutungen dafür zu sehen, welcher Akkord dies sein sollte. Wenn man sich für einen entscheidet, hebt das System in Grün hervor, welche Teile seiner Analyse mit Ihrer Wahl übereinstimmen, und in Rot, welche Teile ihr widersprechen. Dies hilft Menschen zu verstehen, warum der Computer eine bestimmte Vermutung angestellt hat, und ermöglicht es ihnen, diese leicht zu korrigieren.

Was das Paper uns sagt, was wir nicht tun sollten

Es ist wichtig anzumerken, was die Autoren explizit ausgeschlossen haben. Sie testeten mehrere ausgeklügelte „Post-Processing“-Tricks – wie etwa die Verwendung von komplexem Beam Search (eine Methode, die versucht, viele verschiedene Pfade gleichzeitig zu verfolgen), um die Antworten zu korrigieren, nachdem das Modell sie bereits erraten hatte. Überraschenderweise machten diese ausgeklügelten Tricks die Ergebnisse sogar schlechter oder halfen gar nicht, wenn das Modell das gesamte Lied von Grund auf (blind) erraten musste. Die Autoren legen nahe, dass diese komplexen Werkzeuge nicht für das blinde Raten gedacht sind; sie sind speziell für den „Lückentext“-Modus konzipiert, bei dem ein Mensch bereits einige korrekte Antworten bereitgestellt hat. Diese komplexen Werkzeuge für die blinde Vorhersage zu verwenden, ist so, als würde man ein Hochleistungsmikroskop benutzen, um einen Berg zu betrachten; es ist das falsche Werkzeug für diese spezifische Aufgabe.

Das große Ganze

Das Paper behauptet nicht, die Musikanalyse für immer gelöst oder ein Werkzeug gebaut zu haben, das für jeden Musiker perfekt ist. Stattdessen legt es nahe, dass wir aufhören sollten, die KI-Musikanalyse nur als ein „Vorhersageproblem“ zu betrachten, und anfangen sollten, sie als ein „Kollaborationsproblem“ zu begreifen. Die Ergebnisse zeigen, dass wir, indem wir starke Vorhersagekraft mit der Fähigkeit kombinieren, menschliche Edits und Teilhinweise zu akzeptieren, Werkzeuge bauen können, die für echte Menschen, die echte Musikarbeit leisten, tatsächlich nützlich sind. Die Autoren schlagen vor, dass die Zukunft dieses Feldes nicht nur darin besteht, den Computer isoliert betrachtet intelligenter zu machen, sondern darin, ihn zu einem flexiblen Partner zu machen, der von uns lernt, genau wie wir von ihm lernen. Sie planen, dies weiter zu testen, indem sie mit echten Musikwissenschaftlern zusammenarbeiten, um zu sehen, ob dieser „Co-Pilot“-Ansatz ihre Arbeit tatsächlich beschleunigt und ihre Analyse verbessert.