YQX+: Benchmarking Probabilistic Modeling of Piano Performance Expression

Musik auf einer Seite ist eine Anweisung, eine Landkarte der Noten, die einem Pianisten sagt, welche Tasten er wie lange zu drücken hat. Aber die Landkarte ist nicht das Territorium. Zwei Pianisten können exakt dasselbe Notenblatt spielen und Klänge erzeugen, die sich völlig unterschiedlich anfühlen. Der eine spielt vielleicht mit einem sanften, rollenden Rhythmus und weichen Anschlägen, während ein anderer mit scharfer, treibender Energie spielt. Dieser Unterschied ist kein Fehler; er ist das Wesen des musikalischen Ausdrucks. Es ist die menschliche Fähigkeit, starre Anweisungen in eine lebendige, atmende Darbietung zu verwandeln, die Emotionen, Stil und Struktur vermittelt. Seit Jahrzehnten versuchen Wissenschaftler und Ingenieure, Computern genau das beizubringen: aus einer Partitur eine Performance zu generieren, die menschlich, natürlich und voller Gefühl klingt. Die Herausforderung besteht darin, dass es keine einzige „richtige“ Art gibt, ein Stück zu spielen. Ein Computer, der einfach den Durchschnitt jeder möglichen Darbietung berechnet, produziert oft etwas Flaches und Lebloses. Um die Kunst des Klavierspiels wirklich einzufangen, muss eine Maschine verstehen, dass eine einzige Partitur viele gültige, expressive Interpretationen zulässt.

Ein Team von Forschern der Queen Mary University of London und der New York University hat dieses Problem mit einem neuen Framework namens YQX+ angegangen. Anstatt nur ein einziges System zur Generierung von Musik zu bauen, haben sie ein standardisiertes Testfeld geschaffen, um zu sehen, wie verschiedene Arten von Computermodellen die Aufgabe der Vorhersage menschlichen Ausdrucks bewältigen. Stellen Sie sich ein Rennen vor, bei dem alle Läufer an derselben Linie starten, dieselbe Strecke laufen und nach denselben Regeln beurteilt werden. Vor dieser Arbeit bauten verschiedene Forschungsgruppen ihre eigenen, einzigartigen Strecken und nutzten unterschiedliche Wege, um die Geschwindigkeit zu messen, was es unmöglich machte zu sagen, welcher Läufer wirklich der Schnellste war. Die Forscher hinter YQX+ haben die Strecke korrigiert. Sie definierten einen spezifischen Satz musikalischer Merkmale, auf die jedes Modell achten muss, wie etwa die Tonhöhe einer Note, ihre Position innerhalb einer musikalischen Phrase und die Markierungen in der Partitur wie „laut“ oder „leise“. Sie definierten auch einen spezifischen Satz von Ausgaben, die jedes Modell vorhersagen muss: wie schnell der Schlag sein sollte, wie hart die Taste angeschlagen werden sollte, wie sehr das Timing schwanken sollte und wie lange die Note ausklingen sollte. Indem sie zwangen, dass jedes Modell nach denselben Regeln spielt, konnte das Team sie endlich fair vergleichen.

Das Team testete eine große Vielfalt an Computermodellen, die von älteren statistischen Methoden bis hin zu modernen, komplexen neuronalen Netzen reichten. Sie trainierten diese Modelle mit tausenden Stücken klassischer Musik, bei denen der Computer sowohl die geschriebene Partitur als als auch eine Aufnahme eines Menschen beim Spielen sehen konnte. Das Ziel war es zu sehen, welches Modell am besten erraten konnte, welche expressiven Entscheidungen ein Mensch treffen würde. Die Ergebnisse zeigten, dass größere, leistungsfähigere Modelle, insbesondere eine Art von baumbasiertem Lernsystem und eine Art von neuronalem Netzwerk, das darauf ausgelegt ist, verborgene Muster zu lernen, am besten abschnitten. Diese Top-Modelle waren in der Lage, das Timing und die Dynamik einer Darbietung mit größerer Genauigkeit vorherzusagen als bisherige Systeme. Sie erraten nicht nur die Noten; sie fingen das subtile Drängen und Nachgeben des Rhythmus ein, das Musik lebendig fühlen lässt.

Es ist jedoch schwierig, zu messen, wie gut ein Computer Musik spielt. Ein Computer kann in Bezug auf die reinen Zahlen sehr nah an einer menschlichen Darbietung liegen und dennoch für das menschliche Ohr roboterhaft klingen. Um dies zu lösen, führten die Forscher ein neues Werkzeug namens PerformanceMOS ein. Dies ist ein datengesteuerter Schätzer, eine Art digitaler Richter, der darauf trainiert wurde, vorherzusagen, wie sehr ein menschlicher Zuhörer eine Darbietung genießen würde. Er wurde auf einem massiven Datensatz von Klavierperformances trainiert, die von menschlichen Experten hinsichtlich ihres Könnens, ihrer Flüssigkeit und ihres Ausdrucks bewertet wurden. Die Forscher nutzten dieses Werkzeug, um die Ausgaben ihrer Modelle zu bewerten. Die Ergebnisse waren aufschlussreich: Die besten Modelle aus ihrem neuen Framework erreichten Bewertungen, die mit den fortschrittlichsten derzeit verfügbaren Systemen konkurrierten oder diese sogar übertrafen.

Um sicherzugehen, führte das Team auch einen Hörtest mit vierzig menschlichen Teilnehmern durch. Diese Zuhörer, eine Mischung aus Gelegenheitsmusikfans und erfahrenen Spielern, bewerteten die computergenerierten Darbietungen auf einer Skala von null bis hundert. Sie beurteilten sie danach, wie natürlich sie klangen, wie frei der Rhythmus war und wie expressiv sie waren. Die Ergebnisse bestätigten, was die Computerkennzahlen suggerierten. Die Modelle, die das neue Framework verwendeten, insbesondere die baubasierten und die neuronalen Netzwerkansätze, wurden ebenso hoch bewertet wie die besten existierenden Systeme. Sie klangen natürlich und musikalisch überzeugend. Interessanterweise fanden die Forscher heraus, dass eine bloße Erhöhung der Komplexität der Modelle nicht immer einen besseren Klang garantierte; die Art und Weise, wie die Modelle trainiert wurden, und die spezifischen Merkmale, die ihnen gegeben wurden, waren ebenso wichtig.

Die Forscher entdeckten auch, dass diese Modelle zwar exzellent darin sind, die Details einer einzelnen Note vorherzusagen, aber manchmal Schwierigkeiten haben, die großen, weit ausgreifenden Änderungen im Tempo und in der Emotion zu erfassen, die sich über den Verlauf eines gesamten Stücks ergeben. Dies deutet darauf hin, dass Computer zwar sehr gut in den lokalen Details des Ausdrucks geworden sind, die breitere musikalische Erzählstruktur jedoch weiterhin eine Herausforderung darstellt. Die Studie kommt zu dem Schluss, dass YQX+ ein solides Fundament für zukünftige Arbeiten bietet. Es bietet einen klaren, fairen Weg, um neue Ideen zu testen, und ein zuverlässiges Werkzeug, PerformanceMOS, um zu schätzen, wie Menschen auf computergenerierte Musik reagieren werden. Diese Arbeit beansprucht nicht, das Geheimnis des musikalischen Ausdrucks gelöst zu haben, aber sie hat ein besseres Mikroskop gebaut, um zu sehen, wie er funktioniert, und bringt uns einen Schritt näher an Maschinen, die die Seele einer Darbietung wirklich verstehen können.