Musik existiert in zwei unterschiedlichen Welten. Die eine ist der Klang, den wir hören, ein fließender Strom von Wellen, der einen Raum erfüllt. Die andere ist die Bedienungsanleitung, die Musiker nutzen, um diesen Klang zu erzeugen – eine statische Seite voller Symbole, bekannt als Notensatz. Seit Jahrzehnten sind Computer sehr gut darin, die erste Welt zu lesen, indem sie Audio in Daten umwandelt, aber sie hatten Schwierigkeiten mit der zweiten. Wenn Forscher versuchten, einem Computer beizubringen, Musik zu verstehen oder zu erschaffen, verließen sie sich auf ein digitales Format namens MIDI. Dieses Format ist exzellent darin, einem Computer zu sagen, welche Noten er wann spielen soll; es fungiert wie eine präzise Liste von Anweisungen für einen Roboterpianisten. Jedoch fehlt dieser Liste eine entscheidende Ebene menschlicher Nuance. Sie sagt der Maschine zwar, welche Noten zu spielen sind, lässt aber die emotionalen Anweisungen aus, die einem menschlichen Interpreten vermitteln, wie er sie fühlen soll.

In der westlichen Notenschrift füllen Komponisten die Zwischenräume der Noten mit Wörtern und Symbolen, die die Aufführung leiten. Dies sind nicht bloß Vorschläge; es sind spezifische Befehle über Geschwindigkeit, Lautstärke und Stil. Ein Komponist könnte „adagio“ schreiben, um dem Spieler zu sagen, dass er langsam spielen soll, oder „crescendo“, um eine allmähliche Steigerung der Lautstärke anzuzeigen. Er könnte einen Abschnitt markieren, der mit einem scharfen, abgehackten Anschlag oder einem sanften, verbundenen Fluss gespielt werden soll. Diese Anweisungen, bekannt als Ausdruckstext (expression text), sind die Landkarte, die eine Abfolge von Noten in ein lebendiges, atmendes Kunstwerk verwandelt. Bis jetzt haben die Standardwerkzeuge, mit denen Computer über Musik gelehrt wurden, diese Landkarte weitgehend ignoriert und die Noten als das Einzige behandelt, was zählt. Diese Lücke bedeutete, dass Computer zwar eine Melodie generieren konnten, aber nicht ohne Weiteres die Stimmung, die Spannung oder die dynamische Form erzeugen konnten, die Musik menschlich wirken lässt.

Ein Team von Forschern hat diese Einschränkung durch die Entwicklung eines neuen Werkzeugs namens MusPyExpress behoben. Diese Software ist ein Upgrade für eine bestehende Bibliothek, die von Informatikern zur Verarbeitung musikalischer Daten verwendet wird. Das neue System ist darauf ausgelegt, die reichhaltigen, detaillierten Anweisungen zu lesen, die in MusicXML enthalten sind – einem Format für digitale Notenblätter, das weitaus ausdrucksstärker ist als der ältere MIDI-Standard. Durch den Bau dieser Erweiterung ermöglichten die Forscher es Computern, das volle Spektrum des Ausdruckstextes zu extrahieren und zu verstehen – von Tempoangaben, die die Geschwindigkeit der Musik verändern, bis hin zu Dynamiksymbolen, die kontrollieren, wie laut oder leise eine Note gespielt werden soll. Sie behandelten diese Anweisungen nicht als bloße Kommentare, sondern als essenzielle Datenpunkte, die gespeichert, analysiert und genutzt werden können, um Maschinen beizubringen, mit Gefühl zu komponieren.

Um zu beweisen, dass dieses neue Werkzeug die Komplexität realer Musik bewältigen kann, wandten sich die Forscher einer massiven Sammlung gemeinfreier Notenblätter zu, die über 220.000 Dateien umfasst. Sie nutzten MusPyExpress, um diese Bibliothek zu scannen, und fanden heraus, dass die überwiegende Mehrheit dieser Stücke, mehr als 95 Prozent, diese expressiven Anweisungen enthielt. Insgesamt identifizierte die Software über 3,5 Millionen einzelne Markierungen in der Sammlung. Die Analyse ergab, dass diese Anweisungen nicht wahllos verstreut sind; sie folgen Mustern, die die Geschichte der Musik selbst widerspiegeln. Beispielsweise fanden die Forscher, dass Komponisten der Romantik, die im 19. Jahrhundert lebten, diese expressiven Markierungen weitaus häufiger verwendeten als Komponisten der früheren Barock- oder Klassikperioden. Dies deckt sich mit der historischen Praxis, da romantische Komponisten oft spezifische emotionale Richtlinien schrieben, um die Interpreten zu leiten, während frühere Komponisten sich stärker auf die Konventionen ihrer Zeit verließen.

Die Studie zeigte auch, wie die Dichte dieser Anweisungen innerhalb eines Musikstücks variiert. Strukturelle Markierungen, wie etwa Rehearsal Letters (Probesatzzeichen), die ein Lied in Abschnitte unterteilen, treten seltener auf und sind weiter auseinander platziert. Im Gegensatz dazu können Anweisungen zu Tempo und Lautstärke sehr konzentriert sein und häufig erscheinen, um den unmittelbaren Fluss der Melodie zu gestalten. Die Forscher beobachteten sogar, dass bestimmte Komponisten wie Liszt und Debussy ihre Partituren mit diesen Details vollgestopft hatten, während andere sie sparsamer einsetzten. Diese detaillierte Kartierung des Ausdruckstextes lieferte das erste klare Bild davon, wie viele emotionale Daten in Standard-Digitalnoten verborgen sind – Daten, die den meisten Computermodellen bisher unzugänglich waren.

Mit dieser neuen Fähigkeit, Ausdruckstexte zu lesen und zu verstehen, demonstrierten die Forscher drei verschiedene Wege, wie ein Computer diese Informationen nutzen könnte. Erstens zeigten sie, dass ein Modell lernen kann, sowohl die Noten als auch die Ausdrucksanweisungen gleichzeitig zu generieren, was der Art und Weise nachahmt, wie ein menschlicher Komponist eine Partitur schreibt. Zweitens trainierten sie ein System, um Musik basierend auf einem spezifischen Satz emotionaler Anweisungen zu erstellen, was es einem Nutzer ermöglicht, eine Sequenz von Wörtern wie „langsam, laut, dann leise“ vorzugeben und den Computer eine Melodie generieren zu lassen, die dieser Stimmung entspricht. Dies könnte nützlich sein, um Hintergrundmusik für Filme oder Videospiele zu erstellen, bei der der Klang einem spezifischen narrativen Bogen entsprechen muss. Drittens testeten sie ein System, das eine einfache, emotionslose Abfolge von Noten nehmen und automatisch die entsprechenden Ausdrucksmarkierungen hinzufügen kann, was effektiv eine rohe Melodie mit dem fehlenden emotionalen Kontext versieht.

Die Experimente zeigten, dass die Fähigkeit des Computers, realistische Musik zu erzeugen, durch die Gabe dieser expressiven Anweisungen verbessert wurde. Modelle, die lernten, Noten und Ausdruckstexte gemeinsam zu generieren, oder die Ausdruckstexte als Leitfaden nutzten, lieferten Ergebnisse, die konsistenter mit menschlichen Musikmustern waren als Modelle, die nur die Noten betrachteten. Die Forscher fanden heraus, dass der effektivste Ansatz darin bestand, die Ausdrucksanweisungen dem Modell unmittelbar vor der Generierung der entsprechenden Noten zuzuführen, was dem Computer ermöglichte, die emotionale Richtung der Musik vorauszusehen. Obwohl die Modelle die Komplexität einer menschlichen Darbietung nicht perfekt replizieren konnten, deuteten die Ergebnisse darauf hin, dass die Einbeziehung dieser textuellen Anweisungen maßgeblich dazu beiträgt, dass ein Computer die Struktur und das Gefühl eines Stücks versteht.

Diese Arbeit erhebt nicht den Anspruch, das Problem der künstlichen Intelligenz bei der Erstellung perfekter Musik gelöst zu haben, noch legt sie nahe, dass Maschinen nun menschliche Komponisten ersetzen können. Stattdessen etabliert sie ein neues Fundament dafür, wie Computer mit Partituren interagieren. Durch das Entschlüsseln der expressiven Ebene der Notenblätter ermöglicht MusPyExpress es Forschern, Modelle zu bauen, die sich des gesamten Kontextes einer Komposition bewusst sind. Die Forscher planen, dieses Werkzeug zu nutzen, um große Sammlungen bestehender Musik zu annotieren, denen es derzeit an diesen emotionalen Details mangelt, was potenziell eine neue Ebene der Expressivität in riesige digitale Musikbibliotheken bringen könnte. Das ultimative Ziel ist nicht, die menschliche Note zu ersetzen, sondern Maschinen das Vokabular zu geben, um die subtilen Anweisungen zu verstehen und zu reproduzieren, die eine Abfolge von Noten in eine Geschichte verwandeln.