Stellen Sie sich eine Welt vor, in der Sie mit einem Computer sprechen und ihn bitten können, ein Lied für Sie zu schreiben. In der Welt der künstlichen Intelligenz nennt man das „Text-to-Music“. Eine Zeit lang war der beste Weg dafür, den Computer zu bitten, rohe Schallwellen zu erzeugen, wie eine digitale Aufnahme. Aber hier liegt der Haken: Sobald dieser Klang erzeugt ist, ist er wie ein Gemälde auf einer Leinwand. Man kann nicht einfach einen einzelnen Pinselstrich ausradieren oder das Tempo nur des Schlagzeugbeats ändern, ohne das gesamte Bild zu ruinieren. Musiker brauchen etwas Flexibleres, etwas, das sie Note für Note bearbeiten können. Hier kommt „MIDI“ ins Spiel. Betrachten Sie MIDI nicht als Klang, sondern als digitale Noten oder als eine Reihe von Anweisungen, die einem virtuellen Klavier genau sagen, welche Tasten es wie fest und wie lange drücken soll. Es ist der Unterschied zwischen einer fertigen Aufnahme und einem Lego-Set; man kann das Lego auseinandernehmen und etwas Neues bauen.

Stellen Sie sich nun vor, Sie nehmen diese superintelligenten Sprachmodelle (die KI, die Aufsätze schreibt und Fragen beantwortet) und bringen ihnen diese musikalische Sprache bei. Das ist die große Idee hinter dieser neuen Forschung. Die Wissenschaftler wollten sehen, ob sie einen Textexperten in einen Musikexperten verwandeln können, sodass Menschen Dinge wie „ein trauriger Jazzsong mit einem schnellen Schlagzeug“ eingeben können und im Gegenzug eine perfekt editierbare Partitur erhalten. Sie wollten nicht nur ein hübsches Geräusch erzeugen; sie wollten ein Werkzeug bauen, das menschlichen Schöpfern hilft, mit KI zu brainstormen und zu kollaborieren, und zwar auf eine Weise, die sich natürlich und kontrollierbar anfühlt.

Das Paper: MIDI-LLM

Die Forscher hinter diesem Paper, ein Team von MIT, Hooktheory und der Carnegie Mellon University, haben ein neues Rezept entwickelt, das MIDI-LLM heißt. Betrachten Sie es als eine Art Upgrade für ein Standard-Large-Language-Model (LLM) – die Art von KI, die Geschichten schreibt und mathematische Probleme löst –, damit es auch Musik schreiben kann.

Normalerweise sind diese KI-Modelle wie Köche, die nur wissen, wie man mit Worten kocht. Sie verstehen „Apfel“ und „Kuchen“, aber sie wissen nicht, wie ein „Cis“ klingt oder wie man es aufschreibt. Der erste Schritt des Teams war es, der KI ein neues Vokabular zu geben. Sie erweiterten das Wörterbuch des Modells um spezielle „MIDI-Token“. Anstatt eine Note als langen Satz auszuschreiben wie „beginne bei 10 Sekunden, halte für 0,5 Sekunden, spiele ein hohes C“, sieht das Modell sie nun als ein einzelnes, kompaktes Symbol, wie einen Geheimcode. Dies ist vergleichbar damit, einen Koch in einer neuen Sprache zu unterrichten, in der ein einzelnes Wort „Salz hinzufügen“ bedeutet, was den Kochprozess viel schneller und effizienter macht.

Aber der KI reicht es nicht aus, nur ein neues Wörterbuch zu haben; sie muss lernen, es auch zu benutzen. Das Team trainierte die KI in zwei getrennten Phasen, wie einen Musikstudenten, der zuerst Musiktheorie lernt und dann in einer Band spielt.

Phase 1: Das Solopraktizieren (Unimodales Pretraining)
Zuerlich ließen sie die KI alleine üben. Sie fütterten sie mit zwei Arten von Daten:

1. Musikbezogener Text: Artikel, Fragen und Antworten über Musiktheorie (wie „Was ist ein Mollakkord?“).
2. Eigenständige MIDI-Dateien: Tausende von rohen Partituren ohne jegliche Textbeschreibungen.
   In dieser Phase ging es darum, der KI die „Syntax“ der Musik beizubringen. Sie lernte, wie Noten zusammenpassen, wie Rhythmen funktionieren und wie die Struktur eines Songs aufgebaut ist, ohne dass ein Mensch ihr sagen musste, was zu tun ist. Es ist wie ein Musiker, der in einem ruhigen Raum Tonleitern und Notenblätter übt.

Phase 2: Das Duett (Multimodales Supervised Finetuning)
Als Nächstes koppelten sie die KI mit einem Partner. Sie fütterten sie mit Paaren aus Text und Musik: ein Prompt wie „ein fröhlicher Popsong“, gefolgt unmittelbar von der entsprechenden MIDI-Partitur. Dies lehrte die KI, menschliche Ideen in musikalische Anweisungen zu übersetzen. Wenn man „Jazz“ sagte, lernte sie, Jazz-Noten zu schreiben. Wenn man „traurig“ sagte, lernte sie, langsame Mollakkorde zu schreiben. Dies ist der Moment, in dem die KI lernt, auf Ihre Anfrage zu hören und tatsächlich das zu spielen, was Sie verlangt haben.

Was sie herausfanden

Die Ergebnisse waren ziemlich beeindruckend. Als sie ihr neues MIDI-LLM gegen einen aktuellen Konkurrenten namens Text2midi testeten, setzte sich ihr Modell in zwei wesentlichen Punkten durch:

1. Bessere Qualität: Die generierte Musik klang realistischer und folgte besser den Regeln der Musik.
2. Bessere Kontrolle: Das Modell hörte genauer auf die Textanweisungen. Wenn man nach einer bestimmten Stimmung oder einem Genre fragte, lieferte es auch tatsächlich das gewünschte Ergebnis.
3. Geschwindigkeit: Da sie eine Standard-KI-Architektur verwendeten (baset auf Llama 3.2), konnten sie bestehende, superschnelle Computerwerkzeuge nutzen, um das Modell auszuführen. Ihr Modell war 7- bis 13-mal schneller als der Konkurrent, obwohl es etwas größer war.

Sie testeten auch eine spezielle Funktion namens „Infilling“. Stellen Sie sich vor, Sie haben einen halbfertigen Song und möchten, dass die KI den Mittelteil schreibt. Das Team fand heraus, dass die KI darin sehr gut war, aber es gab ein schwieriges Gleichgewicht. Wenn die KI zu sehr auf den eingegebenen Text fokussiert war, ignorierte sie möglicherweise die Musik, die bereits geschrieben worden war. Wenn sie zu sehr auf der bestehenden Musik fokussiert war, ignorierte sie möglicherweise Ihre neuen Textanweisungen. Um dies zu beheben, führten sie einen „Regler“ (genannt Classifier-Free Guidance) ein, mit dem Benutzer anpassen können, wie sehr die KI dem Text gegenüber oder der bestehenden Musik gegenüber aufmerksam sein soll.

Realwelt-Test: Die „In-the-Wild“-Studie

Um zu sehen, ob dies tatsächlich Menschen hilft, gingen die Forscher nicht nur zu Computertests über, sondern gingen in die reale Welt. Sie arbeiteten mit Hookpad zusammen, einer Website, auf der Songwriter Musik erstellen. Sie ließen 58 echten Nutzern (die bereits Abonnenten waren) ihren neuen KI-Copiloten ausprobieren.

Die Nutzer wurden gebeten, Songs entweder von Grund auf neu zu erstellen oder fehlende Teile von Songs zu ergänzen. Sie konnten zwischen drei verschiedenen KI-Modellen wählen:

• Das alte Modell (das nur die Musik betrachtete und den Text ignorierte).
• Eine Version des neuen Modells, die den Text ignorierte.
• Das vollständige neue MIDI-LLM (das auf Text reagierte).

Die Ergebnisse zeigten, dass das vollständige MIDI-LLM der klare Gewinner war, wenn Nutzer einen Song von Grund auf neu erstellten („Zero-to-One“). Es hatte eine fast doppelt so hohe Akzeptanzrate wie die anderen Modelle. Dies deutet darauf darauf hin, dass es, wenn Menschen versuchen, eine neue Idee zu entwickeln, unglaublich wertvoll ist, sagen zu können: „Lass es wie einen 90er-Jahre-Rocksong klingen“.

Wenn die Nutzer jedoch nur eine kleine Lücke in einem bestehenden Song füllen wollten, waren die Ergebnisse gemischter. Manchmal bevorzugten die Nutzer das ältere Modell, das den Text ignorierte. Die Forscher vermuten, dass dies daran liegen könnte, dass man, wenn man bereits tief in einem Song steckt, möchte, dass die KI sich einfach „einfügt“, anstatt eine neue Idee zu erzwingen, die mit der bestehenden Melodie kollidieren könnte.

Das Fazit

Das Paper kommt zu dem Schluss, dass die Anpassung von Large Language Models für Musik ein wirkungsvolles Rezept ist. Indem sie diesen Modellen beibrachten, sowohl „Text“ als auch „MIDI“ zu sprechen, schufen sie ein Werkzeug, das Menschen und KI effektiver zusammenarbeiten lässt. Es geht nicht nur darum, Geräusche zu erzeugen; es geht darum, Schöpfern einen flexiblen, schnellen und intelligenten Partner zur Seite zu stellen, der einen einfachen Satz in eine vollständige Partitur verwandeln kann, die bereit ist, von ihnen angepasst und perfektioniert zu werden. Das Team rollt dieses System bereits für mehr Nutzer aus, in der Hoffnung zu sehen, wie es die Art und Weise, wie Menschen Musik schreiben, in Zukunft verändern wird.