Stellen Sie sich eine Welt vor, in der Ihr Computer nicht nur ein Lied abspielt, das Sie heruntergeladen haben, sondern tatsächlich lernt, mit Ihnen zu jammen. Dies ist das Reich der musikalischen Metakreation, ein schicker Begriff für den Einsatz von Computern zur Simulation menschlicher Kreativität. Das Herzstück dieses Feldes sind musikalische Agenten: Softwareprogramme, die darauf ausgelegt sind, wie musikalische Partner zu agieren. Sie können dem zuhören, was Sie spielen, Ihren Stil lernen und dann ihre eigenen Teile in Echtzeit improvisieren. Betrachten Sie sie als digitale Bandkollegen, die niemals müde werden, niemals den Takt verlieren und sich augenblicklich an Ihre Stimmung anpassen können.

Lange Zeit wurden diese digitalen Bandkollegen mit massiven Bergen von Daten trainiert – tausenden von Songs aus jedem erdenklichen Genre. Während dieser Ansatz leistungsstark ist, ist er vergleichbar damit, versuchen zu lernen, Jazz zu spielen, indem man jede jemals gemachte Aufnahme anhört; man erfasst vielleicht den allgemeinen Vibe, aber man wird niemals wirklich wie man selbst klingen. Die große Frage, die sich Forscher stellen, lautet: Können wir eine KI bauen, die von einer kleinen, persönlichen Sammlung von Klängen lernt und so zu einem wahren Spiegel der einzigartigen Stimme eines spezifischen Künstlers wird? Dieses Paper vertieft sich in diese Frage und untersucht, wie man KI-Musiker erschafft, die ethisch, transparent und zutiefst persönlich sind, anstatt bloße generische Muster-Maschinen zu sein.

Treffen Sie die digitale Jam-Session: MACAT und MACataRT

In diesem Paper führen die Forscher Keon Ju M. Lee und Philippe Pasquier zwei neue musikalische Agenten ein, MACAT und MACataRT. Man kann sich diese als zwei verschiedene Arten von digitalen Begleitern vorstellen, die darauf ausgelegt sind, menschliche Musiker dabei zu unterstützen, Musik im Handumdrehen zu kreieren. Anstatt mit dem gesamten Internet trainiert zu werden, basieren diese Agenten auf einer „Small Data“-Philosophie. Stellen Sie sich vor, Sie bringen einem Hund einen Trick bei, nicht indem Sie ihm Millionen von Videos anderer Hunde zeigen, sondern indem Sie mit nur ein paar Leckerlis und Ihrer eigenen Stimme üben. Genau das tun diese Systeme: Sie lernen aus einer kleinen, kuratierten Sammlung von Audioclips, die vom Künstler bereitgestellt werden, was es ihnen ermöglicht, den einzigartigen Stil dieses spezifischen Künstlers perfekt nachzuahmen.

Die zwei Persönlichkeiten des KI-Bandkollegen

Das Paper präsentiert diese beiden Systeme als Akteure mit unterschiedlichen „Persönlichkeiten“ und Arbeitsweisen, ganz ähnlich wie zwei verschiedene Arten von Musikern in einer Band.

1. MACAT: Der selbstbeobachtende Solist
MACAT ist für Situationen konzipiert, in denen die KI die Führung übernehmen oder die Performance vorantreiben muss. Es arbeitet wie ein Musiker, der ständig auf sich selbst hört, während er spielt.

• Wie es funktioniert: Es verwendet eine „Self-Organizing Map“, was wie eine mentale Landkarte ist, auf der es ähnliche Klänge gruppiert. Wenn es einen Klang spielt, hört es auf das Ergebnis, prüft seine mentale Landkarte und entscheidet bas Dank der gefundenen Muster in den eigenen Aufnahmen des Künstlers, was es als Nächstes spielen soll.
• Die Magie: Es nutzt ein Werkzeug namens „Factor Oracle“, um Muster in der Sequenz der Klänge zu erkennen. Wenn der Künstler ein schnelles Schlagzeug-Roll gefolgt von einem leisen Summen spielt, lernt MACAT diese Sequenz. Während eines Live-Auftritts kann es auf seine eigenen jüngsten „Gedanken“ (die Klänge, die es gerade gespielt hat) zurückblicken und entscheiden, ob es zu einer neuen Idee voranschreitet oder zu einem coolen Moment zurückkehrt, alles in Echtzeit.
• Der Vibe: Es eignet sich hervorragend für Solo-Performances oder wenn der menschliche Musiker möchte, dass die KI der Hauptantrieb der Musik ist, wodurch eine dynamische, sich entwickelnde Klanglandschaft entsteht, die lebendig wirkt.

2. MACataRT: Der kollaborative Mosaikkünstler
MACataRT ist der flexiblere Partner, konzipiert für kollaborative Improvisation, bei der Mensch und KI Ideen hin und her austauschen. Es basiert auf dem Konzept des „Audio-Mosaizings“.

• Die Mosaik-Analogie: Stellen Sie sich vor, Sie haben eine Box mit tausenden winzigen, unterschiedlichen farbigen Kacheln (Audioclips). MACataRT kann augenblicklich die perfekte Kachel herausgreifen, um in das Bild einzupassen, das Sie gerade zeichnen. Wenn Sie eine hochfrequente Note spielen, greift es zu einer Kachel, die hochfrequent klingt. Wenn Sie ein raues, kratziges Geräusch machen, greift es zu einer rauen Kachel.
• Wie es funktioniert: Es organisiert diese Kacheln in einem 2D-Raum basierend auf ihren Sound-Merkmalen (wie Tonhöhe oder Helligkeit). Der menschliche Musiker kann auf einen Punkt in diesem Raum zeigen, und die KI zieht einen Klang aus diesem Bereich.
• Der Twist: Im Gegensatz zu seinem Vorgänger (dem ursprünglichen CataRT-System) fügt MACataRT ein „Zeitreisen“-Element hinzu. Es kann lernen, in welcher Reihenfolge der Künstler Dinge normalerweise spielt. Es kann also nicht nur den richtigen Klang auswählen, sondern auch den richtigen nächsten Klang vorhersagen, um Rhythmus und Fluss aufrechtzuerhalten. Es hat zwei Modi: Reaktiv (reagiert sofort auf das, was Sie spielen) und Proaktiv (prognostiziert, was basierend auf gelernten Mustern als Nächstes kommen sollte).

Warum „Small Data“ alles verändert

Der wichtigste Teil dieser Forschung ist nicht nur, dass die Musik gut klingt, sondern wie sie dorthin gelangt. Die Autoren argumentieren, dass das Training von KI auf massiven, anonymen Datensätzen (wie dem gesamten Internet) riskant ist. Es ist wie ein Maler, der ein bisschen von Van Gogh kopiert, ein bisschen von Picasso und ein bisschen von einem zufälligen Straßenschild, was in einem chaotischen, unoriginellen Durcheinander resultiert. Zudem wirft es ethische Fragen auf: Hat die KI den Stil eines Musikers gestohlen, der nie zugestimmt hat, in den Trainingsdaten zu sein?

Durch die Verwendung von kleinen, personalisierten Datensätzen lösen diese Agenten beide Probleme:

1. Ethik & Transparenz: Da die KI nur mit den eigenen Aufnahmen des spezifischen Künstlers trainiert wird, gibt es kein Geheimnis darüber, woher die Musik kommt. Es ist eine klare, ehrliche Kollaboration. Der Künstler weiß genau, wovon die KI gelernt hat.
2. Wahre Personalisierung: Die KI wird zum Spiegel des Künstlers. Sie klingt nicht nur „wie Musik“; sie klingt wie dieser spezifische Musiker. Das Paper legt nahe, dass dies eine tiefere, bedeutungsvollere Verbindung zwischen Mensch und Maschine schafft.

Echte Jam-Sessions

Das Paper bleibt nicht nur im Labor; es zeigt diese Systeme in Aktion.

• MACAT wurde vom Kollektiv K-Phi-A beim MusicAcoustica Festival in Hangzhou, China, eingesetzt. Dort half es, eine Ambient-Electronic-Performance zu kreieren, bei der die KI und Menschen gemeinsam improvisierten, wobei die KI die Führung bei der Gestaltung des Sounds übernahm.
• MACataRT wurde von einem Perkussionisten und einem Gitarristen (dem Duo KeRa) verwendet, um ein Stück namens Echoes of Synthetic Forest zu kreieren. Dieses Stück war so gut, dass es unter den Top 10 Finalisten des AI Music Song Contest 2024 landete und in Zürich, Schweiz, aufgeführt wurde. Dies beweist, dass diese Small-Data-Agenten Musik erzeugen können, die beim Publikum und bei Jurys Resonanz findet.

Der grüne und ethische Bonus

Diese Systeme besitzen eine versteckte Superkraft: Sie sind umweltfreundlich. Das Training massiver KI-Modelle erfordert riesige Supercomputer und verbraucht enorme Mengen an Elektrizität, was einen großen CO2-Fußabdruck hinterlässt. Diese musikalischen Agenten hingegen können auf einem Standard-Laptop trainiert werden (sogar auf einem älteren Modell mit einem Intel Core i7 oder einem Apple M2 Chip), ohne dass leistungsstarke externe Grafikkarten benötigt werden. Da sie kleine Datensätze verwenden, sind sie schneller, günstiger und grüner im Betrieb.

Was kommt als Nächstes?

Die Autoren sind sich einig, dass dies ein fortlaufender Prozess ist. Sie schlagen vor, dass die Systeme zwar gut darin sind, kurze Muster zu erkennen, aber noch besser darin werden könnten, langfristige musikalische Erzählungen zu verstehen. Zukünftige Versionen könnten Deep Learning nutzen, um längere Sequenzen zu erinnern und „Erklärbarkeit“ hinzuzufügen, damit Musiker genau sehen können, warum die KI eine bestimmte Note gewählt hat. Sie planen auch eine Feedbackschleife, in der die KI in Echtzeit aus ihren Fehlern lernt, um die Jam-Session noch enger zu gestalten.

Kurz gesagt: Dieses Paper zeigt uns, dass die Zukunft der KI-Musik nicht darin besteht, menschliche Künstler durch einen riesigen, generischen Roboter zu ersetzen. Es geht darum, jedem Musiker einen maßgeschneiderten, ethischen und umweltfreundlichen digitalen Partner zur Seite zu stellen, der hilft, neue Klänge zu erforschen, während man seiner eigenen, einzigartigen Stimme treu bleibt. Es geht nicht darum, dass die KI für Sie spielt; es geht darum, dass die KI mit Ihnen spielt.