Der Klang eines wachsenden Liedes

Stellen Sie sich vor, Sie sind ein Musikproduzent, der versucht, einen Track zu bauen. Sie besitzen eine Bibliothek mit Tausenden von Sound-Clips – Drums, Synthesizer, Vocal Chops und seltsame Geräusche. Normalerweise, wenn Sie einen neuen Sound hinzufügen möchten, wählen Sie einen Clip aus, den Sie mögen, und fragen den Computer: „Was klingt wie das hier?“ Der Computer zeigt Ihnen dann eine Liste von Sounds, die in Ton oder Textur sehr ähnlich sind. Das ist so, als würde man einen Bibliothekar fragen: „Haben Sie Bücher, die genau so aussehen wie dieses hier?“ Es ist hilfreich, aber es hilft Ihnen nicht dabei, eine neue Geschichte zu schreiben.

Musik besteht jedoch nicht nur daraus, Dinge zu finden, die einander ähneln; es geht darum, wie Dinge zusammenpassen, wenn sie gleichzeitig spielen. Dies ist die Wissenschaft der Harmonie. Denken Sie an Harmonie wie an ein Puzzle, bei dem die Teile nur zusammenpassen, wenn ihre Formen übereinstimmen, und nicht nur, wenn sie die gleiche Farbe haben. Wenn Sie eine traurige, langsame Klaviernote haben, möchten Sie vielleicht einen hellen, fröhlichen Drumbeat dazu haben, obwohl sie völlig unterschiedlich klingen. Die Herausforderung für Computer besteht darin, dass sich das „Puzzle“ verändert, während Sie ein Lied bauen. Jedes Mal, wenn Sie eine neue Ebene hinzufügen, verschieben sich die Regeln dafür, was als Nächstes passt. Ein Sound, der perfekt zu Ihrem ersten Drum passte, könnte mit Ihrem dritten kollidieren. Dieses Paper erforscht einen neuen Weg, um Komponisten zu helfen, sich in dieser sich verändernden Landschaft zurechtzufinden, indem es eine statische Suche in einen lebendigen, atmenden Assistenten verwandelt, der das gesamte Lied versteht, während es wächst.

---

Reflector: Das Lied, das sich erinnert

Lernen Sie Reflector kennen, ein neues Werkzeug, das darauf ausgelegt ist, Komponisten dabei zu helfen, die perfekten Sounds für ihre Lieder zu finden. Aber im Gegensatz zu anderen Tools, die nur nach Sounds suchen, die deinem Ausgangspunkt ähneln, ist Reflector besessen davon, was zum gesamten Lied passt, das du gerade aufbaust.

Stellen Sie sich das Komponieren eines Liedes wie das Bauen eines Hauses mit einem Team von Freunden vor. Auf die alte Art würden Sie einen Stein (einen Sound-Clip) auswählen und fragen: „Welche anderen Steine sehen so aus wie dieser?“ Sie bekämen einen Haufen identischer Steine. Aber Refector stellt eine andere Frage: „Wir bauen gerade eine Wand. Wir haben hier einen roten Stein und dort einen blauen Stein. Was für einen neuen Stein würde perfekt in die Lücke zwischen ihnen passen?“

Das magische „Orakel“

Das Herzstück von Reflector ist ein geheimes Rezept namens Oracle. Stellen Sie sich eine riesige, handgezeichnete Tabelle vor, die wie ein Musikrichter fungiert. Diese Tabelle kümmert sich nicht darum, ob zwei Sounds gleich sind; sie kümmert sich um die „Distanz“ zwischen ihren Noten. Sie hat ein Regelwerk, das besagt: „Wenn du ein C und ein E zusammen spielst, ist das eine glückliche, starke Kombination. Wenn du ein C und ein Fis spielst, ist das eine spannungsgeladene, kollidierende Kombination.“

Die Forscher haben dieses Regelwerk von Hand erstellt und jedem möglichen Paar musikalischer Noten Werte zugewiesen. Sie nennen dies das „Intervallklassen-Orakel“. Es ist wie ein strenger Lehrer, der genau weiß, welche Noten miteinander auskommen und welche sich streiten.

Das Problem mit dem strengen Lehrer

Hier kommt die Wendung: Wenn Sie diesen strengen Lehrer bitten, den besten Sound passend zu jedem beliebigen Lied auszuwählen, wird er träge. Er erkennt, dass ein sehr leiser, einfacher Sound (wie ein sanftes Summen) zu fast allem passt. Wenn Sie also das Regelwerk des Lehrers direkt verwenden würden, würde er immer wieder denselben leisen Hum suggerieren, egal was Sie gerade bauen. Er würde die interessanten, komplexen Sounds ignorieren, weil diese „riskanter“ sind.

Das Paper stellte fest, dass die direkte Verwendung des Regelwerks so ist, als hätte man eine Empfehlungsmaschine, die nur einfaches Weißbrot vorschlägt, weil es zu allem passt. Es ist sicher, aber langweilig.

Der kluge Schüler (Die KI)

Um dies zu beheben, trainierten die Forscher einen klugen Computer-Schüler (ein neuronales Netz), um vom strengen Lehrer zu lernen. Aber sie sagten dem Schüler nicht einfach, er solle die Antworten auswendig lernen. Sie brachten dem Schüler bei, den Geist der Regeln zu verstehen.

Sie erstellten tausende künstliche musikalische Beispiele mit einem Computer-Synthesizer (keine echte urheberrechtlich geschützte Musik verwendet, nur Mathematik und Schallwellen). Sie zeigten dem Schüler Paare von Sounds und die Scores des Lehrers. Der Schüler lernte, diese Sounds in eine spezielle 128-dimensionale Karte (einen riesigen, unsichtbaren Spielplatz) zu übersetzen. In dieser Karte liegen Sounds, die gut zusammenpassen, nah beieinander, und Sounds, die kollidieren, liegen weit voneinander entfernt.

Die Magie liegt darin, dass dieser Schüler ein besserer Richter wurde als der Lehrer. Während der Lehrer immer den langweiligen „universellen“ Sound wählen würde, lernte der Schüler, die Dinge zu verteilen. Er erkannte, dass ein gutes Lied Vielfalt braucht. Wenn Sie den Schüler also nach einer Übereinstimmung fragen, gibt er nicht nur die sicherste Option an; er liefert eine vielfältige Liste von Sounds, die tatsächlich interessante musikalische Beziehungen erzeugen.

Das Lied, das mit Ihnen wächst

Der coolste Teil von Reflector ist, wie er mit einem Lied umgeht, während Sie es bauen. Stellen Sie sich vor, Sie arrangieren ein Lied auf einer Timeline mit vielen Spuren.

1. Das Live-Zentroid: Während Sie Sounds auf Ihre Timeline ziehen und ablegen, berechnet Reflector ständig einen „Mittelpunkt“ für Ihr aktuelles Lied. Es ist wie ein magnetischer Kern, der sich bewegt, wenn Sie neue Ebenen hinzufügen.
2. Die Sweep-Line: Das System scannt Ihre Timeline, um zu sehen, welche Sounds gleichzeitig spielen. Es ermittelt die „harmonische Identität“ dieses spezifischen Augenblicks.
3. Die Verschiebung: Wenn Sie eine Note ändern oder ein neues Instrument hinzufügen, verschiebt sich der „Mittelpunkt“ Ihres Liedes. Reflector aktualisiert seine Vorschläge sofort. Wenn Sie plötzlich von einer fröhlichen Dur-Tonart zu einer gruseligen Moll-Tonart wechseln, hört das Tool auf, fröhliche Sounds vorzuschlagen, und sucht stat nach gruseligen – selbst wenn Sie die Suche mit einem fröhlichen Sound begonnen haben.

Das Paper testete dies an einer Bibliothek von 631 Samples. Sie fanden heraus, dass bei Verwendung der alten „direkten Regel“-Methode das System nur 64 verschiedene Sounds von den 631 vorgeschlagen hat und ein einziger langweiliger Sound in 97 % der Top-Ergebnisse auftauchte. Aber als sie den trainierten Schüler (das Embedding) verwendeten, schlug das System erfolgreich 625 der 631 Sounds vor. Es deckte die gesamte Bibliothek ab und wusste dennoch, welche Sounds zusammenpassen.

Eine Galaxie von Liedern

Reflector lässt Sie auch Ihre gesamte Historie an Liedern betrachten. Es nimmt jedes von Ihnen gemachte Lied und verwandelt es in einen einzelnen Punkt in einem 3-dimensionalen Raum. Wenn Sie zwei Lieder haben, die sich harmonisch ähnlich anfühlen, liegen ihre Punkte nah beieinander. Sie können durch diese „Galaxie“ Ihrer eigenen Arbeit fliegen und Verbindungen zwischen Liedern finden, die Sie Monate auseinander komponiert haben. Es hilft Ihnen zu sehen, wie sich Ihr musikalischer Stil entwickelt.

Was es nicht kann

Die Autoren sind ehrlich über die Grenzen. Reflector ist großartig in Bezug auf die Harmonie (wie Noten zusammenpassen), aber es kümmert sich nicht um die Textur oder den Rhythmus des Sounds. Es könnte einen Sound vorschlagen, der die Noten perfekt trifft, aber wie ein Quietscheentchen klingt, wenn Sie eigentlich einen Drum brauchen. Außerdem versteht es nur westliche Musikskalen (die Art, die in der meisten Pop- und klassischer Musik verwendet wird). Wenn Sie Musik mit anderen musikalischen Regeln machen, funktioniert das Tool möglicherweise nicht so gut.

Das Wichtigste in Kürze

Die wichtigste Entdeckung dieses Papers ist, dass man nicht einfach ein einfaches Regelwerk nutzen kann, um musikalische Übereinstimmungen zu finden; man bleibt bei langweiligen, sicheren Antworten stecken. Aber wenn man einen Computer trainiert, die Geometrie dieser Regeln zu lernen, erhält man ein System, das sowohl intelligent als auch vielfältig ist. Reflector zeigt, dass wir, indem wir den Computer das ganze Lied als Ganzes verstehen lassen, während es sich verändert, ein statisches Suchwerkzeug in einen kreativen Partner verwandeln können, der mit dem Künstler mitwächst.

Das gesamte System läuft auf einem einzelnen Computer, verwendet keine urheberrechtlich geschützten Daten zum Lernen und ist kostenlos für jeden nutzbar. Es beweist, dass wir mit dem richtigen Design mit Computern durch die komplexe, sich ständig verändernde Welt der Musikproduktion navigieren können – nicht nur, indem wir Kopien finden, sondern indem wir die perfekte Passform finden.