CultureMERT: Continual Pre-Training for Cross-Cultural Music Representation Learning
Dieses Paper stellt CultureMERT-95M vor, ein multi-kulturell adaptiertes Musik-Foundation-Modell, das mittels einer neuartigen zweistufigen Continual-Pre-training-Strategie auf diversen nicht-westlichen Traditionen trainiert wurde, was die kulturübergreifende Auto-Tagging-Leistung signifikant verbessert, während es gleichzeitig die Kompetenz bei westlichen Benchmarks beibehält und durch Task Arithmetic eine praktikable Alternative bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Musik ist eine universelle Sprache, doch die Computer, die wir nutzen, um sie zu verstehen, sprechen oft nur einen einzigen Dialekt. Jahrelang wurden die leistungsfähigsten Modelle der künstlichen Intelligenz, die darauf ausgelegt sind, Musik zu hören und zu kategorisieren, fast ausschließlich auf westlichen Stilen wie Pop, Rock und klassischen Sinfonien trainiert. Diese Systeme sind unglaublich gut darin geworden, die Muster dieser spezifischen Traditionen zu erkennen, aber sie haben Schwierigkeiten, wenn sie mit der riesigen, reichen Vielfalt der anderen Musik- und Kulturen der Welt konfrontiert werden. Sie übersehen die subtilen melodischen Strukturen der indischen klassischen Musik, die einzigartigen rhythmischen Zyklen türkischer Traditionen oder die ausgeprägten Skalen griechischer Volkslieder. Diese Einschränkung bedeutet, dass diese digitalen Werkzeuge für Milliarden von Menschen, deren musikalisches Erbe außerhalb des westlichen Kanons liegt, blind bleiben – unfähig, die Kunst zu bewahren, zu empfehlen oder zu analysieren, die ihre Gemeinschaften definiert.
Forscher suchen schon lange nach einem Weg, diese Modelle zu lehren, breiter zuzuhören, ohne sie von Grund auf neu aufbauen zu müssen – ein Prozess, der prohibitiv teuer und zeitaufwendig wäre. Die Herausforderung besteht darin, ein Modell, das bereits einen bestimmten Satz von Regeln gelernt hat, so anzupassen, dass es einen völlig anderen Satz von Regeln versteht, ohne dabei zu vergessen, was es bereits wusste. Dies ist das zentrale Problem, das eine neue Studie mit der Einführung eines Systems namens CultureMERT adressiert. Die Forscher zielten darauf ab, ein Fundamentmodell, das auf tausend Stunden überwiegend westlicher Musik trainiert wurde, behutsam dazu zu führen, die musikalischen Sprachen des östlichen Mittelmeers und des indischen Subkontinents zu verstehen, während sie gleichzeitig sicherstellten, dass es seine Fähigkeit, die ursprünglich bekannten westlichen Stile zu erkennen, nicht verliert.
Um dies zu erreichen, wandte das Team eine Strategie an, die als kontinuierliches Pre-Training bekannt ist. Anstatt das bestehende Modell zu verwerfen und von vorne zu beginnen, fütterten sie es mit einer neuen, sorgfältig abgestimmten Auswahl an Audiodaten. Dieser neue Datensatz enthielt 650 Stunden Musik aus vier verschiedenen Traditionen: türkischem Makam, hindustanischer klassischer Musik, karnatischer klassischer Musik und griechischer traditioneller Musik. Das bloße Zufüttern dieser neuen Daten führte jedoch dazu, dass das Modell ins Straucheln geriet – ein Phänomen, bei dem die Leistung des Computers bei seinen ursprünglichen Aufgaben einbrach, während er versuchte, die neuen zu lernen. Um dies zu lösen, entwickelten die Forscher einen zweistufigen Ansatz. In der ersten Phase führten sie dem Modell einen kleineren Teil der neuen Musik zu, während sie seine komplexesten internen Schichten eingefroren ließen, sodass sich nur die grundlegenden Prozesse der Schallverarbeitung anpassen konnten. Zudem mischten sie während dieser Phase eine kleine Menge westlicher Musik unter, um das Modell an sein ursprüngliches Training zu erinnern. In der zweiten Phase entsperrten sie das gesamte Modell und trainierten es auf dem vollständigen 650-Stunden-Datensatz, wodurch es die neuen kulturellen Nuancen vollständig integrieren konnte.
Die Ergebnisse waren beeindruckend. Wenn das angepasste Modell bei Aufgaben getestet wurde, die die Identifizierung von Instrumenten, Stimmungen oder spezifischen musikalischen Modi in nicht-westlicher Musik erforderten, zeigte es eine signifikante Verbesserung und steigerte die Genauigkeit im Vergleich zur Originalversion um durchschnittlich fast fünf Prozent. Entscheidend war, dass dieser Gewinn nicht zu Lasten seines bisherigen Wissens ging; das Modell behielt seine Fähigkeit, westliche Musik zu erkennen, mit fast keinem Leistungsverlust bei. Die Studie untersuchte auch eine andere Methode namens Task Arithmetic, bei der das „Wissen“ mehrerer kleinerer Modelle, von denen jedes auf eine einzelne Kultur trainiert wurde, mathematisch zu einem einheitlichen System kombiniert wird. Dieser Ansatz schnitt bei nicht-westlichen Aufgaben genauso gut ab wie die direkte Trainingsmethode und übertraf sie sogar bei westlichen Benchmarks, was darauf hindeutet, dass das Verschmelzen spezialisierter Modelle eine leistungsstarke Alternative zum gleichzeitigen Retraining aller Modelle darstellt.
Die Forscher fanden heraus, dass die Fähigkeit des Modells, Wissen zwischen Kulturen zu übertragen, nicht einheitlich war. Beispielsweise zeigte das auf karnatischer Musik aus Südindien trainierte Modell eine starke Fähigkeit, auf hindustanische Musik aus Nordindien und sogar auf türkische Traditionen zu generalisieren, da diese Systeme tiefe theoretische Wurzeln in Melodie und Rhythmus teilen. Im Gegensatz dazu hatte das Modell größere Schwierigkeiten beim Transfer von Wissen auf die griechische traditionelle Musik, die zwar eigenständig ist, aber in der Art und Weise, wie der Computer den Klang kodiert, weniger strukturelle Ähnlichkeiten mit den indischen und türkischen Datensätzen aufweist. Durch die Analyse der digitalen „Tokens“, die das Modell zur Repräsentation von Klang verwendet, entdeckte das Team, dass die mathematische Distanz zwischen diesen Musiktraditionen vorhersagte, wie gut das Modell sie erlernen würde – ein neuer Weg, um zukünftige Trainingsdaten zu planen.
Letztlich zeigt diese Arbeit, dass künstliche Intelligenz inklusiver gestaltet werden kann, ohne ihre Kernkompetenzen zu opfern. Die Forscher haben ihr angepasstes Modell, CultureMERT, der Öffentlichkeit zur Verfügung gestellt und damit ein Werkzeug geschaffen, das endlich mit einem viel breiteren Gehör nach der Musik der Welt hören kann. Sie räumen ein, dass ihr Modell zwar ein bedeutender Schritt nach vorn ist, aber keine perfekte Lösung darstellt; die zugrunde liegende Technologie, die Schall in digitale Tokens umwandelt, wurde immer noch auf westlicher Musik trainiert, was die Tiefe des Verständnisses bestimmter kultureller Subtilitäten einschränken kann. Dennoch bietet diese Studie durch den Nachweis, dass ein Modell neue musikalische Sprachen lernen kann, während es die alten beibehält, einen klaren Weg in eine Zukunft, in der digitale Musiksysteme wahrhaft global sind und in der Lage sind, das volle Spektrum des menschlichen musikalischen Ausdrucks zu ehren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.