MPEcho: A Melody and Phoneme-Aware Generative Framework for Controllable Cover Song Generation

Stellen Sie sich eine Welt vor, in der Sie Ihren Lieblingssong nehmen und ihn sofort in einen völlig neuen Stil remixen können – vielleicht eine traurige Ballade in eine mitreißende Rock-Hymne verwandeln – während die ursprüngliche Melodie und der Text perfekt erhalten bleiben. Dies ist der Traum von „Cover Song Generation“, einem Zweig der künstlichen Intelligenz, der versucht, Computer zu musikalischen Chamäleons zu erziehen. Um dies zu erreichen, muss die KI zwei sehr unterschiedliche Dinge gleichzeitig verstehen: die „Musik“ (die Melodie, den Rhythmus, die Noten) und die „Worte“ (die spezifischen Laute, aus denen Sprache besteht, wie der Unterschied zwischen einem „b“ und einem „p“). Stellen Sie sich das wie das Backen eines Kuchens vor, bei dem Sie einem strengen Rezept für den Geschmack (den Text) folgen müssen, während Sie gleichzeitig ein neues Dekorationsdesign (die Musik) improvisieren. Wenn die KI die Dekoration richtig hinbekommt, aber den Geschmack falsch trifft, landen Sie vielleicht bei einem Schokoladenkuchen, der nach Zitrone schmeckt. Lange Zeit war die KI gut in der Dekoration, aber schlecht im Geschmack; sie verunstaltete die Wörter oft so sehr, dass sie zu Kauderwelsch wurden.

Dieses Paper stellt ein neues System namens MPEcho vor, das dieses Problem löst, indem es die KI lehrt, auf die „winzigen Bausteine“ der Sprache zu hören, nicht nur auf die großen Wörter. Die Forscher erkannten, dass die KI, um den Text richtig hinzubekommen, genau wissen muss, wann jeder winzige Laut beginnt und endet, ganz ähnlich wie ein Dirigent genau weiß, wann ein Geiger eine einzelne Note spielen sollte. Um dies zu erreichen, entwickelten sie ein spezielles Werkzeug namens Phonsa, das wie ein superpräziser Transkriptor fungiert, der einem Sänger zuhört und die exakte Zeitplanung jedes einzelnen Lautes im Song aufschreibt. Durch die Kombination dieser superpräzisen Zeitplanung mit der Melodie kann MPEcho neue Cover-Songs generieren, bei denen die Worte klar und die Melodie treu sind. Die Ergebnisse zeigen, dass dieser Ansatz die Anzahl der Fehler, die die KI beim Singen macht, drastisch reduziert – von fast der Hälfte aller Wörter auf weniger als ein Fünftel – was beweist, dass die Aufmerksamkeit für die winzigen Details des Klangs das Geheimnis ist, um das Singen der KI zu verbessern.

Das Problem: Wenn die KI singt, murmelt sie

Die Generierung von Cover-Songs ist ein schwieriger Balanceakt. Man möchte, dass die KI den Kern der Melodie und den exakten Text eines Referenzsongs beibehält, aber den Stil, die Instrumente und die Stimme verändert. Frühere Versuche, wie ein Modell namens SongEcho, versuchten dies zu lösen, indem sie der KI die „Tonhöhe“ (wie hoch oder tief die Noten sind) und ein einfaches Tag einspeisten, das lediglich „Singen“ oder „Nicht Singen“ angab.

Stellen Sie sich vor, Sie versuchen, einem Freund zu sagen, er solle ein Lied singen, indem Sie ihm nur die Melodie summen und sagen: „Ich singe jetzt“ oder „Ich singe gerade nicht“. Das ist nicht besonders hilfreich! Die KI konnte zwar die Melodie erraten, hatte aber keine Ahnung, welche Wörter sie singen sollte oder wann sie von einem Laut zum nächsten wechseln musste. Das Ergebnis? Die KI sang oft die richtige Melodie, verstümmelte aber die Texte und machte aus „Hello“ ein „Helo“ oder „Halo“. Tatsächlich machte die alte Methode Fehler bei etwa 45,62 % der Wörter. Das ist so, als würde man versuchen, eine Speisekarte zu lesen, bei der die Hälfte der Artikel falsch geschrieben ist.

Die Lösung: Eine neue Art zuzuhören und zu singen

Die Autoren, angeführt von Wei-Jaw Lee und Yi-Hsuan Yang, erkannten, dass sie sich eine Technik aus einem anderen Bereich, der „Singing Voice Synthesis“ (SVS), ausleihen mussten, um den Text zu korrigieren. SVS wird normalerweise verwendet, um eine Roboterstimme ein bestimmtes Lied aus einer Partitur singen zu lassen, und ist darin sehr gut, weil sie die exakte Zeitplanung jedes winzigen Lautes (Phonems) kennt.

Sie entwickelten MPEcho, ein neues Framework, das einen „Phonem-Encoder“ und einen „Längenregulator“ in das System integriert.

• Der Phonem-Encoder: Anstatt nur zu wissen, „dass gerade gesungen wird“, erhält die KI nun eine Liste jedes einzelnen Lautes (wie /h/, /e/, /l/, /o/) und genau die Information, wie lange jeder einzelne dauern soll.
• Der Längenregulator: Dieser fungt wie ein Metronom für die Wörter, indem er die Laute dehnt oder staucht, damit sie perfekt in den musikalischen Zeitplan passen.

Aber es gab einen Haken: Um MPEcho dies beizubringen, brauchten sie eine riesige Bibliothek von Songs, in denen jeder einzelne Laut bereits perfekt getimt war. Solche Daten existierten nicht. Also bauten sie Phonsa.

Phonsa ist wie ein magischer Übersetzer. Er nimmt eine Aufnahme eines Sängers und schreibt automatisch die exakten Start- und Stoppzeiten für jeden Laut im Song auf. Er basiert auf dem berühmten Sprachwerkzeug Whisper, wurde aber speziell für den Gesang angepasst. Er nutzt ein spezielles „Chunked Attention“-System (das Denken in kleinen, überlappenden Stücken) und fügte spezielle Token für „Atemzüge“ und „Grenzen“ hinzu, um die unordentliche, emotionale Natur des Singens zu bewältigen.

Die Ergebnisse: Von Kauderwelsch zu klaren Texten

Das Team testete sein neues System an einem Datensatz von über 1.427 Stunden chinesischer Pop- und traditioneller Musik. Sie verglichen MPEcho mit dem alten SongEcho-Modell und einigen anderen Variationen.

1. Die Magie des Timings: Als sie Phonsa nutzten, um MPEcho präzise Phonem-Zeitpläne zu geben, sank die Anzahl der Wortfehler (die sogenannte Phonem-Fehlerrate oder PER) dramatisch.

   • Altes Modell (SongEcho): Machte Fehler bei 45,62 % der Wörter.
   • Neues Modell (MPEcho): Machte Fehler bei nur 18,65 % der Wörter.
   • Das ist eine massive Verbesserung, die ein murmelndes Durcheinander in etwas verwandelt, das man tatsächlich verstehen kann.

2. Der „Sweet Spot“: Sie fanden heraus, dass die Verwendung nur der Melodie nicht ausreichte (die Wörter waren immer noch unordentlich) und die Verwendung nur des Phonem-Timings ebenfalls nicht ideal war (die Melodie wurde seltsam). Aber als sie beides kombinierten – der KI sowohl die Melodie als auch das präzise Sound-Timing gaben – ergab sich das Beste aus beiden Welten. Das Lied klang musikalisch und die Texte waren klar.

3. „Jam-Stil“ vs. „SVS-Stil“: Sie testeten auch eine andere Art, die Sounds zu organisieren (den sogenannten „Jam-Stil“, der Sounds nach Wörtern gruppiert) gegenüber ihrem neuen „SVS-Stil“ (der nach einzelnen Lauten gruppiert). Der SVS-Stil funktionierte viel besser. Der „Jam-Stil“ war wie der Versuch, eine Wegbeschreibung zu geben, indem man sagt: „Gehen Sie zur nächsten Straße“, während der SVS-Stil wie zu sagen war: „Biegen Sie links beim roten Haus ab, dann rechts beim blauen Briefkasten“. Die zusätzliche Präzision half der KI, sich nicht zu verirren.

4. Menschliche Meinung: Schließlich baten sie echte Menschen, die Songs anzuhören. Die Hörer bewerteten die MPEcho-Songs höher in Bezug auf Melodiekonsistenz, vokale Natürlichkeit und Gesamtqualität. Interessanterweise schienen die menschlichen Hörer die Klarheit der Texte sogar noch mehr zu schätzen als die Computer-Metriken suggerierten, was beweist, dass klare Worte ein viel besseres Hörerlebnis schaffen.

Was das bedeutet

Dieses Paper legt nahe, dass man, wenn man eine KI generieren möchte, die ganze Songs erstellt, die menschlich klingen und klar singen, nicht nur das große Ganze betrachten darf (Melodie und Wörter). Man muss hineinzoomen und die winzigen, sekundenbruchteilsgenauen Details verstehen, wie Laute erzeugt werden. Durch die Kombination der besten Aspekte der Musikgenerierung mit der Präzision der Sprachsynthese zeigt MPEcho, dass die KI endlich die Texte korrekt singen kann, während sie gleichzeitig wie ein kreativer Künstler klingt.

Die Forscher weisen vorsichtig darauf hin, dass dieses System derzeit am besten mit einzelnen Sängern und Mandarin-Chinesisch funktioniert. Sie schlagen vor, dass zukünftige Arbeiten untersuchen könnten, wie man es mit mehreren Sängern, verschiedenen Sprachen und noch mehr emotionalen Ausdrucksformen funktionsfähig macht. Aber für den Moment haben sie den Code geknackt, um KI-Cover-Songs zu erstellen, die nicht nur gut klingen, sondern auch tatsächlich Sinn ergeben.