DLLM-TTS: Block Discrete Diffusion Language Model for Text-to-Speech Synthesis
Das Paper stellt DLLM-TTS vor, ein Framework mit 0,6 Milliarden Parametern, das die Text-zu-Sprache-Synthese als bedingte Block-diskrete Diffusion über neuronale Audio-Codec-Token formuliert und durch parallele Token-Vorhersage innerhalb sequenzieller Blöcke eine wettbewerbsfähige Leistung mit hoher Verständlichkeit und einem Echtzeitfaktor von 0,15 erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter das Singen beizubringen. Sie haben zwei Hauptwege, und beide haben einen nervigen Haken. Der erste Weg ist wie ein Schüler, der ein Buch laut vorliest, Wort für Wort. Er beherrscht die Aussprache perfekt und die Geschichte ergibt Sinn, aber er muss den ganzen Satz zu Ende lesen, bevor er mit dem nächsten beginnen kann. Das ist langsam, und wenn Sie möchten, dass der Roboter wie eine bestimmte Person klingt, müssen Sie ihm eine riesige Bibliothek an Büchern (oder in diesem Fall Stunden an aufgezeichneter Sprache) füttern, um den Trick zu lernen. Der zweite Weg ist wie ein Chor, bei dem alle ihre Teile genau zur gleichen Zeit singen. Das geht unglaublich schnell, aber oft verlieren sich die Sänger, lassen Wörter aus oder wiederholen sich, weil sie nicht auf die Person vor ihnen hören.
Jahrelang waren Wissenschaftler gezwungen, zwischen „perfekt, aber langsam“ und „schnell, aber chaotisch“ zu wählen. Dieses Papier, geschrieben von einem Team von Smallest.ai, begibt sich in diesen chaotischen Mittelgrund. Sie arbeiten im Bereich der Text-to-Speech-Technologie (TTS), also der Technologie, die geschriebenen Text in gesprochenes Audio verwandelt. Die Kernidee, mit der sie spielen, ist die „diskrete Diffusion“. Stellen Sie sich das wie ein Spielchen wie „Stille Post“ vor, das rückwärts gespielt wird. Anstatt eine Nachricht durch eine Reihe zu flüstern, stellen Sie sich einen Satz vor, in dem alle Wörter hinter Fragezeichen verborgen sind. Die Aufgabe des Roboters ist es, die fehlenden Wörter zu erraten, aber er rät sie nicht einfach eines nach dem anderen. Er rät ganze Wortpakete auf einmal, prüft, ob sie Sinn ergeben, und verfeinert sie dann. Die Autoren wollten sehen, ob sie die Geschwindigkeit der „Chor“-Methode mit der Genauigkeit der „Schüler“-Methode kombinieren können, und das alles unter Verwendung viel weniger Trainingsdaten als üblich.
Das Team stellt ein neues Framework namens DLLM-TTS vor. Anstatt zu versuchen, das gesamte Sprachsignal auf einmal oder Stück für Stück zu erzeugen, unterteilt es das Audio in kleine „Blöcke“, wie Kapitel in einem Buch. Stellen Sie sich die Sprache wie einen langen Zug vor. Die alten schnellen Methoden versuchten, den ganzen Zug auf einmal zu bauen, was oft dazu führte, dass Waggons von den Schienen fielen. Die alten langsamen Methoden bauten den Zug Wagen für Wagen, wobei sie warteten, bis jeder fertig war, bevor sie mit dem nächsten begannen. DLLM-TTS baut den Zug in Gruppen von Wagen (Blöcken). Innerhalb jeder Gruppe rät der Roboter alle Wagen gleichzeitig, aber er wartet, bis die vorherige Gruppe fertig ist, bevor er mit der nächsten beginnt.
Dieser „Block“-Ansatz ermöglicht es dem Roboter, schnell zu sein, da er an vielen Teilen des Klangs gleichzeitig arbeiten kann, aber er bleibt genau, weil er immer noch der Reihenfolge der Geschichte achtet. Der Roboter nutzt eine spezielle Art des „Maskierens“, um zu lernen. Während des Trainings wird dem Roboter ein Satz gezeigt, bei dem einige Wörter verborgen sind, und er muss herausfinden, was diese sind, basament auf dem Text und einer kurzen Probe der Stimme, die er nachahmen soll. Da der Roboter denselben Satz jedes Mal mit unterschiedlichen verborgenen Wörtern sieht, lernt er die Regeln der Sprache viel schneller, als wenn er den Satz nur von Anfang bis Ende durchlesen würde. Dies ist vergleichbar damit, ein Lied zu lernen, indem man verschiedene Strophen in zufälliger Reihenfolge übt, anstatt nur das ganze Lied immer und immer wieder zu singen; man lernt die Melodie und den Text so effizienter.
Die Ergebnisse sind sehr vielversprechend. Das Team trainierte ein Modell mit 0,6 Milliarden Parametern (ein Maß dafür, wie „groß“ das Gehirn des Roboters ist) unter Verwendung von nur 20.000 Stunden Sprachdaten. Um dies in Relation zu setzen: Andere Top-Modelle benötigen oft zwischen 60.000 und 250.000 Stunden an Daten, um dieselben Tricks zu lernen. Trotz der Verwendung weniger Daten schneidet ihr Roboter in Standardtests darüber, wie gut er spricht und wie sehr er die Person nachahmt, die er imitieren soll, wettbewerbsfähig ab. Was die Geschwindigkeit betrifft, kann der Roboter Sprache in Echtzeit mit einem „Real-Time Factor“ (RTF) von 0,15 erzeugen. Das bedeutet, dass der Roboter nur 0,15 Sekunden benötigt, um eine Sekunde Audio zu erzeugen, was ihn schnell genug für Live-Gespräche macht.
Das Papier legt nahe, dass dieser Block-basierte Ansatz eine starke Alternative zu den traditionellen Methoden darstellt. Es zeigt, dass man nicht zwangsläufig eine riesige Menge an Daten oder einen superlangsamen, sequenziellen Prozess benötigt, um eine hohe Sprachqualität zu erreichen. Durch das Aufteilen des Problems in handhabbare Stücke und die Verwendung einer „Raten-und-Verfeinern“-Strategie hat das Team ein System geschaffen, das sowohl dateneffizient als auch schnell ist. Obwohl das Papier nicht behauptet, dass dies die absolut endgültige Lösung für alle Sprachprobleme ist, zeigt es, dass diese spezifische Art, Geschwindigkeit und Genauigkeit zu kombinieren, sehr gut funktioniert und einen neuen Weg eröffnet, um Roboter zu erschaffen, die natürlich und schnell sprechen können, ohne dafür eine Bibliothek mit jeder Stimme der Welt zu benötigen, um zu lernen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.