Parallel Decoding Distillation for Fast Image and Video Generation
Dieses Paper führt Parallel Decoding Distillation (PDD) ein, eine skalierbare und vereinfachte trajektorienbasierte Methode, die die Generierung von Bildern und Videos beschleunigt, indem sie mehrere Denoising-Schritte pro Netzwerkevaluierung vorhersagt, wobei sie mit 4–8 Funktions-Evaluierungen eine State-of-the-Art-Leistung erzielt und gleichzeitig die Videodiversität im Vergleich zu bestehenden Destillationstechniken signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Meisterwerk zu malen oder einen Film zu regieren. In der Welt der künstlichen Intelligenz geschieht dies mithilfe von „Diffusion“- oder „Flow“-Modellen. Betrachten Sie diese Modelle als Künstler, die mit einer Leinwand beginnen, die mit statischem Rauschen bedeckt ist – wie ein Fernseher, der auf einen toten Kanal eingestellt ist – und diese Schritt für Schritt langsam säubern, bis ein klares Bild oder Video erscheint. Das Problem dabei ist, dass dieser Reinigungsprozess unglaublich langsam ist. Um ein qualitativ hochwertiges Ergebnis zu erzielen, muss der Roboter möglicherweise hunderte winziger Schritte machen und bei jedem einzelnen seine Arbeit überprüfen. Es ist, als würde man versuchen, einen Raum zu durchqueren, indem man jeweils nur einen Millimeter große Schritte macht; man wird zwar ankommen, aber es wird ewig dauern.
Um dies zu beschleunigen, versuchen Wissenschaftler, diese Roboter dazu zu bringen, größere Sprünge zu machen. Einige Methoden versuchen, das endgültige Ziel in einem einzigen riesigen Sprung vorherzusagen, während andere versuchen, den „Pfad“ zu erlernen, den der Roboter nehmen sollte, damit er die langweiligen Mittelteile überspringen kann. Die derzeit besten Methoden für Videos sind jedoch knifflig. Sie verlassen sich oft auf komplexe, instabile Trainingskniffe, die dazu führen können, dass der Roboter vergisst, wie man sich bewegt, was zu Videos führt, die zwar großartig aussehen, aber in der Zeit eingefroren sind, oder die in repetitive, langweilige Muster kollabieren. Die große Frage ist: Können wir diese Modelle lehren, schnell und flüssig zu agieren, ohne die Magie ihrer Kreativität zu verlieren?
Dieses Paper stellt eine neue Technik namens Parallel Decoding Distillation (PDD) vor, die wie ein supereffizienter Coach für diese KI-Künstler fungiert. Anstatt den Roboter zu zwingen, jeden Schritt einzeln zu machen, lehrt PDD ihn, eine ganze Sequenz von Schritten mit einem einzigen Blick vorherzusagen. Stellen Sie sich vor, Sie gehen einen Flur entlang. Ein normaler Roboter hält vor jeder Tür an, um zu prüfen, ob sie offen ist, bevor er zum nächsten Punkt weitergeht. PDD hingegen blickt den gesamten Flur hinunter, sagt exakt voraus, wie sich der Boden für die nächsten zehn Schritte unter seinen Füßen anfühlen wird, und schreitet dann selbstbewusst voran, um diese gesamte Distanz in einem Zug zurückzulegen.
Die Autoren fanden heraus, dass, indem sie das Modell darauf trainieren, die „Durchschnittsgeschwindigkeit“ (oder Velocity) für einen Zeitblock auf einmal vorherzusagen, sie hochwertige Bilder und Videos in nur 4 bis 8 Schritten (genannt Function Evaluations oder NFE) generieren konnten, im Vergleich zu den üblichen Hunderten. Dies ist eine massive Beschleunigung. Im Gegensatz zu bisherigen Methoden, die versuchten, den Roboter dazu zu zwingen, einem starren Pfad zu folgen, oder komplexer Mathematik, die oft die Fähigkeit des Modells zur Varianz störte, nutzt PDD einen einfacheren, direkteren Ansatz. Es muss keine komplexen Ableitungen berechnen oder adversarielle Spiele nutzen (bei denen zwei KIs gegeneinander kämpfen, um sich zu verbessern), die dafür bekannt sind, „Mode Collapse“ zu verursachen – eine schicke Art zu sagen, dass die KI stecken bleibt und immer wieder das Gleiche produziert.
Das Paper zeigt, dass diese Methode bei groß angelegten Modellen, einschließlich jener, die Text-zu-Video- und Text-zu-Bild-Inhalte generieren, unglaublich gut funktioniert. Beispielsweise produzierte PDD auf dem Wan2.1 Videomodell Videos mit 4 NFE, die nicht nur schneller, sondern auch vielfältiger und dynamischer waren als andere Top-Methoden. In Tests mit dem LTX-2.3 Modell, das 10-sekündige Videos mit Audio erstellt, gelang es PDD, die Qualität eines Teacher-Modells, das 4 × 30 NFE (insgesamt 120 Schritte) benötigte, mit nur 8 NFE zu erreichen. Die Ergebnisse legen nahe, dass PDD eine robuste Methode ist, um die KI-Generierung schneller zu machen, ohne die Vielfalt und Bewegung zu opfern, die Videos lebendig wirken lassen. Es ist ein bedeutender Fortschritt und beweist, dass man nicht eine Million winziger Schritte machen muss, um ein großartiges Ergebnis zu erzielen; manchmal muss man einfach nur lernen, den gesamten Weg vor sich zu sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.