BAG: Budget-Aware Gating for Diffusion Caching
Das Paper stellt BAG (Budget-Aware Gating) vor, eine neuartige Caching-Policy für Diffusion Transformer, die ein leichtgewichtiges Gating-Netzwerk verwendet, welches mittels Schedule Distillation trainiert wurde, um globale Budgetbeschränkungen dynamisch mit instanzadaptiver Merkmalswiederverwendung auszubalancieren und dadurch bestehende Methoden bei der Beschleunigung von Diffusionsmodellen wie FLUX.1-dev und Wan2.1 übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein Meisterwerk zu malen, aber anstelle eines Pinsels benutzen Sie einen superintelligenten Roboter, der 50 winzige Schritte braucht, um das Bild fertigzustellen. Jeder Schritt beinhaltet, dass der Roboter intensiv nachdenkt, die Leinwand betrachtet und entscheidet, welche Farbe als Nächstes hinzugefügt wird. So erschafft moderne KI Bilder und Videos: Sie beginnt mit einem verrauschten Verschwommenheitsbild und „entrauscht“ es langsam zu einem klaren Bild. Das Problem ist, dass das Durchlaufen von 50 Schritten langsam und teuer ist, so als würde man einen Roboter durch das ganze Land schicken lassen, nur um eine einzige Blume zu malen.
Um dies zu beschleunigen, haben Wissenschaftler zwei Haupttricks ausprobiert. Der erste ist wie ein strenger Lehrer, der sagt: „Du musst alle 5 Schritte eine Pause machen“, ungeachtet dessen, was der Roboter gerade tut. Das ist schnell, aber manchmal muss der Roboter genau in diesem Moment intensiv nachdenken, und die Pause ruiniert das Bild. Der zweite Trick ist wie ein Schüler, der sagt: „Ich halte nur an, wenn das Bild wirklich anders aussieht“, ohne zu prüfen, wie viel Zeit noch übrig ist. Dies passt sich dem Bild an, aber der Schüler könnte die Zeit verlieren, bevor er fertig ist, oder Energie bei einfachen Teilen verschwenden. Beide Methoden haben einen Fehler: Sie können nicht das gesamte Bild von Zeit und Aufwand auf einmal sehen.
Hier kommt das neue Paper des Westlake AGI Lab mit dem Titel „BAG: Budget-Aware Gating for Diffusion Caching“ ins Spiel. Die Forscher haben einen winzigen, superintelligenten „Verkehrsleiter“ für den Roboter gebaut. Anstatt einem starren Zeitplan zu folgen oder basierend auf einem einzelnen Hinweis zu raten, betrachtet dieser Controller zwei Dinge bei jedem Schritt: Wie viel „Energie“ (oder Computerschritte) noch im Tank ist und wie sehr sich das Bild gerade tatsächlich verändert. Er lernt aus einer massiven Menge an Offline-Praxis, genau zu wissen, wann er eine Abkürzung nehmen soll (eine vorherige Berechnung wiederverwenden) und wann er die volle Arbeit leisten muss.
Das Paper stellt fest, dass dieser neue „Verkehrsleiter“ viel besser ist als die alten Methoden. Bei Tests auf leistungsstarken Bild- und Videogeneratoren produzierte das BAG-System konsistent klarere und genauere Bilder und Videos als die besten existierenden Abkürzungen, selbst wenn es gezwungen war, exakt die gleiche Menge an Rechenleistung zu nutzen. Es schaffte es, etwa 5-mal schneller als die Standardmethode zu sein, ohne an Qualität zu verlieren, und es funktionierte perfekt, egal ob der Nutzer eine schnelle, grobe Skizze oder ein langsameres, detailliertes Meisterwerk wollte. Die Forscher zeigten, dass sie durch die Lehre des Systems, das „Budget“ der Zeit mit der „Stimmung“ des Bildes in Einklang zu bringen, das Beste aus beiden Welten erreichten: Geschwindigkeit ohne das Chaos.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.