🤖 machine learning

Efficient Adjoint Matching for Fine-tuning Diffusion Models

Dieser Beitrag stellt Efficient Adjoint Matching (EAM) vor, eine Methode, die das Fine-Tuning von Belohnungen für Diffusionsmodelle erheblich beschleunigt, indem sie das zugrunde liegende stochastische Optimale Steuerungsproblem mit einem linearen Basisdrift und einer modifizierten Endkostenfunktion neu formuliert, wodurch aufwendige rückwärtsgerichtete Adjungierten-Simulationen eliminiert werden und eine schnellere Konvergenz ermöglicht wird, während die Leistung auf Standard-Text-zu-Bild-Benchmarks erhalten bleibt oder verbessert wird.

Ursprüngliche Autoren: Jeongwoo Shin, Dongsoo Shin, Joonseok Lee, Jaewoong Choi, Jaemoo Choi

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jeongwoo Shin, Dongsoo Shin, Joonseok Lee, Jaewoong Choi, Jaemoo Choi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Meisterkoch (das vortrainierte KI-Modell), der unglaublich gut darin ist, allgemeine Gerichte zuzubereiten. Er kann ein perfektes Steak oder einen schönen Kuchen zubereiten, indem er einfach einem Standardrezept folgt. Wenn Sie ihn jedoch bitten, einen „scharfen veganen Burger zu kochen, der wie ein Sonnenuntergang aussieht", könnte es ihm schwerfallen, Ihren spezifischen, anspruchsvollen Geschmack zu treffen.

Um dies zu beheben, stellen Sie einen Food-Kritiker (das Belohnungsmodell) ein, der die Gerichte probiert und dem Koch sagt, wie er sie verbessern kann. Das Ziel ist es, dem Koch beizubringen, genau das zu kochen, was Sie wollen.

Der alte Weg: „Adjoint Matching" (AM)

Die vorherige Methode, genannt Adjoint Matching, war wie ein sehr strenger, langsamer und erschöpfender Trainingsplan für den Koch.

Die Vorwärtsreise (Das Kochen): Um dem Koch beizubringen, musste das System den gesamten Kochprozess von den rohen Zutaten bis zum fertigen Gericht schrittweise simulieren, und zwar mit einer sehr langsamen, zufälligen Methode (wie das Rühren im Topf mit einem Löffel, der gelegentlich das Essen fallen lässt). Dies dauerte lange und erforderte viel Rechenleistung.
Die Rückwärtsreise (Die Kritik): Sobald das Gericht fertig war, musste das System den gesamten Kochprozess Minute für Minute rückwärts abspielen, um herauszufinden, welcher Schritt genau schiefgelaufen war und wie er zu beheben ist. Dieser „Zurückspulen und Analysieren"-Schritt war ebenfalls unglaublich langsam und rechenintensiv.

Das Problem: Dieser Zwei-Schritte-Prozess (langsames Vorwärts-Kochen + langsame Rückwärts-Analyse) machte das Training sehr teuer und langsam. Es war, als würde man versuchen, ein neues Rezept zu lernen, indem man es 100 Mal kocht und dann das Video 100 Mal zurückspult, um die Fehler zu finden.

Der neue Weg: „Efficient Adjoint Matching" (EAM)

Die Autoren dieses Papiers erkannten, dass die Langsamkeit von den spezifischen „Küchenregeln" (dem Basis-Drift) herrührte, die der Koch befolgen musste. Sie beschlossen, die Küchenregeln neu zu gestalten, um das Training zu beschleunigen, ohne das endgültige Ziel zu verändern.

So funktioniert EAM mit einfachen Analogien:

1. Das „Abkürzungs"-Kochen (Vorwärtssimulation)
Anstatt den Koch zu zwingen, das Gericht von Grund auf mit der langsamen, zufälligen Methode zu kochen, lässt EAM den Koch einen schnellen, deterministischen Ofen verwenden, um das fertige Gericht in nur wenigen Schritten zuzubereiten.

Der Magische Trick: Sobald das fertige Gericht (das Bild) fertig ist, muss das System nicht den chaotischen Kochprozess simulieren, um die Zwischenschritte zu erhalten. Stattdessen „streut es einfach etwas Rauschen" auf das fertige Gericht, um die Zwischenzustände zu erzeugen. Es ist, als würde man sagen: „Hier ist der perfekte Kuchen; stellen Sie sich nun vor, wie er aussah, als er halbwegs gebacken war, indem Sie ein wenig Mehl zurückgeben." Dies umgeht die langsame, zufällige Kochsimulation vollständig.

2. Die „Sofortige" Kritik (Rückwärts-Adjoint)
Bei der alten Methode musste der Kritiker das Video zurückspulen, um Feedback zu geben. Bei EAM kann der Kritiker, da die Küchenregeln einfacher (linear) gestaltet wurden, sofort Feedback geben.

Der Magische Trick: Das System hat nun eine „Spickzettel" (eine geschlossene Formel). Anstatt das Video zurückzuspulen, um den Fehler zu finden, betrachtet der Kritiker einfach das fertige Gericht und den Spickzettel und weiß sofort genau, wie das Rezept anzupassen ist. Kein Zurückspulen, keine langsame Analyse.

Die Ergebnisse

Durch diese beiden Änderungen stellten die Autoren fest, dass:

Geschwindigkeit: Die neue Methode trainiert viermal schneller als die alte. Es ist, als würde man vom Fahren in einem Auto im dichten Verkehr auf eine direkte Autobahn wechseln.
Qualität: Trotz der höheren Geschwindigkeit sind die resultierenden KI-Modelle genauso gut oder sogar besser darin, menschliche Präferenzen zu befolgen. Sie erzeugen Bilder, die schöner sind, Aufforderungen genauer entsprechen und natürlicher aussehen.
Details: Da die neue Methode die Verbindung zwischen dem endgültigen Bild und den „rauschbehafteten" Schritten besser erhält, behält die KI feine Details (wie die Textur von Fell oder die Reflexion im Wasser), die die alte Methode manchmal verwischt hat.

Zusammenfassung

Das Papier stellt Efficient Adjoint Matching (EAM) vor. Es löst das Problem des langsamen KI-Trainings, indem es die zugrunde liegenden Regeln ändert, wie die KI während des Trainings „denkt".

Alter Weg: Langsames, zufälliges Kochen + Langsame, rückwärtsgerichtete Videoanalyse.
Neuer Weg: Schnelles, direktes Kochen + Sofortiges, formelbasiertes Feedback.

Das Ergebnis ist eine intelligentere, schnellere Möglichkeit, KI-Modelle beizubringen, Kunst zu schaffen, die Menschen tatsächlich mögen, ohne dass Supercomputer tagelang laufen müssen.

Technische Zusammenfassung: Effizientes Adjungiertes Matching für das Fine-Tuning von Diffusionsmodellen

Problemstellung

Belohnungsbasiertes Fine-Tuning hat sich als Standardansatz zur Ausrichtung vortrainierter Diffusions- und Flussmodelle mit menschlichen Präferenzen bei der Text-zu-Bild-Generierung (T2I) etabliert. Unter diesen bietet Adjoint Matching (AM) eine fundierte Formulierung, indem es das Belohnungs-Fine-Tuning als Problem der stochastischen optimalen Steuerung (SOC) darstellt. AM zielt darauf ab, ein vortrainiertes Modell in eine Zielverteilung $p^\star_1(x) \propto e^{\beta r(x)}p_{data}(x)$ zu transformieren, wobei $r(x)$ eine Belohnungsfunktion ist.

Allerdings leidet AM unter erheblichen Ineffizienzen in der Rechenleistung, die seine praktische Anwendung behindern:

Engpass der Vorwärtssimulation: AM erfordert die Simulation vollständiger generativer Trajektorien unter Verwendung eines Lösers für stochastische Differentialgleichungen (SDE) unter „gedächtnislosen" Dynamiken. Dies erfordert eine große Anzahl von Funktionsauswertungen (NFEs) und die Speicherung der gesamten Trajektorie im Speicher.
Engpass der Rückwärtssimulation: Um das Steuersignal zu berechnen, erfordert AM eine Rückwärts-ODE-Simulation (gewöhnliche Differentialgleichung) des adjungierten Zustands entlang der gesampelten Trajektorie. Dies beinhaltet die Berechnung von Jacobian-Vektor-Produkten (JVPs) durch das vortrainierte Netzwerk bei jedem Integrationsschritt, was rechenintensiv ist.

Die Autoren stellen fest, dass diese Engpässe intrinsisch mit dem nicht-trivialen Basisdrift verbunden sind, der in Standard-AM-Formulierungen vom vortrainierten Modell geerbt wird.

Methodik: Effizientes Adjungiertes Matching (EAM)

Die Arbeit schlägt Efficient Adjoint Matching (EAM) vor, das das SOC-Problem neu formuliert, um beide rechenintensiven Engpässe zu eliminieren, während die theoretische Garantie, die belohnungs-gewichtete Zielverteilung zu erreichen, erhalten bleibt.

1. Neugestaltung der Basisdynamik

EAM führt zwei strukturelle Bedingungen für die Basisdynamik ein:

Linearität: Der Basisdrift $b(x,t)$ wird so neu gestaltet, dass er in $x$ linear ist (d. h. $b(x,t) = D(t)x$ ).
Gedächtnislosigkeit: Die Basisdynamik bleibt gedächtnislos, sodass Zwischenzustände direkt vom Endpunkt gesampelt werden können.

Indem die Diffusionskoeffizienten $\sigma(t)$ so festgelegt werden, dass sie dem Standard-Setup entsprechen, leiten die Autoren eine spezifische Familie zulässiger linearer Drifts ab (Gleichung 15), die diese Bedingungen erfüllen. Dieser lineare Drift ermöglicht eine geschlossene Lösung für den adjungierten Zustand, wodurch die Notwendigkeit einer Rückwärts-ODE-Simulation und von JVP-Auswertungen entfällt.

2. Korrektur der Endkosten

Die Änderung des Basisdrifts verändert die Endverteilung des unkontrollierten Systems. Um sicherzustellen, dass die optimale kontrollierte Verteilung weiterhin mit der gewünschten belohnungs-gewichteten Verteilung $p^\star_1$ übereinstimmt, leitet EAM eine korrigierte Endkostenfunktion $g(x)$ ab. Der Gradient dieser Kosten, $\nabla g(x)$ , enthält Terme für den vortrainierten Score, den neuen Basis-Endscore und den Belohnungsgradienten (Gleichung 16).

3. Trainingsalgorithmus

Der EAM-Trainingsloop (Algorithmus 1) verläuft wie folgt:

Endpunkt-Generierung: Anstelle einer vollständigen SDE-Rollout wird das Endpunkt-Bild $X_1$ mit einem deterministischen ODE-Löser in wenigen Schritten generiert (z. B. 10 NFEs).
Konstruktion von Zwischenzuständen: Zwischenzustände $X_t$ werden direkt aus dem ursprünglichen Rausch-Kernel $q_t(\cdot | X_1)$ gesampelt, bedingt auf den generierten Endpunkt, wodurch die Notwendigkeit einer Vorwärts-SDE-Simulation umgangen wird.
Geschlossene Adjungierte: Der adjungierte Zustand wird durch eine geschlossene Skalierung des Endpunkt-Gradienten $\nabla g(X_1)$ berechnet, wodurch die Rückwärtssimulation vollständig eliminiert wird.
Parametrisierung der Steuerung: Die Steuerung $u(x,t)$ wird über ein trainierbares Geschwindigkeitsmodell (z. B. LoRA) parametrisiert, das vom vortrainierten Modell initialisiert wird, sodass das Fine-Tuning von den vortrainierten Dynamiken ausgehen kann.

Hauptbeiträge

Algorithmus-Vorschlag: Die Einführung von EAM, einem belohnungsgradientenbasierten Fine-Tuning-Algorithmus, der die gleichen theoretischen Ziele wie AM erreicht, jedoch mit erheblich reduzierten Rechenkosten.
Theoretische Charakterisierung: Eine Charakterisierung linearer Basisdrifts, die die Anforderungen für eine effiziente Trajektorienkonstruktion (Gedächtnislosigkeit) und eine geschlossene adjungierte Berechnung erfüllen.
Empirische Validierung: Der Nachweis, dass EAM auf Standard-T2I-Benchmarks bis zu 4 $\times$ schneller konvergiert als AM, während es dessen Leistung über mehrere Metriken hinweg erreicht oder übertroffen wird.

Ergebnisse

Die Autoren haben EAM auf Stable Diffusion 3.5-Medium (SD3.5-M) unter Verwendung des Pick-a-Pic-Datensatzes evaluiert und dabei einen Vergleich mit AM und dem Basis-SD3.5-M angestellt.

Effizienz: EAM reduziert die Trainingskosten pro Iteration um bis zu 4 $\times$ . Dies wird erreicht, indem 40-Schritt-SDE-Simulationen durch 10-Schritt-ODE-Endpunkt-Sampling ersetzt und Rückwärts-adjungierte Simulationen eliminiert werden.
Leistung: Auf Benchmarks einschließlich PickScore, ImageReward, HPSv2.1, CLIPScore und Aesthetics stimmt EAM konsistent mit AM überein oder übertrifft es.
- In Single-Belohnungs-Szenarien (PickScore) erreichte EAM einen PickScore von 23,16 im Vergleich zu 23,00 bei AM.
- In Multi-Belohnungs-Szenarien (PickScore + HPSv2.1 + Aesthetics) erreichte EAM einen PickScore von 22,93 und einen Aesthetics-Score von 6,56 und übertraf damit AM (6,21).
Qualitative Verbesserungen: Visuelle Vergleiche zeigen, dass EAM feinkörnige Details und komplexe Kompositionen besser erhält als AM, das Details manchmal verwischt. Dies wird der Konsistenz von EAM zwischen Training (endpunkt-konditioniertes Rauschen) und Inferenz-Trajektorien zugeschrieben.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die primären Einschränkungen von Adjoint Matching nicht inhärent zur SOC-Formulierung selbst sind, sondern Artefakte der spezifischen Wahl des Basisdrifts. Durch die Neugestaltung des Basisdrifts als linear und gedächtnislos sowie die entsprechende Anpassung der Endkosten entfernt EAM die beiden großen rechenintensiven Engpässe (Vorwärts-SDE-Simulation und Rückwärts-adjungierte Simulation), ohne die theoretischen Ausrichtungs-Garantien zu beeinträchtigen.

Die Autoren positionieren EAM als eine praktische, skalierbare Lösung für das belohnungsbasierte Fine-Tuning, die die Stichprobeneffizienz gradientenbasierter Methoden beibehält, während sie den rechnerischen Aufwand drastisch reduziert und so eine hochwertige Ausrichtung von Diffusionsmodellen zugänglicher macht. Die Arbeit behauptet nicht, alle Optimierungs-Herausforderungen zu lösen (z. B. werden Buffer-Replay oder adaptive Pläne als zukünftige Arbeit erwähnt), etabliert jedoch eine neue Benchmark für die Effizienz in diesem Bereich.