🤖 AI

Stitched Value Model for Diffusion Alignment

Das Papier stellt StitchVM vor, ein leichtgewichtiges Framework zum Zusammenfügen von Modellen, das vortrainierte Belohnungsmodelle im Pixelraum effizient in verrauschte latente Räume überträgt, indem ein eingefrorener Diffusionsrücken angebracht wird, wodurch eine präzise und rechnerisch effiziente Ausrichtung von Diffusionsmodellen ermöglicht wird, ohne die Verzerrung von Tweedie-Schätzungen oder die hohen Kosten von Monte-Carlo-Rollouts.

Ursprüngliche Autoren: Hyojun Go, Hyungjin Chung, Prune Truong, Goutam Bhat, Li Mi, Zhaochong An, Zixiang Zhao, Dominik Narnhofer, Serge Belongie, Federico Tombari, Konrad Schindler

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hyojun Go, Hyungjin Chung, Prune Truong, Goutam Bhat, Li Mi, Zhaochong An, Zixiang Zhao, Dominik Narnhofer, Serge Belongie, Federico Tombari, Konrad Schindler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „unscharfen Entwurfs"

Stellen Sie sich vor, Sie sind ein Künstler, der versucht, ein Meisterwerk basierend auf der Beschreibung eines Kunden (einem „Prompt") zu malen. Sie haben einen sehr talentierten Assistenten (das Diffusionsmodell), der hervorragend darin ist, eine leere Leinwand in ein klares, schönes Bild zu verwandeln.

Der Kunde hat jedoch spezifische Vorlieben: Er möchte, dass das Auto rot ist, der Himmel blau und der Stil wie ein Van Gogh aussieht. Um sicherzustellen, dass der Assistent diese Regeln befolgt, benötigen Sie ein Reward-Modell (einen „Kritiker"), der das fertige Gemälde betrachtet und sagt: „Ja, das ist perfekt!" oder „Nein, das Auto ist falsch."

Das Problem:
Der Künstler beginnt nicht mit einem fertigen Gemälde. Er beginnt mit einer leeren Leinwand, die im Laufe der Zeit immer klarer wird. Am Anfang ist das Bild nur ein unscharfer, verrauschter Wirrwarr (wie Rauschen auf einem alten Fernseher).

Der Kritiker (Reward-Modell) ist darauf trainiert, fertige Gemälde zu beurteilen. Er gerät in Verwirrung und gibt schlechte Ratschläge, wenn man ihm einen unscharfen Wirrwarr zeigt.
Um gute Ratschläge für den unscharfen Wirrwarr zu erhalten, versuchten frühere Methoden zwei Dinge:
1. Die Methode „Raten und Prüfen": Versuchen Sie, das Bild magisch sofort „entzuwischen", zeigen Sie es dem Kritiker und verwischen Sie es dann wieder. Das ist schnell, aber oft ungenau (verzerrt).
2. Die Marathon-Methode: Führen Sie den Malprozess 100 verschiedene Male von diesem unscharfen Punkt aus, um zu sehen, welches Ergebnis am besten wird. Das ist genau, dauert aber ewig und kostet ein Vermögen an Rechenleistung.

Die Lösung: „StitchVM" (Der hybride Führer)

Die Autoren schlagen eine neue Methode namens StitchVM vor. Stellen Sie sich dies als eine präzise chirurgische Transplantation vor, um eine neue Art von Kritiker zu schaffen, der den unscharfen Wirrwarr verstehen kann, während er noch unscharf ist.

Die Analogie: Der „Kopf" und der „Schwanz"
Stellen Sie sich zwei verschiedene Experten vor:

Der Diffusions-Experte (Der Kopf): Diese Person ist hervorragend darin, einen unscharfen, verrauschten Entwurf zu betrachten und zu verstehen, was das endgültige Bild werden könnte. Sie weiß, wie Rauschen funktioniert.
Der Kunstkritiker (Der Schwanz): Diese Person ist ein weltberühmter Richter, der genau weiß, wie ein „gutes" fertiges Gemälde aussieht, aber keine unscharfen Entwürfe verarbeiten kann.

StitchVM nimmt den Kopf des Diffusions-Experten (den Teil, der Rauschen versteht) und näht ihn direkt an den Schwanz des Kunstkritikers (den Teil, der weiß, wie „gut" aussieht).

Wie es funktioniert: Sie finden den exakten Punkt, an dem das Gehirn des Diffusions-Experten und das Gehirn des Kritikers dieselbe Sprache sprechen. Sie verbinden sie mit einer winzigen, leichten Adapter-Schicht (einer „Nähschicht").
Das Ergebnis: Sie haben nun einen Hybriden Führer. Er kann einen unscharfen, verrauschten Entwurf betrachten und sofort sagen: „Wenn wir von hier aus weitermachen, wird dies wahrscheinlich ein großartiges Gemälde", ohne dass das Gemälde zuerst fertiggestellt werden muss.

Warum ist das eine große Sache?

Das Paper behauptet, diese Methode sei aus drei Hauptgründen ein Wendepunkt:

1. Es ist superschnell (Der „Abkürzungsweg")

Alter Weg: Um einen unscharfen Entwurf zu prüfen, musste man entweder das endgültige Bild raten (langsam und fehleranfällig) oder 100 vollständige Gemälde durchlaufen lassen, um zu sehen, was passiert (sehr langsam).
StitchVM-Weg: Der hybride Führer betrachtet den unscharfen Entwurf und gibt in einem einzigen, sofortigen Blick eine Antwort.
Die Behauptung: Die Autoren sagen, dass dies ihre Ausrichtungsverfahren 2- bis 3-mal schneller macht und den Speicherbedarf der Computer halbiert.

2. Es ist hochpräzise (Das „Expertenauge")

Alter Weg: Frühere Versuche, einen Kritiker zu lehren, unscharfe Bilder zu betrachten, erforderten, dass man sie von Grund auf mit riesigen Datenmengen trainierte, was teuer ist und oft zu einem „dummen" Kritiker führt.
StitchVM-Weg: Da sie einen Kritiker „einnähen", der bereits auf Millionen perfekter Bilder trainiert wurde, erbt der neue hybride Führer dieses enorme Wissen. Er muss nicht neu lernen, was „gute Kunst" ist; er lernt nur, wie man sie durch das Rauschen hindurch sieht.
Die Behauptung: Der neue Führer funktioniert fast genauso gut wie der ursprüngliche Experte-Kritiker, selbst wenn er sehr verrauschte, unscharfe Eingaben betrachtet.

3. Es ist günstig zu bauen (Das „Bastel-Set")

Alter Weg: Der Bau eines neuen Kritikers für verrauschte Bilder erforderte früher Wochen an Supercomputer-Zeit.
StitchVM-Weg: Da die schwere Arbeit bereits von den ursprünglichen Experten erledigt wurde, müssen Sie sie nur „einnähen" und ein wenig feinabstimmen.
Die Behauptung: Die Autoren sagen, dass sie diesen neuen hybriden Führer in etwa 10 Stunden auf einem einzigen leistungsstarken Computerchip bauen können, im Vergleich zu den massiven Kosten früherer Methoden.

Auswirkung auf die reale Welt (laut dem Paper)

Die Autoren testeten diesen „Hybriden Führer" bei zwei Arten von Aufgaben:

Während der Generierung (Inferenz): Wenn die KI ein Bild erstellt, hilft ihr der hybride Führer, bei jedem Schritt bessere Entscheidungen zu treffen. Es ist, als hätte man einen Trainer, der während der Athlet läuft Anweisungen ruft, anstatt bis zum Ende des Rennens zu warten, um ihnen zu sagen, dass sie den falschen Weg gelaufen sind. Dies ließ die KI viel schneller bessere Bilder generieren.
Während des Trainings: Wenn man die KI verbessert, ermöglicht der hybride Führer, das Training frühzeitig zu beenden (im „unscharfen" Stadium) und gibt dennoch nützliches Feedback. Das bedeutet, dass die KI schneller lernt und weniger Strom verbraucht.

Zusammenfassung

StitchVM ist ein cleverer Trick, der einen „Rausch-Experten" mit einem „Qualitätsrichter" kombiniert, um ein neues Werkzeug zu schaffen, das einen Arbeitstitel beurteilen kann. Es spart Zeit, spart Geld und liefert bessere Ergebnisse, weil es aufhört, die Zukunft zu erraten, und beginnt, die Gegenwart zu verstehen (selbst wenn die Gegenwart nur ein unscharfer Wirrwarr ist).

Technische Zusammenfassung: Gesticktes Wertmodell für Diffusionsausrichtung (StitchVM)

1. Problemstellung

Diffusions- und flussbasierte generative Modelle sind hervorragend darin, Datenverteilungen zu erfassen, benötigen jedoch oft eine Ausrichtung auf aufgabenspezifische Belohnungen (z. B. Prompt-Genauigkeit, ästhetische Präferenz, menschliche Präferenz), um praktisch nutzbar zu sein. Die Kernherausforderung bei dieser Ausrichtung besteht darin, dass Belohnungen typischerweise für saubere Ausgabebilder ( $x_0$ ) definiert sind, während Ausrichtungsverfahren (sowohl zur Inferenz- als auch zur Trainingszeit) die erwartete Belohnung sauberer Proben schätzen müssen, die durch verrauschte Zwischenlatente ( $z_t$ ) induziert werden. Diese Schätzung ist als Wertfunktion bekannt.

Bestehende Methoden zur Approximation dieser Wertfunktion leiden unter erheblichen Zielkonflikten:

Tweedie-Approximation: Schätzt den Posterior-Mittelwert der sauberen Probe und berechnet die Belohnung auf diesem Proxy. Obwohl effizient, führt dies in hochrauschenden Regimen zu erheblichen Verzerrungen und erfordert teure zusätzliche Bewertungen des Entrauschers und des VAE-Decoders.
Monte-Carlo-(MC)-Approximation: Entfaltet mehrere Entrauschungstrajektorien von $z_t$ und mittelt die Belohnungen. Obwohl genauer, entstehen prohibitive Rechenkosten aufgrund der Notwendigkeit mehrerer vollständiger Entfaltungen.
Gelernte Wertmodelle: Das direkte Trainieren einer Wertfunktion für verrauschte Latente ist ein offenes Problem. Bestehende Versuche verlassen sich oft auf Training im kleinen Maßstab oder schmale Präferenzdatensätze, was zu geringerer Genauigkeit und Generalisierungsfähigkeit im Vergleich zu pixelraum-basierten Belohnungsmodellen im Fundamentmaßstab führt. Darüber hinaus ist das Training eines neuen Wertmodells für jeden neuen Diffusions-Backbone oder jedes neue Belohnungsmodell rechnerisch nicht nachhaltig.

2. Methodik: StitchVM

Die Autoren schlagen StitchVM (Stitched Value Model) vor, ein Framework, das die Fähigkeiten vortrainierter, hochwertiger pixelraum-basierter Belohnungsmodelle mit minimalem Rechenaufwand in den verrauschten Latentbereich überträgt. Der Ansatz nutzt Model Stitching (Modell-Versticken), eine Technik, die Schichten aus verschiedenen neuronalen Netzwerken neu kombiniert.

Kernarchitektur

StitchVM konstruiert ein hybrides Modell, indem es einen abgeschnittenen, eingefrorenen Diffusions-Backbone (den „Kopf") über eine leichte Stitching-Schicht an ein geschnittenes, vortrainiertes Belohnungsmodell (den „Schwanz") anschließt.

Kopf: Ein Diffusions-Backbone (z. B. SD 3.5, FLUX), abgeschnitten bei Schicht $i$ . Diese Komponente verarbeitet nativ verrauschte Latente und extrahiert rauschbewusste Merkmale.
Schwanz: Ein vortrainiertes Belohnungsmodell (z. B. CLIP, HPSv2, Aesthetic Predictor), beginnend bei Schicht $j$ . Diese Komponente behält die robuste, aufgabenspezifische Belohnungsfähigkeit bei, die während des großskaligen Vortrainings gelernt wurde.
Stitching-Schicht ( $s_\psi$ ): Ein leichtgewichtiges Modul, das den Merkmalsraum des Diffusionskopfes mit dem Belohnungsschwanz abgleicht.

Trainingsverfahren

Das Training von StitchVM erfolgt in zwei Stufen:

Schnittstellenauswahl (Geschlossene Form): Die Autoren suchen nach den optimalen Stitching-Indizes $(i, j)$ , bei denen die Diffusionsmerkmale (aus verrauschten Latenten) und die Belohnungsmerkmale (aus sauberen Bildern) am kompatibelsten sind. Dies wird erreicht, indem eine lineare Abbildung $W$ zwischen gepaarten Merkmalen angepasst wird, die aus einem kleinen Probesatz sauberer Bilder und ihren entsprechenden verrauschten Latenten extrahiert wurden. Das Paar, das den Merkmalsanpassungsverlust minimiert, wird ausgewählt.
Leichtgewichtiges Feinabstimmen: Sobald die Schnittstelle festgelegt ist, werden die Stitching-Schicht und der abgeschnittene Belohnungsschwanz unter Verwendung ungelabelter sauberer Bilder feinabgestimmt. Das Ziel besteht darin, die Wertfunktion $V(z_t)$ auf den ursprünglichen Belohnungswert $r(z_0)$ des sauberen Bildes zu regressieren. Dieses Off-Policy-Ziel ermöglicht es dem Modell, die erwartete Belohnung sauberer Proben, bedingt auf verrauschte Latente, zu lernen, ohne vollständige Entfaltungen zu benötigen.

Anwendung auf die Ausrichtung

StitchVM dient als direkter Schätzer für die Wertfunktion und ersetzt Approximationen sowohl bei der Inferenz- als auch bei der Trainingszeit-Ausrichtung:

Inferenzzeit:
- DPS (Diffusion Posterior Sampling): Ersetzt den auf Tweedie basierenden Gradienten durch den direkten Gradienten von StitchVM ( $\nabla_{z_t} V(z_t)$ ), wodurch die Notwendigkeit einer Rückwärtspropagation durch den Entrauscher und den VAE entfällt.
- FK-Steering: Ermöglicht eine „Proposal-Skalierung", bei der jedes Partikel mehrere lokale Vorschläge erzeugt. Diese werden von StitchVM kostengünstig bewertet, um den besten Kandidaten auszuwählen – ein Prozess, der mit Tweedie-Approximationen zu kostspielig wäre.
Trainingszeit:
- Direktes Belohnungs-Feinabstimmen (z. B. AlignProp, DRaFT): Ermöglicht das Stoppen des Trainings bei intermediären verrauschten Latenten $z_\tau$ und die Verwendung der StitchVM-Vorhersage als Überwachungsziel, wodurch vollständige Trajektorien-Entfaltungen und lange Rückwärtspropagationsketten vermieden werden.
- DiffusionNFT: Ersetzt terminale saubere Belohnungen durch intermediäre Werteschätzungen und ermöglicht effizientes Online-RL im Vorwärtsprozess.

3. Hauptbeiträge

Ein neues Paradigma für die Wertmodellierung: StitchVM zeigt, dass leistungsstarke pixelraum-basierte Belohnungsmodelle effektiv in den verrauschten Latentbereich übertragen werden können, ohne ein großskaliges Neutrainieren zu erfordern, indem sie einfach an einen Diffusions-Backbone „gestickt" werden.
Effizienz und Genauigkeit: Die Methode erzielt State-of-the-Art-Leistung bei der Werteschätzung und ist gleichzeitig außergewöhnlich leichtgewichtig. Zum Beispiel dauert das Einweben von CLIP ViT-L in ein SD 3.5 Medium-Wertmodell nur $\approx 10$ GPU-Stunden.
Leistungssteigerungen bei der Ausrichtung:
- Inferenz: DPS wird 3,2 $\times$ schneller mit einer 50%igen Reduktion des Spitzen-GPU-Speichers. FK-Steering mit StitchVM übertrifft das Standard-FK-Steering und Best-of- $N$ -Sampling erheblich, insbesondere durch die Ermöglichung einer effizienten Auswahl lokaler Vorschläge.
- Training: DiffusionNFT wird 2,3 $\times$ schneller, und direktes Belohnungs-Feinabstimmen (DRaFT) wird 1,3 $\times$ schneller, während gleichzeitig eine höhere Generierungsqualität erreicht wird (z. B. +30% GenEval) aufgrund einer effektiven Überwachung in hochrauschenden Schritten.
Generalisierung: Der Ansatz funktioniert über verschiedene Diffusions-Backbones hinweg (SD 3.5 Medium/Large, FLUX) und Belohnungsmodelle (CLIP, DFN-CLIP, HPSv2, Aesthetic Predictor).

4. Experimentelle Ergebnisse

Die Arbeit evaluiert StitchVM über mehrere Benchmarks hinweg:

Qualität der Wertfunktion: Auf verrauschten Latenten mit variierenden Rauschniveaus ( $\sigma \in [0.1, 0.9]$ ) stimmt StitchVM die Leistung der ursprünglichen sauberen Belohnungsmodelle im Zero-Shot-Retrieval (MSCOCO, Flickr30K), bei der Vorhersage von Präferenzen (HPDv2, ImageReward) und bei ästhetischen Bewertungen (AVA) eng überein. Es übertrifft Baselines wie VAE-Stitching (das bei hohem Rauschen kollabiert) und Modelle, die von Grund auf auf verrauschten Daten trainiert wurden (z. B. NoisyCLIP, DiNa-LRM), erheblich.
Inferenz-Ausrichtung: In DPS- und FK-Steering-Experimenten auf DrawBench verbessern StitchVM-erweiterte Methoden konsistent Metriken wie ImageReward, HPSv2 und GenEval, während sie die Rechenkosten drastisch senken. Bemerkenswert ist, dass die Erhöhung der Anzahl lokaler Vorschläge ( $M$ ) beim FK-Steering mit StitchVM effizienter ist als die Erhöhung der Anzahl der Partikel ( $N$ ).
Trainings-Ausrichtung: Trainingskurven zeigen, dass StitchVM-Varianten mit weniger GPU-Stunden höhere Endwerte erreichen als Standard-DRaFT und DiffusionNFT. Qualitative Ergebnisse deuten darauf hin, dass StitchVM-erweiterte Modelle schneller konvergieren und bereits früher im Training schärfere, hochwertigere Bilder produzieren.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass StitchVM eine generische Vorlage für die Kombination von latenten Diffusions-Backbones mit pixelraum-basierten Feedforward-Modellen bietet, ohne das umfangreiche Vortraining eines der beiden zu opfern. Durch das Heben leistungsstarker Belohnungsmodelle in den Latentraum ermöglicht es einen neuen Stil der Diffusionsausrichtung, bei dem die korrekte Wertfunktion für verrauschte Latente einmal konstruiert und über viele Proben und Iterationen amortisiert wird.

Die Autoren positionieren StitchVM nicht als Ersatz für das Vortraining von Fundamentmodellen, sondern als praktischen, kostengünstigen Mechanismus, um diese Modelle an spezifische Aufgaben anzupassen. Sie betonen, dass dieser Ansatz eine wertmodellbasierte Ausrichtung zugänglich und effizient macht und potenziell die Forschung zu sichereren und zuverlässigeren generativen Modellen beschleunigt. Die Arbeit legt nahe, dass das „Sticken" vortrainierter Komponenten eine tragfähige Alternative zu den prohibitive Kosten des Trainings von Wertfunktionen von Grund auf oder des Verlassens auf verzerrte Approximationen darstellt.