🤖 machine learning

PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models

Das Papier stellt PG-MAP vor, ein Framework ohne Training, das die Alignment während der Inferenz für sowohl Diffusions- als auch Flow-Matching-Modelle verbessert, indem es den Prozess als gemeinsame Gibbs-MAP-Optimierung über Konditionierungs- und latente Variablen formuliert und dadurch im Vergleich zu bestehenden einachsigen Methoden eine überlegene Leistung über verschiedene Metriken und menschliche Evaluationen hinweg erzielt.

Ursprüngliche Autoren: Ruolan Sun, Pawel Polak

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruolan Sun, Pawel Polak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, ein perfektes Gericht basierend auf der Bestellung eines Kunden zuzubereiten. In der Welt der KI-Bildgenerierung ist der „Koch“ ein komplexes Modell (wie Stable Diffusion), die „Bestellung“ ist der Text-Prompt (z. B. „ein roter Panda-Astronautout“) und das „Gericht“ ist das fertige Bild.

Normalerweise, wenn der Koch einen Fehler macht, können Sie ihn nur auf eine Weise gleichzeitig beheben:

Die Bestellung ändern: Sie schreiben den Text-Prompt um, um ihn spezifischer zu machen (wie dem Koch zu sagen: „Achte darauf, dass der Panda rot ist“).
Die Zutaten anpassen: Sie passen die Rohmischung während des Kochens an, um Textur oder Beleuchtung zu korrigieren (wie mehr Salz hinzuzufügen oder die Hitze zu regulieren).

Bestehende Methoden zwingen Sie dazu, sich für einen dieser Wege zu entscheiden. Wenn Sie den Text korrigieren, ruinieren Sie unter Umständen die Textur. Wenn Sie die Textur korrigieren, verlieren Sie unter Umständen die Bedeutung des Prompts.

PG-MAP ist ein neuer „Super-Koch-Assistent“, der beides gleichzeitig und dynamisch tut, während das Gericht zubereitet wird.

Die Kernidee: Ein dynamischer Tanz

Das Paper stellt PG-MAP (Preference-Guided Adaptive MAP) vor. Anstatt eine einzige Entscheidung zu Beginn zu treffen oder Dinge einmal am Ende anzupassen, behandelt PG-MAP den Prozess der Bilderstellung als eine kontinuierliche Reise.

Stellen Sie sich den Prozess der Bilderzeugung wie eine lange, kurvenreiche Autofahrt von einem nebligen Startpunkt (zufälliges Rauschen) zu einem klaren Ziel (dem fertigen Bild) vor.

Das Problem: Auf dieser Straße ist der „Nebel“ (das Rauschen) am Anfang dicht und klärt sich am Ende auf. Bestehende Methoden versuchen, das Auto mit einer statischen Karte oder einer einmaligen Anpassung zu steuern.
Die PG-MAP-Lösung: PG-MAP fungt wie ein GPS, das die Route Schritt für Schritt ständig neu berechnet. Es betrachtet den aktuellen Zustand des Bildes und stellt zwei Fragen gleichzeitig:
1. „Entspricht die Textbeschreibung noch dem, was wir gerade sehen?“ (Konditionierung, oder die c-Seite).
2. „Sieht die visuelle Qualität gut aus?“ (Latenter Zustand, oder die z-Seite).

Es passt die „Textbeschreibung“ und die „visuellen Zutaten“ gemeinsam an und stellt sicher, dass sie harmonisch zusammenarbeiten, anstatt gegeneinander zu kämpfen.

Wie es funktioniert: Die „Vorwärts-Konsistenz“-Regel

Das Paper verwendet den Fachbegriff „Forward-Consistency Coupling“. Hier ist eine einfache Analogie:

Stellen Sie sich vor, Sie gehen durch einen dunklen Wald (den Generierungsprozess). Sie haben eine Taschenlampe (das KI-Modell), die Ihnen zeigt, wo Sie gerade jetzt sind.

Alte Methoden würden sagen: „Ich weiß, wo ich angefangen habe, also laufe ich einfach in einer geraden Linie weiter“ oder „Ich passe meinen Pfad erst am Ende einmal an“.
PG-MAP sagt: „Lass uns schauen, wohin die Taschenlampe jetzt gerade leuchtet. Wenn das Licht andeutet, dass wir vom Weg abkommen, werden wir unsere Richtung (den Text) und unseren Tritt (die Bilddetails) gleichzeitig sanft korrigieren, um wieder auf Kurs zu kommen.“

Dies geschieht durch die Berechnung eines „Scores“ (einer Belohnung) für jeden winzigen Schritt der Reise. Wenn das Bild wie ein „roter Panda“ aussieht, aber das Fell verschwommen wirkt, schärft es das Fell. Wenn das Fell großartig aussieht, das Tier aber wie ein Mensch wirkt, passt es das Text-Embedding an, um die Panda-Form wieder zu erzwingen.

Zwei verschiedene Arten von Straßen

Das Paper macht eine faszinierende Entdeckung: Die beste Art zu fahren, hängt davon ab, auf welcher Straße man sich befindet.

Diffusionsmodelle (Die holprige, neblige Straße): Bei älteren Modellen (wie SD 1.5 oder SDXL) ist die Straße voller Rauschen. PG-MAP arbeitet hier am besten, indem es sowohl den Text als auch die Bilddetails früh im Prozess anpasst, wenn der Nebel noch dicht ist.
Flow-Matching-Modelle (Die glatte, gerade Autobahn): Bei neueren, schnelleren Modellen (wie SD3.5) ist die Straße viel glatter. Hier stellt PG-MAP fest, dass das Anpassen des Textes unnötig ist (die Straße ist zu stabil). Stattdessen konzentriert es sich ganz auf die Feinabstimmung der Bilddetails am Ende der Reise.

Diese Anpassungsfähigkeit ist einzigartig; die meisten anderen Werkzeuge versuchen, für beide Straßentypen dieselbe Strategie anzuwenden.

Die Ergebnisse: Bessere Bilder, weniger Rätselraten

Die Autoren testeten dies an tausenden von Prompts.

Visuelle Qualität: Die Bilder waren schärfer, hatten eine bessere Beleuchtung und präzisere Details (wie den Griff eines Schwertes oder die Textur einer Feder).
Prompt-Genauigkeit: Die Bilder entsprachen den Textbeschreibungen besser (z. B. sah der „rote Panda“ tatsächlich wie ein Panda aus und nicht wie ein Mensch).
Menschliche Präferenz: Als echte Menschen gefragt wurden, ob sie die alte Methode oder PG-MAP bevorzugen, entschieden sie sich etwa 60 % bis 67 % der Zeit für PG-MAP.

Das „Oracle“-Geheimnis

Das Paper führte auch ein „Was-wäre-wenn“-Experiment durch. Sie fragten: „Wenn wir magisch in der Lage wären, die perfekte Lösung für jeden einzelnen spezifischen Prompt zu kennen, wie viel besser könnten wir werden?“
Sie fanden heraus, dass verschiedene Arten von Prompts unterschiedliche Korrekturen benötigen.

Kurze, spezifische Prompts (wie „ein rotes Würfelobjekt“) benötigen mehr Hilfe beim Text.
Atmosphärische Prompts (wie „ein Sonnenuntergang über dem Ozean“) benötigen mehr Hilfe bei der visuellen Textur.

PG-MAP ist ein einzelnes Werkzeug, das beides handhabt, aber das Paper legt nahe, dass in Zukunft ein intelligenter „Verkehrskontrolleur“ automatisch die beste Einstellung für jede spezifische Anfrage wählen könnte, was die Bilder potenziell noch besser machen würde.

Zusammenfassung

PG-MAP ist ein trainingsfreies Werkzeug, das KI-Bildgeneratoren intelligenter macht, indem es ihnen erlaubt, sowohl die Bedeutung des Prompts als auch das Aussehen des Bildes gleichzeitig und Schritt für Schritt anzupassen, während das Bild erstellt wird. Es passt seine Strategie basierend auf dem verwendeten KI-Modell an, was zu Bildern führt, die sowohl textgetreuer als auch optisch ansprechender sind.

Technische Zusammenfassung: PG-MAP: Gemeinsame MAP-Optimierung zur Alignment-Steuerung von Diffusion- und Flow-Matching-Modellen während der Inferenz

Problemstellung
Aktuelle Methoden zur Alignment-Steuerung während der Inferenz für vortrainierte Text-zu-Bild-Modelle (Diffusion und Flow-Matching) operieren typischerweise entlang einer einzelnen Kontrollachse. Methoden auf der Konditionierungsseite (z. B. Attention-Editing, Prompt-Embedding-Lernen) modifizieren das Text-Embedding $c$ , während Methoden auf der Latent-Seite (z. B. belohnungsgesteuerte Latent-Perturbationen) den latenten Zustand $z_t$ modifizieren. Bestehende Frameworks versäumen es, die gemeinsamen Abhängigkeiten zwischen Konditionierung und latenten Variablen zu modellieren, indem sie Updates als additive statt als koordinierte Prozesse behandeln. Darüber hinaus sind diese Methoden oft statisch; sie fixieren die Kontrollstrategien zu Beginn der Trajektorie ( $z_T$ ) oder offline und ignorieren die dynamischen Informationsbedürfnisse des Denoisers, während sich die Trajektorie vom Hochrausch-Regime (globale Layouts) zum Niedrigrausch-Regime (lokale Details) entwickelt. Diese Einschränkung behindert den Transfer von Alignment-Techniken über verschiedene generative Transporte (Diffusion vs. Flow-Matching) hinweg.

Methodik: PG-MAP
Die Autoren schlagen PG-MAP (Preference-Guided Adaptive MAP) vor, ein trainingsfreies Framework, das das Alignment während der Inferenz als Trajektorien-Ebene Gibbs-MAP / Proximal-Energy-Optimierung formuliert. Die zentrale Innovation ist eine Forward-Consistency-Kopplung, die die Konditionierung $c$ und den latenten Zustand $z_t$ bei jedem Denoising-Schritt gemeinsam optimiert.

Zielfunktion: Das Framework definiert eine schrittabhängige Energiefunktion $J_t(c, z_t)$ , die aus drei Komponenten besteht:
1. Forward-Consistency-Residuum: Ein Term $\ell_t(c, z_t)$ , der die Abweichung zwischen dem aktuellen latenten Zustand $z_t$ und der eigenen Vorhersage des Modells für den vorherigen Zustand bestraft, um sicherzustellen, dass die Trajektorie konsistent mit dem Forward-Kernel des Denoisers bleibt.
2. Gaußsche Anker-Priors: Terme $R_c(c)$ und $R_z(z_t)$ , die die optimierten Variablen an ihre ungestörten Werte ( $c_0$ und den DDIM-Trajektorienpunkt $z^{ddim}_t$ ) ankern. Entscheidend ist, dass die Skala des latenten Priors $\sigma_z(t)$ adaptiv nach dem Zeitplan (schedule-adaptive) ist und die marginale Rauschskala des Diffusionsprozesses verfolgt ( $\sigma_z(t) = \gamma\sqrt{1-\bar{\alpha}_t}$ ), um eine skaleninvariante Vertrauensregion zu bieten, die sich beim Annähern der Trajektorie an die Daten-Manifold verengt.
3. Preference Reward Tilt: Ein Term $\lambda Q(\hat{x}_0, y)$ , der die Optimierung basierend auf der schrittweisen Vorschau des Modells auf das saubere Bild (Clean Image) in Richtung menschlicher Präferenzen (z. B. PickScore, HPS) lenkt.
Adaptiver Aktiver Satz (Adaptive Active Set): Das Framework verwendet einen schrittabhängigen aktiven Satz $A_t \subseteq \{c, z_t\}$ und ein Belohnungs-Gate $\lambda_t$ .
- Diffusionsmodelle (SD 1.5, SDXL): Das Framework verfeinert sowohl $c$ als auch $z_t$ gemeinsam, primlich im Hochrausch-Fenster, wodurch Konditionierung und latente Variablen einander während des Verlaufs der Trajektorie informieren können.
- Flow-Matching-Modelle (SD3.5): Aufgrund der deterministischen Natur der ODE und der hohen Kapazität der konnektierten Text-Encoder reduziert sich das Framework auf eine Latent-only-Variante (UG-FM). Hier kollabiert der aktive Satz zu $\{z_t\}$ , beschränkt auf das Daten-Seiten-Fenster (Niedrigrausch), da Konditionierungs-Updates als ineffektiv befunden wurden und Perturbationen auf der Rausch-Seite durch die ODE-Dynamik übermäßig verstärkt werden.
Optimierung: Das verfeinerte Paar $(c^\star_t, z^\star_t)$ wird durch eine geringe Anzahl gemeinsamer Aufstiegsschritte (typischerweise $K=2$ ) unter Verwendung von Gradienten der Energiefunktion ermittelt. Dieser Prozess ist mit bestehenden Methoden wie Classifier-Free Guidance (CFG) kompositionell vereinbar, da CFG das Vektorfeld modifiziert, während PG-MAP den Abfragepunkt unter einem fixen Vektorfeld bewegt.

Wesentliche Beiträge

Gemeinsames (c, $z_t$ ) MAP-Framework: Das erste Inferenz-Framework, das Konditionierung und latente Variablen durch den Forward-Kernel des Denoisers koppelt und gleichzeitig Kompositionsfehler (c-Seite) und Texturfehler (z-Seite) adressiert.
Vereinheitlichte Zielfunktion: Die Zielfunktion $J_t$ leitet analytisch bestehende Single-Axis-Methoden (MAP-c, Reward-z) als Spezialfälle ab, während CFG als kompositioneller externer Mechanismus bestehen bleibt und nicht als Spezialfall behandelt wird.
Schedule-Adaptive Optimierung: Einführung einer zeitabhängigen Vertrauensregion und eines aktiven Satzes, der sich an den Rauschplan anpasst, indem er die Beschränkungen bei hohem Rauschen lockert und sie nahe dem Ende der Daten-Trajektorie verschärft.
Transport-Abhängige Analyse: Zeigt auf, dass der optimale aktive Satz vom generativen Transport abhängt. Diffusion profitiert von der gemeinsamen Verfeinerung bei hohem Rauschen, während Flow-Matching von einer reinen Latent-Verfeinerung am Ende der Daten-Trajektorie profitiert – eine Hypothese, die durch lokale Perturbationsanalysen und empirische Validierung gestützt wird.

Ergebnisse

Diffusion-Backbones (SD 1.5, SDXL): PG-MAP verbessert die Alignment-Metriken konsistent. Bei SDXL erreicht es eine PickScore-Gewinnrate von 56,4 % und eine Aesthetic-Gewinnrate von 56,2 % gegenüber einer statischen Baseline. Die Kombination von PG-MAP mit getuntem CFG liefert die stärkste Gesamtleistung mit 64,6 % HPS und 56,5 % Aesthetic.
Flow-Matching-Backbone (SD3.5-medium): Die Latent-only-Variante (UG-FM) erzielt 91,9 % PickScore und 75,7 % HPS Gewinnraten gegenüber der statischen Baseline. Kontrollierte Experimente schließen rauschbedingte Artefakte aus und bestätigen, dass die Gewinne auf strukturierte, niederfrequente Latent-Perturbationen zurückzuführen sind.
Human Evaluation: Bei SDXL wird PG-MAP in paarweisen menschlichen Bewertungen gegenüber statischen Baselines, getuntem CFG und rechenvergleichbarem Universal Guidance bevorzugt (Gewinnraten von 60–67 %).
Oracle Routing: Eine Oracle-Analyse zeigt, dass unterschiedliche Prompt-Typen (z. B. Attribut-Bindung vs. atmosphärische Szenen) von unterschiedlichen Optimierungsvarianten profitieren. Ein Per-Prompt-Selektor könnte die Metriken theoretisch um weitere 5–14 Prozentpunkte verbessern, was auf erhebliches Potenzial für zukünftige Routing-Mechanismen hindeutet.

Bedeutung und Ansprüche
Das Paper behauptet, dass PG-MAP einen Wechsel von statischen, Single-Axis-Guidance-Heuristiken hin zu einer dynamischen, trajektorienbewussten Optimierung als Standarddesignprinzip für das Alignment während der Inferenz darstellt. Durch die Formulierung des Alignments als proximaler Energieoptimierung mit Forward-Consistency-Kopplung ermöglicht das Framework koordinierte Updates über Modalitäten hinweg, die sowohl mit Diffusion- als auch mit Flow-Matching-Transporten kompatibel sind. Die Autoren betonen, dass die „tragenden“ Bestandteile die gemeinsame Kopplung und das nicht-stationäre Scheduling sind, und nicht einfach nur größere Schrittweiten oder stärkere Belohnungssignale. Die Arbeit liefert eine vereinheitlichte theoretische und empirische Grundlage für das Verständnis der Interaktion zwischen Konditionierung und latenten Variablen während des Generierungsprozesses und bietet einen flexiblen, trainingsfreien Ansatz zur Verbesserung des Alignments generativer Modelle.