🤖 machine learning

PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models

Het artikel introduceert PG-MAP, een training-vrij framework dat de alignment tijdens de inferentie voor zowel diffusie- als flow-matchingmodellen verbetert door het proces te formuleren als een gezamenlijke Gibbs-MAP-optimalisatie over conditionerende en latente variabelen, waarmee het superieure prestaties bereikt over diverse metrieken en menselijke evaluaties vergeleken met bestaande single-axis methoden.

Oorspronkelijke auteurs: Ruolan Sun, Pawel Polak

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruolan Sun, Pawel Polak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die probeert een perfect gerecht te bereiden op basis van de bestelling van een klant. In de wereld van AI-beeldgeneratie is de "chef" een complex model (zoals Stable Diffusion), de "bestelling" is de tekstuele prompt (bijv. "een rode panda astronaut") en het "gerecht" is de uiteindelijke afbeelding.

Meestal, wanneer de chef een fout maakt, kun je het maar op één manier tegelijk oplossen:

De bestelling aanpassen: Je herschrijft de tekstuele prompt om specifieker te zijn (zoals tegen de chef zeggen: "Zorg ervoor dat de panda rood is").
De ingrediënten bijsturen: Je past het ruwe mengsel aan terwijl het aan het koken is om de textuur of belichting te verbeteren (zoals meer zout toevoegen of het vuur aanpassen).

Bestaande methoden dwingen je om tussen deze twee paden te kiezen. Als je de tekst aanpast, loop je het risico de textuur te verpesten. Als je de textuur aanpast, verlies je misschien de betekenis van de prompt.

PG-MAP is een nieuwe "super-chef assistent" die beide tegelijkertijd doet, dynamisch, terwijl het gerecht wordt bereid.

Het Kernidee: Een Dynamische Dans

Het paper introduceert PG-MAP (Preference-Guided Adaptive MAP). In plaats van aan het begin één beslissing te nemen of aan het einde één keer bij te sturen, behandelt PG-MAP het proces van beeldcreatie als een voortdurende reis.

Denk aan het generatieproces van een afbeelding als een lange, kronkelende roadtrip van een mistig startpunt (willekeurige ruis) naar een heldere bestemming (de uiteindelijke afbeelding).

Het Probleem: Op deze weg is de "mist" (ruis) dik aan het begin en klaart deze op aan het einde. Bestaande methoden proberen de auto te sturen met een statische kaart of een enkele aanpassing.
De PG-MAP Oplossing: PG-MAP werkt als een GPS die de route constant stap voor stap opnieuw berekent. Het kijkt naar de huidige staat van de afbeelding en stelt twee vragen tegelijkertijd:
1. "Komt de tekstuele beschrijving nog steeds overeen met wat we zien?" (Conditionering, of de c-zijde).
2. "Ziet de visuele kwaliteit er goed uit?" (Latente staat, of de z-zijde).

Het past zowel de "tekstuele beschrijving" als de "visuele ingrediënten" samen aan, zodat ze in harmonie werken in plaats van met elkaar te strijden.

Hoe het werkt: De "Forward-Consistency" Regel

Het paper gebruikt de chique term "forward-consistency coupling". Hier is een eenvoudige analogie:

Stel je voor dat je door een donker bos loopt (het generatieproces). Je hebt een zaklamp (het AI-model) die laat zien waar je op dit moment bent.

Oude methoden zouden zeggen: "Ik weet waar ik begon, dus ik blijf gewoon in een rechte lijn lopen," of "Ik pas mijn pad pas aan aan het einde."
PG-MAP zegt: "Laten we kijken waar de zaklamp op dit moment naar schijnt. Als het licht suggereert dat we van het pad afdwalen, zullen we onze richting (de tekst) en onze voetsteun (de beelddetails) tegelijkertijd voorzichtig bijsturen om weer op de juiste weg te komen."

Dit doet het door voor elke kleine stap van de reis een "score" (een beloning) te berekenen. Als de afbeelding lijkt op een "rode panda" maar de vact er wazig uitziet, verscherpt het de vacht. Als de vacht er geweldig uitziet maar het dier op een mens lijkt, past het de tekstuele embedding aan om de vorm van de panda weer af te dwingen.

Twee Verschillende Soorten Wegen

Het paper maakt een fascinerende ontdekking: de beste manier van rijden hangt af van het type weg waarop je je bevindt.

Diffusion Modellen (De hobbelige, mistige weg): Op oudere modellen (zoals SD 1.5 of SDXL) is de weg vol ruis. PG-MAP werkt hier het best door zowel de tekst als de beelddetails aan het begin van het proces aan te passen, wanneer de mist dik is.
Flow-Matching Modellen (De gladde, rechte snelweg): Op nieuwere, snellere modellen (zoals SD3.5) is de weg veel gladder. Hier realiseert PG-MAP zich dat het aanpassen van de tekst overbodig is (de weg is te stabiel). In plaats daarvan richt het zich volledig op het verfijnen van de beelddetails aan het einde van de rit.

Deze aanpasbaarheid is uniek; de meeste andere tools proberen voor beide soorten wegen dezelfde strategie te gebruiken.

De Resultaten: Betere Afbeeldingen, Minder Gokwerk

De auteurs hebben dit getest op duizenden prompts.

Visuele Kwaliteit: De afbeeldingen waren scherper, hadden een betere belichting en meer nauwkeurige details (zoals de grip van een zwaard of de textuur van een veer).
Prompt Nauwkeurigheid: De afbeeldingen kwamen beter overeen met de tekstuele beschrijvingen (bijv. de "rode panda" zag er daadwerkelijk uit als een panda, en niet als een mens).
Menselijke Voorkeur: Wanneer echte mensen werden gevraagd om te kiezen tussen de oude methode en PG-MAP, kozen ze ongeveer 60% tot 67% van de tijd voor PG-MAP.

Het "Oracle" Geheim

Het paper heeft ook een "wat als"-experiment uitgevoerd. Ze vroegen zich af: "Als we magisch zouden weten wat de perfecte manier is om elke specifieke prompt te corrigeren, hoeveel beter zouden we dan kunnen worden?"
Ze ontdekten dat verschillende soorten prompts verschillende correcties nodig hebben.

Korte, specifieke prompts (zoals "een rode kubus") hebben meer hulp nodig bij de tekst.
Sfeervolle prompts (zoals "een zonsondergang boven de oceaan") hebben meer hulp nodig bij de visuele textuur.

PG-MAP is één enkel hulpmiddel dat beide afhandelt, maar het paper suggereert dat in de toekomst een slimme "verkeersregelaar" automatisch de beste instelling voor elke specifieke aanvraag kan kiezen, wat de afbeeldingen potentieel nog beter zou maken.

Samenvatting

PG-MAP is een training-vrije tool die AI-beeldgeneratoren slimmer maakt door ze zowel de betekenis van de prompt als het uiterlijk van de afbeelding te laten aanpassen, simultaan en stap voor stap, terwijl de afbeelding wordt gecreëerd. Het past zijn strategie aan op basis van het type AI-model dat het gebruikt, wat resulteert in afbeeldingen die zowel nauwkeuriger zijn aan de tekst als mooier om naar te kijken.

Technische Samenvatting: PG-MAP: Gezamenlijke MAP-optimalisatie voor Inference-Time Alignment van Diffusion en Flow-Matching Modellen

Probleemstelling
Huidige methoden voor alignment tijdens de inference-fase van vooraf getrainde tekst-naar-beeldmodellen (Diffusion en Flow-Matching) opereren doorgaans langs een enkele controle-as. Methoden aan de conditie-zijde (bijv. attention editing, prompt embedding learning) modificeren de tekst-embedding $c$ , terwijl methoden aan de latent-zijde (bijv. reward-gestuurde latent-perturbaties) de latent-toestand $z_t$ modificeren. Bestaande frameworks falen in het modelleren van de gezamenlijke afhankelijkheden tussen conditie- en latent-variabelen, waarbij updates als additief in plaats van gecoördineerd worden behandeld. Bovendien zijn deze methoden vaak statisch; ze fixeren controle-strategieën aan het begin van de trajectorie ( $z_T$ ) of offline, waardoor de dynamische informatiebehoeften van de denoiser gedurende het evolueren van het traject (van hoge ruis/globale lay-out naar lage ruis/lokale details) worden genegeerd. Deze beperking belemmert de transfer van alignment-technieken naar verschillende generatieve transports (Diffusion vs. Flow-Matching).

Methodologie: PG-MAP
De auteurs stellen PG-MAP voor (Preference-Guided Adaptive MAP), een training-vrij framework dat alignment tijdens de inference-fase formuleert als een traject-niveau Gibbs-MAP / proximale energie-optimalisatie. De kerninnovatie is een forward-consistency coupling die de conditie $c$ en de latent-toestand $z_t$ gezamenlijk optimaliseert bij elke denoising-stap.

Doelfunctie: Het framework definieert een stap-afhankelijke energiefunctie $J_t(c, z_t)$ bestaande uit drie componenten:
1. Forward-Consistency Residual: Een term $\ell_t(c, z_t)$ die de afwijking bestraft tussen de huidige latent $z_t$ en de eigen voorspelling van het model van de vorige toestand, om te garanderen dat het traject consistent blijft met de forward kernel van de denoiser.
2. Gaussian Anchoring Priors: Termen $R_c(c)$ en $R_z(z_t)$ die de geoptimaliseerde variabelen verankeren aan hun onverstoorde waarden ( $c_0$ en het DDIM-trajectpunt $z^{ddim}_t$ ). Cruciaal is dat de latent prior-schaal $\sigma_z(t)$ schaal-adaptief is, waarbij deze de marginale ruis-schaal van het diffusieproces volgt ( $\sigma_z(t) = \gamma\sqrt{1-\bar{\alpha}_t}$ ) om een schaal-invariante trust region te bieden die nauwer wordt naarmate het traject de data-manifold nadert.
3. Preference Reward Tilt: Een term $\lambda Q(\hat{x}_0, y)$ die de optimalisatie stuurt richting menselijke voorkeur (bijv. PickScore, HPS) op basis van de per-stap preview van het model van het schone beeld.
Adaptieve Actieve Set: Het framework maakt gebruik van een stap-afhankelijke actieve set $A_t \subseteq \{c, z_t\}$ en een reward gate $\lambda_t$ .
- Diffusion Modellen (SD 1.5, SDXL): Het framework verfijnt zowel $c$ als $z_t$ gezamenlijk, primair in het hoog-ruis venster, waardoor de conditie en de latent-variabelen elkaar kunnen informeren terwijl het traject ontvouwt.
- Flow-Matching Modellen (SD3.5): Vanwege de deterministische aard van de ODE en de hoge capaciteit van de geconcateneerde tekstencoders, reduceert het framework tot een latent-alleen variant (UG-FM). Hierbij convergeert de actieve set naar $\{z_t\}$ , beperkt tot het data-zijde venster (lage ruis), aangezien updates aan de conditie-zijde ineffectief bleken en ruis-zijde perturbaties te sterk worden versterkt door de ODE-dynamiek.
Optimalisatie: Het verfijnde paar $(c^\star_t, z^\star_t)$ wordt verkregen via een klein aantal gezamenlijke ascent-stappen (doorgaans $K=2$ ) met behulp van gradiënten afgeleid van de energiefunctie. Dit proces is composabel met bestaande methoden zoals Classifier-Free Guidance (CFG), waarbij CFG de vectorveld wijzigt terwijl PG-MAP het query-punt onder een vast vectorveld verplaatst.

Belangrijkste Bijdragen

Gezamenlijk (c, $z_t$ ) MAP Framework: Het eerste inference-time framework dat conditie- en latent-variabelen koppelt via de forward kernel van de denoiser, waarmee simultaan fouten in compositie (c-zijde) en textuur (z-zijde) worden aangepakt.
Verenigd Doel: Het doel $J_t$ herleidt analytisch eerdere single-axis methoden (MAP-c, Reward-z) tot speciale gevallen, terwijl CFG een composabel extern mechanisme blijft in plaats van een special case.
Schedule-Adaptive Optimalisatie: Introduceert een tijd-afhankelijke trust region en een actieve set die zich aanpast aan de ruis-schaal, waarbij de restricties versoepelen bij hoge ruis en strenger worden nabij het einde van de data.
Transport-Afhankelijke Analyse: Demonstreert dat de optimale actieve set afhankelijk is van de generatieve transport. Diffusion profiteert van gezamenlijke verfijning bij hoge ruis, terwijl Flow-Matching profiteert van latent-alleen verfijning aan de data-zijde, een hypothese die wordt ondersteund door lokale perturbatie-analyse en empirische validatie.

Resultaten

Diffusion Backbones (SD 1.5, SDXL): PG-MAP verbetert de alignment metrics consistent. Op SDXL bereikt het een 56,4% PickScore win rate en een 56,2% Aesthetic win rate tegenover een statische baseline. Het combineren van PG-MAP met getunede CFG levert de sterkste algehele prestaties op, met 64,6% HPS en 56,5% Aesthetic.
Flow-Matching Backbone (SD3.5-medium): De latent-alleen variant (UG-FM) bereikt een 91,9% PickScore en 75,7% HPS win rate tegenover de statische baseline. Gecontroleerde experimenten sluiten ruis-gerelateerde artefacten uit, wat bevestigt dat de winst toe te schrijven is aan gestructureerde, laag-frequente latent-perturbaties.
Menselijke Evaluatie: Op SDXL wordt PG-MAP verkozen boven statische baselines, getunede CFG en rekenkracht-gematchte Universal Guidance in pairwise menselijke evaluaties (60–67% win rates).
Oracle Routing: Een oracle-analyse onthult dat verschillende prompt-typen (bijv. attribute-binding versus atmosferische scènes) profiteren van verschillende optimalisatie-varianten. Een per-prompt selector zou de metrics theoretisch met nog eens 5–14 procentpunten kunnen verbeteren, wat duidt op aanzienlijke ruimte voor toekomstige routing-mechanismen.

Betekenis en Claims
Het paper claimt dat PG-MAP een verschuiving vertegenwoordigt van statische, single-axis guidance heuristieken naar dynamische, traject-bewuste optimalisatie als standaardontwerpprincipe voor alignment tijdens de inference-fase. Door alignment te formuleren als een proximale energie-optimalisatie met forward-consistency coupling, stelt het framework gecoördineerde updates over modaliteiten mogelijk die compatibel zijn met zowel diffusion als flow-matching transports. De auteurs benadrukken dat de "essentiële" ingrediënten de gezamenlijke koppeling en de niet-stationaire scheduling zijn, in plaats van simpelweg grotere stapgroottes of sterkere reward-signalen. Het werk biedt een verenigde theoretische en empirische fundering voor het begrijpen van hoe conditie- en latent-variabelen interageren tijdens het generatieproces, en biedt een flexibele, training-vrije aanpak om de alignment van generatieve modellen te verbeteren.