📊 statistics

Simple Approximation and Derivative Free Inference-Time Scaling for Diffusion Models via Sequential Monte Carlo on Path Measures

Dit artikel introduceert \texttt{URGE}, een afgeleidevrij algoritme voor schaling tijdens de inferentie voor diffusiemodellen dat gebruikmaakt van Girsanov-gebaseerde herweging van paden en sequentiële hersampling om onbevooroordeelde, hoogwaardige generatie te bereiken zonder dat score- of gradiëntevaluaties nodig zijn.

Oorspronkelijke auteurs: Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een meesterwerk te schilderen, maar je hebt slechts een ruwe schets van hoe het eindbeeld eruit moet zien. Zo werken moderne AI-afbeeldingsgeneratoren (zogenaamde Diffusiemodellen): ze beginnen met willekeurige ruis en "denoizen" dit langzaam tot een afbeelding.

Meestal moet je, als je wilt dat de AI specifieke instructies volgt (zoals "maak het realistischer" of "corrigeer de belichting"), het schildersproces aanpassen terwijl het gaande is. Dit heet inference-time scaling.

Bestaande methoden om het proces aan te passen, lijken echter op het proberen een schip te sturen door voortdurend een complexe kaart te raadplegen en elke seconde de windsnelheid te berekenen. Ze vereisen zware wiskunde (gradienten en afgeleiden), zijn rekenkundig duur en introduceren vaak fouten omdat ze slechts benaderingen zijn.

Het artikel introduceert een nieuwe methode genaamd URGE (Unbiased Resampling via Girsanov Estimation). Hier is hoe het werkt, met eenvoudige analogieën:

Het Probleem: De "Naïeve Gids"

Stel je voor dat je een groep van 100 wandelaars (deeltjes) door een bos leidt om een verborgen schat te vinden (het perfecte beeld).

Het Doel: Je wilt dat ze precies op de plek van de schat eindigen.
De Oude Manier (Leidinggeven): Je geeft ze een kompas dat ruwweg naar de schat wijst. Maar het kompas is niet perfect; het heeft een lichte fout. Als je gewoon dit kompas volgt, zal de groep de koers verlaten.
De Oude Correctie: Eerdere methoden probeerden dit te verhelpen door elke paar stappen te stoppen, de exacte wiskundige helling van het terrein te controleren en de wandelaars te vertellen hoe ze zich moesten aanpassen. Dit vereist een gedetailleerde kaart (afgeleiden) die moeilijk te verkrijgen is en lang leest.

De URGE-oplossing: De "Hersteekwandeling"

URGE verandert de strategie volledig. In plaats van te proberen de helling voor elke wandelaar perfect te berekenen, gebruikt het een loterijstelsel gebaseerd op hoe goed ze presteren.

Stuur Iedereen Op Weg: Je stuurt alle 100 wandelaars tegelijkertijd op weg, volgend op hetzelfde licht imperfecte kompas (het geleide pad).
De "Scorekaart" (Herverdeling): In plaats van de terreinkaart te controleren, kijk je simpelweg naar de uiteindelijke posities van de wandelaars ten opzichte van de schat.
- Als een wandelaar dicht bij de schat is, krijgt hij een hoge score.
- Als een wandelaar ver weg is, krijgt hij een lage score.
- Cruciaal: Je hoeft niet te weten waarom ze daar zijn of wat de helling van de grond is. Je kijkt gewoon naar het resultaat.
De "Hersteek" (De Loterij):
- Je verzamelt de wandelaars.
- Je vraagt de hoogscorende wandelaars om zichzelf te klonen (kopieën maken van de beste paden).
- Je vraagt de laagscorende wandelaars om naar huis te gaan (de slechte paden verwerpen).
- Nu heb je een nieuwe groep van 100 wandelaars, waarvan allemaal paden volgen die statistisch veel dichter bij de schat liggen.
Herhalen: Je doet dit keer op keer gedurende de hele reis, niet alleen aan het einde.

Waarom is dit bijzonder?

Geen Calculus Vereist: De oude methoden moesten de "helling" (afgeleiden) van de beloningsfunctie kennen. URGE geeft niets om de helling; het geeft alleen om het eindresultaat. Dit betekent dat het kan werken met "black box"-beloningen (zoals een menselijke voorkeursscore of een complex neuronaal netwerk) waarbij je de wiskunde achter de score niet kunt berekenen.
Geen Benaderingen: Het artikel beweert dat deze methode "vrij van benaderingen" is. In onze analogie betekent dit dat het loterijstelsel wiskundig garandeert dat als je de beste paden blijft klonen, de groep uiteindelijk precies op de plek van de schat zal eindigen, zonder de afwijking veroorzaakt door het imperfecte kompas.
Pad versus Deeltje: Eerdere methoden keken naar individuele wandelaars (deeltjes) en probeerden ze een duwtje in de rug te geven. URGE kijkt naar de hele reis (het pad) van elke wandelaar. Het is alsof je een hardloper niet alleen beoordeelt op waar hij op de finishlijn staat, maar op de kwaliteit van de hele race die hij heeft gelopen.

De Resultaten

De auteurs testten URGE op:

Synthetische Wiskundige Problemen: Waar ze het exacte antwoord kenden. URGE kwam dichter bij de waarheid dan welke andere methode dan ook.
Afbeeldingsherstel: Het repareren van wazige of beschadigde foto's. URGE produceerde helderdere afbeeldingen dan eerdere methoden, zelfs zonder complexe wiskundige berekeningen.
Tekst-naar-Afbeelding Generatie: Het creëren van afbeeldingen uit tekstprompts. URGE creëerde afbeeldingen die beter overeenkwamen met de tekstbeschrijvingen en er esthetisch aantrekkelijker uitzagen, zelfs bij gebruik van een kleiner, minder krachtig AI-model.

Kortom: URGE is een slimmere, eenvoudigere manier om AI-afbeeldingsgeneratoren te sturen. In plaats van zware wiskunde te doen om het schip te sturen, houdt het simpelweg de beste zeelieden en verwerpt de rest, zodat de eindbestemming met hoge precisie wordt bereikt zonder een gedetailleerde kaart van de oceaan nodig te hebben.

Technische Samenvatting: URGE – Eenvoudige Benadering en Afgeleide-Vrije Inference-Time Scaling voor Diffusiemodellen via Sequential Monte Carlo op Padmaten

1. Probleemstelling

Moderne diffusiemodellen en op stroming gebaseerde generatieve methoden worden doorgaans getraind om de dataverdeling $p_{\text{data}}$ te vangen. Voor implementatie is het echter vaak nodig om de generatie te sturen naar specifieke downstream-doelen (bijvoorbeeld fysieke geldigheid, tekst-afbeelding-uitlijning) zonder hertraining. Dit wordt geformaliseerd als het stalen trekken uit een belonings-gekipte posterior $q(x) \propto p_{\text{data}}(x)r(x)$ .

Huidige inference-time scaling-methoden, met name guidance, proberen dit te bereiken door de drift van de steekproef-SDE te wijzigen met een gradiëntterm die is afgeleid van een guidance-potentiaal $G$ . Hoewel dit empirisch effectief is, introduceert guidance een fundamentele wiskundige beperking: het garandeert geen steekproef uit de exacte gekipte verdeling $q(x)$ . Exacte steekproeftrekking vereist de Doob's $h$ -transformatie, wat het oplossen van een achterwaartse Kolmogorov-vergelijking impliceert en vaak onuitvoerbaar is in hoge dimensies.

Bestaande alternatieven, zoals FK-Corrector en AFDPS, proberen de bias van geleide generatie te corrigeren met Sequential Monte Carlo (SMC) door deeltjes te herschalen. Deze methoden vertrouwen echter op infinitesimale generatoren die toegang vereisen tot hogere-orde afgeleiden van de beloningsfunctie (specifiek de score $\nabla \log p_t$ , de Laplaciaan $\Delta r$ , en de Hessiaan van de guidance). Deze vereisten brengen aanzienlijke rekenkundige overhead met zich mee en maken deze methoden ontoepasbaar voor black-box beloningsmodellen (bijvoorbeeld neurale beloningsmodellen die worden gebruikt in tekst-naar-afbeelding-generatie) waar afgeleiden niet beschikbaar of duur zijn.

De kernuitdaging die door dit werk wordt aangepakt is: Kunnen we een benaderingsvrije inference-time scaling-procedure ontwerpen die de bias van suboptimale guidance elimineert zonder afgeleide-informatie van de beloning te vereisen?

2. Methodologie: URGE

De auteurs stellen URGE (Unbiased Resampling via Girsanov Estimation) voor, een afgeleide-vrij inference-time scaling-algoritme dat hersampling uitvoert over generatietrajecten (padruimte) in plaats van individuele gegenereerde samples (deeltjesruimte).

Kernmechanisme

URGE maakt gebruik van de Girsanov-stelling om een maatverandering uit te voeren op de padruimte van het diffusieproces.

Geleide Generatie: Meerdere trajecten $\{X^{(i),G}_t\}$ worden gesimuleerd met een geleide SDE met een willekeurige guidance-potentiaal $G$ (die imperfect kan zijn).
$dX^G_t = (v(X^G_t, t) + V(t)^2 \nabla_x G(X^G_t, t))dt + V(t)dW_t$
Padgewijs Herschalen: In plaats van gewichten te berekenen op basis van infinitesimale generatoren (die afgeleiden vereisen), kiest URGE een multiplicatief gewicht toe aan elk volledig traject op basis van de Radon-Nikodym-afgeleide tussen de doel-belonings-gekipte padmaat $Q$ en de geleide padmaat $P_G$ .
Het belangsgewicht voor een traject over $[s, t]$ is:
$w^{\text{URGE}}_{s,t} = \exp\left( \int_s^t -V(\tau)\nabla_x G(X^G_\tau, \tau)^\top dW_\tau - \frac{1}{2}\int_s^t V(\tau)^2 \|\nabla_x G(X^G_\tau, \tau)\|^2 d\tau + \int_s^t dr(X^G_\tau, \tau) \right)$
Cruciaal is dat deze formulering geen $\nabla r$ , $\Delta r$ , of $\nabla \log p_t$ vereist. Het vereist alleen de beloningsfunctie $r$ en de guidance $G$ .
Hersampling: Op discrete tijdstappen worden deeltjes hersampled evenredig aan hun padgewichten. Dit implementeert een "geboorte-sterfte"-mechanisme waarbij trajecten met hoge beloning worden gekopieerd en die met lage beloning worden geëlimineerd, waardoor de empirische verdeling naar de ware posterior $q$ wordt gedreven.

Theoretische Equivalentie

Het artikel vestigt een theoretische equivalentie tussen hersampling in padruimte (URGE) en hersampling in deeltjesruimte (FK-Corrector/AFDPS).

De auteurs bewijzen dat de gemarginaliseerde generator van het URGE-padruimte-proces, wanneer geconditioneerd op de terminale toestand, de exacte infinitesimale herschalingsterm herstelt die wordt gebruikt door FK-Corrector en AFDPS.
Dit bevestigt dat URGE benaderingsvrij is: het convergeert naar dezelfde doelverdeling als de theoretisch optimale (maar afgeleide-zware) deeltjesruimtemethoden, maar bereikt dit door de gewichtsconstructie te tillen naar de padruimte, waardoor de noodzaak voor expliciete afgeleideberekeningen wordt omzeild.

3. Belangrijkste Bijdragen

Nieuw Mixture-of-Experts-kader: De auteurs introduceren een methode die SMC integreert met generatieve processen door hersampling over trajecten in plaats van samples. Dit maakt flexibele gewichtsconstructie mogelijk via Girsanov-maatverandering zonder beloningsafgeleiden te vereisen.
Implementatie zonder Afgeleiden: URGE elimineert de noodzaak voor scorefuncties, Hessiaanse of Laplaciaanse van de beloning. Dit maakt het toepasbaar op black-box beloningsmodellen (bijvoorbeeld CLIP, ImageReward, DPO-getuned modellen) waar gradiënten ontoegankelijk zijn.
Theoretische Equivalentie: Het artikel bewijst dat URGE's padgewijze herschaling, wanneer gemarginaliseerd, exact de wegingsstructuur van state-of-the-art afgeleide-gebaseerde methoden (FK-Corrector/AFDPS) herstelt, en garandeert dat beide schema's dezelfde benaderingsvrije terminale wet produceren.
Empirische Superieure Prestaties: URGE presteert consequent beter dan bestaande baselines (inclusief FK-Steering en AFDPS-varianten) op synthetische en real-world taken, terwijl het aanzienlijk eenvoudiger te implementeren is en volledig gradiënt-vrij.

4. Experimentele Resultaten

De auteurs evalueren URGE op drie benchmarks:

Gaussian Mixture Model (Synthetisch):
- URGE bereikt de laagste fout op alle metrieken (MMD, SWD, Mean L2, Covariance Frob) in vergelijking met Pure Guidance, AFDPS en FK-Steering.
- Het demonstreert superieure convergentie-efficiëntie en bereikt betere resultaten met minder deeltjes dan baselines.
- URGE blijft robuust over variërende dimensies en discretisatiestappen, en toont minder gevoeligheid voor stapgrootte dan concurrerende methoden.
Inverse Problemen (Afbeeldingsherstel):
- Getest op Gaussian Deblurring, Motion Deblurring, Super Resolution en Box Inpainting met ImageNet-256 en FFHQ-256.
- URGE bereikt prestaties vergelijkbaar met AFDPS (dat afgeleiden vereist) en presteert aanzienlijk beter dan andere baselines in PSNR en LPIPS.
- URGE demonstreert betere computationele schaalbaarheid en bereikt kortere inference-tijden dan AFDPS-ODE terwijl het hoge reconstructiekwaliteit behoudt.
Tekst-naar-Afbeelding Generatie:
- Getest op Stable Diffusion v1.5 en SDXL met DPO-getuned varianten.
- URGE presteert beter dan FK-Steering en het basismodel op esthetische kwaliteit (ImageReward, HPS) en prompt-trouw (GenEval, CLIP-Score).
- Opmerkelijk is dat URGE een kleiner model (SD v1.5) in staat stelt om de prestaties van een groter model (SDXL) te evenaren of te benaderen bij gebruik van deeltjesscaling, terwijl FK-Steering afnemende meeropbrengsten vertoont.
- URGE vertoont monotoon beloningsverbetering met toenemend aantal deeltjes, in tegenstelling tot FK-Steering.

5. Betekenis en Claims

Het artikel claimt dat URGE een training-vrij, benaderingsvrij ensemble-gebaseerd posterior-steekproefkader biedt. De primaire betekenis ligt in het verenigen van op pad gebaseerde en op staat gebaseerde wegingstrategieën. Door het hersamplingmechanisme te tillen van deeltjesruimte naar padruimte, doet URGE het volgende:

Verwijdert de afgeleide-flesnek: Het maakt het gebruik van complexe, black-box beloningsmodellen in diffusieguidance mogelijk zonder de rekenkosten van het berekenen van hogere-orde afgeleiden.
Zorgt voor theoretische correctheid: Het garandeert convergentie naar de ware belonings-gekipte posterior en corrigeert de inherente bias van standaard guidance-methoden.
Biedt praktische efficiëntie: Het bereikt state-of-the-art generatiekwaliteit met eenvoudigere implementatie en concurrerende computationele overhead, waardoor het geschikt is voor grootschalige, real-world generatieve taken.

De auteurs benadrukken dat hoewel eerdere werken (FK-Corrector, AFDPS) theoretische inzichten boden in het corrigeren van guidance, ze beperkt waren door hun afhankelijkheid van afgeleide-informatie. URGE overbrugt deze kloof en biedt een praktische, afgeleide-vrije oplossing die de theoretische garanties van benaderingsvrije steekproeftrekking behoudt.