🤖 machine learning

Predict-Project-Renoise: Sampling Diffusion Models under Hard Constraints

Dit artikel introduceert het Predict-Project-Renoise (PPR)-algoritme, dat voorgeöefende diffusiemodellen in staat stelt om te bemonsteren uit verdelingen die aan harde fysische beperkingen voldoen—zoals behoudswetten en randvoorwaarden—door iteratief te projecteren via de denoiser en opnieuw te ruisen, waardoor zowel lage schendingen van beperkingen als hoge distributiegetrouwheid worden bereikt in complexe wetenschappelijke toepassingen zoals weersvoorspelling.

Oorspronkelijke auteurs: Omer Rochman-Sharabi, Gilles Louppe

Gepubliceerd 2026-05-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Omer Rochman-Sharabi, Gilles Louppe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Perfecte" Kunstenaar versus de "Strenge" Architect

Stel je voor dat je een briljante, wereldberoemde kunstenaar (een Diffusiemodel) hebt die ongelooflijk realistische landschappen kan schilderen. Je vraagt hen om een bos te schilderen, en ze doen een fantastische job. De bomen zien er echt uit, het licht is perfect en de kleuren zijn levendig.

Echter, jij bent ook een architect met een streng regelboek. Je vertelt de kunstenaar: "Je schilderij moet een bos zijn, maar het moet ook de Wet van de Zwaartekracht gehoorzamen. Geen zwevende bomen. Ook moet de rivier precies daar stromen waar de landmeter zegt dat hij stroomt. Als dat niet zo is, is het schilderij waardeloos."

De kunstenaar is geweldig in het realistisch maken van dingen, maar volgt niet van nature je strenge wiskundige regels. Als je ze gewoon vraagt om " harder te proberen", schilderen ze misschien een boom die er echt uitziet maar in de lucht zweeft, of een rivier die bergopwaarts stroomt.

In de wetenschappelijke wereld (zoals weersvoorspelling of stromingsleer) hebben we AI nodig die data genereert die zowel realistisch is (eruitziet als echte data) als strikt de natuurwetten gehoorzaamt (zoals behoud van energie of randvoorwaarden). Bestaande methoden falen vaak in het een of het ander:

Ze maken het er realistisch uit, maar breken de natuurwetten.
Ze dwingen de wetten af, maar het resultaat ziet eruit als een glitchy, gebroken puinhoop.

De Oplossing: Het "Predict-Project-Renoise" (PPR) Algorithm

De auteurs van dit paper hebben een nieuwe drie-staps dans bedacht genaamd Predict-Project-Renoise (PPR) om dit op te lossen. Denk er als een manier om de kunstenaar te leiden zonder hun stijl te verpesten.

Hier is hoe de drie stappen werken, met de analogie van een Beeldhouwer en een Kleibal:

1. Predict (Het Instinct van de Kunstenaar)

Eerst neemt de AI een ruwe, wazige bal klei en gebruikt haar training om te raden hoe het uiteindelijke beeld eruit zou moeten zien. Het "voorspelt" de vorm.

In het paper: Het model neemt een ruw beeld en gebruikt zijn "denoiser" om het schone beeld te raden.
Het probleem: Deze gok is meestal mooi, maar schendt waarschijnlijk je strenge regels (bijvoorbeeld: het beeld zweeft).

2. Project (De Correctie van de Architect)

Vervolgens neem je die mooie gok en dwing je deze om aan de regels te voldoen. Je duwt de klei naar beneden zodat hij stevig op de tafel zit, of je hakkt de zwevende delen weg.

In het paper: Dit is de "Project"-stap. Het algoritme duwt het beeld wiskundig naar de set van geldige oplossingen.
De Vangst: Als je de klei gewoon in de juiste vorm dwingt, kun je hem zo hard platdrukken dat hij zijn artistieke schoonheid verliest. Het kan een platte, rare bult worden die technisch gezien aan de regels voldoet, maar eruitziet als iets anders dan een echt beeld. Hierin falen de meeste andere methoden.

3. Renoise (De Magische Reset)

Dit is het geheim van het paper. Nadat je de klei in de juiste vorm hebt gedwongen, laat je het niet zomaar staan. Je schudt de tafel zachtjes en voegt een beetje "ruis" (toeval) terug toe aan de klei.

Waarom? Dit laat de klei "ontspannen" en een nieuwe vorm vinden die zowel op de tafel ligt (de regels volgt) als er nog steeds uitziet als een beeld (de training van de kunstenaar volgt).
De Lus: Je herhaalt deze cyclus (Predict -> Project -> Renoise) vele malen. Elke keer komt het beeld dichter bij perfectie: het volgt de regels, maar het ziet er nog steeds uit als een meesterwerk.

Waarom Dit Beter Werkt dan Anderen

Het paper betoogt dat eerdere methoden probeerden stappen over te slaan of ze in de verkeerde volgorde deden.

De "Direct Push" Fout: Sommige methoden duwen het uiteindelijke beeld gewoon naar de regels toe. Dit is als proberen een vierkante pen in een rond gat te duwen. Het resultaat is vaak een gebroken, gekartelde puinhoop die er niet meer uitziet als echte data.
Het "PPR" Voordeel: Door "Projecten via de denoiser", controleert het algoritme de regels terwijl de AI nog bezig is met het bedenken van het beeld. Het is alsof je de beeldhouwer vraagt: "Zweeft dit deel?" terwijl ze nog steeds de klei vormgeeft, in plaats van te wachten tot de klei droog en hard is.
De "Renoise" Noodzaak: Het paper bewijst dat als je de ruis niet terug toevoegt (Renoise), het proces vastloopt. Het is als proberen de perfecte plek op een kaart te vinden door alleen vooruit te bewegen; je moet in staat zijn om heen en weer te wiebelen om de exacte juiste plek te vinden.

De Resultaten: Wereldwijde Tests

De auteurs hebben deze methode getest op drie zeer verschillende uitdagingen:

2D Vormen (DATA2D): Eenvoudige 2D patronen. Ze toonden aan dat PPR vormen kon creëren die perfect pasten bij strenge wiskundige krommen, terwijl ze er nog steeds uitzagen als de originele patronen.
Stromingsleer (Kuramoto-Sivashinsky): Dit is een complexe vergelijking die beschrijft hoe vloeistoffen bewegen en draaien. PPR genereerde vloeistofsimulaties die niet alleen er goed uitzagen; ze gehoorzaamden daadwerkelijk aan de natuurkundige vergelijkingen zonder "glitches" te creëren (zoals plotselinge, onmogelijke sprongen in het water).
Wereldweer (Appa): Ze gebruikten een enorm weermodel (108 miljoen variabelen!). Ze vroegen de AI om het weer voor een specifieke dag te voorspellen op basis van waarnemingen.
- Het Resultaat: PPR produceerde weersvoorspellingen die veel nauwkeuriger waren en beter de natuurwetten van de atmosfeer volgden dan welke andere methode dan ook. Andere methoden produceerden weerkaarten die ofwel fysiek onmogelijk waren, of gewoon verkeerd.

De Conclusie

Het paper beweert dat Predict-Project-Renoise de eerste methode is die een AI succesvol leert een "regelvolger" te zijn zonder haar om te toveren in een "robot" die haar creativiteit verliest.

Predict: Laat de AI raden.
Project: Corrigeer de gok zachtjes om aan de regels te voldoen.
Renoise: Voeg een beetje chaos terug toe zodat de AI de beste versie van de regel-volgende gok kan vinden.

Door dit herhaaldelijk te doen, leert de AI data te genereren die 100% compliant is met strenge wetenschappelijke wetten terwijl het er nog steeds 100% realistisch uitziet.

Technische Samenvatting: Predict-Project-Renoise (PPR)

Probleemstelling

Diffusiemodellen hebben zich gevestigd als state-of-the-art frameworks voor diepe generatieve modellering, waarbij ze effectief hoge-dimensionale data-distributies $p(x)$ benaderen. Echter, in wetenschappelijke en technische domeinen zoals stromingsdynamica, medische beeldvorming en klimaatmodellering is het genereren van steekproeven die de distributie $p$ slechts benaderen onvoldoende. Deze toepassingen vereisen dat steekproeven $x$ voldoen aan harde constraints $x \in C$ , zoals exacte behoudswetten, randvoorwaarden, consistentie met waarnemingen of nul-divergentie in incompressibele stromingen.

Bestaande benaderingen voor steekproefneming onder constraints lopen tegen aanzienlijke beperkingen aan:

Op training gebaseerde methoden missen vaak flexibiliteit, vereisen herberekening voor verschillende constraints en dwingen constraints doorgaans slechts zacht af.
Bayesiaanse decompositiemethoden (waarbij constraints worden behandeld als ruisige waarnemingen) zijn ongeschikt voor harde constraints omdat de impliciete waarschijnlijkheid naar een Dirac-delta nadert. Dit zorgt ervoor dat gradiënten instabiel worden en alleen informatief zijn in de directe omgeving van de haalbare set.
Op projectie gebaseerde methoden kunnen haalbaarheid expliciet afdwingen, maar lijden onder theoretische en praktische valkuilen. Ze falen vaak om de ware geconstraineerde distributie te bemonsteren, wat leidt tot drie specifieke mislukkingen: (i) schendingen van constraints, (ii) incorrecte geconstraineerde distributies en (iii) steekproeven die buiten de steun $S$ van de oorspronkelijke data-distributie liggen (bijvoorbeeld het introduceren van discontinuïteiten in continue data). Bovendien is directe projectie van ruisige toestanden vaak slecht gesteld, en herhaalde projectiestappen kunnen de steekproefnemer systematisch bevooroordelen, wat leidt tot mode-collapse.

Methodologie: Predict-Project-Renoise (PPR)

De auteurs stellen dat correcte steekproefneming onder constraints vereist dat de geconstraineerde marginale distributies $p^C_t$ worden benaderd, die worden geïnduceerd door een voorwaartse diffusie Stochastische Differentiaalvergelijking (SDE) die start vanuit de geconstraineerde set $C$ .

Theoretische Grondslag

Het artikel definieert een geconstraineerd voorwaarts proces waarbij de initiële toestand $x_0$ wordt getrokken uit $p^C(x_0) \propto p(x_0)\mathbb{1}_C(x_0)$ . Dit induceert een reeks geconstraineerde marginale verdelingen $\{p^C_t\}$ . Het corresponderende achterwaartse proces omvat een geconstraineerde scorefunctie:
$\nabla_{x_t} \log p^C_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log P(x_0 \in C | x_t)$
De tweede term vertegenwoordigt de gradiënt van de log-haalbaarheid, die wijst naar gebieden waar de schone steekproef $x_0$ waarschijnlijk haalbaar is.

Het PPR-algoritme

Om te bemonsteren uit deze geconstraineerde marginale verdelingen zonder herberekening, identificeren de auteurs een correctorkern $K_t$ waarvan de unieke stationaire distributie $p^C_t$ is. Aangezien bemonsteren uit de exacte geconstraineerde posterior onberekenbaar is, benaderen ze deze kern met een iteratief proces van drie stappen bij elke omgekeerde diffusiestap:

Predict: Gebruik een standaard predictor (bijv. DDIM) om te bewegen van $x_{t+1}$ naar $x_t$ .
Project: In plaats van de ruisige toestand $x_t$ of de gedenoiseerde schatting $d_\theta(x_t)$ direct te projecteren, projecteert PPR via de denoiser. Het lost een optimalisatieprobleem op om een ruisige toestand $x^*_t$ te vinden zodat de gedenoiseerde output voldoet aan de constraint:
$x^*_t = \arg \min_{x} c(d_\theta(x))$
Dit zorgt ervoor dat de geprojecteerde schone schatting $d_\theta(x^*_t)$ op de data-maand $S$ blijft, waardoor artefacten zoals discontinuïteiten worden vermeden.
Renoise: De gedenoiseerde, haalbare schatting $d_\theta(x^*_t)$ wordt opnieuw geruisd via de voorwaartse kern om een nieuwe steekproef $x'_t$ op het huidige ruisniveau $t$ te verkrijgen.

Deze Predict-Project-Renoise-sequentie wordt $M$ keer herhaald bij elke diffusiestap. De renoisestap is cruciaal omdat deze het juiste ruisniveau herstelt en de stochastiek injecteert die nodig is voor menging, waardoor wordt voorkomen dat de steekproefnemer instort naar vaste punten.

Belangrijkste Bijdragen

Geconstraineerde Voorwaartse/Achterwaartse Formulering: Het artikel definieert het geconstraineerde voorwaartse proces en leidt het bijbehorende achterwaartse proces en de scorefunctie af, waarbij een correctorkern wordt geïdentificeerd met de geconstraineerde marginale verdeling als zijn unieke stationaire distributie.
Het PPR-algoritme: Een trainingsvrij bemonsteringsalgoritme dat de correctorkern benadert door iteratief te projecteren via de denoiser en te renoisen.
Noodzaak van Componenten: De auteurs demonstreren dat alle drie de componenten (predictie, projectie via de denoiser en renoising) noodzakelijk zijn. Het verwijderen van een component leidt tot dramatische prestatiedegradatie, hogere schendingen van constraints of steekproeven die buiten de data-steun vallen.
Theoretische Foutgrenzen: Het artikel biedt een analyse van de benaderingsfout, waarbij wordt aangetoond dat deze decomposeert in een mengterm (die exponentieel afneemt met iteraties $M$ ) en een onherleidbare bias uit de punt-schatting benadering.

Experimentele Resultaten

De methode werd geëvalueerd op drie verschillende settings:

DATA2D: 2D-distributies (checkerboard en Gaussische mengsels) met willekeurige constraints.
Kuramoto-Sivashinsky (KS): Een 1D-partiële differentiaalvergelijking die turbulentie modelleert, getest op 128-dimensionale trajecten.
WEATHER: Wereldwijde weersvoorspelling met behulp van het Appa-latente weermodel (108-dimensionale atmosferische toestand).

Prestatiemetingen:

Haalbaarheid: PPR behaalde een haalbaarheidsscore (steekproeven die voldoen aan $c(x) \le \epsilon$ ) van 82,7% op de KS-dataset en 79,0% op DATA2D. Ter vergelijking: de volgende beste methoden behaalden haalbaarheidsscores van ongeveer 1% (KS) en 31% (DATA2D).
Constraint-schending: PPR toonde consequent de laagste schendingen van constraints over alle datasets.
Distributie-trouw: PPR produceerde steekproeven die binnen de data-steun $S$ bleven (behoud van continuïteit en regulariteit), terwijl veel baseline-methoden (bijv. CPS, PDM, HDC) discontinuïteiten produceerden die buiten de data-maand vielen.
Nauwkeurigheid: Op KS- en Weer-taken behaalde PPR een lagere RMSE, betere Skill-scores en een lagere CRPS (Continuous Ranked Probability Score) in vergelijking met baselines zoals DPS, MMPS en Trust Sampling (TS).

Betekenis en Claims

Het artikel beweert dat PPR met succes de langdurige uitdaging aanpakt om te bemonsteren uit diffusiemodellen onder harde constraints zonder herberekening. De primaire betekenis ligt in het vermogen om gelijktijdig lage schendingen van constraints en hoge distributie-trouw te bereiken, een combinatie die bestaande methoden niet kunnen leveren.

De auteurs benadrukken dat PPR een zinvolle afweging biedt tussen rekenkosten en steekproefkwaliteit: het verhogen van het aantal kern-toepassingen ( $M$ ) verbetert consequent de benadering van de geconstraineerde distributie. Bovendien zorgt de projectie via de denoiser ervoor dat steekproeven consistent blijven met de geleerde data-maand, waardoor artefacten (zoals discontinuïteiten) worden vermeden die gebruikelijk zijn bij projectiemethoden in de $x_0$ -ruimte.

Het werk concludeert dat PPR een robuuste, trainingsvrije oplossing is voor wetenschappelijke toepassingen die exacte naleving van natuurwetten of waarnemingsdata vereisen, hoewel het beperkingen opmerkt met betrekking tot niet-differentieerbare of discrete constraints.