📊 statistics

LatentFlow: A General Framework for Conditioning Stochastic Processes

LatentFlow is een trainingsvrij, algemeen framework dat exacte conditionele sampling van diverse stochastische processen mogelijk maakt door het probleem te transformeren naar tractabele latent-ruimte inferentie via een deterministische mapping en een enkele reverse-time SDE.

Oorspronkelijke auteurs: Louis Sharrock, Lachlan Astfalck, Henry Moss

Gepubliceerd 2026-07-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Louis Sharrock, Lachlan Astfalck, Henry Moss

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische, chaotische machine hebt die oneindige werelden kan genereren. Misschien is het een weersimulator die regenstormen uitspuugt, een financiële motor die beurscrash voorspelt, of een biologisch model dat cellen laat groeien. Normaal gesproken is het draaien van deze machine makkelijk: je drukt gewoon op "start" en hij rolt vooruit, waarbij een willekeurige verhaallijn ontstaat.

Maar wat als je de machine wilt dwingen om een specifiek verhaal te vertellen? Wat als je eist: "Ik wil een storm die precies deze stad raakt maar die andere mist," of "Laat me een beurscrash zien waarbij de prijs onder 87 zakt maar de volatiliteit boven 0,42 piekt"?

Lange tijd moesten wetenschappers voor elk "wat als"-scenario een compleet nieuwe, op maat gemaakte machine bouwen. Als je de regels wilde veranderen, moest je de motor opnieuw bouwen. Het was traag, duur en vaak onmogelijk voor complexe scenario's.

Maak kennis met LatentFlow, een nieuw framework dat fungeert als een universele afstandsbediening voor deze chaotische machines. Het hoeft niets te leren, geen neurale netwerken te trainen of data te onthouden. Het werkt gewoon.

Het geheime ingrediënt: De "Innovatie"

De auteurs realiseerden zich dat elk complex verhaal gegenereerd door deze machines eigenlijk begint met een eenvoudige, zuivere kiem. Denk aan een complexe film (het eindresultaat) die wordt opgebouwd vanuit een eenvoudig script (de kiem).

In de taal van het paper noemen ze deze kiem een "latente innovatie." Het is als een set pure, willekeurige getallen (meestal getrokken uit een eenvoudige klokcurve) die de machine gebruikt om zijn wereld te bouwen. De machine heeft een vast recept, een deterministische kaart, die deze eenvoudige getallen omzet in de complexe realiteit die we zien.

De grote doorbraak is dit: Probeer niet de complexe film aan je regels te dwingen. Dwing het eenvoudige script in plaats om aan jouw regels te voldoen.

Hoe de magische truc werkt

LatentFlow gebruikt een slimme driedelige dans om de machine jouw commando's te laten opvolgen:

Terugtrekken (Pull Back): Stel je voor dat je een voorwaarde hebt, zoals "De aandelenprijs moet onder 87 blijven." In plaats van te proberen uit te zoeken hoe de complexe aandelenmarkt hierop reageert, trekt LatentFlow die regel achterwaarts door het recept van de machine. Het vertaalt de regel naar de taal van het eenvoudige script (de latente ruimte). Plotseling wordt een complexe, onoplosbare regel een beheersbaar wiskundig probleem over eenvoudige getallen.
De Gestuurde Flow (The Guided Flow): Nu gebruikt het paper een techniek genaamd "guided probability flow." Stel je voor dat je een speld in een hooiberg probeert te vinden, maar je hebt een magnetische stok die je naar de speld toe trekt. LatentFlow creëert een magnetische stok (een "begeleidingsveld") die de eenvoudige willekeurige getallen voorzichtig wegduwt van slechte uitkomsten en naar de uitkomsten die aan jouw regels voldoen. Dit doet het door één vergelijking op te lossen die achteruit in de tijd loopt, alsof je een tape terugspoelt om het perfecte beginframe te vinden.
Vooruit duwen (Push Forward): Zodra de eenvoudige getallen in de juiste vorm zijn gebracht, voed je ze weer terug in het recept van de machine. De machine loopt vooruit, en boem—je krijgt een complexe wereld die perfect overeenkomt met jouw voorwaarde.

Wat dit niet is

De auteurs zijn heel duidelijk over wat deze methode niet is.

Het is geen neuraal netwerk dat getraind moet worden. Je hoeft het niet duizenden voorbeelden te voeren om te "leren" hoe het moet conditioneren. Het werkt direct met het bestaande recept van de machine.
Het is geen benadering die een antwoord raadt. Het paper bewijst wiskundig dat, als je de berekening perfect zou kunnen uitvoeren, het antwoord exact is.
Het is niet beperkt tot eenvoudige, gladde werelden. Het werkt op "heavy-tailed" distributies (waar extreme gebeurtenissen vaker voorkomen), discrete systemen (zoals schakelen tussen toestanden) en zelfs black-box simulaties waarbij je de binnenkant van de tandwielen niet kunt zien.

Hoe zeker zijn ze?

De auteurs hebben de wiskunde gedaan om te bewijzen dat deze methode theoretisch exact is. Echter, in de echte wereld moeten we computers gebruiken, wat betekent dat we kleine stapjes moeten nemen (discretisatie) en een beperkt aantal gissingen moeten gebruiken (Monte Carlo sampling).

Het paper geeft toe dat deze praktische stappen kleine fouten introduceren, maar deze zijn expliciet en systematisch reduceerbaar. Dit betekent dat als je een nauwkeuriger antwoord wilt, je simpelweg meer rekenkracht kunt inzetten, en de fout wordt steeds kleiner. Het is geen "misschien"; het is een "ja, met een bekende, oplosbare foutmarge."

De Snelheidsduivel

Dit is het deel waar de ogen van de auteurs van gaan glimmen: Snelheid.
Omdat LatentFlow geen model hoeft te trainen, kan het deze geconditioneerde samples in seconden genereren.

Voor een complex epidemie-model (SIR) duurt het ongeveer 1 seconde per sample.
Voor een aandelenmarkmodel (Heston) duurt het ongeveer 3 seconden.
Voor een enorme, complexe vloeistofsimulatie (Allen-Cahn) duurt het ongeveer 2 seconden.

Dit alles gebeurt op een enkele desktop CPU. Geen supercomputers nodig.

De "Wat als"-speeltuin

Het paper laat de kracht van LatentFlow zien door allerlei wilde scenario's te conditioneren:

Ruimtelijk: Het maken van een kaart waarbij de gemiddelde temperatuur in een specifere regio exact een bepaald getal is, zelfs als het onderliggende weermodel rommelig en heavy-tailed is.
Tijd: Het simuleren van een cel die differentieert naar een specifiek type, of een aandelenmarkt die crasht precies op het moment dat een volatiliteitspiek optreedt.
Zeldzame gebeurtenissen: Het vinden van een pad waarbij een roofdierpopulatie explodeert naar een specifiek aantal, of een chemische reactie een detector stroomafwaarts activeert.

In het verleden was het vinden van deze specifieke, zeldzame paden also[f] het zoeken naar een specifiek zandkorreltje op een strand door willekeurig te graven. LatentFlow geeft je een metaaldetector die recht naar het goud wijst.

Het paper concludeert dat dit niet alleen een snellere manier is om oude dingen te doen; het is een nieuwe manier om naar conditionering te kijken. Door het probleem te verplaatsen van de rommelige, complexe wereld naar de schone, eenvoudige wereld van de "innovatie", hebben ze een universele sleutel gebouwd die elke stochastische proces ontgrendelt, hoe vreemd of complex ook, zonder ooit ook maar iets te hoeven leren.

Technische Samenvatting: LatentFlow

Probleemstelling

Stochastische procesmodellen zijn over het algemeen eenvoudig voorwaarts te simuleren, maar uiterst moeilijk te conditioneren op observaties, beperkingen of globale gebeurtenissen. Conditionering wordt onhandelbaar wanneer men te maken krijgt met niet-lineaire observaties, niet-Gaussische likelihoods, black-box informatie of globale beperkingen (bijv. "de maximale waarde overschrijdt een drempelwaarde" of "het pad raakt een specifieke detector"). Traditioneel vereist het aanpakken van deze conditioneringsproblemen op maat gemaakte, modelspecifieke constructies zoals Markov Chain Monte Carlo (MCMC), Sequential Monte Carlo (SMC), variatie-inferentie of Laplace-benaderingen. Deze methoden zijn vaak kostbaar, benaderend of schalen slecht over verschillende modelklassen heen. Hoewel recent werk zoals FlowGP (Moss et al., 2026) conditionering voor Gaussische processen aanpakte door het te herformuleren als een differentiaalvergelijking, bleef een algemeen, training-vrij framework voor willekeurige stochastische processen onbereikbaar.

Methodologie: LatentFlow

De auteurs introduceren LatentFlow, een verenigd, training-vrij framework voor het conditioneren van stochastische processen. De kerninzicht is dat conditionering niet direct in de complexe procesruimte hoeft te worden uitgevoerd, maar kan worden overgedragen naar een hanteerbare latente innovatieruimte.

1. Latente Innovatie-representatie

De methode rust op Aanname 2.1: elk stochastisch proces prior $p_\vartheta(f_0)$ (waarbij $f_0$ een einddimensionale discretisatie is) kan worden uitgedrukt als de deterministische afbeelding van een eenvoudige referentieverdeling. Specifiek bestaat er een kaart $T_\vartheta: \mathbb{R}^{m_\xi} \to E_m$ en een referentiedichtheid $r$ (meestal standaard Gaussisch $\mathcal{N}(0, I)$ ) zodanig dat als $\xi_0 \sim r$ , dan $f_0 = T_\vartheta(\xi_0) \sim p_\vartheta$ .

Deze representatie is van toepassing op een breed scala aan processen, waaronder Gaussische processen, Student-t processen, SDE-gestuurde processen, SPDE's en zelfs black-box simulators (via waarschijnlijkheidsintegraaltransformaties of Rosenblatt-transformaties).
Conditionering op informatie $C$ (gecodeerd door een likelihood $L_C$ ) wordt overgedragen naar de latente ruimte door een latente likelihood $\Lambda_{\vartheta,C}(\xi_0) = L_C(T_\vartheta(\xi_0))$ te definiëren. De doel-latente dichtheid wordt $\rho_\vartheta(\xi_0 | C) \propto \Lambda_{\vartheta,C}(\xi_0) r(\xi_0)$ .

2. Geleide Latente Flows

Om te samplen uit de onhandelbare latente posterior $\rho_\vartheta(\cdot | C)$ , gebruikt LatentFlow een geleide reverse-time diffusieproces (of probability-flow ODE) in de latente ruimte.

Noising Bridge: Een variance-preserving (VP) noising-proces wordt gedefend op de latente ruimte: $\xi_t = \alpha(t)\xi_0 + \sigma(t)\epsilon$ , waarbij $\epsilon \sim \mathcal{N}(0, I)$ .
Guidance Field: De methode definieert een guidance field $g(t, u) = \nabla_u \log \psi(t, u)$ , waarbij $\psi(t, u)$ de verwachte latente likelihood is onder de noising bridge. Dit veld stuurt de reverse-time dynamica naar regio's met een hoge likelihood.
Monte Carlo Guidance: Omdat $g(t, u)$ zelden in gesloten vorm beschikbaar is, wordt deze geschat via Monte Carlo. Voor een gegeven staat $u$ op tijdstip $t$ worden $S$ samples van de latente variabele getrokken uit de conditionele bridge-distributie, en de gradiënt van de log-likelihood wordt geschat met behulp van een self-normalized importance weighting schema. Dit stelt de methode in staat om niet-differentieerbare simulators te hanteren via derivative-free estimators of relaxaties.
Sampling: De sampler lost de reverse-time SDE (of ODE) numeriek op, beginnend vanaf een ruisige staat (benaderd door de referentieverdeling) en integreert terug naar $t=0$ om een sample $\xi_0$ te verkrijgen. Het geconditioneerde proces-sample wordt vervolgens hersteld via $f_0 = T_\vartheta(\xi_0)$ .

3. Parameter Schatting

Het framework breidt zich uit naar guidance-aware parameter schatting. Door de normaliserende constante $Z_\vartheta$ (de evidence) als een objectiefunctie te behandelen, stellen de auteurs een outer-loop optimalisatieschema voor. Gradiënten van de evidence met betrekking tot hyperparameters $\vartheta$ worden geschat met behulp van dezelfde latente samples die tijdens het conditioneringsproces worden gegenereerd, wat gezamenlijke inferentie van parameters en conditionering mogelijk maakt zonder een neuraal netwerk opnieuw te trainen.

Belangrijkste Bijdragen

Een Algemeen, Training-Vrij Framework: LatentFlow biedt een enkele methode voor het conditioneren van diverse stochastische processen (GP's, heavy-tailed processen, SDE's, SPDE's, discrete processen en black-box simulators) zonder dat de training van neurale score-modellen of conditionele generatoren nodig is.
Exactheid en Controleerbare Approximatie: De constructie is bewezen exact op het niveau van de doelwet (target law). Praktische fouten ontstaan alleen uit drie expliciete, systematisch reduceerbare bronnen: eindige terminal noising, Monte Carlo guidance-approximatie en tijd-discretisatie.
Schaalbaarheid en Snelheid: De methode reduceert conditionering tot het oplossen van een enkele reverse-time SDE. Experimenten tonen aan dat geconditioneerde samples in seconden kunnen worden gegenereerd op een enkele desktop CPU, zelfs voor hoogdimensionale en complexe modellen waar traditionele MCMC instort of prohibitief traag is.
Theoretische Garanties: Het artikel biedt formele bewijzen voor de equivalentie van de latente en proces targets (Proposition 2.2) en stabiliteitsgrenzen voor de numerieke en guidance-approximaties (Appendix D). Het stelt ook een dynamische interpretatie van de evidence maximalisatie vast als het balanceren van conditionering-tevredenheid tegenover "guidance energie" (Theorem E.5).

Experimentele Resultaten

De auteurs evalueren LatentFlow over een breed spectrum van stochastische proces priors:

Ruimtelijke Processen: Conditionering van Gaussische, Student-t, Cauchy convolutie en Potts modellen op puntobservaties, gecensureerde data en regionale samenvattingen (gemiddelden/maxima). LatentFlow produceerde samples in 3–4 seconden per sample, waarbij de onderscheidende staartgedragingen en discrete structuren van elke prior behouden bleven.
Temporele Processen: Genereren van diffusie bruggen voor Ornstein-Uhlenbeck processen, cel-differentiatie modellen en FitzHugh–Nagumo systemen. Het conditioneerde succesvol Lotka–Volterra, SIR epidemie en Heston stochastische volatiliteit modellen op zeldzame gebeurtenissen (bijv. marktcrashes, prooi-explosies) en trajectbeperkingen, met samplingtijden van <1 tot 3 seconden.
Spatio-Temporele Processen: Conditionering van Allen–Cahn, advectie–diffusie, en FitzHugh–Nagumo SPDE's op ijle sensoren, obstakelvermijding en detector-hits. De methode hanteerde latente dimensies tot 122K en genereerde geldige samples in 1–5 seconden.
Benchmarks: Op standaard uitdagende distributies (Banana, Ring, Mixture of Gaussians) bereikte LatentFlow Maximum Mean Discrepancy (MMD²) scores die concurrerend met of superieur aan NUTS waren, terwijl het onafhankelijke samples produceerde met een significant hogere Effective Sample Size per seconde (ESS/s).
Parameter Schatting: Het guidance-aware schema herstelde succesvol de grondwaarheid hyperparameters (bijv. lengteschalen in Cauchy velden, rates in Lotka–Volterra modellen) door de evidence te optimaliseren, waarmee het fixed-parameter benaderingen overtrof.

Betekenis en Claims

Het artikel claimt dat LatentFlow een fundamentele verschuiving in capaciteit vertegenwoordigt voor het conditioneren van stochastische processen. Door het conditioneringsprobleem van de procesruimte naar een hanteerbare latente innovatieruimte te verplaatsen, verenigt het de behandeling van modellen die voorheen uiteenlopende, dure of benaderende samplers vereisten.

De auteurs benadrukken dat dit de eerste algemene methode is die in staat is tot het conditioneren van een brede klasse van stochastische processen (inclusclusief niet-Gaussische, heavy-tailed en door simulators gedefinieerde modellen) in real-time op standaard hardware. In tegen tegenstelling tot diffusie-gebaseerde methoden die vereisen dat er vooraf wordt getraind op grote datasets, is LatentFlow "training-vrij" en vertrouwt het uitsluitend op de bekende generatieve kaart $T_\vartheta$ en puntuele evaluaties van de likelihood. De methode wordt met name geprezen om haar vermogen om zeldzame, niet-lineaire of globale conditionering gebeurtenissen te hanteren onder niet-Gaussische priors, een domein waar traditionele methoden vaak falen of computationeel onhandelbaar worden.

Het artikel behoudt een bescheiden toon met betrekking tot beperkingen, waarbij erkend wordt dat de prestaties afhangen van de hanteerbaarheid van de latente representatie en de gladheid van de teruggehaalde (pulled-back) likelihood. Discontinue simulators of harde beperkingen kunnen relaxaties of derivative-free guidance vereisen, maar het framework blijft toepasbaar via deze aanpassingen.