General Proximal Flow Networks

Dit paper introduceert General Proximal Flow Networks (GPFNs), een generalisatie van Bayesian Flow Networks die een uniek proximaal-operatorframework biedt voor iteratief generatief modelleren door het gebruik van willekeurige divergenties in plaats van alleen de Kullback-Leibler-divergentie, wat leidt tot verbeterde generatiekwaliteit door de divergentie aan te passen aan de onderliggende data-geometrie.

De kern

Stel je voor dat je een kunstenaar bent die een prachtig landschap moet schilderen, maar je begint met een volledig wit canvas. Je wilt niet direct een perfecte foto van het landschap neerzetten; je wilt het stap voor stap verfijnen.

Dit is precies hoe moderne AI-modellen werken die nieuwe afbeeldingen maken. Ze beginnen met "ruis" (een wazig, onduidelijk beeld) en proberen dit stap voor stap om te vormen tot een scherp, herkenbaar plaatje.

Deze paper introduceert een nieuwe, slimme manier om die verfijning te doen, genaamd GPFN (General Proximal Flow Networks). Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen.

1. Het oude probleem: De stijve kompasnaald

Voorheen (in de oude methode, BFN) gebruikten deze AI-modellen een heel strikte regel om hun "geloof" over hoe het plaatje eruit moet zien, te updaten.

• De Analogie: Stel je voor dat je een kompas hebt dat alleen werkt op basis van de windrichting (een wiskundige maatstaf genaamd KL-divergentie). Als je in een bos loopt en je wilt naar het noorden, maar er is een grote berg in de weg, zegt dit kompas: "Ga gewoon rechtdoor, want de wind waait daarheen." Het ziet de berg niet. Het is alsof je probeert een rivier te volgen, maar je mag alleen in rechte lijnen lopen.
• Het gevolg: Voor simpele dingen werkt dit prima, maar voor complexe dingen (zoals gezichten of landschappen) is dit te star. De AI kan de "kromme lijnen" van de werkelijkheid niet goed volgen.

2. De nieuwe oplossing: GPFN (De slimme wandelaar)

De auteurs van deze paper zeggen: "Laten we die stijve kompasnaald vervangen door iets veel flexibels." Ze noemen hun nieuwe systeem GPFN.

• De Analogie: In plaats van een stijf kompas, geven we de AI een GPS met een slimme routeplanner die rekening houdt met de vorm van het landschap (de "Wasserstein-afstand").
• Hoe het werkt:
  1. De AI begint met een wazig idee (de "geloofswolk").
  2. Een neurale netwerk (de "schilder") zegt: "Ik denk dat het hier een boom moet zijn."
  3. De GPFN-updater kijkt nu niet alleen naar wat de schilder zegt, maar ook naar de vorm van het landschap. Hij vraagt zich af: "Wat is de kortste, meest natuurlijke weg om van ons huidige wazige idee naar die boom te komen?"
  4. In plaats van een rechte lijn te trekken (wat door een berg zou gaan), volgt hij de rivier of het pad. Hij "stroomt" soepel naar het juiste beeld.

3. Het trainingsproces: De meester en de leerling

Hoe leert de AI dit?

• Tijdens het leren: De AI krijgt de echte foto te zien (de "meester"). De updater (de GPS) gebruikt deze echte foto om de leerling (de AI) stap voor stap te corrigeren. De leerling probeert te voorspellen wat de meester zou zeggen, maar de beweging zelf wordt altijd geleid door de echte foto. Dit zorgt voor een stabiele leerlijn.
• Tijdens het maken: Als de AI een nieuwe foto moet maken, heeft hij de echte foto niet meer. Dan gebruikt hij zijn eigen voorspelling. Maar omdat hij tijdens het leren heeft geoefend met de "slimme GPS" (de nieuwe methode), kan hij nu zelfstandig een prachtig landschap schilderen zonder vast te lopen in de bergen.

4. Waarom is dit zo geweldig? (De resultaten)

De paper toont aan dat deze nieuwe methode twee grote voordelen heeft:

1. Snelheid: De oude methode moest vaak 100 kleine stapjes maken om een goed plaatje te krijgen. De nieuwe GPFN-methode kan vaak al met 5 of 10 stapjes een beter resultaat halen. Het is alsof je met een snelle boot de rivier afvaart in plaats van met een langzame wandelaar over een omweg.
2. Kwaliteit en Diversiteit: De oude methode (zeker als je probeerde hem sneller te maken) viel vaak in een valkuil: het maakte steeds hetzelfde saaie plaatje (bijvoorbeeld altijd dezelfde grijze steen). De nieuwe methode houdt de "diversiteit" vast. Het maakt niet alleen scherpe plaatjes, maar ook plaatjes die echt verschillend van elkaar zijn, net als in de echte wereld.

Samenvattend

Stel je voor dat je een potloodtekening wilt maken.

• De oude methode was alsof je met een stijve liniaal probeerde de kromme lijnen van een gezicht te tekenen. Het kon, maar het zag er stijf uit en het duurde lang.
• De nieuwe GPFN-methode is alsof je een flexibele, slimme pen hebt die de krommingen van het gezicht "voelt" en de lijnen soepel en natuurlijk trekt.

Dit nieuwe systeem (GPFN) maakt het dus mogelijk om sneller en mooiere afbeeldingen te genereren door de wiskundige regels van de "stapjes" aan te passen aan de echte vorm van de data, in plaats van ze te forceren in een starre koker.

Technische samenvatting

Titel: General Proximal Flow Networks (GPFNs)

Auteurs: Alexander Strunk en Roland Assam (Evercot AI)
Datum: 19 januari 2026

---

1. Het Probleem

Generatieve modellering heeft grote stappen gezet met frameworks zoals Diffusion Models en Flow Matching, die iteratieve verfijning gebruiken om ruis om te zetten in complexe data. Een recente benadering, Bayesian Flow Networks (BFNs), evolueert geen steekproeven direct, maar evolueert een beliefsverdeling (overtuigingsverdeling) over de data-ruimte via sequentiële Bayesiaanse posterior-updates.

De kernbeperking van bestaande BFNs is dat elke update-stap strikt gebaseerd is op de Kullback-Leibler (KL) divergentie. Dit impliceert een specifieke meetkundige structuur (informatietheoretisch) die suboptimaal kan zijn voor gestructureerde data zoals afbeeldingen. Voor dergelijke data passen alternatieve afstandsmaten, zoals de Wasserstein-metriek, beter bij de onderliggende geometrie (ruimtelijke verplaatsing van massa) dan de KL-divergentie. Bestaande BFNs kunnen deze ruimtelijke geometrie niet flexibel benutten.

2. Methodologie: General Proximal Flow Networks (GPFNs)

GPFNs generaliseren het BFN-framework door de starre KL-divergentie te vervangen door een willekeurige divergentie- of afstandsfunctie $D$. Dit creëert een unificerend "proximal-operator" raamwerk voor iteratieve generatieve modellering.

Het framework bestaat uit vier componenten:

1. Belief-verdeling ($p_t$): Een verdeling over de data-ruimte die in de loop van $T$ stappen wordt verfijnd.
2. Doelsignaal ($q_{t+1}$): Een signaal dat de update leidt. Tijdens training is dit de ware data (of een verstoord signaal daarvan); tijdens sampling is dit de voorspelling van het netwerk.
3. Neuraal Netwerk Predictor ($F_\theta$): Voorspelt een doeldistributie $\hat{q}_{t+1}$ op basis van de huidige belief $p_t$.
4. Proximal Update Operator ($U$): Dit is het hart van de methode. De nieuwe belief $p_{t+1}$ wordt gevonden door een geregulariseerd optimalisatieprobleem op te lossen:
   $$p_{t+1} = \arg \min_{p} \left[ F_t(p, q_{t+1}) + \frac{1}{\eta_t} D(p, p_t) \right]$$
   Hierbij balanciert $F_t$ de trouw aan het doelsignaal en $D(p, p_t)$ de proximaliteit (nabijheid) aan de huidige belief.

Belangrijke mechanische kenmerken:

• Training: De belief-trajectorie wordt gegenereerd met de ware doelen ($q_{t+1}$), niet met de voorspellingen van het netwerk. Het verlies wordt alleen berekend op de voorspelling $\hat{q}_{t+1}$ versus het ware doel. Dit zorgt voor een stabiele leercurve die onafhankelijk is van de huidige kwaliteit van het netwerk.
• Sampling: De ware doelen zijn niet beschikbaar; het netwerk gebruikt zijn eigen voorspellingen $\hat{q}_{t+1}$ om de belief iteratief bij te werken.
• Wiskundige Connectie: Wanneer $D$ de gesquareerde 2-Wasserstein afstand ($W_2^2$) is, komt de update overeen met het vinden van een Wasserstein-barycentrum. Dit is equivalent aan McCann's displacement interpolation en de Euler-integratie van Rectified Flows.

3. Belangrijkste Bijdragen

1. Framework Generalisatie: Introductie van GPFNs, die de KL-divergentie vervangen door een flexibele afstandsfunctie $D$, waardoor het framework kan worden aangepast aan de geometrie van de data.
2. Formele Link naar Optimalisatie: Een wiskundige connectie wordt gelegd met proximal-point methoden uit convexe optimalisatie en mirror descent. BFNs worden hiermee herkend als een speciaal geval van GPFNs waarbij $D = KL$.
3. Empirische Validatie: Een evaluatie van een Gaussische GPFN (met $W_2$-update) op het MNIST-dataset, die aantoonbare verbeteringen laat zien ten opzichte van standaard BFNs.

4. Resultaten

De experimenten vergeleken een GPFN (met $W_2$-update) met een standaard BFN op MNIST, beide met een identieke U-Net-architectuur.

• Kwaliteit bij lage NFE (Number of Function Evaluations): GPFNs presteren aanzienlijk beter bij weinig iteratiestappen.
  • Bij NFE = 20 bereikte de deterministische GPFN (GPFN-det) een aFID van 67, terwijl de stochastische BFN (BFN-stoch) een aFID van 1513 had.
  • Zelfs bij NFE = 5 presteerde GPFN-det (aFID 166) beter dan BFN-stoch bij NFE = 100 (aFID 919).
• Mode Collapse bij BFN: De deterministische BFN-sampler (BFN-det) faalde volledig (aFID > 3400) en vertoonde volledige mode collapse (diversiteit = 0.00). Dit komt doordat de onderliggende BFN-probabiliteitspaden de rechte lijn-optimal transport-geometrie missen die GPFNs biedt.
• Stabiliteit: De stochastische GPFN-sampler (met een Ornstein-Uhlenbeck proces) behaalde vergelijkbare resultaten met de deterministische versie, wat aantoont dat het framework robuust is.
• Diversiteit en Dekking: GPFNs behielden hoge scores voor Precision, Recall, Density en Coverage, wat aangeeft dat ze de volledige data-distributie goed dekken zonder modes te verliezen.

5. Betekenis en Conclusie

Dit paper toont aan dat het vervangen van de rigide KL-divergentie in Bayesiaanse Flow Networks door een geometrisch aangepaste afstandsfunctie (zoals de Wasserstein-metriek) leidt tot meetbare verbeteringen in generatiekwaliteit.

De belangrijkste inzichten zijn:

• Geometrische Aanpassing: Door de proximal-stap aan te passen aan de ruimtelijke structuur van de data (via $W_2$), kunnen modellen veel efficiënter (in minder stappen) van ruis naar data convergeren.
• Unificatie: GPFNs bieden een theoretisch raamwerk dat BFNs, Rectified Flows en Wasserstein-gradient flows verenigt.
• Praktische Impact: De methode maakt het mogelijk om hoogwaardige samples te genereren met een fractie van de rekstappen die traditionele methoden nodig hebben, wat cruciaal is voor efficiënte generatieve AI.

Kortom, GPFNs breiden de theoretische basis van generatieve modellering uit en bieden een praktisch superieur alternatief voor gestructureerde data door het benutten van optimale transport-geometrie.