Flower: A Flow-Matching Solver for Inverse Problems

Dit paper introduceert Flower, een iteratieve flow-matching solver voor lineaire inverse problemen die een vooraf getraind flow-model combineert met projectiestappen om state-of-the-art reconstructies te genereren die consistent zijn met de waarnemingen en de Bayesiaanse posterior benaderen.

De kern

Stel je voor dat je een oude, beschadigde foto probeert te repareren. Misschien is er een stukje van weg (een vlek), is het beeld wazig, of zit er veel ruis op. In de wereld van computers en beeldverwerking noemen we dit een omgekeerd probleem: we hebben het resultaat (de beschadigde foto) en we proberen het origineel (de scherpe foto) terug te vinden.

Het probleem is dat er oneindig veel originele foto's zouden kunnen passen bij die ene beschadigde foto. Hoe weet de computer welke de juiste is?

Hier komt Flower in beeld. Het is een nieuwe, slimme methode die helpt om deze beschadigde beelden te herstellen. Laten we het uitleggen alsof we een verhaal vertellen, zonder ingewikkelde wiskunde.

De Drie Stappen van Flower: Een Reis in de Tijd

Stel je voor dat Flower een tijdreiziger is die een reis maakt van een willekeurige "ruis" (een statisch beeld op je tv) naar een perfect, scherp beeld. Deze reis gebeurt in drie stappen, die Flower herhaalt totdat het resultaat perfect is.

Stap 1: De "Gok" (De Bestemming Voorspellen)

Stel je voor dat je in een mistig landschap staat (dit is je huidige, wazige beeld). Je hebt een magische kompasnaald (het stroommodel of flow model) die je vertelt: "Als je nu een beetje verder loopt, zie je waarschijnlijk een mooi huis."

• Wat Flower doet: De computer kijkt naar het huidige wazige beeld en gebruikt zijn "magische kompas" om te voorspellen waar het einddoel (het scherpe beeld) waarschijnlijk ligt. Het is alsof de computer zegt: "Ik denk dat dit wazige gezichtje eigenlijk een glimlachend gezicht moet zijn."

Stap 2: De "Controle" (Aanpassen aan de Feiten)

Nu je een gok hebt gedaan over hoe het eindbeeld eruitziet, moet je controleren of dit klopt met de werkelijkheid. Stel, je beschadigde foto heeft een gat in het midden. Je gok in Stap 1 heeft misschien een heel ander gezicht in dat gat getekend.

• Wat Flower doet: De computer kijkt naar de echte meetgegevens (de beschadigde foto). Hij zegt: "Oké, je gok was slim, maar dit stukje hier moet precies overeenkomen met wat we zien." Hij past zijn gok aan zodat het past in de "mogelijke zone". Dit is als het corrigeren van een schets zodat hij past in de lijnen van een bestaande tekening.

Stap 3: De "Tijdsprong" (De Reis Vervolgen)

Nu heb je een verbeterde versie van je beeld. Maar we zijn nog niet helemaal bij het einddoel. We moeten nog een stukje op de reis door de tijd.

• Wat Flower doet: De computer neemt zijn verbeterde schets en voegt er een beetje nieuwe "ruis" aan toe (net als het toevoegen van een beetje chaos om de creativiteit te stimuleren) en schuift dan een stapje vooruit in de tijd. Hierdoor kan de computer in de volgende ronde weer een nieuwe, betere gok doen.

Deze drie stappen worden keer op keer herhaald. Elke ronde wordt het beeld scherper, de gaten worden opgevuld en de ruis verdwijnt, totdat je een prachtig, scherp resultaat hebt.

Waarom is Flower zo speciaal?

1. Het is een "Plug-and-Play" meester:
   Veel andere methoden zijn als een auto die je alleen kunt rijden als je een speciel rijbewijs hebt voor dat specifieke type weg (bijvoorbeeld alleen voor wazige foto's of alleen voor beschadigde foto's). Flower is als een universele auto. Je kunt dezelfde auto gebruiken voor wazige foto's, beschadigde foto's, of zelfs foto's die uit elkaar zijn gevallen. Je hoeft de motor niet te vervangen; je past alleen de route aan.

2. Het begrijpt de "Wiskunde van het Onzeker":
   Flower is niet zomaar een gokker. Het is gebaseerd op een diep inzicht in hoe waarschijnlijk dingen zijn. Het weet precies hoe het moet gokken tussen alle mogelijke oplossingen om het meest realistische resultaat te krijgen. Het combineert de creativiteit van een kunstenaar (die een nieuw beeld bedenkt) met de nauwkeurigheid van een detective (die kijkt naar de feiten).

3. Het werkt sneller en beter:
   In tests bleek Flower vaak beter te presteren dan de huidige beste methoden. Het maakt minder fouten, laat minder "artefacten" (vreemde vlekken) achter en doet dit vaak sneller dan de zware, trage methoden die daarvoor nodig waren.

Samenvattend

Flower is als een slimme restaurateur die een beschadigd schilderij repareert.

• Eerst denkt hij na over hoe het origineel eruit moet hebben gezien (Stap 1).
• Dan checkt hij of zijn idee overeenkomt met de rest van het schilderij dat nog intact is (Stap 2).
• En dan herhaalt hij dit proces, waarbij hij elke keer een beetje dichter bij de waarheid komt, totdat het schilderij weer perfect is (Stap 3).

Het is een krachtig nieuw gereedschap dat laat zien hoe kunstmatige intelligentie kan helpen om ons zicht op de wereld (of op oude foto's) weer scherp te stellen.

Technische samenvatting

Titel: Flower: Een Flow-Matching Oplosser voor Inverse Problemen

Auteurs: Mehrsa Pourya, Bassam El Rawas, Michael Unser (Biomedical Imaging Group, EPFL)
Publicatie: ICLR 2026

---

1. Het Probleem

Inverse problemen zijn centraal in computationele beeldvorming en computer vision. Het doel is om een onderliggend signaal $x$ te reconstrueren uit waarnemingen $y$, waarbij de relatie vaak lineair is en verstoord door ruis:
$$y = Hx + n$$
Hierbij is $H$ een lineaire voorwaartse operator (bijv. vervaging, downsampling, inpainting) en $n$ additief witte Gaussische ruis.

Vanuit een Bayesiaans perspectief is de ideale oplossing het genereren van een steekproef uit de posterior-verdeling $p_{X|Y=y}$, in plaats van slechts een puntsschatting (zoals MAP of MLE). Bestaande methoden, zoals Plug-and-Play (PnP) benaderingen of diffusion-based solvers, hebben vaak moeite om een evenwicht te vinden tussen hoge reconstructiekwaliteit, perceptuele realisme en computationele efficiëntie. Flow-matching modellen zijn recentelijk opgekomen als een krachtig generatief alternatief voor diffusion models, maar er was nog geen geoptimaliseerde solver voor inverse problemen die specifiek gebruikmaakt van de voordelen van flow-matching.

2. Methodologie: De Flower Solver

De auteurs introduceren Flower, een iteratieve solver die een vooraf getraind flow-matching model gebruikt om reconstructies te genereren die consistent zijn met de waarnemingen. De methode combineert flow-consistentie met data-consistentie in een drie-staps procedure die wordt herhaald over de tijd $t \in [0, 1]$.

De drie stappen per iteratie zijn:

1. Flow-consistente bestemmingsschatting (Destination Estimation):
   Het vooraf getrainde snelheidsnetwerk $v_\theta$ voorspelt een "bestemming" $\hat{x}_1(x_t)$ die consistent is met de flow-trajectorie. Dit kan worden geïnterpreteerd als een denoising-stap:
   $$\hat{x}_1(x_t) = x_t + (1-t)v_\theta(x_t)$$
   Dit komt overeen met de verwachting $E[X_1 | X_t = x_t]$.

2. Data-bewuste verfijning (Measurement-Aware Refinement):
   De geschatte bestemming wordt geprojecteerd op de toelaatbare verzameling gedefinieerd door de voorwaartse operator $H$ en de metingen $y$. Dit gebeurt via een proximal operator die de data-fideliteit maximaliseert, gecombineerd met een onzekerheidscomponent:
   $$\tilde{x}_1(x_t, y) = \mu_t(x_t, y) + \gamma \kappa_t$$
   Waarbij $\mu_t$ de oplossing is van een minimaliseringsprobleem dat de afstand tot de metingen en de geschatte bestemming balanciert. De term $\kappa_t$ introduceert ruis om de onzekerheid van de schatting te modelleren (gecontroleerd door de parameter $\gamma$).

3. Tijdvoortgang (Time Progression):
   De verfijde bestemming wordt opnieuw geprojecteerd langs de flow-trajectorie naar de volgende tijdstap $t + \Delta t$ door deze te interpoleren met nieuwe ruis $\epsilon$ uit de bronverdeling:
   $$x_{t+\Delta t} = (1 - t - \Delta t)\epsilon + (t + \Delta t)\tilde{x}_1(x_t, y)$$

Theoretische Basis:
De auteurs tonen aan dat Flower, onder bepaalde aannames (optimale training van het snelheidsnetwerk, onafhankelijkheid van bron- en doelverdeling), benaderingen uitvoert van het Bayesiaanse ancestral sampling van de posterior $p_{X_1|Y=y}$. Ze leggen een theoretisch verband tussen deze flow-matching benadering en bestaande Plug-and-Play methoden, maar bieden een meer fundamentele Bayesiaanse rechtvaardiging.

3. Belangrijkste Bijdragen

1. Nieuwe Solver voor Lineaire Inverse Problemen: Flower is de eerste flow-matching solver die specifiek is ontworpen voor inverse problemen met een eenvoudige drie-staps iteratie.
2. Bayesiaanse Analyse en PnP Relatie: De paper biedt een rigoureuze Bayesiaanse analyse die laat zien hoe Flower benaderende posterior-steekproeven genereert. Dit unificeert het perspectief van Plug-and-Play methoden (die vaak heuristisch zijn) met generatieve inverse solvers.
3. State-of-the-Art Prestaties: Flower bereikt state-of-the-art resultaten op diverse benchmarks voor lineaire inverse problemen, vaak met bijna identieke hyperparameters voor verschillende taken, wat de robuustheid van de methode onderstreept.
4. Open Source: De code is beschikbaar gesteld, wat reproduceerbaarheid bevordert.

4. Resultaten

De methode is geëvalueerd op twee grote datasets: CelebA (menselijke gezichten) en AFHQ-Cat (katten). De taken omvatten:

• Ruisreductie (Denoising)
• Ontvaging (Deblurring)
• Super-resolutie (Super-resolution)
• Willekeurige en doos-inpainting (Inpainting)

Kernbevindingen:

• Kwaliteit: Flower presteert over het algemeen beter dan of gelijk aan bestaande flow-matching methoden (zoals OT-ODE, D-Flow, Flow-Priors) en geavanceerde diffusion-based methoden (zoals DiffPIR).
• Metrieken: Er zijn significante verbeteringen in PSNR, SSIM en LPIPS waargenomen, vooral bij deblurring en box-inpainting.
• Efficiëntie: Flower is computatie-efficiënter dan methoden die backpropagation door de ODE vereisen (zoals D-Flow) en heeft een vergelijkbare runtime als PnP-Flow, maar met betere reconstructiekwaliteit.
• Hyperparameters: Een opvallend kenmerk is dat Flower slechts één extra hyperparameter ($\gamma$, voor onzekerheid) nodig heeft naast het aantal iteraties, en dit werkt goed over alle taken heen. De auteurs merken op dat $\gamma=0$ (geen onzekerheidsruis in de verfijning) in de praktijk vaak betere PSNR oplevert dan $\gamma=1$, hoewel $\gamma=1$ theoretisch vereist is voor exacte posterior-sampling.

5. Betekenis en Toekomstperspectief

Flower is een belangrijke stap in de evolutie van generatieve modellen voor inverse problemen. Het bewijst dat flow-matching, naast diffusion models, een zeer effectief kader biedt voor beeldherstel. De methode biedt een elegante brug tussen de wiskundige elegantie van Bayesiaanse inferentie en de praktische efficiëntie van Plug-and-Play algoritmen.

Hoewel de paper zich focust op lineaire problemen, bespreken de auteurs een mogelijke uitbreiding naar niet-lineaire inverse problemen. In dat geval zou de exacte Gaussische posterior niet meer geldig zijn, maar zou men iteratieve sampling methoden (zoals Langevin dynamics) kunnen gebruiken om de niet-lineaire posterior te benaderen, zonder de structuur van de Flower-solver fundamenteel te hoeven veranderen.

Samenvattend biedt Flower een robuust, theoretisch onderbouwd en praktisch superieur alternatief voor bestaande solvers in het domein van computationele beeldherstel.