BiFM: Bidirectional Flow Matching for Few-Step Image Editing and Generation

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een kunstenaar bent die een schilderij maakt, maar dan met een magische robot. Deze robot (een AI-model) kan prachtige beelden maken door eerst een pot met rommelige, grijze vlekken (ruis) te nemen en stap voor stap die vlekken weg te werken tot er een duidelijk plaatje uitkomt. Dit proces heet "diffusie" of "stroommatching".

Het probleem is dat deze robot normaal gesproken heel langzaam werkt. Hij moet honderden kleine stapjes zetten om van de vlekken naar het schilderij te gaan. Als je de robot wilt vragen om een bestaand schilderij te bewerken (bijvoorbeeld: "verander de blauwe lucht in een zonsondergang"), moet hij eerst het schilderij terugrekenen naar die vlekken (inversie) en dan weer naar voren werken met je nieuwe opdracht. Dat dubbele proces duurt eeuwen.

Sommige mensen hebben geprobeerd dit sneller te maken door de robot te dwingen om in één of twee grote sprongen te werken. Maar dat werkt vaak slecht: het schilderij wordt wazig, de details gaan verloren, of de robot vergeet wat er op de achtergrond stond.

BiFM: De tweerichtingsverkeersweg

De auteurs van dit papier, Yasong Dai en zijn team, hebben een oplossing bedacht die ze BiFM (Bidirectional Flow Matching) noemen. Laten we het uitleggen met een paar simpele analogieën:

1. De oude manier: De eenrichtingsweg met een foutieve kaart

Stel je voor dat de robot een auto is die alleen maar vooruit kan rijden (van vlekken naar schilderij). Om een schilderij te bewerken, moet de bestuurder de auto eerst achteruit rijden naar de startplek. Omdat de auto niet gemaakt is om achteruit te rijden, moet de bestuurder raden hoe hij de weg terug moet vinden.

Het gevolg: Bij kleine afstanden (veel stapjes) is dit nog wel oké. Maar als je de auto dwingt om in één grote sprong achteruit te rijden (weinig stapjes), raakt de bestuurder de weg kwijt. Hij rijdt in de greppel, of hij belandt op een plek die helemaal niet bij het originele schilderij hoort. Het resultaat is een rommelig plaatje.

2. De BiFM-methode: De tweerichtingsweg met één chauffeur

BiFM is als een auto die vooruit en achteruit kan rijden, en die beide richtingen perfect kent. In plaats van een aparte "achteruit-rijder" (een extra hulpmodule) aan te stellen, leert BiFM de robot om één en dezelfde chauffeur te zijn voor beide richtingen.

De sleutel: De robot leert niet alleen hoe hij van A naar B gaat, maar ook precies hoe hij van B terug naar A moet gaan, zonder dat hij de weg kwijtraakt.
De "Gemiddelde Snelheid": Stel je voor dat de robot niet elke kleine steen op de weg bekijkt, maar in plaats daarvan kijkt naar het gemiddelde tempo tussen twee punten. Of je nu 100 kleine stapjes zet of 1 grote sprong maakt, de robot weet precies welke "gemiddelde snelheid" hij moet gebruiken om van punt A naar punt B te komen, en vice versa.

Waarom is dit zo cool?

Snelheid zonder kwaliteitsverlies: Je kunt de robot nu vragen om een bewerking in slechts één of twee stappen te doen. Omdat hij de weg vooruit en achteruit perfect kent, maakt hij geen fouten. Het is alsof je een GPS hebt die je niet alleen de snelste route vooruit geeft, maar ook precies weet hoe je terug moet komen, zelfs als je in recordtempo rijdt.
Geen extra rommel: Eerdere methoden hadden vaak extra "hulp-apparatuur" nodig om achteruit te rijden. BiFM is alles-in-één. De robot is slimmer geworden, niet zwaarder.
Betrouwbaarheid: Als je een foto van een hond wilt veranderen in een kat, doet BiFM dit in één keer. De hond verdwijnt, de kat verschijnt, maar de achtergrond (het gras, de boom) blijft precies zoals hij was. Bij de oude snelle methoden zou de boom soms verdwijnen of de achtergrond grijs worden.

Samenvattend in één zin:

BiFM is een slimme AI-truc die een beeldgenerator leert om niet alleen perfect te tekenen, maar ook perfect te wissen en te herschrijven, zodat je in één oogopslag (of één klik) een foto kunt veranderen zonder dat het resultaat wazig of kapot gaat. Het is alsof je een magische knop hebt die "terugspoelen" en "vooruitspoelen" tegelijkertijd perfect doet, zodat je altijd op het juiste moment bent.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Diffusiemodellen en Flow Matching-modellen hebben sterke prestaties geleverd in beeldgeneratie en -bewerking door iteratief ruis te verwijderen. Een cruciale toepassing is inversie-gebaseerde beeldbewerking, waarbij een bronafbeelding wordt gemapt naar de latente ruimte van het generatieve model en vervolgens opnieuw wordt gegenereerd met een nieuwe prompt.

Er zijn echter twee belangrijke beperkingen in de huidige staat van de techniek, vooral bij weinig-stap (few-step) sampling:

Onnauwkeurige inversie: Bestaande methoden die geen training vereisen (zoals DDIM-inversie) vertrouwen op numerieke omkering van generatiestappen. Bij grote tijdstappen (weinig stappen) leidt dit tot grote benaderingsfouten en semantische drift, wat resulteert in slechte bewerkingskwaliteit.
Complexiteit en generalisatie: Bestaande few-step inversiemethoden vertrouwen vaak op vooraf getrainde generatoren plus extra, gespecialiseerde inversienetwerken of numerieke optimalisatie. Dit verhoogt de complexiteit, de rekentijd en beperkt de generalisatie over verschillende architecturen.

De kernvraag is: Kunnen we een few-step diffusiemodel trainen dat zijn eigen inversieproces direct leert, zonder extra modules?

Methodologie: BiFM (Bidirectional Flow Matching)

De auteurs introduceren BiFM, een unificerend kader dat generatie en inversie binnen één enkel model leert. In plaats van het hele ODE-traject te leren, parameteriseert BiFM het model als het gemiddelde snelheidsveld over continue tijdsintervallen.

Kerncomponenten:

Bidirectionele Snelheidsschatting:
- Traditionele modellen leren alleen de richting van "ruis $\to$ data" (generatie).
- BiFM schat direct het gemiddelde snelheidsveld in beide richtingen: "beeld $\to$ ruis" (inversie) en "ruis $\to$ beeld" (generatie).
- Beide richtingen worden beperkt door een gedeeld instantane snelheidsveld ( $v(x_t, t)$ ), afgeleid van vooraf gedefinieerde schema's of vooraf getrainde multi-stap modellen.
MeanFlow Identity Extensie:
- De auteurs baseren zich op de MeanFlow Identity (die het gemiddelde snelheidsveld koppelt aan het instantane veld) en breiden deze uit om zowel voorwaartse als achterwaartse tijdintervallen te dekken.
- Dit stelt het model in staat om de ODE-integratie over een groot tijdsinterval $[t, t']$ te benaderen met één stap, ongeacht de richting.
Bidirectionele Consistentie-Doelstelling:
- Om de stabiliteit van het trainen te garanderen, wordt een nieuwe bidirectionele consistentieloss ( $\mathcal{L}_{BiFM}$ ) geïntroduceerd.
- Deze loss straft de discrepantie tussen de voorwaartse voorspelling ( $u_\theta(x_t, t, t')$ ) en de achterwaartse voorspelling ( $-u_\theta(x_{t'}, t', t)$ ).
- Dit zorgt ervoor dat het model fysiek consistent is: als je van punt A naar B gaat en terug, moet je ongeveer bij punt A eindigen.
Training en Fine-tuning:
- Training van nul: Het model leert het gemiddelde snelheidsveld via continue tijdsintervalsupervisie.
- Fine-tuning: BiFM kan worden toegepast op grote vooraf getrainde modellen (zoals Stable Diffusion 3) via LoRA. Het model voegt een lichtgewicht tijdsinterval-embedding toe (die $t$ en de interval $t'-t$ encodeert) om de dynamiek van grote stappen te leren zonder de basisarchitectuur volledig te vervangen.

Belangrijkste Bijdragen

Unified Framework: BiFM is het eerste kader dat generatie en inversie gezamenlijk leert binnen één Flow Matching-model, waardoor de noodzaak voor aparte inversienetwerken of numerieke optimalisatie verdwijnt.
Directe Inversie: Het model leert een fysiek beperkte, bidirectionele snelheidsveld, wat leidt tot nauwkeurige inversie zelfs bij extreem weinig stappen (bijv. 1 stap).
Schaalbaarheid: De methode is compatibel met populaire backbones (SiT, MMDiT) en kan worden gebruikt voor zowel training van nul als fine-tuning van state-of-the-art modellen.
Efficiëntie: Het elimineert de iteratieve benaderingsfouten van DDIM-inversie, wat real-time interactieve bewerking mogelijk maakt.

Resultaten

De auteurs evalueren BiFM op diverse taken, waaronder beeldbewerking (PIE-Bench), beeldreconstructie en beeldgeneratie (MSCOCO, ImageNet, CIFAR-10).

Beeldbewerking (Few-Step & One-Step):
- BiFM overtreft bestaande few-step methoden (zoals TurboEdit, InstantEdit) en training-free methoden (DDIM, PnP Inv) consistent.
- Bij 4 stappen (NFE=4) behaalt BiFM een LPIPS van 67.25 en een SSIM van 87.29, wat beter is dan concurrenten.
- Bij één stap (One-Step) behaalt BiFM de beste resultaten op PSNR en CLIP-semantiek, wat aantoont dat het de structuur en achtergrond beter behoudt dan andere één-stap methoden.
Beeldreconstructie:
- In reconstructietests (beeld $\to$ ruis $\to$ beeld) behaalt BiFM de laagste MSE en hoogste PSNR/SSIM, wat aangeeft dat het de originele details (zoals oogdetails en geometrie) beter behoudt dan DDIM of RF-Edit.
Beeldgeneratie:
- Op MSCOCO-256 en CIFAR-10 verbetert BiFM de FID-scores zowel voor multi-step als one-step sampling ten opzichte van standaard Flow Matching en MeanFlow.
- Op ImageNet-256 toont BiFM consistente verbeteringen in FID over verschillende modelgroottes (SiT-B, L, XL).

Betekenis en Impact

Dit werk is significant omdat het de fundamentele beperking van few-step diffusiemodellen aanpakt: de moeilijkheid om een betrouwbare inversie te leren. Door inversie en generatie te verenigen in een enkel, fysiek consistent model, maakt BiFM real-time, semantisch getrouwe beeldbewerking mogelijk zonder de rekenlast van iteratieve solvers of extra netwerken. Het opent de deur voor snellere, robuustere interactieve AI-toepassingen in creatieve workflows, waarbij de kwaliteit van de bewerking niet langer ten koste gaat van de snelheid.