Technische Samenvatting: Divergentie-onderdrukkende Koppelingen voor Gerechtstroom

Probleemstelling

Rectified Flow (RectFlow) beoogt generatieve modellering te versnellen door snelheidsvelden met rechte trajecten te leren, waardoor hoogwaardige steekproefgeneratie mogelijk wordt met weinig of zelfs één numerieke integratiestap (NFE). De methode vertrouwt op een iteratief "reflow"-proces: een basismodel dat is getraind met een onafhankelijke koppeling genereert nieuwe bron-doelparen, die vervolgens worden gebruikt om een model met een rechtser snelheidsveld opnieuw te trainen.

Echter, het artikel identificeert een fundamentele bottleneck: koppelingsdistorsie. In de praktijk vertonen trajecten die door het basismodel worden gegenereerd vaak krommingen en verstrengeling. Deze distorsie wordt frequent geassocieerd met gebieden van niet-nul divergentie in het geleerde snelheidsveld. In deze gebieden veroorzaken lokale expansie of contractie dat trajecten uit elkaar drijven of samenkrimpen, waardoor deeltjes worden afgestuurd van hun ideale eindpunten. Bijgevolg erft het opnieuw getrainde model deze fouten, en leveren extra rondes van rectificatie afnemende meeropbrengsten op omdat het model effectief een transport "herstroomt" dat al gebogen is. De kwaliteit van de forward-integrator die wordt gebruikt om koppelingsparen te genereren, beperkt de effectiviteit van RectFlow, en niet de trainingsverliesfunctie of modelcapaciteit.

Methodologie: DS-RectFlow

De auteurs stellen DS-RectFlow (Divergentie-onderdrukkende Gerechtstroom) voor, een offline correctiemethode die is ontworpen om schoner koppelingsparen te genereren tijdens het reflow-proces, zonder de trainingsdoelstelling, modelarchitectuur of inferentieprocedure te wijzigen.

Kernmechanisme

De methode is gebaseerd op de observatie dat trajectkromming (koppelingsdistorsie) wordt aangedreven door het comprimeerbare component van het snelheidsveld. Met behulp van de Helmholtz-decompositie wordt het snelheidsveld $v$ opgesplitst in een divergentievrije transportcomponent $u$ en een dipoolcomponent $\nabla \phi$ die alle comprimeerbaarheid van het veld draagt. Het artikel betoogt dat het onderdrukken van de grootte van de divergentie $|\nabla \cdot v|$ de trajecten recht houdt.

De Divergentie-onderdrukkende Integrator

Tijdens de offline generatie van koppelingsparen (de "reflow"-stap) vervangt DS-RectFlow de standaard Euler-integrator door een divergentie-onderdrukkende Euler-integrator:

1. Staatcorrectie: Bij elke integratiestap zoekt het algoritme, in plaats van direct voort te schrijden vanuit de huidige staat $x_t$, een nabijgelegen staat $x^*_t$ waar de geschatte divergentie $|\hat{\nabla} \cdot v_\theta(x^*_t, t)|$ wordt geminimaliseerd.
2. Hutchinson-schatting: Om de hoge kosten van exacte divergentieberekening in hoge dimensies te vermijden, maakt de methode gebruik van de sporenschatting van Hutchinson om $\nabla \cdot v$ te benaderen. Het genereert $m$ Gaussische perturbaties rond de huidige staat en selecteert de kandidaat die de geschatte grootte van de divergentie minimaliseert.
3. Integratie: De Euler-stap wordt vervolgens berekend vanuit deze gecorrigeerde staat $x^*_t$ met behulp van het originele, ongewijzigde snelheidsveld: $x_{t+\Delta t} = x^*_t + v_\theta(x^*_t, t) \cdot \Delta t$.

Implementatiedetails

• Alleen Offline: De correctie wordt alleen toegepast tijdens de generatie van het koppelingsdataset voor hertraining.
• Inferentie: Het uiteindelijk getrainde model wordt ingezet met gewone Euler-integratie, zonder extra rekenkundige overhead. De divergentie-onderdrukkende logica is niet aanwezig op het moment van inferentie.
• Begrotingscontrole: De correctie wordt alleen toegepast tot een tijd $t_{stop}$ (doorgaans 0,5) en wordt beheerst door een zoekstraalparameter $\delta$.

Belangrijkste Bijdragen

1. Diagnose van RectFlow-beperkingen: Het artikel identificeert dat de kwaliteit van de koppeling die door het basismodel wordt gegenereerd, specifiek de aanwezigheid van niet-nul divergentie die trajectcompressie/expansie veroorzaakt, de primaire bottleneck is die RectFlow verhindert zijn theoretisch potentieel van generatie in één stap te bereiken.
2. Offline Correctiestrategie: Het introduceert een innovatieve offline correctie die het divergente component van het snelheidsveld afzwakt tijdens de generatie van koppelingen. In tegenstelling tot correcties op het moment van inferentie (zoals hogere-orde oplosprogramma's of guidance), verlegt deze methode de correctiekosten volledig naar de fase van trainingsdatageneratie.
3. Geen Inferentie-Overhead: De methode levert een model op dat tijdens implementatie draait tegen identieke wandklokkosten als standaard RectFlow, aangezien het inferentiepad een eenvoudige Euler-stap blijft.
4. Herstel van Cumulatieve Effecten: Door schoner koppelingsparen te bieden, herstelt DS-RectFlow het "cumulatieve" voordeel van rectificatie, waarbij elke reflow-rond de rechtstand van het veld aanzienlijk verbetert; een fenomeen dat bij standaard RectFlow vaak verloren gaat door opgehoopte distorsie.

Experimentele Resultaten

De auteurs evalueren DS-RectFlow op 2D synthetische benchmarks en taken voor beeldgeneratie (CIFAR-10, CelebA-64).

• 2D Benchmarks (Checkerboard & GMM):

  • Op de Checkerboard-benchmark vermindert DS-RectFlow de Gesneden Wasserstein-afstand (SWD) aanzienlijk in vergelijking met vanilla RectFlow. Bij $NFE=1$ bereikt het een SWD van 0,102 (tegenover 0,165 voor vanilla), wat effectief de prestaties van een Flow Matching-basislijn met 20 stappen evenaart, maar in één enkele stap.
  • Op de GMM-kruisingsbenchmark vertoont DS-RectFlow aanvankelijk een hogere fout bij lage NFE (door complexere toewijzingsbeslissingen voor modi trouwer vast te leggen), maar convergeert snel naar superieure prestaties. Tegen de tweede reflow-rond ($k=2$) bereikt het een 3x verbetering in SWD bij $NFE=1$ in vergelijking met vanilla RectFlow.
  • Visualisaties bevestigen dat DS-RectFlow scherpere, beter gescheiden modi produceert met minder "gelekte" steekproeven in verboden gebieden.

• Beeldgeneratie (CIFAR-10 & CelebA-64):

  • CIFAR-10: DS-RectFlow bereikt consistent een lagere Fréchet Inception Distance (FID) over alle NFE-budgetten. Met een Euler-20 offline oplosprogramma verlaagt de methode de FID van 17,41 naar 12,03 bij $NFE=1$ (een relatieve verbetering van 31%). Opmerkelijk is dat het DS-RectFlow-model met $NFE=1$ het vanilla-model presteert op alle NFE-stappen in de sweep.
  • CelebA-64: Vergelijkbare trends worden waargenomen. Bij $NFE=2$ bereikt DS-RectFlow een FID van 4,90, wat de beste prestatie van het vanilla-model over alle NFE's overtreft (wat 5,64 is bij $NFE=20$).
  • De resultaten tonen aan dat de offline correctie direct wordt overgedragen naar een model dat in staat is tot hoogwaardige generatie in één stap.

Betekenis en Claims

Het artikel beweert dat koppelingskwaliteit, en niet trainingscapaciteit of inferentiebudget, de principale bottleneck van RectFlow is. Door de divergentie-geïnduceerde distorsie offline aan te pakken, stelt DS-RectFlow de cumulatieve verbeteringen in het werk die rectificatie belooft maar zelden in de praktijk levert.

De auteurs benadrukken dat deze aanpak een praktisch voordeel biedt: het levert de voordelen van een divergentie-gecorrigeerde integrator (rechtser trajecten, betere modusuitlijning) op, terwijl het profiel van inferentie met nul latentie van standaard RectFlow behouden blijft. De correctie is een eenmalige kostenpost die wordt betaald tijdens de datageneratie, die wordt afgeschreven over de gehele trainingsrun. Het artikel suggereert dat dit mechanisme toepasbaar kan zijn op andere op stromen gebaseerde methoden, zoals stochastische interpolanten en optimale-transport flow matching, waar divergente driftcomponenten de steekproefkwaliteit verslechteren.