A Few-Step Generative Model on Cumulative Flow Maps

Technische Samenvatting: Een Generatief Model in Enkele Stappen op Cumulatieve Stroomkaarten

Probleemstelling
Generatieve modellen, waaronder diffusiemodellen en flow matching, worden doorgaans geformuleerd als het leren van instantane stroomkaarten (of instantane dynamica) die lokale statupdates voorspellen, geconditioneerd op de huidige staat $x(t)$. Om data te genereren, vereisen deze modellen iteratieve numerieke integratie over vele kleine tijdstappen om de cumulatieve stroomkaart te benaderen—het transport over een eindige tijd dat steekproeven verplaatst van een eenvoudige bronverdeling naar een complexe dataverdeling. Dit meerstaps bemonsteringsproces brengt aanzienlijke computerkosten met zich mee.

Hoewel recente inspanningen hebben onderzocht generatie in enkele stappen en één stap, lopen bestaande benaderingen tegen beperkingen aan:

1. Op distillatie gebaseerde methoden vereisen vaak complexe trainingspijplijnen voor leraar-leerling.
2. Consistentiemodellen en Mean Flow (die gemiddelde snelheden leert) zijn primair ontworpen voor specifieke formuleringen (bijv. $u$-prediction flow matching) en generaliseren niet van nature naar andere wijdverbreide kaders in computergraphics, zoals DDIM, EDM of $x_1$-prediction flow matching.
3. Het direct leren van lange-range cumulatieve kaarten is uitdagend omdat de geconditioneerde tegenhangers die nodig zijn voor standaard trainingsdoelstellingen niet bestaan voor cumulatieve velden, wat een fundamentele trainingsbarrière creëert.

Methodologie: Cumulatieve Stroomkaarten (CFM)
De auteurs stellen Cumulatieve Stroomkaarten (CFM) voor, een unificerend kader dat lokale instantane updates verbindt met transport over een eindige tijd via een expliciete parameterisering van cumulatieve velden.

• Unificerende Abstractie: De methode formaliseert de instantane stroomkaart $\psi_{t \to t+h}$ met behulp van een abstracte functie $F[m_t(x), x, t, t+h]$, waarbij $m_t(x)$ het instantane veld is (bijv. snelheid). Deze abstractie verenigt diverse parameterisaties ($u$-FM, $x_1$-FM, DDIM, EDM).
• Cumulatieve Parameterisering: CFM breidt dit uit naar transport over lange afstand door een cumulatieve stroomkaart $\psi_{t \to r}$ te definiëren als de limiet van het samenstellen van instantane kaarten. Het model leert een cumulatief parameteriserend veld $m_{t \to r}(x)$ zodat $\psi_{t \to r}(x) = F[m_{t \to r}(x), x, t, r]$. Dit stelt het model in staat om bemonstering van tijd $t$ naar een willekeurige toekomstige tijd $r$ in één of enkele stappen te laten plaatsvinden.
• Training via Vervelingsvergelijkingen: Een belangrijke uitdaging is dat een geconditioneerd cumulatief veld $m_{t \to r}(x | X_1) niet op een zelfconsistent manier bestaat. Om dit te overwinnen, leiden de auteurs een op veldvergelijkingen gebaseerde herformulering af (Stelling 3). Ze drukken het cumulatieve veld uit in termen van het instantane veld en zijn afgeleiden:
  $$m_{t \to r}(x) = G(t, r)m_t(x) + H(t, r)E[\dots]$$
  Deze formulering maakt de constructie van een surrogaat-verliesfunctie mogelijk (Eq. 7) die het geconditioneerde instantane veld $m_t(x | X_1)$ (dat leerbaar is) gebruikt om het cumulatieve veld te superviseren. Het verlies bevat afgeleide-termen ($\partial_t m$ en $\partial_x m$) die worden berekend via Jacobiaan-vectorproducten (JVP) of discrete benaderingen.
• Implementatie: De benadering vereist minimale architectonische wijzigingen. Het vult de tijdsinbedding aan met een extra inbedder voor de doeltijd $r$ en gebruikt een gemiddelde inbedding $(emb_t + emb_r)/2$. Er is geen distillatie of capaciteitsverhoging vereist.

Belangrijkste Bijdragen

1. Instantane–Cumulatieve Stroomkaart-Abstractie: Het artikel formaliseert cumulatieve stroomkaarten als transporten over een eindige tijd die worden verkregen door instantane kaarten samen te stellen, en verenigt meerstaps- en enkele-staps-generatie onder één wiskundig kader.
2. Generalisatie Buiten $u$-Prediction: CFM generaliseert het concept van Mean Flow naar een breed scala aan generatieve formuleringen, waaronder $u$- en $x_1$-flow matching, EDM en DDIM. Dit maakt generatie in enkele stappen mogelijk in situaties waar eerdere methoden (zoals Mean Flow) niet toepasbaar zijn, zoals modellering van geometrische verdelingen en beeldgeneratie in pixelruimte.
3. Model-onafhankelijke Training: Door een op veldvergelijkingen gebaseerd doel af te leiden, stelt de methode het leren van cumulatieve stroomkaarten mogelijk zonder architectonische wijzigingen of distillatie, wat de bemonsteringsstappen in bestaande modellen aanzienlijk reduceert.

Experimentele Resultaten
De auteurs evalueren CFM over vijf diverse graphics-taken, waarbij significante snelheidswinsten (10×–200×) worden aangetoond terwijl de generatiekwaliteit behouden blijft of verbetert:

• Beeldgeneratie (CelebA-HQ): Met CFM-DDIM bereikt het model generatie in 1 stap en 4 stappen met FID-scores die vergelijkbaar zijn met 128-staps baselines, en presteert het beter dan consistentiedistillatie en trainingsmethoden.
• Modellering van Geometrische Verdelingen: Op de GeoDist-taak bereikt CFM-EDM snelheidswinsten van 6×–10× zonder degradatie in Chamfer-afstand vergeleken met 60-staps baselines. Opmerkelijk is dat $u$-prediction methoden in dit domein geen generatie in enkele stappen ondersteunen, terwijl CFM-EDM wel slaagt.
• Gecombineerde Positievoorspelling (PDT): Toegepast op de RigNet-dataset, reduceert CFM-DDIM de inferentie van 1000 stappen naar 5 stappen (200× snelheidswinst) terwijl de nauwkeurigheid van de gewrichtsvoorspelling (CD-J2J, IoU, Precisie, Recall) vergelijkbaar blijft met de originele 1000-staps PDT.
• Beeld-geconditioneerde Schetsgeneratie: Op de ControlSketch-dataset genereert CFM vectorische schetsen in 1 of 4 stappen (50× snelheidswinst) met een trouw (MS-SSIM, DreamSim) die overeenkomt met de 50-staps SwiftSketch-baseline.
• 3D SDF-Generatie: Voor conditionele reconstructie van schaarse SDF's (64 punten) bereikt CFM-$x_1$-FM snelheidswinsten van 6–16× ten opzichte van Functionele Diffusie met vergelijkbare reconstructiekwaliteit.

Betekenis en Beweringen
Het artikel beweert dat CFM een algemeen wiskundig kader biedt dat bijzonder geschikt is voor computergraphics-toepassingen die diverse datavoorstellingen (afbeeldingen, puntwolken, impliciete velden) en generatieve formuleringen omvatten. De primaire betekenis ligt in:

• Ontkoppeling van Efficiëntie en Architectuur: Het bereikt drastische versnelling van de inferentie (tot 200×) uitsluitend door het trainingsdoel en de tijdsinbeddingen aan te passen, zonder distillatie of ingrijpende architecturale wijzigingen.
• Unificerend Kader: Het overbrugt de kloof tussen instantane dynamica en transport over lange afstand, en biedt een principiële oplossing voor generatie in enkele stappen over modellen heen waar eerdere benaderingen op basis van "gemiddelde snelheid" faalden.
• Praktijkgerichtheid: De methode is model-onafhankelijk en kan worden toegepast op vooringestelde meerstapsmodellen om deze te versnellen, of worden gebruikt om nieuwe modellen voor generatie in enkele stappen vanaf nul te trainen.

De auteurs handhaven dat hoewel CFM toepasbaar is op een breed scala aan modellen, hun huidige evaluatie beperkt is tot vijf toepassingen en vier representatieve formuleringen, waardoor uitbreiding naar grootschalige datasets (bijv. ImageNet) als toekomstig werk achterblijft.