Technische Samenvatting: MeanFlowNFT

1. Probleemstelling

Diffusie- en Flow Matching-modellen hebben zich gevestigd als de dominante paradigma's voor hoogwaardige beeld- en videogeneratie. Hun afhankelijkheid van het integreren van instantane snelheden over vele opeenvolgende stappen resulteert echter in trage inferentietijden. MeanFlow pakt deze bottleneck aan door de gemiddelde snelheid over een tijdsinterval te voorspellen, wat hoogwaardige generatie in slechts enkele stappen mogelijk maakt.

Tegelijkertijd is Reinforcement Learning (RL) een standaardmethode geworden om generatieve modellen af te stemmen op menselijke voorkeuren. Hoewel DiffusionNFT een efficiënt, forward-process RL-framework introduceerde dat reverse-process trajecten en likelihood-schattingen vermijdt, optimaliseert het instantane snelheden. Er bestaat een kritieke kloof: het toepassen van forward-process RL op MeanFlow is niet triviaal omdat MeanFlow sampleert met behulp van gemiddelde snelheden, wat een mismatch creëert tussen het optimalisatiedoel (instantan) en het samplingsmechanisme (gemiddeld). De centrale vraag is of een vooraf getraind MeanFlow-model kan worden gefinetuned met efficiënte forward-process RL om superieure generatie in enkele stappen mogelijk te maken.

2. Methodologie: MeanFlowNFT

Het artikel stelt MeanFlowNFT voor, het eerste forward-process RL-framework dat specifiek is ontworpen voor MeanFlow-generatoren. De kerninnovatie ligt in het overbruggen van de kloof tussen gemiddelde en instantane snelheden met behulp van de MeanFlow-identiteit.

2.1 Theoretische Fundering

De methode rust op de MeanFlow-identiteit, die de instantane snelheid $v(x_t, t)$ relateert aan de gemiddelde snelheid $u(x_t, s, t)$ over een interval $[s, t]$:
$$v(x_t, t) = u(x_t, s, t) + (t - s) \frac{d}{dt}u(x_t, s, t)$$
waarbij $\frac{d}{dt}u = \partial_t u + (\partial_x u) v$.

2.2 Geïnduceerde Instantane Snelheidspredictor

In plaats van het MeanFlow-netwerk direct aan te passen om instantane snelheden te voorspellen, construeren de auteurs een geïnduceerde instantane snelheidspredictor, aangeduid als $V_\theta$:
$$V_\theta(x_t, s, t) \triangleq u_\theta(x_t, s, t) + (t - s) [\partial_t u_\theta + (\partial_x u_\theta) \hat{v}_\theta]$$
Hier is $u_\theta$ het trainbare gemiddelde-snelheidsnetwerk. De term $\hat{v}_\theta$ dient als de richting voor de ruimtelijke afgeleide en wordt benaderd door de instantane snelheid van het netwerk bij $s=t$.

2.3 Optimalisatie-objectief

Het framework past het DiffusionNFT-stijl objectief toe op deze geïnduceerde predictor $V_\theta$. Het trainingsproces omvat:

1. Impliciete Parameterisatie: Het construeren van "positieve" ($V^+_\theta$) en "negatieve" ($V^-_\theta$) predictors gebaseerd op een bevroren referentiemodel ($V^{old}$) en het trainbare model ($V_\theta$), gewogen door een beloning $r$ en sturingsterkte $\beta$.
2. Forward-Process Loss: Het minimaliseren van een beloningsgewogen kwadratische fout tussen deze geïnduceerde predictors en de conditionele snelheid $v_t$:
   $$\mathcal{L}_{MFNFT} = \mathbb{E} [ r \|V^+_\theta - v_t\|^2 + (1-r) \|V^-_\theta - v_t\|^2 ]$$
3. Ontkoppelde Sampling: Cruciaal is dat terwijl de optimalisatie plaatsvindt in de instantane snelheidruimte ($V_\theta$), de inferentie gebaseerd blijft op de gemiddelde snelheid $u_\theta$. Dit behoudt de natuurlijke efficiëntie van MeanFlow voor sampling in enkele stappen.

2.4 Praktische Implementatiedetails

Om de trainingsstabiliteit en computationele efficiëntie te waarborgen, introduceren de auteurs drie belangrijke ontwerpkeuzes:

• Eindige-verschil Afgeleiden (Finite-Difference Derivatives): De totale afgeleide term $\frac{d}{dt}u$ wordt benaderd met centrale eindige verschillen in tijd $t$, waardoor dure Jacobian-vectorproducten (JVPs) worden vermeden.
• Gedeelde Afgeleideterm: Om trainingsinstabiliteit te voorkomen, delen de trainbare en de referentie-predictors dezelfde geschatte afgeleideterm ($\frac{d}{dt}u^{old}$). Dit elimineert de afgeleide-verschilterm die de optimalisatie anders zou destabiliseren.
• Conditionele Snelheidsrichting: De richting voor de eindige verschillen gebruikt de forward-process conditionele snelheid $v_t$ (beschikbaar zonder extra kosten) in plaats van de trainbare instantane snelheid $\hat{v}_\theta$, wat de stabiliteit verbetert.

3. Belangrijkste Bijdragen

1. Eerste Forward-Process RL voor MeanFlow: MeanFlowNFT is het eerste framework dat forward-process RL toepast op MeanFlow-generatoren. Het optimaliseert succesvol de onderliggende gemiddelde snelheid door DiffusionNFT-stijl objectieven toe te passen op een geïnduceerde instantane snelheidspredictor.
2. Theoretische Garanties: De auteurs bewijzen dat in een geïdealiseerde setting de optimale geïnduceerde predictor de verbeterde policy-target van DiffusionNFT herstelt. Verder demonstreren zij dat deze policy-verbetering bewezen kan worden overgedragen naar het gemiddelde-snelheidsnetwerk, waardoor de MeanFlow-policy strikt verbetert.
3. Efficiëntie en Prestaties: De methode behoudt het likelihood-vrije, solver-agnostische karakter van DiffusionNFT, terwijl de efficiëntie van MeanFlow voor sampling in enkele stappen behouden blijft.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op beeldgeneratie (Stable Diffusion 3.5-Medium) en videogeneratie (Wan2.1 1.3B).

• Beeldgeneratie (SD3.5-M): MeanFlowNFT (4 stappen) presteert consistent beter dan few-step baselines (DMD, CDM, AnyFlow) en recente few-step RL-methoden (Rdm, RTDMD). Opvallend genoeg behaalt het superieure of vergelijkbare resultaten met de 40-stappen DiffusionNFT baseline op 6 van de 8 metrieken (bijv. ImageReward, CLIPScore, OCR), terwijl het 10$\times$ minder functie-evaluaties gebruikt.
• Videogeneratie (Wan2.1): Met slechts 4 sampling stappen bereikt MeanFlowNFT de beste resultaten onder de few-step modellen op 5 van de 7 metrieken. Het overtreft de 50-stappen LongCat-Video RL baseline op alle gerapporteerde metrieken (bijv. een VBench score van 84.33 versus 82.57).
• Test-Time Scaling: Het model vertoont consistente prestatieverbeteringen naarmate het aantal sampling stappen toeneemt (van 2 naar 32), waarbij een hoge consistentie in lay-out en inhoud behouden blijft over verschillende stap-aantallen, wat beter is dan de AnyFlow baseline qua stap-consistentie.

5. Betekenis en Claims

Het artikel claimt dat MeanFlowNFT erin slaagt de kloof te overbruggen tussen de efficiëntie van average-velocity generators en de alignment-capaciteiten van forward-process RL. Door optimalisatie (instantane ruimte) te ontkoppelen van sampling (gemiddelde ruimte), maakt de methode superieure generatie in enkele stappen mogelijk zonder de snelheidvoordelen van MeanFlow op te offeren.

De auteurs benadrukken dat MeanFlowNFT niet alleen bestaande few-step generators verbetert, maar ook het idee uitdaagt dat multi-step RL-getunede modellen noodzakelijk zijn voor hoge prestaties. De resultaten suggereren dat met de juiste theoretische brug (de MeanFlow-identiteit), few-step modellen zowel in kwaliteit als efficiëntie multi-step RL-getunede diffusiemodellen kunnen overtreffen. Het werk wordt gepresenteerd als een fundamentele stap, waarbij de auteurs opmerken dat hun geïnduceerde-predictor constructie potentieel ook andere flow-map modellen (bijv. consistency trajectory models) en andere forward-process RL-objectieven zou kunnen uitbreiden, hoewel dit toekomstig werk blijft.