Technische Samenvatting: Midpoint Generative Models (MGM)

Probleemstelling

Diffusie- en stromingsmodellen zijn centraal komen te staan in generatieve AI, waardoor toepassingen in synthese van afbeeldingen, video en audio mogelijk zijn. Een primaire bottleneck voor praktische implementatie is echter de inferentiesnelheid; standaard diffusiemodellen vereisen honderden of duizenden functiewaarderingen (NFE) om hoogwaardige steekproeven te genereren. Hoewel er verschillende benaderingen bestaan om generatie te versnellen—zoals het ontwikkelen van betere numerieke oplosmethoden, het distilleren van vooraf getrainde modellen tot één-staps-generatoren, of het trainen van één-staps-modellen vanaf nul met gebruikmaking van structurele eigenschappen van diffusie—blijft er behoefte aan geprincipeerde, effectieve methoden om één-staps-generatoren direct uit data te trainen zonder te vertrouwen op een vooraf getraind "docent"-model.

Methodologie

Het artikel introduceert Midpoint Generative Models (MGM), een raamwerk voor het trainen van één-staps-generatieve modellen gebaseerd op een specifieke symmetrie-eigenschap van Flow Matching met lineaire interpolatie.

Kerninzicht: Midpoint-symmetrie

De auteurs observeren dat bij Flow Matching, bij interpolatie tussen twee identieke eindpuntverdelingen ($p_0 = p_1$) met behulp van een lineair pad $X_t = (1-t)X_0 + tX_1$, het snelheidsveld $v_t(x)$ exact verdwijnt op het middentijdstip $t=1/2$. Specifiek geldt: $v_{1/2}(x) = \mathbb{E}[X_1 - X_0 | X_{1/2} = x] = 0$. Omgekeerd is dit veld doorgaans niet-nul als $p_0 \neq p_1$. Deze eigenschap maakt het mogelijk om de norm van het snelheidsveld op het middelpunt te gebruiken als maatstaf voor de discrepantie tussen verdelingen.

De Midpoint-divergentie

Om dit te formaliseren, definiëren de auteurs de Midpoint-divergentie:
$$D_{\text{mid}}(p_0, p_1) := \mathbb{E}_{X_{1/2}} \left[ \| \mathbb{E}_{X_0, X_1}[X_1 - X_0 | X_{1/2}] \|_2^2 \right]$$
Ze bewijzen dat deze divergentie definitief is: deze is niet-negatief en gelijk aan nul dan en slechts dan als $p_0 = p_1$.

Uitbreiding voorbij het middelpunt

Een naïeve uitbreiding van dit concept naar alle tijdstappen $t \in [0, 1]$ faalt omdat het snelheidsveld ook op niet-middentijdstippen niet-nul is wanneer $p_0 = p_1$, vanwege een inherente oriëntatiebias (het is gemakkelijker om het "verleden"-eindpunt te reconstrueren dan het "toekomstige"). Om dit op te lossen, introduceert MGM willekeurig omgekeerde interpolaties:

1. Een Bernoulli-variabele $B \sim \text{Bernoulli}(1/2)$ bepaalt of de interpolatie voorwaarts ($X_t$) of achterwaarts ($X_{1-t}$) verloopt.
2. De observatie is de omgekeerde variabele $\tilde{X}_t$, maar de flip $B$ is niet waargenomen.
3. Deze symmetrisatie zorgt ervoor dat voor elke $t$, als $p_0 = p_1$, het conditionele verplaatsingsveld $\tilde{v}_t(x) = \mathbb{E}[X_1 - X_0 | \tilde{X}_t = x]$ verdwijnt.

Dit leidt tot de Tijd-geïntegreerde Midpoint-divergentie, gedefinieerd door de geïntegreerde kwadratische norm van dit gesymmetriseerde verplaatsingsveld over $t \in [0, 1/2]$.

Generalisatie naar Stochastische Interpolanten

Het raamwerk wordt verder gegeneraliseerd naar symmetrische stochastische interpolanten van de vorm $X_t = I_t(X_0, X_1) + \sigma_t \epsilon$, waarbij de interpolatiefunctie $I_t$ en het rooster voor ruis $\sigma_t$ voldoen aan symmetrievoorwaarden ($I_t(x_0, x_1) = I_{1-t}(x_1, x_0)$ en $\sigma_t = \sigma_{1-t}$). Dit resulteert in een Gegeneraliseerde Midpoint-divergentie die een geldige maatstaf voor discrepantie blijft.

Variationale Trainingsdoelstelling

Het direct minimaliseren van de divergentie is onuitvoerbaar omdat het ware conditionele verplaatsingsveld onbekend is. De auteurs leiden een variational formulering af:
$$D(p_\theta, p_{\text{data}}) = \max_{f} \int_0^{1/2} \mathbb{E} \left[ 2\langle f(\tilde{X}_t), X_1 - X_0 \rangle - \|f(\tilde{X}_t)\|_2^2 \right] dt$$
waarbij $f$ een leerbare vectorwaarde functie is (een "verplaatsingsveld" of critic). Dit resulteert in een minimax-doelstelling:

1. Update $f_\psi$ (Critic): Regresseer $f_\psi$ om het gesymmetriseerde verplaatsingsveld $X_1 - X_0$ te benaderen.
2. Update $G_\theta$ (Generator): Minimaliseer de variationele doelstelling met behulp van de vaste $f_\psi$.

De generator $G_\theta$ mapt een latente prior $z$ naar $X_0$, die vervolgens wordt gekoppeld aan echte data $X_1$ om de verliesfunctie te berekenen.

Belangrijkste Bijdragen

1. Midpoint-divergentie: De introductie van een nieuwe verdelingsdiscrepantie afgeleid van de midpoint-symmetrie van lineaire interpolant Flow Matching. De auteurs bewijzen de definitiviteit ervan (verdwijnt dan en slechts dan als verdelingen gelijk zijn).
2. Symmetrisatie via Tijdflip: De uitbreiding van de divergentie naar alle tijdstappen via willekeurige tijdflips, waardoor oriëntatiebias wordt verwijderd en tijd-geïntegreerde doelstellingen mogelijk worden.
3. Gegeneraliseerde Midpoint-divergentie: De generalisatie van het concept naar symmetrische stochastische interpolanten, waardoor een flexibel raamwerk ontstaat voor diverse ruisroosters.
4. MGM-algoritme: Een praktisch trainingsraamwerk voor één-staps-generatoren dat:
   • Direct uit data traint zonder een vooraf getraind diffusie/stromingsdocent.
   • Een geleerd verplaatsingsveld gebruikt om de divergentie te benaderen.
   • Concurrente prestaties behaalt ten opzichte van bestaande één-staps-methoden.

Experimentele Resultaten

De auteurs evalueren MGM op onvoorwaardelijke CIFAR-10 (32x32) generatie en rapporteren de Frechet Inception Distance (FID) voor 1-NFE sampling.

• Prestaties: MGM bereikt een FID van 2,27, wat het beste resultaat is onder methoden die geen docent-model trainingsignaal gebruiken (d.w.z. methoden die vanaf nul worden getraind zonder distillatie van een vooraf getraind model). Het presteert beter dan andere docent-vrije benaderingen zoals DiffRatio-DiJS (2,39) en iCT-deep (2,51).
• Ablatiestudies:
  • Tijd-integratie: Het gebruik van alleen het middelpunt ($t=1/2$) levert geldige maar ruizigere steekproeven op (FID ~13,55 met critic-ruis), terwijl integratie over tijd de kwaliteit aanzienlijk verbetert (FID 2,27).
  • Willekeurige flips: De naïeve niet-omgekeerde tijd-geïntegreerde doelstelling faalt (FID > 100) vanwege oriëntatiebias, wat de noodzaak van de willekeurige flip bevestigt.
  • Stochasticiteit: Een kleine hoeveelheid ruis in de interpolant ($\sigma > 0$) is cruciaal voor stabiele training; deterministische bruggen presteren slecht.
  • Critic-stochasticiteit: Het ontkoppelen van de ruisniveaus voor de generator en de critic (met gebruik van ruis alleen voor de critic) levert de beste resultaten op.

Betekenis en Claims

Het artikel claimt dat MGM een effectieve en theoretisch onderbouwde aanpak biedt voor generatieve modellering. De betekenis hiervan ligt in:

• Theoretische Grondslag: Het herformuleert symmetrische stochastische interpolanten niet alleen als generatieve paden, maar als een basis voor het vergelijken van eindpuntverdelingen via een definitieve divergentie.
• Trainingsparadigma: Het biedt een geprincipeerde manier om één-staps-generatoren direct uit data te trainen, waardoor de complexiteit en potentiële beperkingen van het distilleren van vooraf getrainde modellen worden vermeden.
• Concurrentiekracht: Het demonstreert dat een methode gebaseerd op deze specifieke symmetrie state-of-the-art resultaten kan behalen onder docent-vrije één-staps-generatoren, wat de notie uitdaagt dat distillatie strikt noodzakelijk is voor hoogwaardige, snelle generatie.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de minimax-training optimisatie-instabiliteit kan introduceren die vergelijkbaar is met GAN's, en dat de prestaties afhankelijk zijn van ontwerpkiezen zoals het ruisrooster en het type interpolant. Ze claimen niet alle docent-gebaseerde distillatiemethoden te overtreffen (bijvoorbeeld CTM bereikt een FID van 1,87), maar positioneren MGM als het toonaangevende alternatief voor training vanaf nul.