Technische Samenvatting: Flow Matching met Willekeurige Hulpstukken (AuxPath-FM)

Probleemstelling

Continue generatieve modellen, waaronder op scores gebaseerde diffusiemodellen en flow matching (FM)-kaders, hebben zich gevestigd als krachtige hulpmiddelen voor het modelleren van complexe dataverdelingen. Bij conditionele generatieve modellering is het opnemen van zijinformatie (bijvoorbeeld klassetags) essentieel voor controleerbare synthese. Bestaande benaderingen introduceren dergelijke informatie echter doorgaans uitsluitend via de conditionering van neurale netwerken, waardoor de onderliggende waarschijnlijkheidspaden onveranderd blijven. Hoewel recent theoretisch werk suggereert dat flow matching zich aanpast aan intrinsieke manifoldstructuren, blijft de invloed van het stochastische component van het pad op trajectniveau-controle onderbelicht.

Bovendien vertrouwen eerdere op paden gebaseerde formuleringen, zoals stochastische interpolanten en Schrödinger-brugmethoden, doorgaans op Gaussisch ruis of Browniaanse dynamica voor stochastische interpolatie. Deze beperking beperkt de flexibiliteit bij het ontwerpen van waarschijnlijkheidspaden voor gestructureerde begeleiding. Hoewel recente werken niet-Gaussische verstoringen of discrete toestandsruimte-stromen hebben onderzocht, blijven deze methoden vaak gespecialiseerd voor specifieke datatypes of falen ze in het verenigen van continue en discrete priors onder één algemeen kader. Er is behoefte aan een principiële methode die toelaat dat de generatieve trajecten direct worden gevormd door diverse hulpstukken, in plaats van uitsluitend te vertrouwen op modulatie op netwerkniveau.

Methodologie: AuxPath-FM

De auteurs introduceren Flow Matching met Willekeurige Hulpstukken (AuxPath-FM), een kader dat conditionele flow matching generaliseert door een hulpstukke willekeurige variabele $\eta$, getrokken uit een willekeurige verdeling, direct op te nemen in het waarschijnlijkheidspad.

1. Willekeurige Hulpstukke Waarschijnlijkheidspaden

In tegenstelling tot standaard interpolatieschema's die hulpstukke termen beperken tot Gaussisch ruis, construeert AuxPath-FM trajecten van de vorm:
$$X_t = a(t)X_1 + b(t)X_0 + c(t)\eta$$
waarbij:

• $X_0 \sim p_0$ (basisverdeling) en $X_1 \sim p_1$ (doeldataverdeling).
• $\eta \sim p_\eta$ een hulpstukke variabele is getrokken uit een willekeurige verdeling (bijvoorbeeld Gaussisch, Uniform, Laplace, Rademacher, of discrete verdelingen).
• $a(t), b(t), c(t)$ tijdsafhankelijke scalaire functies zijn die randvoorwaarden voldoen ($a(0)=0, b(0)=1, c(0)=0$ en $a(1)=1, b(1)=0, c(1)=0$) om te waarborgen dat het pad steekproeven transporteert van $p_0$ naar $p_1$.

2. Theoretische Consistentie

Het artikel stelt vast dat deze constructie de continuïteitsvergelijking behoudt. Stelling 1 toont aan dat als conditionele vectorvelden $u_t(x | x_0, \eta)$ voldoen aan de continuïteitsvergelijking, het marginale vectorveld $u_t(x)$, verkregen door het aggregeren van conditionele velden, het marginale waarschijnlijkheidspad $p_t(x)$ genereert. Dit biedt een principiële rechtvaardiging voor het ontwerpen van complexe paden via hulpstukke variabelen.

3. Trainingsdoel en Equivalentie

Het direct optimaliseren van het marginale flow-matchingdoel is onuitvoerbaar vanwege integralen over $(X_0, \eta).$ In plaats daarvan optimaliseren de auteurs een conditioneel doel gedefinieerd op uitvoerbare paden:
$$L_{\text{AuxPath}} = \mathbb{E}_{t, X_0, X_1, \eta} \left[ \| v_\theta(X_t, t) - \dot{X}_t \|^2 \right]$$
waarbij $\dot{X}_t = \dot{a}(t)X_1 + \dot{b}(t)X_0 + \dot{c}(t)\eta$. Stelling 2 bewijst dat dit conditionele doel equivalent is aan het marginale flow-matchingdoel tot een constante die onafhankelijk is van de netwerkparameters $\theta$. Het optimaliseren van het conditionele verlies levert dus dezelfde optimale oplossing op als het onuitvoerbare marginale doel.

4. Semantische Hulpstukke Variabelen en Begeleiding

Om conditionele generatie mogelijk te maken, definieert het kader $\eta = F_\phi(Y)$, waarbij $Y$ een klassetag is en $F_\phi$ een lichtgewicht neurale netwerk is getraind via prototypeleren om de centroid per klasse te benaderen ($F_\phi(Y) \approx \mathbb{E}[X_1 | Y]$).

Deze formulering maakt Trajectniveau Classifier-Free Guidance (CFG) mogelijk. De conditionele en onconditionele snelheidsvelden worden uitgedrukt als:
$$v(x, t, y) = v_\theta(x, t) + \dot{c}(t)F_\phi(y)$$
$$v(x, t, \emptyset) = v_\theta(x, t) + \dot{c}(t)F_\phi(\emptyset)$$
Het toepassen van standaard CFG resulteert in een begeleidingscomponent die fungeert als een globale drift. Cruciaal is dat deze benadering begeleiding ontkoppelt van het backbone-model: in tegenstelling tot conventionele CFG, die twee evaluaties van het backbone $v_\theta$ vereist, vereist AuxPath-FM slechts één evaluatie van $v_\theta$ en past begeleiding toe via het lichtgewicht module $F_\phi$.

Belangrijkste Bijdragen

1. Generalisatie van Waarschijnlijkheidspaden: Het artikel generaliseert flow matching door het hulpstukke component van het waarschijnlijkheidspad toe te staan elke willekeurige verdeling te volgen, verdergaand dan de beperking tot Gaussisch ruis die voorkomt in stochastische interpolanten en Schrödinger-brugmethoden.
2. Theoretische Fundering: Het biedt een rigoureuze theoretische bewijsvoering dat de marginale stroom consistent blijft met de continuïteitsvergelijking en dat het conditionele trainingsdoel equivalent is aan het marginale doel.
3. Trajectniveau-Controle: Het kader maakt het direct coderen van gestructureerde semantische informatie (bijvoorbeeld klassetags) in het generatieve traject zelf mogelijk, in plaats van uitsluitend te vertrouwen op netwerkconditionering.
4. Efficiënte Classifier-Free Guidance: De auteurs stellen een trajectniveau-formulering van CFG voor die de inferentiekosten met ongeveer de helft verlaagt, omdat het dubbele evaluatie van het backbone-netwerk vermijdt.
5. Unificerend Perspectief: De methode verenigt diverse interpolatieschema's (inclusief discrete en zwaarstaartige priors) onder één kader, wat een flexibel perspectief biedt voor gestructureerde continue generatieve modellering.

Experimentele Resultaten

De auteurs hebben AuxPath-FM geëvalueerd op de MNIST-, CIFAR-10- en ImageNet-1k-datasets.

• Prestaties bij Conditionele Generatie: Op MNIST en CIFAR-10 verbeterde het combineren van standaard conditionele flow matching (CFM) met hulpstukke padbegeleiding (met gebruik van geleerde semantische prototypes) consistent de semantische nauwkeurigheid (classificatienauwkeurigheid) en de generatieve kwaliteit (FID, sFID) in vergelijking met een baseline CFM of hulpstukke begeleiding alleen.
• Robuustheid ten opzichte van Verdelingskeuze: Experimenten op het Ring-64-dataset en ImageNet-1k toonden aan dat het kader stabiele generatieve prestaties behoudt over diverse hulpstukke verdelingen (Gaussisch, Uniform, Laplace, Rademacher). Label-geleide hulpstukke variabelen behaalden de beste prestaties, wat wijst op verbeterde controleerbare multi-modale generatie.
• Effecten van Begeleidingsschaal: Het verhogen van de begeleidingsschaal $w$ in trajectniveau-CFG verbeterde de semantische uitlijning terwijl concurrerende generatieve kwaliteit behouden bleef.
• Efficiëntie: De trajectniveau-CFG-formulering slaagde erin de inferentiekosten (gemeten in GFLOPs) met ongeveer 50% te verminderen in vergelijking met standaard CFG, terwijl de effectiviteit van de begeleiding behouden bleef.
• Modelaanpassing: Het kader slaagde erin vooraf getrainde onconditionele flow-modellen om te zetten in conditionele generators met minimale extra kosten en zonder architecturale wijzigingen.

Betekenis en Claims

Het artikel claimt dat AuxPath-FM een principiële en algemene fundering biedt voor het ontwerp van waarschijnlijkheidspaden. Door de hulpstukke variabele toe te staan willekeurige verdelingen te volgen, biedt het kader zowel theoretische generaliteit als praktische flexibiliteit.

De auteurs benadrukken dat hun methode het paradigma van conditionele generatie verschuift van puur netwerkniveau-modulatie naar trajectniveau-ontwerp. Dit maakt het mogelijk om begeleidingssignalen direct in de generatieve dynamica in te bedden. De betekenis van dit werk ligt in het vermogen om:

• Bestaande interpolatieschema's te verenigen als speciale gevallen.
• Diverse geometrische eigenschappen voor generatieve stromen mogelijk te maken via verschillende priors.
• Een computatie-efficiënt mechanisme voor classifier-free guidance te bieden.
• Een eenvoudige maar effectieve methode te bieden voor het upgraden van bestaande onconditionele modellen naar conditionele modellen.

Het artikel concludeert dat deze benadering een unificerend perspectief biedt voor gestructureerde continue generatieve modellering, gevalideerd door uitgebreide experimenten die aantonen dat semantische-hulpstukke CFG superieure generatieve kwaliteit behoudt terwijl het de computatie-efficiëntie aanzienlijk verbetert.