Technische Samenvatting: Gestructureerde Koppeling voor Flow Matching (SCFM)

Probleemstelling

Standaard flow matching (FM) heeft zich ontwikkeld tot een uiterst effectief kader voor het trainen van continue normaliserende flows, met schaalbare optimalisatie en hoge kwaliteit van gegenereerde samples. Het vertrouwt echter doorgaans op een vaste, ongestructureerde bronverdeling (bijvoorbeeld een isotrope Gaussische verdeling). Bijgevolg moedigt de geleerde transportmap de opkomst van interpreteerbare latente structuren die nuttig zijn voor clustering, ontkoppeling of downstream-taken niet expliciet aan.

Aan de andere kant excelleren latent-variable modellen zoals Variational Autoencoders (VAE's) in het leren van gestructureerde en vaak interpreteerbare representaties via geamortiseerde inferentie. Hun generatieve kwaliteit wordt echter vaak beperkt door restrictieve decoder-families of posterior-benaderingen, wat vaak resulteert in een lagere sample-fideliteit in vergelijking met diffusion- of flow-based modellen.

Er bestaat een kloof tussen methoden die nuttige latente structuren leren en methoden die hoge fideliteit samples produceren binnen één enkel, verenigd kader.

Methodologie: Gestructureerde Koppeling voor Flow Matching (SCFM)

De auteurs stellen Structured Coupling for Flow Matching (SCFM) voor, een coöperatief kader dat flow matching uitbreidt met het leren van gestructureerde latente representaties. SCFM werkt binnen een stochastisch-interpolantformulering, waarbij de standaard vaste bron wordt vervangen door een uitgebreide variabele $x_0 = (z, \epsilon)$, waarbij:

• $z$ een structurele latente variabele is die volgt uit een leerbare gestructureerde prior $p_\psi(z)$ (bijvoorbeeld een Gaussian Mixture Model).
• $\epsilon$ exogene ruis is die transportvrijheidsgraden biedt en volgt uit een vaste prior $p(\epsilon)$.

Kernmechanismen

1. Encoder-Geïnduceerde Koppeling: In plaats van een onafhankelijke koppeling tussen bron en data, gebruikt SCFM een encoder $q_\phi(z|x_1)$ om een koppeling $\Gamma_{enc}(x_0, x_1) = p_{data}(x_1) q_\phi(z|x_1) p(\epsilon)$ te induceren. Hierdoor wordt de latente representatie een intrinsiek onderdeel van het transportprobleem in plaats van een hulpcomponent.
2. Gedeeld Erkenningsnetwerk: Een enkel tijdsafhankelijk netwerk dient een dubbel doel:
   • Intermediaire tijden ($t < 1$): Het fungeert als een schatter voor de posterior-middelpunt voor variational flow matching, en benadert het marginale snelheidsveld dat nodig is voor het trainen van de flow.
   • Eindpunt ($t = 1$): Het fungeert als de variational encoder voor het latent-variable model, en parameteriseert de benaderde posterior $q_\phi(z|x_1)$.
3. Gecombineerde Doelfunctie: Het kader optimaliseert gezamenlijk een flow-matching-verlies (het minimaliseren van de afstand tussen het geïnduceerde vectorveld en het marginale snelheidsveld) en een VAE-stijl eindpuntverlies (het minimaliseren van de Evidence Lower Bound, ELBO). Het eindpuntverlies aligneert de geaggregeerde posterior van de trainingskoppeling met de leerbare prior $p_\psi(z)$, zodat de flow wordt getraind en gesampled uit dezelfde gestructureerde verdeling.

Sampling Modi

SCFM ondersteunt twee samplingstrategieën:

• Volledige ODE-integratie: Onvoorwaardelijke generatie door $z \sim p_\psi(z)$ en $\epsilon \sim p(\epsilon)$ te samplingen, en vervolgens de ODE te integreren van $t=0$ tot $t=1$.
• Decoder-Geïnitieerde Verfijning: Om de afweging tussen kwaliteit en rekenkracht te verbeteren, kan de decoder $p_\theta(x_1|z)$ een initiële voorstel $\hat{x}_1$ genereren. De flow wordt dan geïnitieerd op een intermediair tijdstip $t_0$ met dit voorstel en geïntegreerd alleen tot $t=1$, wat minder ODE-evaluaties vereist.

Belangrijkste Bijdragen

1. Verenigd Kader: Introductie van SCFM, dat gezamenlijk een latente prior en een continue transportmap leert. De kerninnovatie is het gebruik van een uitgebreide bronvariabele $x_0 = (z, \epsilon)$ die gekoppeld wordt via een encoder, waardoor semantische structuur wordt gescheiden van transportflexibiliteit.
2. Coöperatief Trainen: Demonstratie dat een gedeeld tijdsafhankelijk erkenningsnetwerk en een VAE-stijl einddoel de trainingskoppeling kunnen aligneren met de sampling-prior. Dit integreert flow matching en VAE-training zonder dat twee-staps of onafhankelijk trainen van netwerkkomponenten nodig is.
3. Empirische Validatie: Bewijs dat SCFM structurele latente representaties leert die effectief zijn voor clustering, ontkoppeling en downstream-classificatie, terwijl het de kwaliteit van samplegeneratie behoudt die concurrerend is met standaard flow matching.

Experimentele Resultaten

De auteurs hebben SCFM geëvalueerd op MNIST, CIFAR-10, Cars3D, Shapes3D en ImageNet-128.

• Gestructureerde Representaties:
  • MNIST Clustering: SCFM (met $\beta$-VAE eindpuntverlies) behaalde een superieure clusteringnauwkeurigheid (90,4%) en genormaliseerde wederzijdse informatie (87,8%) in vergelijking met VaDE- en MFCVAE-baselines.
  • CIFAR-10 & ImageNet-128: Bevroren latente representaties van SCFM leverden hogere lineaire en niet-lineaire probe-nauwkeurigheid op dan standaard VAE's en concurrerende resultaten ten opzichte van andere baselines voor representatieleren (bijvoorbeeld DIM), wat aangeeft dat klasrelevante informatie wordt behouden zonder labeltoezicht.
• Ontkoppeling: Op Cars3D en Shapes3D behaalde SCFM concurrerende FactorVAE- en DCI-scores, wat het vermogen aantoont om factor-gevoelige latente structuren te leren in een onbewaakte setting.
• Sample Kwaliteit:
  • CIFAR-10: SCFM behaalde een Fréchet Inception Distance (FID) van 2,117, wat in wezen overeenkomt met de standaard Flow Matching-baseline (2,137).
  • ImageNet-128: SCFM bereikte een FID van 17,180, wat licht beter presteert dan een class-conditional SiT-XL/2-baseline (17,243) en aanzienlijk beter dan het onvoorwaardelijke tegenhanger (26,349).
• Efficiëntie: De decoder-geïnitieerde verfijningsmodus verbeterde de afweging tussen kwaliteit en rekenkracht, en benaderde de volledige-flow FID met aanzienlijk minder functie-evaluaties (FLOPs).

Betekenis en Beweringen

Het artikel beweert dat SCFM succesvol de kloof overbrugt tussen representatieleren en generatief modelleren met hoge fideliteit. Door de bronverdeling leerbaar en gestructureerd te maken, stelt SCFM flow matching in staat om betekenisvolle latente structuren te leren (voor clustering en ontkoppeling) zonder generatieve fideliteit op te offeren.

De auteurs benadrukken dat de latente variabele $z$ op een onbewaakte manier semantische betekenis verkrijgt, wat impliciete structurele controle biedt via de geleerde bronverdeling in plaats van expliciete conditionering (bijvoorbeeld labels of prompts) op het moment van sampling. Hoewel wordt erkend dat SCFM extra rekenkundige overhead introduceert (verhoogde parameters en FLOPs) en afhankelijk is van de kwaliteit van het eindpunt-latente model voor verfijning, toont het werk aan dat een gestructureerde bron kan worden geleerd om de bruikbaarheid van flow-modellen als leermiddelen voor representaties te verbeteren, terwijl hun primaire generatieve sterktes behouden blijven.