Technische Samenvatting: Missing-Data Flow Matching (MDFM)

Probleemstelling

Flow matching is een krachtige generatieve modelleringstechniek die een tijdsafhankelijke vectorveld leert om een basisdistributie naar een datadistributie te transporteren via een stabiele regressiedoelstelling. Echter, standaard flow matching gaat uit van volledig geobserveerde eindpunten tijdens de training. In real-world toepassingen (bijv. medische dossiers, sensordata, enquêtes) zijn gegevens echter frequent incompleet.

Bestaande oplossingen maken doorgaans gebruik van puntimputatie (het invullen van ontbrekende waarden met een enkele schatting, zoals het conditionele gemiddelde). Hoewel effectief voor predictieve taken die steunen op gemiddelden, is puntimputatie nadelig voor generatief leren. Omdat flow matching leert om de distributie van de trainingsuiteindpunten te reproduceren, leidt het vervangen van een reeks plausibele ontbrekende waarden door een enkel punt tot een instorting van de conditionele distributie. Dit resulteert in een gegenereerde distributie met een conditionele variantie van nul, waardoor de werkelijke spreiding en afhankelijkheden van de data niet worden gevangen.

Methodologie: Missing-Data Flow Matching (MDFM)

De auteurs stellen Missing-Data Flow Matching (MDFM) voor, een raamwerk dat ontbrekende coördinaten behandelt als latente variabelen in plaats van te proberen ze vast te zetten op een enkele waarde.

Kernmechanisme

In plaats van vast te houden aan één geïmputeerde waarde, behandelt MDFM het ontbrekende deel van een steekproef, $X_{-\Lambda}$, als een willekeurige variabele getrokken uit de conditionele distributie gegeven het geobserveerde deel, $X_\Lambda$.

1. Latente Variabele Behandeling: Voor een incomplete observatie $O = (\Lambda, X_\Lambda)$ worden de ontbrekende coördinaten $X_{-\Lambda}$ getrokken uit een completion-distributie.
2. Gemiddelde Loss: De flow matching loss wordt gemiddeld over deze getrokken completions. De doelfunctie wordt een verwachting over de geobserveerde patronen, de geobserveerde data en de completions van de ontbrekende delen.
3. Oracle vs. Learned:
   • Oracle Objective: Gaat uit van toegang tot de ware conditionele distributie $p^*(x_{-\Lambda} | x_\Lambda)$.
   • Learned Objective: Gebruikt een geleerd completion-model $q_\phi(x_{-\Lambda} | x_\Lambda, \Lambda)$, getraind via zelfgesuperviseerde masking op een onafhankelijke hulpdataset.

Theoretische Fundering

Het artikel stelt vast dat onder Missing Completely At Random (MCAR) condities, indien completions worden getrokken uit de ware conditionele distributie, de MDFM-doelstelling exact gelijk is aan de complete-data flow matching doelstelling.

• Exactheid: In tegen tegenstelling tot score matching met ontbrekende data, dat vereist dat intractabele integralen worden benaderd, is de correctie van MDFM een exacte gelijkheid. Het regressiedoel ($X_1 - X_0$) wordt expliciet zodra een eindpunt is voltooid.
• Verplaatsing van de Moeilijkheid: De moeilijkheid van ontbrekende data verdwijnt niet, maar verplaatst zich volledig naar de schatting van de conditionele completion-distributie. Als het completion-model perfect is, leert het flow matching-model de ware datadistributie exact.

Belangrijkste Bijdragen

1. Exacte Correctie en Equivalentie

De auteurs bewijzen dat onder MCAR, training op incomplete data met ware completions, dezelfde populatiedoelstelling en gradiënten oplevert als training op complete data. Dit geldt voor elk differentieerbaar punt in de parameterruimte. Het resultaat breidt zich uit naar Missing At Random (MAR), maar niet naar Missing Not At Random (MNAR) zonder aanvullende structurele aannames.

2. Finite-Sample Variantie Analyse

Het artikel biedt een rigoureuze finite-sample variantie-decompositie van de estimator, wat leidt tot contra-intuïtieve ontwerpinzichten:

• Variantieoverdracht, Geen Toevoeging: Ontbrekende data verhoogt de totale estimator-variantie niet inherent; het draagt variantie over van het observatieniveau naar het completion-niveau. Het middelen over completions verwijdert deze overgedragen variantie.
• Optimaliteit van Eén Completion: Onder een vastgesteld evaluatiebudget (totaal aantal loss-evaluaties), is het gebruik van één completion per voorbeeld optimaal. Het trekken van meer completions per voorbeeld is minder efficiënt dan het verzamelen van meer incomplete voorbeelden.
• Bias Bound: Voor geleerde completion-modellen wordt de bias in de populatiedoelstelling begrensd door de verwachte conditionele Wasserstein-1 afstand tussen het geleerde model en de ware completion-wet. Deze bias is onherroepelijk door het vergroten van de sample-omvang van de flow matching training; het vereist een beter completion-model.

3. Empirische Validatie

Experimenten op synthetische en echte tabeldata (UCI datasets) valideren de theoretische voorspellingen:

• Stochastisch vs. Deterministisch: Deterministische imputatie (bijv. het conditionele gemiddelde) laat de gegenereerde distributie instorten, wat de distributiefout verdrievoudigt. Stochastische completion (resampling) behoudt de conditionele variabiliteit en komt overeen met de complete-data prestaties.
• Distributie Metrieken: Op echte data is MDFM competitief met sterke imputatie-pipelines. Specifiek bereikt MICE de beste gemiddelde rangen op sliced Wasserstein afstand, energy distance en MMD, terwijl MDFF de beste gemiddelde rang behaalt op het gebied van het behoud van covariantie onder methoden getraind op incomplete data.
• Imputatie Kwaliteit: Hoewel MDFM competitief is op imputatiefout (RMSE), ligt de primaire kracht in het vastleggen van de tweede-moment structuur van de gezamenlijke distributie.

Betekenis en Claims

Het artikel positioneert MDFM als een theoretisch gefundeerde oplossing die de kloof overbrugt tussen het afhandelen van ontbrekende data en generatieve modellering.

• Exactheid: De primaire betekenis is het bewijs dat de correctie exact is, en niet benaderend, waardoor de last van de ontbrekende data volledig verschuift naar de kwaliteit van het completion-model.
• Ontwerprichtlijnen: De finite-sample analyse biedt concrete, niet-intuïtieve richtlijnen: specifiek dat men prioriteit moet geven aan het verzamelen van meer data-voorbeelden boven het genereren van meerdere imputaties per voorbeeld onder een vastgesteld computationeel budget.
• Generatieve Integriteit: Het werk demonstreert dat om de integriteit van een generatief model te behouden (specifiek het vermogen om de conditionele variantie te reproduceren), men deterministische puntimputatie moet vermijden en in plaats daarvan stochastische completion moet gebruiken.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de methode steunt op de aanname dat het completion-model effectief getraind kan worden (wat identificeerbare patronen vereist) en dat de theoretische garanties momenteel gericht zijn op loss-schatting in plaats van de directe kwaliteit van het gegenereerde vectorveld. De uitbreiding naar MNAR-scenario's blijft een openstaande uitdaging die aanvullende structurele aannames vereist.