Deep learning with missing data

Technische Samenvatting: Pattern Embedded Neural Networks voor Nonparametrische Regressie met Ontbrekende Covariaten

Probleemstelling
Het artikel behandelt de uitdaging van supervised deep learning in multivariate nonparametrische regressie wanneer covariaten ontbrekende waarden bevatten. In tegen tegenstelling tot eerder werk, dat vaak uitgaat van Missing Completely At Random (MCAR) of vertrouwt op specifieke parametrische missingness-modellen, beschouwt deze studie een algemene setting waarin het mechanisme van ontbreken willekeurig is en potentieel afhankelijk is van de covariaten (Missing Not At Random, MNAR). Het doel is voorspelling: het schatten van de Bayes regressiefunctie $f^\star(z, \omega) = \mathbb{E}(Y | Z=z, \Omega=\omega)$, waarbij $Z$ de geïmputeerde covariaten vertegenwoordigt en $\Omega$ de onthullingsvector (observatie-indicatoren) is die aangeeft welke invoerwaarden zijn geobserveerd.

Een centraal probleem dat wordt geïdentificeerd, is dat hoewel onthullingsvectoren cruciale voorspellende informatie bevatten over de structuur van de ontbrekende gegevens, het naïef samenvoegen van deze vectoren met geïmputeerde covariaten als input voor een neuraal netwerk vaak tot slechte prestaties leidt. Dit komt door de exponentiële groei van mogelijke observatiepatronen ($2^d$) met dimensie $d$, wat leidt tot overfitting, en de mismatch tussen de Euclidische geometrie van de hyperkubus $\{0,1\}^d$ en de werkelijke voorspellende structuur van het probleem.

Methodologie: Pattern Embedded Neural Networks (PENNs)
De auteurs stellen Pattern Embedded Neural Networks (PENNs) voor, een nieuwe architectuur die is ontworpen om observatiepatronen te integreren in deep learning-frameworks zonder te vertrouwen op specifieke imputatietechnieken. De PENN-schatter neemt de vorm aan:
$$\hat{f}(z, \omega) = f_3(f_1(z), f_2(\omega))$$
waarbij:

1. $f_1$: Een neuraal netwerk dat fungeert als een feature map voor de geïmputeerde covariaten $z$.
2. $f_2$: Een neuraal netwerk dat fungeert als een embeddingfunctie voor de onthullingsvectoren $\omega$. Dit brengt de hoogdimensionale, discrete observatiepatronen naar een lagerdimensionale continue ruimte waar de geometrische nabijheid de gelijkenis in voorspellend gedrag weerspieft.
3. $f_3$: Een definitief neuraal netwerk dat de geleerde covariaat-features en de pattern embeddings combineert om de voorspelling te produceren.

Deze aanpak stelt het model in staat om "kracht te lenen" (borrow strength) van vergelijkbare observatiepatronen, waardoor de informatie in de onthullingsvectoren effectief wordt gecomprimeerd. De methode is compatibel met elke bestaande imputatietechniek (bijv. mean imputation, MissForest, MICE) die voorafgaand aan de training wordt toegepast.

Theoretische Bijdragen
Het artikel biedt een rigoureuze theoretische analyse van de PENN-schatter, waarbij finite-sample excess risk bounds worden vastgesteld zonder aan te nemen dat de datageneratie en de missingness-mechanismen onafhankelijk zijn.

• Oracle Inequality: Er wordt een algemene oracle inequality afgeleid, die de excess risk ontleedt in optimalisatie-, benaderings- en schattingsfouten. Dit geldt voor willekeurige neurale netwerk-schatters en sub-Gaussische responsen.
• Minimax Optimaliteit: Onder een "piecewise smoothness" aanname (Assumptie 1), wordt de Bayes regressiefunctie verdeeld in cellen waar de functie zich vergelijkbaar gedraagt. Binnen elke cel behoort de functie tot een compositionele Hölder-klasse.
  • Theorem 2 stelt een bovengrens vast voor de excess risk. De grens is een gewogen gemiddelde van de minimax-snelheden voor elke cel van de partitie, geschaald door de effectieve steekproefomvang van die cel. Cruciaal is dat de snelheid wordt bereikt alsof de partitie vooraf bekend was, tot een poly-logaritmische factor in de steekproefomvang.
  • Theorem 3 biedt een bijbehorende minimax ondergrens, waarmee wordt bevestigd dat de PENN-schatter de optimale convergentiesnelheid voor deze probleemsetting bereikt.
• Nieuwigheid: De theorie introduceert het concept van F-separabiliteit voor partities van observatiepatronen, waardoor het neurale netwerk de groepering van patronen kan leren die vergelijkbare regressiefuncties delen. Dit adresseert de "vloek van dimensionaliteit" die gepaard gaat met de $2^d$ mogelijke missingness-patronen.

Empirische Resultaten
Uitgebreide numerieke experimenten zijn uitgevoerd op gesimuleerde, semi-synthetische en real-world datasets:

• Gesimuleerde Data: Over vier modellen verspreid die MCAR en MNAR scenario's dekken met variërende correlaties, presteerden PENNs consequent beter dan standaard neurale netwerken (getraind op geïmputeerde data zonder pattern embedding), XGBoost en Random Forests. De verbetering was bijzonder spectaculair in MNAR-settings waar standaardmethoden moeite hadden.
• Semi-Synthetische Data: Experimenten op de CT relative location dataset (regressie) en MNIST (classificatie) toonden aan dat PENNs de voorspellingsfout (gemeten als Proportion of Unexplained Variance en Misclassification Error) aanzienlijk verminderden vergeleken met baselines, vooral onder MNAR-mechanismen.
• Real Data: Op een dataset voor kredietscorevoorspelling met inherente ontbrekende waarden, lieten PENNs opnieuw consistente en opmerkelijke verbeteringen zien ten opzichte van standaard neurale netwerken en boomstructuur-methoden.
• Visualisatie: De geleerde embeddings van observatiepatronen lieten zien dat het netwerk erin slaagde om patronen met vergelijkbaar voorspellend gedrag te clusteren, wat de theoretische premisse valideert dat de embedding de relevante structurele informatie vastlegt.

Betekenis en Claims
De auteurs beweren dat dit werk de eerste is die minimax optimaliteit garanties biedt voor multivariate nonparametrische regressie met ontbrekende gegevens onder algemene missingness-mechanismen. De betekenis van het werk ligt in:

1. Methodologische Innovatie: Het introduceren van pattern embedding als een mechanisme om met ontbrekende gegevens om te gaan in deep learning, waarmee de kloof wordt overbrugd tussen imputatie-gebaseerde benaderingen en directe modellering van de onthullingsindicatoren.
2. Theoretische Rigor: Het bewijzen dat PENNs de optimale convergentiesnelheid kunnen bereiken, zelfs wanneer het missingness-mechanisme complex en afhankelijk is, mits de regressiefunctie piecewise compositional smoothness vertoont.
3. Praktisch Nut: Het demonstreren dat de methode robuust is, werkt met standaard imputatietools en substantiële empirische winst oplevert ten opzichte van bestaande state-of-the-art methoden in zowel synthetische als real-world scenario's.

Het artikel concludeert dat PENNs een gefundeerde en effectieve oplossing bieden voor deep learning met ontbrekende covariaten, waarbij de beperkingen van het simpelweg behandelen van ontbrekende indicatoren als extra ruwe features worden overwonnen.