Deep learning with missing data

Technische Zusammenfassung: Pattern Embedded Neural Networks für die nichtparametrische Regression mit fehlenden Kovariaten

Problemstellung
Die Arbeit befasst sich mit der Herausforderung des überwachten Deep Learning in der multivariaten nichtparametrischen Regression, wenn Kovariaten fehlende Werte aufweisen. Im Gegensatz zu bisherigen Arbeiten, die oft von „Missing Completely At Random“ (MCAR) ausgehen oder auf spezifischen parametrischen Modellen für das Fehlverhalten beruhen, betrachtet diese Studie ein allgemeines Szenario, in dem der Mechanismus des Fehlens beliebig und potenziell abhängig von den Kovariaten ist (Missing Not At Random, MNAR). Das Ziel ist die Vorhersage: die Schätzung der Bayes-Regressionsfunktion $f^\star(z, \omega) = \mathbb{E}(Y | Z=z, \Omega=\omega)$, wobei $Z$ die imputierten Kovariaten und $\Omega$ der Revelationsvektor (Beobachtungsindikatoren) darstellt, der angibt, welche Einträge beobachtet wurden.

Eine zentrale Schwierigkeit, die identifiziert wurde, ist, dass die naive Konkatenierung von Revelationsvektoren mit imputierten Kovariaten als Input für ein neuronales Netz oft zu einer schlechten Performance führt, obwohl diese Vektoren kritische Informationen über die Struktur des Fehlens enthalten. Dies liegt am exponentiellen Wachstum der möglichen Beobachtungsmuster ($2^d$) mit der Dimension $d$, was zu Overfitting führt, sowie an der Diskrepanz zwischen der euklidischen Geometrie des Hyperwürfels $\{0,1\}^d$ und der tatsächlichen prädiktiven Struktur des Problems.

Methodik: Pattern Embedded Neural Networks (PENNs)
Die Autoren schlagen Pattern Embedded Neural Networks (PENNs) vor, eine neuartige Architektur, die darauf ausgelegt ist, Beobachtungsmuster in Deep-Learning-Frameworks zu integrieren, ohne sich auf spezifische Imputationstechniken verlassen zu müssen. Der PENN-Schätzer hat die Form:
$$\hat{f}(z, \omega) = f_3(f_1(z), f_2(\omega))$$
wobei:

1. $f_1$: Ein neuronales Netz, das als Feature-Map für die imputierten Kovariaten $z$ fungiert.
2. $f_2$: Ein neuronales Netz, das als Embedding-Funktion für die Revelationsvektoren $\omega$ dient. Es bildet die hochdimensionalen, diskreten Beobachtungsmuster in einen niedrigdimensionalen kontinuierlichen Raum ab, in dem die geometrische Nähe die Ähnlichkeit im prädiktiven Verhalten widerspiegelt.
3. $f_3$: Ein finales neuronales Netz, das die gelernten Kovariaten-Features und die Pattern-Embeddings kombiniert, um die Vorhersage zu generieren.

Dieser Ansatz ermöglicht es dem Modell, „Stärke zu leihen“ (borrow strength) über ähnliche Beobachtungsmuster hinweg, indem die Information in den Revelationsvektoren effektiv komprimiert wird. Die Methode ist kompatibel mit jeder bestehenden Imputationstechnik (z. B. Mean Imputation, MissForest, MICE), die vor dem Training angewendet wird.

Theoretische Beiträge
Die Arbeit liefert eine rigorose theoretische Analyse des PENN-Schätzers und etabliert Finite-Sample-Excess-Risk-Schranken, ohne eine Unabhängigkeit zwischen der Datengenerierung und den Fehlmechanismen vorauszusetzen.

• Oracle-Ungleichung: Eine allgemeine Oracle-Ungleichung wird abgeleitet, die den Excess Risk in Optimierungs-, Approximations- und Schätzfehler zerlegt. Dies gilt für beliebige neuronale Netzschätzer und sub-gaußsche Antworten.
• Minimax-Optimalität: Unter einer Annahme der „stückweisen Glattheit“ (Assumption 1) wird die Bayes-Regressionsfunktion in Zellen unterteilt, in denen sich die Funktion ähnlich verhält. Innerhalb jeder dieser Zellen gehört die Funktion zu einer zusammengesetzten Hölder-Klasse.
  • Theorem 2 etabliert eine obere Schranke für den Excess Risk. Die Schranke ist ein gewichteter Durchschnitt der Minimax-Raten für jede Zelle der Partition, skaliert mit der effektiven Stichprobengröße dieser Zelle. Entscheidend ist, dass die Rate erreicht wird, als wäre die Partition im Voraus bekannt, abgesehen von einem poly-logarithmischen Faktor in der Stichprobengröße.
  • Theorem 3 liefert eine passende Minimax-untere Schranke und bestätigt damit, dass der PENN-Schätzer die optimale Konvergenzrate für dieses Problemsetting erreicht.
• Neuheit: Die Theorie führt das Konzept der F-Separabilität für Partitionen von Beobachtungsmustern ein, was es dem neuronalen Netz ermöglicht, die Gruppierung von Mustern zu lernen, die ähnliche Regressionsfunktionen teilen. Dies adressiert den „Fluch der Dimensionalität“, der mit den $2^d$ möglichen Fehlensmustern einhergeht.

Empirische Ergebnisse
Umfangreiche numerische Experimente wurden auf simulierten, semi-synthetischen und realen Datensätzen durchgeführt:

• Simulierte Daten: Über vier Modelle hinweg, die MCAR- und MNAR-Szenarien mit variierenden Korrelationen abdecken, übertrafen PENNs konsistent Standard-neuronale Netze (die auf imputierten Daten ohne Pattern-Embedding trainiert wurden), XGBoost und Random Forests. Die Verbesserung war besonders dramatisch in MNAR-Settings, in denen Standardmethoden Schwierigkeiten hatten.
• Semi-synthetische Daten: Experimente mit dem CT-Relativlokationsdatensatz (Regression) und MNIST (Klassifikation) zeigten, dass PENNs den Vorhersagefehler (gemessen an der Proportion of Unexplained Variance und dem Klassifikationsfehler) im Vergleich zu Baselines signifikant reduzierten, insbesondere unter MNAR-Mechanismen.
• Reale Daten: In einem Datensatz zur Kreditscore-Vorhersage mit inhärentem Fehlverhalten zeigten PENNs ebenfalls konsistente und bemerkenswerte Verbesserungen gegenüber Standard-neuronalen Netzen und baumbasierten Methoden.
• Visualisierung: Die gelernten Embeddings der Beobachtungsmuster offenbarten, dass das Netzwerk erfolgreich Muster mit ähnlichem prädiktivem Verhalten clustert, was die theoretische Prämisse validiert, dass das Embedding die relevante strukturelle Information erfasst.

Bedeutung und Ansprüche
Die Autoren behaupten, dass diese Arbeit die erste ist, die Minimax-Optimalitätsgarantien für die multivariate nichtparametrische Regression mit fehlenden Daten unter allgemeinen Fehlmechanismen bereitstellt. Die Bedeutung der Arbeit liegt in:

1. Methodischer Innovation: Einführung von Pattern-Embedding als Mechanismus zur Handhabung von Fehlstellen im Deep Learning, wodurch die Lücke zwischen imputationsbasierten Ansätzen und der direkten Modellierung von Fehlindikator-Strukturen geschlossen wird.
2. Theoretischer Stringenz: Der Beweis, dass PENNs die optimale Konvergenzrate erreichen können, selbst wenn der Fehlmechanismus komplex und abhängig ist, vorausgesetzt, die Regressionsfunktion weist eine stückweise zusammengesetzte Glattheit auf.
3. Praktischem Nutzen: Demonstration, dass die Methode robust gegenüber Standard-Imputationstools ist und signifikante empirische Gewinne gegenüber bestehenden State-of-the-Art-Methoden in sowohl synthetischen als auch realen Szenarien erzielt.

Die Arbeit schließt mit der Feststellung, dass PENNs eine fundierte und effektive Lösung für Deep Learning mit fehlenden Kovariaten bieten und die Einschränkungen überwinden, die mit der bloßen Behandlung von Fehlindikatoren als zusätzliche Rohfeatures einhergehen.