Deep learning with missing data

Résumé Technique : Réseaux de Neurones à Embebedding de Patrons (PENN) pour la Régression Non Paramétrique avec Covariables Manquantes

Configuration du Problème
L'article traite du défi de l'apprentissage profond supervisé dans le cadre de la régression non paramétrique multivariée lorsque les covariables contiennent des valeurs manquantes. Contrairement aux travaux antérieurs qui supposent souvent un mécanisme de données manquantes entièrement au hasard (MCAR) ou qui reposent sur des modèles de données manquantes paramétriques spécifiques, cette étude considère un cadre général où le mécanisme de données manquantes est arbitraire et potentiellement dépendant des covariables (Manquant Non Au Hasard, MNAR). L'objectif est la prédiction : estimer la fonction de régression de Bayes $f^\star(z, \omega) = \mathbb{E}(Y | Z=z, \Omega=\omega)$, où $Z$ représente les covariables imputées et $\Omega$ représente le vecteur de révélation (indicateurs d'observation) indiquant quelles entrées sont observées.

Une difficulté centrale identifiée est que, bien que les vecteurs de révélation contiennent des informations prédictives cruciales concernant la structure des données manquantes, la concaténation naïve des vecteurs avec les covariables imputées comme entrée d'un réseau de neurones conduit souvent à de mauvaises performances. Cela est dû à la croissance exponentielle des patrons d'observation possibles ($2^d$) avec la dimension $d$, provoquant un surapprentissage (overfitting), ainsi qu'au désalignement entre la géométrie euclidienne de l'hypercube $\{0,1\}^d$ et la structure prédictive réelle du problème.

Méthodologie : Réseaux de Neurones à Embedding de Patrons (PENN)
Les auteurs proposent les réseaux de neurones à embedding de patrons (PENN), une nouvelle architecture conçue pour intégrer les patrons d'observation dans les cadres d'apprentissage profond sans dépendre de techniques d'imputation spécifiques. L'estimateur PENN prend la forme :
$$\hat{f}(z, \omega) = f_3(f_1(z), f_2(\omega))$$
où :

1. $f_1$ : Un réseau de neurones agissant comme une application de caractéristiques (feature map) pour les covariables imputées $z$.
2. $f_2$ : Un réseau de neurones agissant comme une fonction d'embedding pour les vecteurs de révélation $\omega$. Il projette les patrons d'observation discrets de haute dimension dans un espace continu de plus faible dimension où la proximité géométrique reflète la similitude du comportement prédictif.
3. $f_3$ : Un réseau de neurones final qui combine les caractéristiques des covariables apprises et les embeddings de patrons pour produire la prédiction.

Cette approche permet au modèle de « prêter de la force » (borrow strength) entre des patrons d'observation similaires, compressant efficacement l'information contenue dans les vecteurs de révélation. La méthode est compatible avec toute technique d'imputation existante (par exemple, imputation par la moyenne, MissForest, MICE) appliquée avant l'entraînement.

Contributions Théoriques
L'article fournit une analyse théorique rigoureuse de l'estimateur PENN, établissant des bornes d'excès de risque en échantillon fini sans supposer l'indépendance entre le processus de génération des données et les mécanismes de données manquantes.

• Inégalité de l'Oracle : Une inégalité d'oracle générale est dérivée, décomposant l'excès de risque en termes d'optimisation, d'approximation et d'estimation. Cela est valable pour des estimateurs de réseaux de neurones arbitraires et des réponses sub-gaussiennes.
• Optimalité Minimax : Sous une hypothèse de « lissité par morceaux » (Hypothèse 1), la fonction de régression de Bayes est partitionnée en cellules où la fonction se comporte de manière similaire. À l'intérieur de chaque cellule, la fonction appartient à une classe de Hölder compositionnelle.
  • Le Théorème 2 établit une borne supérieure sur l'excès de risque. Cette borne est une moyenne pondérée des taux minimax pour chaque cellule de la partition, mise à l'échelle par la taille d'échantillon effective de cette cellule. Crucialement, le taux est atteint comme si la partition était connue à l'avance, à un facteur poly-logarithmique près par rapport à la taille de l'échantillon.
  • Le Théorème 3 fournit une borne inférieure minimax correspondante, confirmant que l'estimateur PENN atteint le taux de convergence optimal pour ce cadre de problème.
• Nouveauté : La théorie introduit le concept de F-séparabilité pour les partitions de patrons d'observation, permettant au réseau de neurones d'apprendre le regroupement des patrons partageant des fonctions de régression similaires. Cela répond à la « malédiction de la dimensionnalité » associée aux $2^d$ patrons de données manquantes possibles.

Résultats Empiriques
Des expériences numériques approfondies ont été menées sur des données simulées, semi-synthétiques et des jeux de données réels :

• Données Simulées : À travers quatre modèles couvrant les scénarios MCAR et MNAR avec des corrélations variables, les PENN ont systématiquement surpassé les réseaux de neurones standards (entraînés sur des données imputées sans embedding de patron), XGBoost et les Forêts Aléatoires (Random Forests). L'amélioration a été particulièrement spectaculaire dans les scénarios MNAR où les méthodes standards peinent.
• Données Semi-Synthétiques : Les expériences sur le jeu de données de localisation relative du CT (régression) et MNIST (classification) ont démontré que les PENN réduisent de manière significative l'erreur de prédiction (mesurée par la proportion de variance inexpliquée et l'erreur de classification) par rapport aux modèles de référence, particulièrement sous des mécanismes MNAR.
• Données Réelles : Sur un jeu de données de prédiction de score de crédit présentant des données manquantes intrinsèques, les PENN ont de nouveau montré des améliorations constantes et notables par rapport aux réseaux de neurones standards et aux méthodes basées sur les arbres.
• Visualisation : Les embeddings appris des patrons d'observation ont révélé que le réseau parvient à regrouper (cluster) les patrons ayant des comportements prédictifs similaires, validant ainsi le postulat théorique selon lequel l'embedding capture l'information structurelle pertinente.

Signification et Revendications
Les auteurs affirment que ce travail est le premier à fournir des garanties d'optimalité minimax pour la régression non paramétrique multivariée avec des données manquantes sous des mécanismes de données manquantes généraux. La portée de ce travail réside dans :

1. Innovation Méthodologique : L'introduction de l'embedding de patron comme mécanisme pour gérer les données manquantes dans l'apprentissage profond, comblant le fossé entre les approches basées sur l'imputation et la modélisation directe des indicateurs de données manquantes.
2. Rigueur Théorique : La preuve que les PENN peuvent atteindre le taux de convergence optimal même lorsque le mécanisme de données manquantes est complexe et dépendant, à condition que la fonction de régression présente une lissité compositionnelle par morceaux.
3. Utilité Pratique : La démonstration que la méthode est robuste, compatible avec les outils d'imputation standards, et produit des gains empiriques substantiels par rapport aux méthodes de pointe existantes dans des scénarios tant synthétiques que réels.

L'article conclut que les PENN offrent une solution principled et efficace pour l'apprentissage profond avec des covariables manquantes, surmontant les limites consistant à traiter simplement les indicateurs de données manquantes comme des caractéristiques brutes supplémentaires.