Semi-supervised linear regression with missing covariates

1. Problématique et Contexte

L'article aborde un problème fondamental en statistique appliquée : la régression linéaire dans des scénarios où les données présentent une double forme de manquants :

1. Covariates manquants : Des variables explicatives sont absentes pour certaines observations.
2. Réponses manquantes (Données non étiquetées) : La variable cible $Y$ n'est pas observée pour un grand nombre d'observations, créant un ensemble de données semi-supervisé.

La littérature existante traite souvent ces deux problèmes séparément (soit covariates manquants avec étiquettes complètes, soit données semi-supervisées avec covariates complets). Cependant, dans la pratique (santé, capteurs multimodaux, bases de données hétérogènes), les deux phénomènes coexistent souvent. De plus, les schémas de manquants peuvent être :

• Non structurés : Chaque variable manque indépendamment avec une probabilité fixe.
• Structurés (Bloc) : Les variables manquent par blocs (ex: certaines modalités de mesure sont absentes pour tout un sous-ensemble d'échantillons, comme dans les données ADNI ou MIMIC).

L'objectif est de développer des estimateurs optimaux pour $\beta^*$ dans un cadre minimax, en exploitant à la fois les données étiquetées partielles et les données non étiquetées complètes (ou partielles).

2. Méthodologie Proposée

Les auteurs proposent des estimateurs adaptés selon la dimensionnalité du problème (faible vs haute dimension) et la structure des manquants.

A. Cas de Faible Dimension (Low-dimensional)

Pour le cas où le nombre de variables $p$ est petit par rapport au nombre d'observations, les auteurs proposent un estimateur basé sur une imputation pondérée :

• Principe : Au lieu d'une simple imputation (remplir les valeurs manquantes), ils utilisent une régression pondérée sur les données imputées.
• Formulation : L'estimateur $\hat{\beta}$ minimise une somme pondérée des carrés des résidus :
  $$\hat{\beta} = \arg\min_{\beta} \sum_{j=1}^K \sum_{i \in I_j} \hat{D}_j (Y_i - (X_i)_{O_j}^T \hat{P}_j \beta)^2$$
  où $K$ est le nombre de motifs de manquants, $O_j$ les variables observées, et $\hat{P}_j$ une estimation de la matrice de projection basée sur la covariance estimée $\hat{\Sigma}$.
• Pondération ($\hat{D}_j$) : C'est l'innovation clé. Les poids $\hat{D}_j$ sont estimés pour corriger le biais introduit par l'imputation. Ils sont proportionnels au rapport entre la variance du cas complet et la variance du cas avec manquants.
• Utilisation des données non étiquetées : La matrice de covariance $\Sigma$ est estimée à partir de l'ensemble de données non étiqueté (de taille $N$). Cela permet de reconstruire les relations entre les variables manquantes et observées, améliorant significativement la précision par rapport aux méthodes purement supervisées.

B. Cas de Haute Dimension (High-dimensional, Sparse)

Pour $p \gg n$ avec un vecteur $\beta^*$ parcimonieux (nombre de coefficients non nuls $s \ll p$) :

• Méthode : Les auteurs adaptent le Sélecteur de Dantzig (Dantzig Selector).
• Formulation : Ils résolvent un programme linéaire :
  $$\hat{\beta} \in \arg\min_{\beta} \{ \|\beta\|_1 : \|\hat{\Sigma}\beta - \hat{\gamma}\|_\infty \leq \lambda \}$$
  où $\hat{\gamma}$ est une estimation non biaisée de $\Sigma\beta^*$ et $\hat{\Sigma}$ est une estimation de la covariance utilisant à la fois les données étiquetées (partielles) et non étiquetées.
• Avantage : Contrairement aux approches basées sur le LASSO qui peuvent souffrir de non-convexité ou de mauvais réglage des paramètres avec des données manquantes, l'approche Dantzig reste convexe et offre de meilleures garanties théoriques dans ce contexte spécifique.

3. Contributions Clés

1. Cadre Théorique Unifié : Première étude théorique combinant régression linéaire, covariates manquants (structurés et non structurés) et données semi-supervisées.
2. Bornes Supérieures et Inférieures (Minimax) :
   • Dérivation de bornes supérieures non asymptotiques pour le risque des estimateurs proposés.
   • Établissement de nouvelles bornes inférieures minimax qui démontrent l'optimalité des taux de convergence.
   • Les bornes supérieures et inférieures coïncident (à des constantes près), prouvant que les estimateurs sont optimaux.
3. Impact des Données Non Étiquetées :
   • Les résultats montrent que la présence de données non étiquetées modifie fondamentalement les taux de convergence.
   • Dans le cas non structuré, les données non étiquetées augmentent le taux d'observation effectif de $\rho$ à $\rho^{1/2}$.
   • Dans le cas structuré (ex: motif monotone simple), les données non étiquetées permettent une réduction de la dimensionnalité effective (de $p$ à $p_0$, où $p_0$ est le nombre de variables manquantes), ce qui n'est pas possible sans elles.
4. Nouveaux Résultats pour le Cas Supervisé : Même en l'absence de données non étiquetées ($N=0$), les auteurs fournissent les premières bornes supérieures et inférieures correspondantes pour les schémas de manquants structurés et non structurés, comblant un vide dans la littérature existante.

4. Résultats Principaux

Les taux de risque minimax (erreur quadratique moyenne) obtenus sont résumés dans le Tableau 1 de l'article :

• Faible dimension (Non structuré) :
  $$\text{Risque} \asymp \frac{R^2 p}{\rho n_L} + \frac{B^2 p}{\rho^2 n_L + N}$$
  où $n_L$ est la taille des données étiquetées, $N$ la taille des données non étiquetées, et $\rho$ le taux d'observation. La présence de $N$ dans le dénominateur du second terme montre l'amélioration apportée par les données non étiquetées.

• Haute dimension (Non structuré) :
  $$\text{Risque} \asymp \frac{R^2 s \log(p)}{\rho n_L} + \frac{B^2 s \log(p)}{\rho^2 n_L + N}$$
  Le terme $s \log(p)$ reflète la complexité de la parcimonie.

• Cas Structuré (Bloc) : Les taux dépendent des tailles d'échantillons par modalité ($h_g$) et par paire de modalités ($n_{g,h}$). Les données non étiquetées permettent d'estimer la covariance entre les blocs manquants, réduisant l'erreur d'estimation.

Simulations et Application :

• Des simulations numériques confirment que les estimateurs proposés surpassent les méthodes d'imputation classiques (MICE, kNN, imputation moyenne) et les approches supervisées existantes (comme DISCOM).
• Une application semi-synthétique sur le jeu de données California Housing (avec des manquants simulés) démontre des gains significatifs en précision par rapport à la régression des moindres carrés sur les cas complets, surtout lorsque le nombre de cas complets est faible.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

• Pragmatisme : Il répond à un besoin réel où les données sont à la fois incomplètes et partiellement étiquetées, une situation courante en santé et en sciences des données.
• Optimalité Théorique : En caractérisant les limites fondamentales (bornes minimax), l'article établit une référence pour ce qui est possible d'estimer dans ces conditions difficiles.
• Efficacité des Données Non Étiquetées : Il démontre mathématiquement que les données non étiquetées ne sont pas seulement utiles pour la classification ou l'estimation de densité, mais qu'elles sont cruciales pour la régression avec covariates manquants, permettant de surmonter le manque d'information structurelle dans les données étiquetées.
• Outils Pratiques : Les auteurs fournissent un package R (LRMiss) et des preuves de concept, facilitant l'adoption de ces méthodes par la communauté statistique.

En résumé, cet article fournit une théorie complète et des méthodes pratiques pour l'estimation de régression linéaire dans des environnements de données réalistes et complexes, prouvant que l'intégration judicieuse de données non étiquetées peut restaurer, voire améliorer, la performance d'estimation malgré des manquants structurels importants.