Résumé technique : Modèles de prédiction apprenant à éviter les valeurs manquantes

Énoncé du problème

Le déploiement de modèles d'apprentissage automatique dans des scénarios réels est fréquemment entravé par les valeurs manquantes, particulièrement lors de la phase de test. Les approches traditionnelles, telles que l'« imputation suivie d'une régression » (imputer les données manquantes avant l'entraînement) ou l'utilisation d'indicateurs de présence/absence, introduisent souvent un biais, augmentent la complexité du modèle ou obscurcissent l'interprétabilité. Bien que certains modèles spécialisés (par exemple, XGBoost avec des chemins par défaut, les réseaux bayésiens) gèrent nativement les données manquantes, ils sont souvent limités à des classes de modèles spécifiques.

Le défi central abordé est le compromis entre la précision prédictive et la dépendance aux caractéristiques manquantes. Dans les domaines critiques pour la sécurité comme la santé, un modèle qui nécessite des valeurs imputées ou des caractéristiques fréquemment indisponibles au moment du test peut s'avérer peu fiable ou difficile à interpréter. Les auteurs proposent un cadre où les modèles sont entraînés pour éviter stratégiquement l'utilisation de caractéristiques qui sont manquantes pour une entrée spécifique, plutôt que de forcer le modèle à s'appuyer sur des valeurs imputées ou des masques de présence.

Méthodologie : Apprentissage d'évitement de la présence (MA - Missingness-Avoiding)

Le document introduit l'apprentissage d'évitement de la présence (MA), un cadre général qui modifie les objectifs d'apprentissage des algorithmes standards pour pénaliser la dépendance aux valeurs manquantes. La fonction d'objectif minimise un arbitrage entre l'espérance de la perte prédictive et l'espérance de la dépendance à la présence :

$$\min_{h \in \mathcal{H}} \mathbb{E}_p[L(Y, h(X))] + \alpha \rho(h)$$

Où :

• $L$ est la perte de prédiction.
• $\rho(h)$ est la dépendance attendue à la présence, définie comme la probabilité que le calcul d'une prédiction $h(x)$ nécessite l'accès à une caractéristique $x_j$ manquante (où $x_j = na$).
• $\alpha \ge 0$ est un hyperparamètre contrôlant la force de la pénalité.

Les auteurs dérivent des algorithmes spécifiques pour trois classes de modèles :

1. Arbres de décision MA (MA-DT)

Les arbres de décision sont naturellement adaptés à cette tâche car leur dépendance aux caractéristiques est contextuelle ; une caractéristique n'est requise que si elle apparaît sur le chemin de décision pour une entrée spécifique.

• Mécanisme : Les auteurs modifient les algorithmes de division gourmands (comme C4.5 ou ID3). Lors du processus de sélection de la division, le critère (par exemple, l'impureté de Gini) est augmenté d'un terme de régularisation.
• Régularisation : Pour une feuille $\ell$ et une division candidate $(j, \tau)$, la fonction de coût inclut une pénalité proportionnelle à la fraction d'échantillons dans cette feuille où la caractéristique $j$ est manquante.
• Évitement contextuel : L'algorithme apprend à diriger les échantillons ayant des valeurs manquantes vers des branches qui ne nécessitent pas la caractéristique manquante, exploitant ainsi efficacement la « présence contextuelle » des données.

2. Modèles linéaires MA-parcimonieux (MA-LASSO)

Les modèles linéaires ne peuvent pas éviter contextuellement les valeurs manquantes ; si un coefficient $\theta_j \neq 0$, le modèle nécessite toujours $x_j$.

• Mécanisme : Le cadre adapte l'approche LASSO (régularisation L1).
• Régularisation : Au lieu d'une pénalité uniforme, la pénalité pour chaque caractéristique $j$ est mise à l'échelle par son taux de présence empirique $m_j$. L'objectif minimise :
  $$\sum L(y_i, \theta^T x^I_i) + \sum_{j=1}^d (\lambda + \alpha m_j) |\theta_j|$$
• Effet : Les caractéristiques ayant des taux de présence élevés reçoivent une pénalité plus grande, encourageant le modèle à fixer leurs coefficients à zéro, réduisant ainsi la dépendance aux données manquantes.

3. Ensembles d'arbres MA (MA-RF et MA-GBT)

• Forêt aléatoire MA (MA-RF) : Entraîne des arbres MA indépendants en parallèle. Chaque arbre minimise le critère de division régularisé.
• Arbres boostés MA (MA-GBT) : Utilise une approche de boosting où les arbres successifs s'ajustent sur les résidus des précédents. Crucialement, les poids de régularisation sont mis à jour dynamiquement. Si une caractéristique $j$ est déjà utilisée par un modèle précédent pour une observation spécifique $x_i$ (et qu'elle était manquante), les modèles suivants sont moins pénalisés pour l'utiliser à nouveau. Cela empêche l'ensemble d'accumuler une dépendance excessive aux caractéristiques manquantes à travers différents arbres.

Contributions clés

1. Introduction du cadre : La proposition d'un cadre général d'« évitement de la présence » qui concilie haute précision et dépendance minimale aux caractéristiques manquantes au moment du test.
2. Implémentation algorithmique : Le développement d'algorithmes spécifiques, compatibles avec les fonctions fit-predict, pour les arbres de décision (MA-DT), les modèles linéaires parcimonieux (MA-LASSO) et les ensembles d'arbres (MA-RF, MA-GBT).
3. Analyse théorique :
   • Identification des règles de collecte de données déterministes observées (ODDC), où des combinaisons spécifiques de variables observées garantissent la présence d'autres variables. Les auteurs prouvent que si de telles règles existent, les modèles peuvent atteindre une dépendance à la présence nulle sans sacrifier la précision prédictive.
   • Analyse des limites, montrant que si l'absence de données est totalement aléatoire (MCAR) ou si la distribution au moment du test change de manière significative, le compromis entre précision et dépendance peut être inévitable.
4. Validation empirique : Démonstration sur six jeux de données réels (incluant NHANES, ADNI et FICO) que les modèles MA réduisent considérablement la dépendance à la présence (passant souvent de 100 % à presque 0 %) tout en maintenant des performances prédictives (AUROC) compétitives avec les bases non régularisées.

Résultats expérimentaux

Les auteurs ont évalué MA-DT, MA-LASSO, MA-RF et MA-GBT par rapport aux bases standard (modèles basés sur l'imputation, indicateurs de présence comme M-GAM et gestionnaires natifs comme XGBoost et NeuMiss) sur six jeux de données.

• Performance vs Dépendance : Les modèles MA ont systématiquement obtenu une dépendance à la présence ($\hat{\rho}$) plus faible que leurs homologues non régularisés. Par exemple, MA-DT a réduit la dépendance de ~11,7 % à 0,1 % sur le jeu de données ADNI tout en maintenant un AUROC comparable.
• Comparaison avec les bases :
  • Les modèles MA ont surpassé ou égalé les méthodes d'imputation standard (imputation par zéro, MICE) en termes de réduction de la dépendance.
  • MA-DT et MA-RF ont obtenu une dépendance nettement plus faible que XGBoost et les forêts aléatoires, qui reposent souvent lourdement sur les caractéristiques manquantes.
  • MA-LASSO a réduit la dépendance de manière significative par rapport au LASSO standard, avec une perte minimale d'AUROC.
  • Bien que MINTY (un modèle connexe basé sur des règles) ait atteint une faible dépendance, MA-LASSO était nettement plus rapide à entraîner (moins d'une seconde contre jusqu'à 292 secondes).
• Compromis : Les expériences ont confirmé qu'un compromis favorable est réalisable. En ajustant $\alpha$, les praticiens peuvent sélectionner des modèles qui opèrent sur la frontière de Pareto entre précision et évitement de la présence.

Signification et affirmations

L'article affirme que l'apprentissage MA fournit un outil puissant pour les praticiens qui exigent interprétabilité et robustesse en présence de données manquantes.

• Interprétabilité : En évitant la dépendance aux caractéristiques manquantes, les chemins de décision des modèles MA restent transparents et ne dépendent pas de la logique opaque de l'imputation ou des interactions complexes introduites par les indicateurs de présence.
• Praticité : L'approche ne nécessite pas d'architectures spécialisées (comme NeuMiss) ou de pipelines d'imputation complexes. Elle peut être intégrée dans les flux de travail standards en utilisant les bibliothèques existantes de modèles linéaires et d'arbres.
• Faisabilité : Les auteurs soutiennent que dans de nombreux scénarios réels (particulièrement ceux régis par des règles ODDC, comme les directives cliniques), il est possible de construire des modèles qui soient à la fois hautement précis et totalement exempts de dépendance à la présence, remettant en question l'idée que les données manquantes doivent toujours être imputées ou indiquées pour obtenir de bonnes performances.

Le travail conclut que bien que l'évitement total des valeurs manquantes puisse ne pas être réalisable dans tous les scénarios (par exemple, lorsque l'absence de données est purement aléatoire ou informative d'une manière qui ne peut être exploitée), le cadre MA offre une méthode principled pour minimiser cette dépendance sans compromettre l'utilité prédictive.