📊 statistics

Boosting prediction with data missing not at random

Cet article propose des méthodes de boosting pour les données à réponses manquantes non aléatoires en ajustant les fonctions de perte via des approches d'estimation semi-paramétrique, tout en établissant rigoureusement leurs propriétés théoriques et en validant leur efficacité par des études numériques.

Auteurs originaux : Yuan Bian, Grace Y. Yi, Wenqing He

Publié 2026-02-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuan Bian, Grace Y. Yi, Wenqing He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🍲 Le Problème : La Recette avec des Ingrédients Manquants

Imaginez que vous êtes un grand chef (l'algorithme de Boosting) qui veut apprendre à cuisiner le meilleur plat possible (prédire un résultat, comme le salaire d'une personne). Pour apprendre, vous avez un livre de recettes (les données) avec des milliers d'exemples.

Le problème, c'est que dans ce livre, certaines pages sont déchirées ou tachées. Pour certains plats, vous ne voyez pas le résultat final (le goût du plat ou le salaire), mais vous avez quand même la liste des ingrédients (l'âge, le sexe, l'expérience).

En statistiques, on appelle cela des données manquantes.

Si les pages manquantes sont déchirées au hasard (par exemple, une goutte d'eau a éclaboussé le livre), ce n'est pas grave. Vous pouvez juste ignorer les pages abîmées et cuisiner avec le reste. C'est ce qu'on appelle "manquant au hasard" (MCAR).
MAIS, imaginez que les pages manquantes ne sont pas au hasard. Disons que les chefs qui ont cuisiné des plats trop salés ont volontairement arraché les pages de leurs recettes pour cacher leur erreur. Si vous cuisinez seulement avec les pages restantes, vous allez penser que "les plats salés n'existent pas" et vous allez apprendre une fausse recette. C'est le manquant non aléatoire (MNAR). C'est là que ça coince : votre prédiction sera fausse et biaisée.

🛠️ La Solution : Deux Astuces de Chef

Les auteurs de ce papier (Yuan Bian, Grace Yi et Wenqing He) disent : "Ne jetez pas le livre ! Nous avons deux astuces pour réparer la recette même avec les pages manquantes."

Ils utilisent une technique appelée Boosting, qui est comme un apprentissage progressif. Au lieu d'essayer de tout apprendre d'un coup, le chef améliore sa recette petit à petit, étape par étape, en corrigeant ses erreurs.

Pour gérer les pages manquantes (MNAR), ils proposent deux façons de "réécrire" la règle de jugement (la fonction de perte) :

1. L'Astuce du "Poids Inversé" (IPW)

Imaginez que vous avez un groupe de chefs. Certains ont rendu leur recette complète, d'autres non.

Si un chef a rendu une recette alors que c'était très difficile (peu de gens réussissent à le faire), vous devez lui donner plus de poids dans votre jugement.
Cette méthode dit : "Ce chef a réussi à rendre sa recette, donc il est probablement représentatif de ceux qui ont échoué à la rendre. On va multiplier son importance par un facteur mathématique (le poids) pour compenser ceux qui ont caché leur recette."
L'analogie : C'est comme si, dans un sondage, vous saviez que les gens qui ne répondent pas sont plus riches. Alors, vous donnez un "coefficient multiplicateur" énorme aux réponses des gens riches qui ont répondu, pour qu'ils représentent tout le groupe riche.

2. L'Astuce de "Buckley-James" (La Devinette Éclairée)

Cette fois, au lieu de donner plus de poids aux recettes complètes, on essaie de deviner ce qu'il y avait sur les pages manquantes.

Le chef regarde les recettes complètes et dit : "Pour les gens qui ont caché leur recette, je vais estimer ce que le résultat aurait été en me basant sur ce que je sais des ingrédients."
Il remplace le résultat manquant par une estimation intelligente (une moyenne pondérée) et continue son apprentissage.
L'analogie : C'est comme un détective qui, face à une scène de crime avec des preuves manquantes, utilise la science pour reconstruire ce qui s'est passé, plutôt que de simplement ignorer la pièce manquante.

🧪 Le Résultat : Ça Marche !

Les auteurs ont testé ces deux méthodes avec des simulations informatiques (des milliers de recettes virtuelles).

Sans correction (Méthode naïve) : Le chef apprend une mauvaise recette et cuisine des plats dégoûtants (prédictions fausses).
Avec les nouvelles méthodes (IPW et Buckley-James) : Le chef corrige ses erreurs. Même avec les pages manquantes, il arrive à cuisiner un plat presque aussi bon que s'il avait eu toutes les pages.

Ils ont aussi prouvé mathématiquement que, si on suit leurs règles, le chef finira toujours par trouver la meilleure recette possible (convergence) et que sa recette sera juste (consistance).

🇰🇷 L'Exemple Réel : Les Salaires en Corée

Pour montrer que ça marche dans la vraie vie, ils ont appliqué leur méthode à une enquête coréenne sur les salaires (KLIPS).

Le problème : Les gens qui gagnent beaucoup d'argent ont tendance à ne pas répondre à la question "Combien gagnez-vous ?" (c'est du MNAR).
Le résultat : En utilisant leurs méthodes, ils ont pu mieux prédire les salaires réels en tenant compte du fait que les riches se cachent, contrairement aux méthodes classiques qui ignorent ce biais.

En Résumé

Ce papier dit : "Ne jetez pas vos données juste parce qu'elles sont incomplètes. Si les données manquantes sont cachées intentionnellement (comme des gens qui cachent leur salaire), utilisez nos deux recettes spéciales (IPW ou Buckley-James) pour rééquilibrer la balance et faire des prédictions justes."

C'est une boîte à outils pour les statisticiens qui veulent éviter de se faire piéger par des données qui mentent par omission.

1. Problématique

L'article aborde un défi majeur en apprentissage automatique et en statistiques : l'application des algorithmes de Boosting (une technique d'apprentissage ensembliste puissante) à des données comportant des valeurs manquantes dans la variable réponse (Y), où le mécanisme de manque est Non Aléatoire (MNAR - Missing Not At Random).

Limites des méthodes existantes : La plupart des algorithmes de Boosting supposent des données complètes. Lorsqu'ils sont appliqués directement à des données avec des valeurs manquantes (en ignorant les observations incomplètes), les résultats sont biaisés si le manque n'est pas aléatoire (MNAR).
Complexité du MNAR : Contrairement aux données manquantes complètement au hasard (MCAR) ou aléatoirement (MAR), le mécanisme MNAR dépend de la valeur de la réponse elle-même (même non observée). Cela pose un problème d'non-identifiabilité : la distribution conjointe des données ne peut pas être estimée sans hypothèses supplémentaires, car la distribution des réponses manquantes ne peut pas être déduite uniquement des données observées.

2. Méthodologie Proposée

Les auteurs développent une procédure de prédiction par Boosting adaptée aux données MNAR en combinant l'estimation semi-paramétrique et l'ajustement des fonctions de perte.

A. Ajustement des Fonctions de Perte

Pour contourner le problème des données manquantes, les auteurs proposent de modifier la fonction de perte standard $L(Y, f(X))$ en une fonction ajustée $L^*(Y, f(X), R)$ , où $R$ est l'indicateur de manque. Deux stratégies sont explorées pour garantir que l'espérance de la nouvelle perte soit égale à celle de la perte originale :

Pondération par l'Inversion de la Propension (IPW - Inverse Propensity Weighting) :
- La perte est pondérée par l'inverse de la probabilité d'observation $\pi(y, x) = P(R=1|Y=y, X=x)$ .
- Formule : $L_{IPW} = \frac{R \cdot L(Y, f(X))}{\pi(Y, X)}$ .
- Cette méthode utilise uniquement les données complètes mais corrige le biais par pondération.
Type Buckley-James (BJ) :
- Cette méthode tente d'utiliser l'information des observations partielles en imputant la perte attendue pour les cas manquants.
- Formule : $L_{BJ} = R \cdot L(Y, f(X)) + (1-R) \cdot \Psi_0(X)$ , où $\Psi_0(X)$ est l'espérance conditionnelle de la perte donnée que la réponse est manquante.
- Cela nécessite de modéliser la distribution conditionnelle de $Y$ étant donné $X$ et $R=0$ .

B. Estimation Semi-Paramétrique et Identifiabilité

Pour mettre en œuvre ces ajustements, il faut estimer les fonctions inconnues $\pi(y, x)$ et la densité conditionnelle $f(y|X, R=1)$ .

Hypothèses d'identification : Les auteurs adoptent les conditions d'identification de Morikawa et Kim (2021), qui sont testables sur les données observées, évitant ainsi le recours à des variables instrumentales non testables.
Estimation :
- Le modèle de propension $\pi(y, x)$ est estimé de manière paramétrique.
- La densité $f(y|X, R=1)$ est estimée soit de manière paramétrique, soit de manière non paramétrique (par estimation de densité par noyau).
- L'article démontre que l'estimateur de $\pi$ reste consistant même si le modèle de la densité $f$ est mal spécifié (semi-paramétrique).

C. Algorithme de Boosting Modifié

L'algorithme utilise une descente de gradient fonctionnelle itérative :

À chaque itération, le gradient de la fonction de perte ajustée ( $L^*$ ) est calculé en utilisant les estimateurs de $\pi$ et $f$ .
Un faible apprenant (base learner), généralement une spline de régression (B-splines), est ajusté pour minimiser ce gradient.
La fonction de prédiction est mise à jour itérativement jusqu'à convergence.

3. Contributions Clés

Extension théorique du Boosting : C'est l'une des premières tentatives rigoureuses d'adapter le cadre général du Boosting (gradient descent) au cas spécifique des données MNAR.
Deux stratégies d'ajustement : Introduction et comparaison systématique des approches IPW et Buckley-James dans le contexte du Boosting.
Garanties théoriques : Les auteurs établissent rigoureusement :
- La convergence de l'algorithme itératif vers le minimum de risque.
- La consistance de l'estimateur final ( $\hat{f}$ ) lorsque la taille de l'échantillon tend vers l'infini.
Robustesse : Démonstration que les méthodes restent performantes même en présence de certaines erreurs de spécification de modèle (notamment pour l'estimation de la densité conditionnelle).

4. Résultats des Études

Les auteurs ont mené des études de simulation et une analyse sur des données réelles.

Simulations (Données synthétiques) :
- Scénario MAR : Toutes les méthodes (y compris l'approche naïve) fonctionnent bien.
- Scénario MNAR : L'approche naïve (ignorer les manquants) produit des biais significatifs et des erreurs de prédiction élevées.
- Performance des méthodes proposées : Les méthodes IPW, IPWN (non-paramétrique) et BJ réduisent considérablement le biais et les erreurs (S-MAE et S-RMSE) par rapport à l'approche naïve, se rapprochant des performances obtenues avec des données complètes (méthode de référence).
- Robustesse : Les méthodes sont robustes aux erreurs de spécification du modèle de densité, mais sensibles à la mauvaise spécification du modèle de propension $\pi$ .
- Dimensionnalité : L'estimation non-paramétrique (IPWN) peut souffrir du « fléau de la dimension » avec un grand nombre de covariables corrélées.
Données Réelles (KLIPS - Korean Labor and Income Panel Survey) :
- Application à la prédiction des revenus avec environ 30% de valeurs manquantes.
- Les méthodes proposées produisent des prédictions cohérentes et différentes de l'approche naïve, particulièrement aux extrémités de la distribution des covariables, confirmant l'importance de corriger le mécanisme MNAR.

5. Signification et Impact

Cet article est significatif car il comble un vide théorique et pratique entre l'apprentissage automatique moderne (Boosting) et la statistique des données manquantes complexes (MNAR).

Pratique : Il offre aux praticiens des outils validés pour traiter des données réelles où le manque d'information est souvent lié à la valeur manquante elle-même (ex: non-déclaration de revenus élevés ou faibles), évitant ainsi des prédictions biaisées.
Théorique : Il prouve que des méthodes d'apprentissage automatique complexes peuvent être rendues consistantes sous des hypothèses d'identification raisonnables, sans nécessiter de variables instrumentales externes.
Extensibilité : Les auteurs suggèrent que ces stratégies d'ajustement de perte peuvent être étendues à d'autres algorithmes d'apprentissage (SVM, réseaux de neurones, arbres de décision), ouvrant la voie à une nouvelle génération de méthodes robustes aux données manquantes.

En conclusion, l'article propose une solution robuste et théoriquement fondée pour améliorer la précision des prédictions dans des scénarios réalistes où les données sont incomplètes et le mécanisme de manque est non aléatoire.