Résumé Technique : Au-delà de la précision : Une étude empirique de l'estimation de l'incertitude dans l'imputation

1. Énoncé du problème

La gestion des données manquantes est une étape fondamentale dans les analyses statistiques et les pipelines d'apprentissage automatique. Bien que les méthodes d'imputation modernes aient progressé de manière significative dans la reconstruction de valeurs manquantes avec une haute précision ponctuelle (par exemple, en minimisant l'MAE ou l'MSE), il existe un fossé critique dans la compréhension de la fiabilité et de la calibration des estimations d'incertitude qu'elles produisent.

Dans les applications pratiques telles que la santé, la finance et les sciences sociales, savoir à quel point un modèle est confiant dans une valeur imputée est aussi crucial que la valeur elle-même. Une incertitude fiable permet :

• L'imputation active : Prioriser les entrées à haute incertitude pour une révision par un expert ou une nouvelle collecte de données.
• L'imputation sélective : Signaler les estimations qui ne devraient pas orienter des décisions sensibles (ex. : approbations de prêts).
• La robustesse : Détecter quand un modèle opère en dehors de sa distribution d'entraînement (décalage de jeu de données).

Malgré la disponibilité de méthodes générant de l'incertitude (ex. : imputation multiple, approches bayésiennes, modèles génératifs profonds), il reste peu clair si ces estimations d'incertitude sont calibrées — c'est-à-dire si les probabilités nominales (ex. : un intervalle de prédiction de 90 %) correspondent aux fréquences empiriques contenant la vraie valeur. De plus, les compromis entre précision ponctuelle, qualité de la calibration et temps d'exécution à travers différents mécanismes de données manquantes (MCAR, MAR, MNAR) sont mal compris.

2. Méthodologie

2.1 Conception expérimentale

Les auteurs ont mené une étude empirique systématique comparant des méthodes d'imputation représentatives issues de trois grandes familles :

1. Statistiques / Basées sur des modèles : MICE (Imputation multiple par équations enchaînées).
2. Matrices / Basées sur l'optimisation : SoftImpute (récupération de bas rang) et OT-Impute (alignement de distribution via le transport optimal).
3. Génératives profondes : GAIN (adversaire), MIWAE (inférence variationnelle) et TabCSDI (diffusion).

Jeux de données et mécanismes de données manquantes :
L'étude a utilisé cinq jeux de données tabulaires numériques (logement, biodégradation, cancer, énergie, vin). Des valeurs manquantes ont été injectées synthétiquement à des taux contrôlés (10–30 %) sous trois mécanismes :

• MCAR (Missing Completely at Random - Manquant complètement au hasard) : Masquage aléatoire uniforme.
• MAR (Missing at Random - Manquant au hasard) : Masquage dépendant des caractéristiques observées.
• MNAR (Missing Not at Random - Manquant non au hasard) : Masquage dépendant de la valeur manquante elle-même.

2.2 Stratégies d'extraction d'incertitude

Pour garantir une comparaison équitable, l'étude a normalisé l'extraction de l'incertitude en trois voies complémentaires :

1. Exécutions de modèles répétées : Exécuter l'imputateur plusieurs fois avec différentes graines (seeds) ou des données bootstrappées (ex. : MICE, GAIN multi-runs). Cela capture la variabilité provenant de l'entraînement/initialisation.
2. Échantillonnage conditionnel : Tirer plusieurs échantillons à partir de la distribution conditionnelle d'un modèle entraîné et fixe (ex. : GAIN-S, MIWAE-S, TabCSDI-S). Cela sonde l'incertitude aléatoire.
3. Modélisation de la distribution prédictive : Utiliser des modèles explicitement entraînés pour produire des paramètres de distribution (moyenne et variance) pour chaque cellule (ex. : GAIN-U, MIWAE-U).

2.3 Métriques d'évaluation

L'étude a évalué les méthodes sur deux axes :

• Précision : Mesurée par l'Erreur Absolue Moyenne (MAE) sur les cellules masquées.
• Calibration : Mesurée à l'aide de courbes de calibration (traçant la couverture empirique par rapport à la confiance nominale) et de l'Erreur de Calibration Attendue (ECE). Un ECE plus faible indique que la confiance déclarée par le modèle s'aligne sur sa précision réelle.

3. Contributions clés

1. Cadre unifié centré sur l'incertitude : Le papier établit un protocole standardisé pour extraire et évaluer l'incertitude à travers divers paradigmes d'imputation (statistique, optimisation et apprentissage profond), allant au-delà de la seule focalisation sur la précision ponctuelle.
2. Preuve empirique de désalignement : L'étude fournit une preuve robuste que la haute précision de reconstruction ne garantit pas une estimation de l'incertitude fiable. Les méthodes qui excellent dans la prédiction ponctuelle échouent souvent à fournir des intervalles de confiance bien calibrés.
3. Analyse complète des compromis : Les auteurs cartographient les compromis entre précision, calibration et temps d'exécution à travers différents mécanismes de données manquantes (MCAR, MAR, MNAR) et les caractéristiques des jeux de données.
4. Aperçus spécifiques aux méthodes :
   • MICE : Démontre la calibration la plus stable et la plus fiable à travers les jeux de données, malgré une précision ponctuelle parfois plus faible.
   • SoftImpute : Atteint une précision compétitive mais présente une mauvaise calibration en raison de sa nature déterministe et de l'absence de modélisation intrinsèque de l'incertitude.
   • Modèles génératifs profonds (MIWAE, TabCSDI) : Montrent un potentiel pour équilibrer précision et calibration, mais imposent des coûts de calcul nettement plus élevés.
   • GAIN : Bien qu'accurate, le GAIN standard produit une incertitude sur-dispersée (sous-confiance) ; les variantes hétéroscédastiques (GAIN-U) améliorent la calibration mais introduisent une instabilité d'entraînement.

4. Résultats clés

• Précision vs Calibration : Un désalignement constant a été observé. Par exemple, SoftImpute affiche souvent un classement élevé en termes de MAE mais possède un ECE élevé (mauvaise calibration). Inversement, MICE maintient un ECE faible (bonne calibration) même lorsque son MAE n'est pas le plus bas.
• Impact des mécanismes de données manquantes : La précision et la calibration se dégradent généralement de MCAR vers MAR puis vers MNAR. Cependant, certains jeux de données (ex. : logement) ont montré des exceptions où la colinéarité des caractéristiques a permis aux imputations MAR/MNAR de surpasser les MCAR.
• Performance de l'apprentissage profond :
  • MIWAE offre un équilibre favorable entre précision et calibration, en utilisant l'échantillonnage pondéré par importance pour approximer la véritable distribution des données.
  • TabCSDI (basé sur la diffusion) a montré un faible ECE dans les jeux de données avec de fortes corrélations (vin) mais a présenté une confiance mitigée (sur-confiance/sous-confiance) dans d'autres (énergie).
  • Échantillonnage vs Têtes de variance : Pour GAIN et MIWAE, les variantes qui modélisent explicitement la variance (variantes-U) ou utilisent l'échantillonnage conditionnel (variantes-S) ont généralement amélioré la calibration par rapport à l'approche multi-run classique, bien qu'au prix d'une complexité ou d'un temps d'exécution accrus.
• Temps d'exécution : Les méthodes classiques (MICE, SoftImpute) sont généralement plus rapides. Les modèles génératifs profonds, particulièrement les modèles de diffusion comme TabCSDI, sont coûteux en calcul en raison de l'entraînement et des étapes de débruitage séquentielles.

5. Signification et affirmations

Le papier affirme que le choix d'une stratégie d'imputation doit être dicté par les exigences de la tâche en aval plutôt que par la seule précision.

• Pour la prise de décision fiable : Dans les scénarios nécessitant une supervision humaine, la gestion des risques ou l'automatisation sélective (ex. : triage médical), les méthodes produisant une incertitude bien calibrée (comme MICE ou MIWAE) sont préférables, même si elles sacrifient une certaine précision ponctuelle.
• Pour l'efficacité et la vitesse : Lorsque la vitesse et la haute précision ponctuelle sont les contraintes principales, des méthodes efficaces peuvent être appropriées, à condition que leurs estimations d'incertitude soient calibrées a posteriori ou que la tâche ne dépende pas des intervalles de confiance.

Les auteurs concluent que les méthodes d'imputation ne doivent pas seulement être jugées sur "leur proximité moyenne avec la réalité", mais sur "si leur confiance déclarée correspond aux fréquences observées". Ce travail sert de guide aux praticiens pour sélectionner des imputateurs sensibles à l'incertitude qui s'alignent sur les besoins de fiabilité des pipelines de nettoyage de données et d'apprentissage automatique.

Limites et directions futures :
L'étude est limitée aux jeux de données tabulaires numériques. Les auteurs notent que l'extension de ce cadre aux données catégorielles et mixtes est une étape nécessaire. De plus, bien que l'étude évalue la calibration globale, elle ne sépare pas explicitement l'incertitude aléatoire de l'incertitude épistémique, ce qui reste un domaine ouvert pour de futures investigations. Enfin, le coût computationnel des modèles de diffusion a limité leur évaluation sur l'ensemble des jeux de données.