Résumé Technique : OverNaN - Suréchantillonnage Conscient des NaN pour l'Apprentissage Déséquilibré avec des Données Manquantes Significatives

1. Énoncé du Problème

Dans l'apprentissage automatique appliqué, en particulier au sein des sciences physiques, de l'ingénierie et de la biomédecine, les valeurs manquantes résultent souvent de contraintes structurelles (par exemple, des mesures destructrices, des restrictions éthiques ou des résultats conditionnels) plutôt que d'un bruit stochastique. Par conséquent, l'absence de données peut porter une information pertinente pour le domaine. Cependant, les pipelines d'apprentissage automatique standards traitent généralement les valeurs manquantes comme des défauts à éliminer via une suppression par liste ou une imputation avant l'analyse.

Cette approche est particulièrement préjudiciable dans les scénarios d'apprentissage déséquilibré où les classes minoritaires sont déjà sous-représentées. La suppression élimine de manière disproportionnée les échantillons minoritaires, exacerbant le déséquilibre, tandis que l'imputation réduit l'incertitude en des estimations ponctuelles, introduisant une certitude artificielle et un biais potentiel dépendant du modèle. De plus, les techniques de suréchantillonnage synthétique largement adoptées, telles que SMOTE et ADASYN, supposent implicitement des vecteurs de caractéristiques complets, contraignant les praticiens à imputer les données manquantes avant de générer des échantillons synthétiques. Ce processus efface les motifs de manquants structurels avant que le suréchantillonnage ne se produise, risquant de déformer les frontières de classe et la géométrie de l'espace des caractéristiques.

2. Méthodologie : OverNaN

OverNaN est un cadre de suréchantillonnage léger et conscient des NaN, conçu pour résoudre le déséquilibre des classes sans effacer la structure des manquants. Il étend les méthodes courantes de suréchantillonnage synthétique (SMOTE, ADASYN, ROSE) pour opérer directement sur des vecteurs de caractéristiques incomplets, traitant l'espace des caractéristiques comme $(\mathbb{R} \cup \{\text{NaN}\})^d$ plutôt que $\mathbb{R}^d$.

Principes de Conception Fondamentaux

1. Intégrité Structurelle : Les valeurs manquantes sont traitées comme des éléments structurels, et non comme des défauts. Les échantillons synthétiques peuvent légitimement contenir des NaN si les données originales supportent de tels motifs.
2. Absence de Certitude Artificielle : Le suréchantillonnage n'introduit pas de valeurs inférées là où aucune n'a été observée, évitant ainsi l'encodage d'hypothèses injustifiées.
3. Contrôle Explicite : Les stratégies de gestion des manquants sont explicites et définies par l'utilisateur, plutôt que d'être des effets secondaires implicites du prétraitement.

Implémentation Algorithmique

OverNaN modifie la définition du voisinage et le processus de génération d'échantillons des méthodes existantes :

• Calcul de Distance : Les distances entre les échantillons $x_i$ et $x_j$ sont calculées uniquement sur l'ensemble des dimensions observées partagées $\Omega_{ij} = \{k : x_{ik} \neq \text{NaN} \land x_{jk} \neq \text{NaN}\}$.
• Génération par Caractéristique : Les échantillons synthétiques $\tilde{x}$ sont générés par caractéristique. Pour les dimensions dans $\Omega_{ij}$, une interpolation standard a lieu ($\tilde{x}_k = x_{ik} + \lambda(x_{jk} - x_{ik})$). Pour les dimensions en dehors de $\Omega_{ij}$, la valeur est déterminée par l'une des trois stratégies explicites suivantes :
  1. Préservation du Motif : Si une caractéristique est manquante chez l'un des parents, l'échantillon synthétique conserve le NaN.
  2. Interpolation Sélective : L'interpolation n'a lieu que si les deux parents possèdent des valeurs observées ; sinon, la caractéristique reste NaN.
  3. Manquants Probabilistes : Les manquants sont échantillonnés selon les taux de manquants empiriques par classe.

Caractéristiques Computations

• Compatibilité : OverNaN opère sur des tableaux NumPy et des DataFrames pandas, préservant les types de conteneurs et les métadonnées.
• Complexité : Il délègue la recherche de voisins aux bibliothèques existantes. Bien que les calculs de distance soient restreints aux sous-espaces observés, la complexité asymptotique reste similaire à celle des méthodes sous-jacentes ($O(Nd)$ par requête dans le pire des cas).
• Parallélisme : La génération d'échantillons est parallélisable de manière triviale, bien qu'OverNaN applique le parallélisme de manière conservatrice au niveau des lots pour éviter les conditions de course liées à la propagation des NaN.
• Stabilité Numérique : Il repose sur le comportement standard des NaN de la norme IEEE 754, propageant délibérément les NaN plutôt que de les masquer, en supposant que les apprenants en aval (par exemple, les ensembles basés sur des arbres) tolèrent les NaN.

3. Contributions Clés

• Développement de Cadre : L'introduction d'OverNaN, qui intègre la conscience des NaN dans SMOTE, ADASYN et ROSE sans altérer leurs hypothèses géométriques fondamentales, mais seulement le domaine de définition.
• Définition de Stratégies : La formalisation de trois stratégies distinctes pour gérer les manquants lors du suréchantillonnage (Préservation, Sélective, Probabiliste), permettant aux praticiens d'aligner la méthode avec les connaissances du domaine.
• Suite de Validation : Une suite de tests complète démontrant la fonctionnalité dans des cas limites (par exemple, échantillons minoritaires uniques, taux élevés de NaN) et l'intégration avec des classifieurs en aval comme XGBoost.
• Étalonnage : Évaluation empirique sur cinq jeux de données OpenML avec des manquants naturels et une application spécifique à un jeu de données de Nanofeuilles d'Oxyde de Graphène où les manquants ont une signification chimique.

4. Résultats Expérimentaux

Jeux de Données Synthétiques et Contrôlés

• Fonctionnalité de Base : OverNaN a réussi à rééquilibrer les classes sans imputation. Sous la stratégie par défaut preserve_pattern, le taux de NaN rééchantillonné a augmenté (car les échantillons synthétiques héritent des manquants des parents), tandis que ROSENaN a maintenu des taux plus proches de l'original en raison de sa perturbation basée sur les noyaux.
• Intégration avec Classifieurs : Dans une tâche contrôlée avec XGBoost, les trois variantes d'OverNaN ont amélioré le rappel et les scores F1 de la classe minoritaire par rapport à une ligne de base. SMOTENaN et ROSENaN ont atteint un rappel et un F1 parfaits (1,000) sur la classe minoritaire.
• Performance Comparative : Sur un jeu de données synthétique avec 11,9 % de NaN, SMOTENaN a obtenu le ROC AUC le plus élevé (0,802) et la variance inter-fold la plus faible par rapport aux pipelines impliquant la suppression de caractéristiques, la suppression d'instances ou l'imputation par la moyenne suivie d'un SMOTE standard.

Étalonnages Réels (OpenML)

Évalué sur cinq jeux de données (labor, cylinder-bands, Titanic, soybean, car-evaluation) :

• ROSENaN a constamment obtenu la meilleure Précision Équilibrée Moyenne, le Macro F1 et le ROC AUC sur les cinq jeux de données.
• SMOTENaN a apporté des gains modestes par rapport à la ligne de base.
• ADASYN-NaN a montré une amélioration du ROC AUC mais des métriques seuillées légèrement inférieures en moyenne.
• Temps d'exécution : ROSENaN est resté computationnellement efficace (0,7 s en moyenne), tandis qu'ADASYN-NaN était plus lent (16,5 s) en raison de l'estimation adaptative de la densité.

Application : Nanofeuilles d'Oxyde de Graphène

Dans une tâche prédisant les groupes carboxyles sur des nanofeuilles (taux de NaN de 39,8 %, où les manquants indiquent l'absence structurelle de liaisons spécifiques) :

• SMOTENaN a surpassé les pipelines « Supprimer les Caractéristiques » et « Imputation + SMOTE », obtenant une Précision Équilibrée de $0,997 \pm 0,005$ et un F1 de $0,999 \pm 0,002$.
• Crucialement, SMOTENaN a préservé le sens structurel des entrées manquantes (c'est-à-dire ne pas inventer de longueurs de liaison pour des liaisons inexistantes) tout en maintenant l'espace complet des caractéristiques, tandis que l'imputation introduisait des valeurs synthétiques et la suppression de caractéristiques jetait des descripteurs informatifs.

Imputation vs OverNaN

Sur le jeu de données OpenML anneal (taux de NaN de 64,98 %), les variantes d'OverNaN ont produit des scores de Précision Équilibrée et de Macro F1 statistiquement indiscernables par rapport aux pipelines « Imputer puis Suréchantillonner ». Cela suggère que l'imputation n'est pas une condition préalable stricte pour des performances compétitives dans ces contextes.

5. Signification et Revendications

L'article postule que les manquants sont souvent un signal plutôt qu'un bruit, et que leur élimination avant le rééchantillonnage peut déformer le processus d'apprentissage. La signification d'OverNaN réside dans :

1. Préservation de l'Information : Il permet aux praticiens de conserver les motifs de manquants structurels qui reflètent des contraintes expérimentales ou des réalités physiques, plutôt que de « réparer » les données avec des estimations potentiellement biaisées.
2. Incertitude Explicite : Il encourage le traitement de l'incertitude comme une considération de premier ordre, empêchant l'introduction d'une certitude artificielle dans les données synthétiques.
3. Applicabilité au Domaine : Il est spécifiquement ciblé vers les domaines scientifiques et d'ingénierie disposant de petits jeux de données incomplets et déséquilibrés où les manquants sont inévitables et informatifs.

Les auteurs déclarent explicitement qu'OverNaN n'est pas une solution universelle pour les données manquantes ; il ne modélise pas les mécanismes de manquants ni n'infère de valeurs non observées. Il est destiné comme une alternative pour des contextes où les apprenants en aval peuvent gérer nativement les NaN et où l'absence structurelle de données est significative. Le cadre privilégie l'interprétabilité, le contrôle des hypothèses et la reproductibilité par rapport à une optimisation agressive ou des capacités de haut débit.