Résumé Technique : Analyse Discriminante Robuste Cellulaire

Énoncé du Problème

L'Analyse Discriminante (AD) classique, incluant les variantes Linéaire (ADL) et Quadratique (ADQ), repose sur la moyenne arithmétique et la matrice de covariance empirique pour estimer les paramètres de classe. Ces estimateurs sont hautement sensibles aux valeurs aberrantes. Alors que les statistiques robustes traditionnelles se sont concentrées sur les valeurs aberrantes par cas (points de données entiers situés loin du centre de classe), l'analyse de données moderne rencontre de plus en plus les valeurs aberrantes cellulaires. Il s'agit d'entrées inattendues au sein d'une matrice de données où seules quelques cellules d'un cas sont corrompues, tandis que les cellules restantes contiennent des informations précieuses.

Supprimer un cas entier en raison de quelques cellules aberrantes entraîne une perte d'information significative. De plus, les méthodes robustes par cas échouent souvent en présence de contamination cellulaire, car même un faible pourcentage de cellules aberrantes peut polluer la majorité des cas. La littérature existante a abordé l'estimation robuste cellulaire pour les données d'entraînement (par exemple, Aerts et Wilms, 2017), mais un vide critique subsiste : la prédiction robuste hors échantillon. Les méthodes actuelles peinent à classer de nouvelles données de test qui peuvent elles-mêmes contenir des cellules aberrantes ou des valeurs manquantes (NA), conduisant souvent à des erreurs de classification.

Méthodologie

Les auteurs proposent cellLDA et cellQDA, un cadre unifié pour l'analyse discriminante robuste cellulaire qui traite à la fois les étapes d'entraînement et de prédiction.

1. Entraînement Robuste (Dans l'échantillon)

La méthode estime la localisation ($\mu_g$) et la matrice de dispersion ($\Sigma_g$) pour chaque classe $g$ en utilisant l'estimateur cellMCD (Raymaekers et Rousseeuw, 2024).

• Objectif : cellMCD minimise une log-vraisemblance négative pénalisée incluant une distance de Mahalanobis au carré partielle calculée uniquement sur les cellules non signalées.
• Signalisation : Elle estime simultanément une matrice binaire de masque $W_g$ où $w_{ij}=0$ indique une cellule signalée (aberrante ou NA) et $w_{ij}=1$ indique une cellule propre.
• Adaptation ADL : Pour l'AD Linéaire, une matrice de dispersion partagée est estimée en regroupant les données centrées et en appliquant cellMCD avec un centre fixe.

2. Prédiction Hors Échantillon (Données de Test)

La nouveauté centrale réside dans l'étape de prédiction, qui gère les cas de test contenant des valeurs aberrantes cellulaires et des NA.

• Cellflagger : Pour un nouveau point de test $x$, un « cellflagger » basé sur la vraisemblance signale itérativement les cellules. Il minimise une fonction objectif pénalisée pour déterminer quelles cellules sont aberrantes par rapport à une classe spécifique $g$. Une cellule est signalée si son résidu standardisé dépasse un intervalle de tolérance robuste (basé sur le quantile du $\chi^2$).
• Modèle de Contamination : Les auteurs introduisent un nouveau modèle statistique étendant le cadre de contamination cellulaire (Alqallaf et al., 2009) à plusieurs classes. Le modèle suppose que :
  • Les cellules propres suivent une distribution normale multivariée $N(\mu_g, \Sigma_g)$.
  • Les cellules aberrantes suivent une distribution de Laplace à queues lourdes.
  • Les cellules aberrantes surviennent avec une probabilité spécifique $p_{gj}$.
• Fonction Discriminante Robuste : Basée sur la vraisemblance conjointe des données et des indicateurs de contamination selon le modèle ci-dessus, une nouvelle fonction discriminante $\delta_g(x, w_g)$ est dérivée. Cette fonction inclut :
  1. La log-vraisemblance standard des cellules non signalées.
  2. Un terme de pénalité pour le nombre de cellules signalées (basé sur la probabilité de Bernoulli de contamination).
  3. Un terme rendant compte de l'amplitude des cellules aberrantes (basé sur la densité de Laplace).
• Gestion des Données Manquantes : Le cadre gère naturellement les NA en fixant les poids correspondants à 0 (les traitant comme définitivement exclus) avant d'appliquer le cellflagger, garantissant que la fonction discriminante ne somme que sur les cellules propres disponibles.
• Détection de Valeurs Aberrantes par Cas : Si un cas de test possède plus de $d/2$ cellules signalées ou une grande distance de Mahalanobis sur les cellules restantes, il est assigné à une nouvelle classe « aberrante » (classe 0).

Contributions Clés

1. Cadre Unifié : L'approche unifie l'estimation des paramètres, la détection des valeurs aberrantes et la classification sous un seul principe de vraisemblance maximale pénalisée.
2. Prédiction Robuste : Contrairement aux méthodes robustes cellulaires précédentes, cette approche fournit un mécanisme pour classer des données de test pouvant contenir des cellules aberrantes, empêchant la mauvaise classification de cas avec de légères erreurs de données.
3. Gestion des Valeurs Manquantes : La méthode intègre naturellement les données manquantes sans nécessiter d'imputation préalable à la classification.
4. Interprétabilité : Les auteurs introduisent des outils graphiques (Classmaps et Cellmaps) pour visualiser les résultats de classification, distinguant les cas propres, les cas correctement classifiés avec des cellules aberrantes, et les valeurs aberrantes par cas.

Résultats

Simulations

Les méthodes ont été évaluées sur des données simulées avec des dimensions $d=5$ et $d=20$, sous divers scénarios de contamination (cellulaire, par cas et mixte) et structures de corrélation.

• Données de Test Propres : Lorsque les données d'entraînement contenaient des valeurs aberrantes cellulaires, cellQDA et cellLDA ont maintenu une haute précision, surpassant l'AD classique (CQDA/CLDA) et les méthodes robustes par cas (RQDA/RLDA).
• Données de Test Contaminées : Lorsque les données de test contenaient des valeurs aberrantes cellulaires, seules cellQDA et cellLDA ont maintenu une performance robuste. Les méthodes classiques et robustes par cas ont subi des baisses de précision significatives car leurs règles discriminantes n'étaient pas conçues pour gérer les cellules aberrantes dans l'ensemble de test.
• Scénarios Mixtes : Les méthodes proposées ont constamment surpassé les références robustes existantes (GLQDA/RLDA) lorsque les données d'entraînement et de test étaient contaminées.

Application sur Données Réelles

La méthode a été appliquée à un ensemble de données de 804 sucreries suisses (Biscuits, Glaces, Gâteaux, Puddings) avec 9 variables nutritionnelles.

• Précision : cellQDA a atteint la précision la plus élevée en validation croisée (0,832), surpassant CQDA (0,569), RQDA (0,805) et GLQDA (0,767).
• Interprétation : Les représentations graphiques ont révélé que cellQDA classait correctement des produits aux profils nutritionnels inhabituels (par exemple, certaines marques « Weight Watchers ») qui étaient mal classés par d'autres méthodes ou signalés comme valeurs aberrantes globales. Les cellmaps ont identifié avec succès des ingrédients spécifiques inhabituels (par exemple, une teneur en sel inattendue élevée/faible) conduisant la classification.
• Données Manquantes : La méthode a maintenu une haute précision (76 %) même lorsque jusqu'à 60 % des cellules de test étaient définies comme manquantes, surpassant significativement l'AD classique appliquée à des données complètes.

Signification et Revendications

L'article affirme que la signification principale de ce travail est le développement d'une méthode de prédiction hors échantillon robuste pour l'analyse discriminante. Bien que l'entraînement robuste soit établi, la capacité à classer de nouvelles données contenant des valeurs aberrantes cellulaires sans rejeter l'observation entière est une contribution nouvelle.

Les auteurs soulignent que leur approche est cohérente, car les étapes d'estimation, de signalisation et de classification découlent toutes du même modèle de vraisemblance pénalisée. Cette unification permet une gestion naturelle des valeurs manquantes et fournit un moyen statistiquement fondé de pénaliser le nombre de cellules signalées. Les résultats des simulations démontrent que ces méthodes offrent des performances supérieures dans des scénarios réalistes où la contamination des données survient à la fois lors des phases d'entraînement et de test, sans sacrifier l'efficacité sur des données propres.