Outlier-Robust Multi-Group Gaussian Mixture Modeling with Flexible Group Reassignment

1. Problématique et Contexte

Les données statistiques sont souvent pré-partitionnées en groupes basés sur des connaissances expertes ou des étiquettes diagnostiques (par exemple, patients sains vs patients atteints d'une maladie, ou types de sols). Cependant, deux défis majeurs limitent l'analyse traditionnelle de ces données :

1. Incertitude des étiquettes : Les assignations initiales peuvent être imprécises ou incertaines (ex. : patients en transition entre la santé et la maladie). Les méthodes supervisées classiques traitent ces étiquettes comme fixes, ignorant les observations qui pourraient mieux appartenir à un autre groupe.
2. Présence de valeurs aberrantes (outliers) : Les données multivariées contiennent souvent des valeurs aberrantes, non seulement au niveau des observations entières (rowwise), mais aussi au niveau de cellules individuelles (cellwise). Ces anomalies peuvent masquer ou déformer la structure sous-jacente des groupes.

L'objectif est de développer un modèle capable d'exploiter l'information a priori des groupes tout en permettant une réaffectation flexible des observations basée sur les données, tout en restant robuste aux valeurs aberrantes cellulaires.

2. Méthodologie Proposée

Les auteurs introduisent le MG-GMM (Multi-Group Gaussian Mixture Model) et son estimateur robuste cellMG-GMM.

A. Le Modèle MG-GMM

Contrairement aux modèles de mélanges gaussiens (GMM) standards où chaque observation est tirée d'une seule distribution globale, le MG-GMM suppose que les observations d'un groupe pré-défini $g$ proviennent d'un mélange de toutes les distributions des $N$ groupes.

• Probabilités de mélange : Pour chaque groupe $g$, les probabilités $\pi_{g,k}$ (probabilité qu'une observation du groupe $g$ appartienne au composant $k$) sont estimées.
• Contrainte de flexibilité : Une contrainte $\pi_{g,g} \ge \alpha \ge 0.5$ est imposée.
  • Si $\alpha = 1$, les assignations sont fixes (approche supervisée classique).
  • Si $0.5 \le \alpha < 1$, le modèle permet une réaffectation flexible des observations vers d'autres groupes si les données le justifient.

B. Robustesse aux valeurs aberrantes cellulaires (cellMG-GMM)

Pour gérer les valeurs aberrantes au niveau des cellules (une valeur spécifique dans une ligne/colonne), les auteurs proposent un estimateur basé sur une fonction de vraisemblance pénalisée observée.

• Traitement des outliers : Les cellules aberrantes sont traitées comme des valeurs manquantes ($W$) dont la position est inconnue a priori et doit être estimée.
• Fonction objectif : L'objectif combine la vraisemblance observée (en ignorant les cellules manquantes) et une pénalité sur le nombre de cellules flaguées comme aberrantes.
  $$\text{Obj} = \sum \left[ -2 \ln(\text{Vraisemblance observée}) + \sum q_{g,ij}(1 - w_{g,ij}) \right]$$
  où $w_{g,ij}=0$ si la cellule est flaguée comme aberrante. La pénalité $q_{g,ij}$ est calibrée pour éviter le sur-flagging (trop de cellules rejetées).
• Régularisation : Les matrices de covariance sont régularisées pour éviter les problèmes de singularité, en les combinant avec des échelles robustes univariées.

C. Algorithme d'Estimation

Un algorithme itératif basé sur EM (Expectation-Maximization) est développé :

1. Étape W : Mise à jour du motif de manquants/aberrants ($W$) en minimisant la fonction objectif pour chaque variable.
2. Étape EM : Mise à jour des paramètres du mélange ($\pi, \mu, \Sigma$) en tenant compte des données incomplètes et des contraintes de réaffectation ($\alpha$).
   L'algorithme converge vers un minimum local de la fonction objectif pénalisée.

3. Contributions Clés

1. Nouveau Modèle Statistique (MG-GMM) : C'est le premier modèle conçu spécifiquement pour investiguer l'alignement entre les étiquettes expertes et les structures de clusters statistiques, permettant une réaffectation douce des observations.
2. Estimation Robuste Cellulaire : Le cellMG-GMM est le premier estimateur de GMM multi-groupes intégrant la détection de valeurs aberrantes cellulaires via une approche de vraisemblance pénalisée. Il offre un traitement dual : une observation peut être réaffectée à un meilleur groupe OU identifiée comme aberrante pour tous les groupes.
3. Théorie de la Rupture (Breakdown Point) : Les auteurs étendent la théorie du point de rupture (breakdown point) aux modèles de mélanges finis dans le paradigme de contamination cellulaire. Ils démontrent que l'estimateur possède de bonnes propriétés de robustesse, avec un point de rupture dépendant du nombre de cellules observées par variable et par groupe.
4. Implémentation Logicielle : Le modèle est disponible dans le package R ssMRCD.

4. Résultats Expérimentaux

Simulations

Des simulations ont été menées sur divers scénarios (groupes équilibrés/déséquilibrés, dimensions variables, niveaux de chevauchement).

• Précision : Le cellMG-GMM surpasse systématiquement les méthodes de référence (GMM standard, cellMCD, cellGMM, MRCD) en termes d'erreur quadratique moyenne (MSE) pour les moyennes et les probabilités de mélange, et de divergence de Kullback-Leibler pour les covariances.
• Détection d'outliers : Il affiche des scores F1, de précision et de rappel supérieurs pour la détection de cellules aberrantes, surtout lorsque les groupes sont peu cohérents ou que les outliers sont subtils.
• Robustesse : Le modèle reste stable même avec un taux élevé de contamination cellulaire (jusqu'à 10% des cellules) et dans des situations de haute dimensionnalité.

Applications Réelles

1. Maladie d'Alzheimer (Données DARWIN) :
   • Analyse de l'écriture manuscrite de patients sains et diagnostiqués.
   • Le modèle a identifié des patients diagnostiqués comme ayant des profils très proches des sujets sains (et vice-versa), suggérant des cas de transition ou de diagnostic précoce.
   • Il a détecté des cellules aberrantes liées à la pression de l'écriture, révélant des hétérogénéités dans les mesures.
2. Qualité du Vin (Données UCI) :
   • Comparaison des notes d'experts (qualité) avec les caractéristiques physico-chimiques.
   • Le modèle a révélé des incohérences : certains vins notés "mauvais" par les experts avaient des profils chimiques correspondant à de bons vins (et inversement), mettant en lumière des biais potentiels dans l'évaluation sensorielle ou des erreurs de mesure.
   • Détection d'outliers cellulaires (ex. : valeurs de chlorures extrêmes) qui auraient faussé une analyse classique.
3. Données Météorologiques (Autriche) :
   • Réaffectation de stations météo basées sur l'altitude et la géographie.
   • Identification de stations dont le comportement météorologique (vent, pression) ne correspond pas à leur zone géographique initiale, souvent dû à une exposition locale spécifique.

5. Signification et Conclusion

Ce travail comble un vide méthodologique important en combinant l'apprentissage semi-supervisé (utilisation d'étiquettes partielles) et la robustesse aux valeurs aberrantes cellulaires.

• Impact Scientifique : Il offre un cadre rigoureux pour étudier les transitions entre groupes (ex. : progression d'une maladie) et identifier les sources de discordance entre l'expertise humaine et les données objectives.
• Apport Pratique : En permettant de détecter non seulement les observations aberrantes mais aussi les cellules spécifiques responsables de l'anomalie, le modèle fournit des diagnostics plus fins pour les domaines critiques comme la médecine et l'oenologie.
• Innovation Théorique : L'extension du point de rupture aux mélanges gaussiens sous contamination cellulaire constitue une avancée théorique majeure pour la statistique robuste.

En résumé, le cellMG-GMM est un outil puissant pour analyser des données complexes où la structure de groupe est incertaine et les données bruitées, permettant une interprétation plus nuancée et fiable des phénomènes sous-jacents.