📊 statistics

Cellwise Outliers

Cet article passe en revue les avancées récentes de la dernière décennie concernant la détection et la gestion des valeurs aberrantes au niveau des cellules dans les données de haute dimension, en présentant des méthodes robustes pour l'estimation de la localisation, de la covariance, la régression, l'analyse en composantes principales et les données tensorielles.

Auteurs originaux : Mia Hubert, Jakob Raymaekers, Peter J. Rousseeuw

Publié 2026-04-17

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Mia Hubert, Jakob Raymaekers, Peter J. Rousseeuw

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Grand Nettoyage : Quand une seule tache gâche tout le tableau

Imaginez que vous êtes un chef cuisinier qui prépare un énorme banquet pour 100 personnes. Vous avez une liste d'ingrédients (vos données) pour chaque plat.

L'ancienne façon de voir les choses (Les "Cas" ou "Lignes") :
Pendant des décennies, les statisticiens pensaient que si un plat était raté, c'était la faute du chef (la ligne entière). Si un client avait commandé un plat avec un ingrédient périmé, on jetait tout le plat à la poubelle. C'est ce qu'on appelle les outliers casewise (anomalies par ligne). On supprime toute la ligne de données.

Le nouveau problème (Les "Cellules" ou "Cases") :
Mais aujourd'hui, les données sont énormes et complexes. Imaginez que sur votre liste de 100 plats, il y a 100 ingrédients chacun.
Soudain, vous réalisez que ce n'est pas tout le plat qui est raté, mais juste une seule case sur la liste.

Le plat "Steak" est parfait, sauf que la case "Sel" indique "10 kg" au lieu de "10 g".
Le plat "Salade" est parfait, sauf que la case "Tomate" est vide.

Si vous jetez tout le plat "Steak" à la poubelle parce qu'il y a une erreur sur le sel, vous perdez 99% d'informations utiles ! C'est le problème des outliers cellwise (anomalies par cellule).

🧱 Pourquoi c'est si difficile ? (Le mur de la dimension)

Le papier explique un problème mathématique crucial : plus vous avez de variables (d'ingrédients), plus il est probable qu'une personne (une ligne) ait au moins une erreur, même si l'erreur est rare.

L'analogie du loto : Imaginez que vous avez 14 variables (ingrédients). Si chaque ingrédient a 5% de chances d'être faux, il y a plus de 50% de chances qu'une personne ait au moins un ingrédient faux.
Si vous avez 70 variables, c'est 97% des personnes qui auront au moins une erreur !
Le résultat : Si vous utilisez les anciennes méthodes qui jettent toute la ligne dès qu'une erreur est trouvée, vous vous retrouverez avec presque aucune donnée valide. C'est comme si vous jetiez tout le stock de votre supermarché parce que quelques pommes avaient une tache.

🛠️ Les nouvelles solutions : Le "Chirurgien" plutôt que le "Boucher"

Les auteurs (Mia Hubert, Jakob Raymaekers et Peter Rousseeuw) disent qu'il faut arrêter de jeter les lignes entières. Il faut devenir des chirurgiens qui enlèvent juste la tache.

Voici comment ils y arrivent, avec des métaphores :

1. Le Détective (DDC - Detect Deviating Cells)

Au lieu de regarder chaque ingrédient seul (ex: "Est-ce que le sel est trop grand ?"), le détective regarde les relations entre les ingrédients.

L'analogie : Si vous voyez une voiture très large, vous vous attendez à ce qu'elle soit lourde et lente. Si vous voyez une voiture très large mais qui pèse comme une plume et va à la vitesse de la lumière, le détective se dit : "Attends, il y a une incohérence ici !" Même si la largeur est normale toute seule, elle ne va pas avec le reste.
C'est ce que fait l'algorithme DDC : il repère les cases qui ne "collent" pas avec le reste du puzzle.

2. Le Réparateur de Tapis (CellMCD et CellPCA)

Une fois les taches repérées, il faut réparer le tableau sans le déchirer.

L'analogie : Imaginez un tapis persan avec quelques fils décolorés. Au lieu de jeter le tapis, on remplace juste les fils abîmés par de nouveaux fils qui correspondent à la couleur des fils voisins.
Les méthodes comme CellMCD (pour les moyennes) et CellPCA (pour réduire la complexité) font exactement cela : elles identifient les cases suspectes, les marquent comme "à réparer" (ou manquantes), et calculent la moyenne ou la structure en se basant uniquement sur les parties saines du tapis.

3. La Prédiction pour le futur (CellLTS)

Et si un nouveau client arrive avec une erreur sur sa commande ?

L'analogie : Si vous prévoyez le prix d'un futur plat, et que le client écrit "1000 kg de farine" par erreur, les anciennes méthodes diraient "C'est impossible, je ne peux pas prédire".
La nouvelle méthode CellLTS dit : "Je vais corriger cette erreur de 1000 kg en regardant ce que les autres clients ont commandé, et je ferai ma prédiction sur la valeur corrigée." C'est comme si vous lisiez entre les lignes pour deviner ce que le client voulait vraiment dire.

📦 Et pour les objets 3D ? (Les Tenseurs)

Le papier parle aussi de données en 3D, comme une vidéo (images + temps + couleurs).

L'analogie : Imaginez une vidéo de quelqu'un qui promène son chien. La plupart des pixels sont statiques (le fond). Seuls quelques pixels bougent (le chien).
Les méthodes pour les tenseurs permettent de voir que ce sont juste quelques pixels (cellules) qui changent à cause du chien, et non pas que toute la vidéo est "fausse" ou corrompue. On peut ainsi isoler le chien sans effacer toute la scène.

🎯 Le message principal

Ce papier nous dit que pour gérer les données modernes (qui sont énormes et pleines de petites erreurs), nous devons changer notre mentalité :

Arrêter de jeter le bébé avec l'eau du bain : Ne supprimez pas toute une ligne de données juste parce qu'une case est fausse.
Accepter de perdre un peu de "beauté mathématique" : Les anciennes méthodes avaient des propriétés mathématiques très élégantes (l'équivariance), mais elles ne fonctionnaient plus avec les erreurs par cellule. Les nouvelles méthodes sont un peu moins "élégantes" mathématiquement, mais elles sont beaucoup plus robustes et utiles dans la vraie vie.
La précision est la clé : En soignant chaque case individuellement, on peut utiliser presque toutes nos données, même dans des contextes très complexes (médecine, finance, images satellites).

En résumé, c'est un guide pour passer d'une approche "tout ou rien" à une approche de "chirurgie de précision" pour nettoyer nos données.

1. Problématique : Le passage du caswise au cellwise

L'article aborde une évolution fondamentale dans la détection d'anomalies en statistiques et en apprentissage automatique. Traditionnellement, les méthodes robustes (casewise) considèrent qu'une observation (une ligne ou un « cas ») est soit entièrement propre, soit entièrement contaminée par une erreur. Cependant, dans les données modernes, en particulier à haute dimension, il est fréquent que seules certaines valeurs individuelles (des « cellules ») au sein d'une observation soient erronées, tandis que le reste de la ligne reste valide.

Le problème du modèle caswise : Si une proportion même faible de cellules aberrantes existe, la probabilité qu'une observation contienne au moins une cellule contaminée augmente rapidement avec le nombre de variables ( $d$ ). Par exemple, avec une contamination cellulaire de 5 % et 70 variables, 97 % des cas seront considérés comme contaminés. Les méthodes robustes classiques, qui suppriment ou pondèrent toute la ligne contaminée, deviennent alors inefficaces car elles éliminent trop d'informations valides.
Le modèle cellwise : L'article propose de traiter les anomalies au niveau de la cellule ( $x_{ij}$ ) plutôt que de la ligne. Cela permet de préserver les données saines au sein d'une même observation.
Modèles de contamination : L'article formalise trois modèles :
1. Caswise : Contamination complète de la ligne.
2. Cellwise : Contamination indépendante de chaque cellule.
3. Mixte : Combinaison des deux, incluant également des valeurs manquantes (NA).

2. Méthodologie et Défis Théoriques

L'approche cellwise impose un changement de paradigme par rapport aux méthodes robustes classiques, notamment en ce qui concerne les propriétés d'équivariance.

2.1. Limites de l'équivariance affine

Les estimateurs robustes classiques (pour la localisation et la covariance) sont souvent conçus pour être affinement équivariants. L'article démontre théoriquement que cette propriété est incompatible avec une haute robustesse cellwise :

Localisation : Tout estimateur de localisation qui respecte la propriété de subspace affine (si les données sont dans un sous-espace, l'estimateur y reste) a une valeur de rupture cellwise bornée par $1/d$ . Pour des dimensions élevées, cette valeur est très faible.
Covariance : De même, les estimateurs de covariance affinement équivariants ont une valeur de rupture cellwise (implosion ou explosion) très faible, souvent autour de $1/d$ .
Conclusion : Pour atteindre une robustesse cellwise, il faut abandonner certaines propriétés d'équivariance intuitives.

2.2. Détection des cellules aberrantes

Avant d'estimer les paramètres, il faut identifier les cellules suspectes.

Approches marginales : Insuffisantes car une cellule peut être normale marginalement mais aberrante dans un contexte multivarié (ex: une voiture avec une largeur anormalement petite mais une vitesse normale).
DDC (Detect Deviating Cells) : Algorithme clé qui ajuste des régressions linéaires robustes simples pour chaque variable sur les autres. Les résidus cellaires sont ensuite utilisés pour flaguer les valeurs aberrantes.
FastDDC : Version optimisée pour les données de très haute dimension, utilisant des techniques de criblage rapide et des transformations de variables.

2.3. Estimation Robuste (Localisation, Covariance, Régression)

L'article présente plusieurs méthodes avancées qui combinent détection et estimation :

CellMCD : Extension cellwise du Minimum Covariance Determinant (MCD). Au lieu de maximiser la vraisemblance d'un sous-ensemble de cas, il maximise celle d'un sous-ensemble de cellules. Il utilise une descente de coordonnées par blocs pour estimer simultanément la matrice de covariance, la localisation et une matrice binaire indiquant quelles cellules sont propres.
CellLTS (Régression) : Méthode de régression robuste cellwise. Elle impute d'abord les cellules suspectes (et les valeurs manquantes) via CellMCD, puis applique une régression LTS (Least Trimmed Squares) avec une pénalité de type Ridge pour éviter la colinéarité. Elle permet également des prédictions hors échantillon robustes en imputant les cellules aberrantes des nouvelles observations avant la prédiction.
CellPCA (Analyse en Composantes Principales) : Méthode qui approxime les données par un sous-espace affine tout en minimisant une erreur robuste. Elle utilise des fonctions de perte bornées (type $\rho$ ) pour chaque cellule et chaque cas, permettant de gérer les valeurs manquantes et les deux types d'outliers simultanément.
Données Tensorielles : Extension des méthodes (ROMPCA, MacroPARAFAC) aux tableaux multidimensionnels (tenseurs), permettant de détecter des anomalies dans des données complexes comme des vidéos (séquences d'images).

3. Résultats et Contributions Clés

Preuves théoriques : L'article établit des bornes supérieures pour les valeurs de rupture cellwise, démontrant que les méthodes classiques échouent inévitablement en haute dimension sans adaptation spécifique.
Performances empiriques : Les méthodes proposées (CellMCD, CellLTS, CellPCA) démontrent une capacité supérieure à traiter des données contaminées par des cellules aberrantes, là où les méthodes caswise échouent ou produisent des estimations biaisées.
Gestion des données manquantes : Une force majeure de ces approches est leur capacité à traiter nativement les valeurs manquantes (NA) en les distinguant des valeurs aberrantes, souvent en les imputant de manière robuste.
Visualisation : Introduction de cartes de cellules (cellmaps) et de résidus ombrés pour visualiser les anomalies et les imputations, facilitant l'interprétation des résultats.

4. Signification et Impact

Cet article marque une étape cruciale dans la statistique robuste moderne :

Adaptation à la haute dimension : Il fournit des outils essentiels pour l'analyse de données massives où la contamination cellulaire est inévitable.
Changement de paradigme : Il force la communauté à reconsidérer les propriétés mathématiques sacrées (comme l'équivariance affine) au profit de la robustesse pratique face à la contamination partielle.
Applications variées : Les méthodes sont applicables à des domaines divers : épidémiologie, géochimie, archéologie, analyse de spectres (données NIR), et traitement d'images/vidéos.
Logiciel : La plupart de ces méthodes sont implémentées dans le package R cellWise, rendant ces techniques accessibles aux praticiens.

En conclusion, Hubert, Raymaekers et Rousseeuw démontrent que la détection et l'estimation robustes au niveau cellulaire sont non seulement possibles, mais nécessaires pour l'ère des données modernes, offrant une alternative supérieure aux approches traditionnelles basées sur les cas entiers.