Résumé technique : Détection d'anomalies explicable pour les données fonctionnelles multivariées

Énoncé du problème

L'analyse de données fonctionnelles multivariées (FDA) consiste à analyser des données représentées sous forme de fonctions continues sur plusieurs variables (par exemple, des séries temporelles de plusieurs capteurs). Bien que l'analyse en composantes principales fonctionnelles (FPCA) soit un outil dominant, l'estimation robuste des fonctions de moyenne et de covariance reste un défi critique, en particulier en présence d'anomalies. Les anomalies peuvent fausser considérablement les estimations non robustes, conduisant à des conclusions peu fiables. De plus, les méthodes existantes de détection d'anomalies manquent souvent d'interprétabilité ; elles identifient qu'une observation est anormale mais échouent à expliquer pourquoi — spécifiquement, quels composantes (variables) et à quels instants la déviation se produit.

La littérature actuelle propose des méthodes robustes pour les données fonctionnelles univariées et des approches basées sur la profondeur pour les contextes multivariés, mais il existe un vide en matière de fourniture d'un cadre unifié combinant une estimation robuste basée sur la distance avec des explications d'anomalies interprétables, spécifiques aux composantes et au temps, pour les données fonctionnelles multivariées, en particulier sous des structures de covariance séparables.

Méthodologie

Le cadre proposé intègre trois composants principaux : une estimation robuste de la covariance, une distance de Mahalanobis fonctionnelle multivariée tronquée, et une décomposition basée sur les valeurs de Shapley.

1. Cadre théorique : Covariance séparable et représentation par base

La méthode suppose que le processus stochastique multivarié $X(t)$ possède une structure de covariance séparable, où le noyau de covariance $K(s, t)$ se décompose en une matrice de covariance croisée $\Sigma_{row}$ (entre les composantes) et un noyau temporel $\kappa(s, t)$ (au sein des composantes) :
$$K(s, t) = \Sigma_{row} \kappa(s, t)$$
Pour gérer les observations discrètes, les données sont lissées à l'aide d'une représentation par base finie (par exemple, des B-splines). Une contribution théorique clé est l'établissement d'un lien direct entre le processus fonctionnel et sa matrice de coefficients $A$. Si $X(t) = A' \phi(t)$, l'article démontre que, sous l'hypothèse de séparabilité, la matrice de coefficients $A$ suit une distribution matricielle de moyenne $M_A$ et de covariances $\Sigma_{row}$ et $\Sigma_{col}$ (où $\Sigma_{col}$ est lié à $\kappa$). Cela permet de calculer la distance de Mahalanobis fonctionnelle comme une distance de Mahalanobis matricielle sur les matrices de coefficients, réduisant considérablement la complexité computationnelle.

2. Estimation robuste : MMCD

Pour assurer la robustesse face aux anomalies, le cadre utilise l'estimateur Minimum Covariance Determinant Matriciel (MMCD) (Mayrhofer et al., 2025) pour estimer la moyenne et la covariance des matrices de coefficients. Cette approche est hautement robuste, efficace et consistante pour les distributions elliptiques matricielles. Les estimateurs MMCD ($\hat{M}_A, \hat{\Sigma}_{row}, \hat{\Sigma}_{col}$) sont utilisés pour construire une distance de Mahalanobis fonctionnelle tronquée robuste.

3. Métrique de distance : Distance de Mahalanobis fonctionnelle multivariée tronquée (fMMD)

Les auteurs définissent la semi-distance fonctionnelle multivariée de Mahalanobis tronquée au carré (fMMD) comme suit :
$$fMMD^2(X; M) = \sum_{k=1}^{M} \frac{1}{\pi_k} \langle X - \mu, \psi_k \rangle^2$$
où $(\pi_k, \psi_k)$ sont les paires propres de l'opérateur de covariance. Sous l'hypothèse de séparabilité, cette distance est montrée équivalente à la distance de Mahalanobis matricielle de la matrice de coefficients $A$. Cette équivalence permet un calcul efficace en utilisant des estimateurs matriciels robustes.

4. Explicabilité : Décomposition par valeurs de Shapley

Pour répondre au caractère de « boîte noire » de la détection d'anomalies, l'article généralise les valeurs de Shapley (issues de la théorie des jeux coopératifs) pour décomposer l'éloignement total (fMMD) en contributions additives.

• Spécifique aux coordonnées : Identifie quelle variable (composante) contribue le plus à l'anomalie.
• Spécifique au temps : Identifie quels intervalles de temps contribuent le plus.
• Spécifique aux coordonnées et au temps : Décompose simultanément les contributions par variable et par intervalle de temps.

Crucialement, les auteurs dérivent une solution sous forme close pour ces contributions qui réduit la complexité computationnelle d'exponentielle (par rapport au nombre de composantes) à linéaire, tout en conservant les propriétés clés des valeurs de Shapley (efficacité, symétrie, monotonie).

Contributions clés

1. Cadre robuste pour la FDA multivariée : L'article introduit un cadre complet pour l'estimation robuste de la moyenne et de la covariance dans les données fonctionnelles multivariées en utilisant des estimateurs MMCD appliqués aux coefficients de base sous une hypothèse de covariance séparable.
2. Lien théorique entre distributions fonctionnelles et matricielles : Il établit rigoureusement que la séparabilité de l'opérateur de covariance dans un processus fonctionnel multivarié se traduit par une structure séparable spécifique dans la distribution de la matrice de coefficients aléatoire. Cela fait le pont entre la robustesse fonctionnelle et la théorie de la robustesse matricielle.
3. Détection d'anomalies explicable et efficace : Le travail généralise les valeurs de Shapley aux données fonctionnelles, fournissant une méthode fondée pour décomposer l'éloignement fonctionnel multivarié en contributions spécifiques au temps et aux composantes. La dérivation d'un algorithme de complexité linéaire pour ces décompositions constitue une avancée computationnelle significative.
4. Validation empirique : La méthode est validée par des simulations extensives et des applications réelles, démontrant son efficacité dans la détection de divers types d'anomalies (décalage, forme, isolées, induites par la covariance) et sa robustesse même lorsque l'hypothèse de séparabilité est mal spécifiée.

Résultats

Études de simulation

Des simulations extensives ont été menées comparant la méthode proposée (distance de Mahalanobis basée sur MMCD) à des méthodes de pointe basées sur la profondeur (par exemple, fSDO, fAO, fDO), des graphiques de magnitude-forme et des forêts d'isolement fonctionnelles.

• Performance : L'approche robuste basée sur la distance proposée a constamment surpassé les méthodes concurrentes en termes de score F, de surface sous la courbe (AUC) et de rappel, en particulier pour les anomalies de décalage et de forme.
• Robustesse à la mauvaise spécification : Même lorsque les données violaient l'hypothèse de séparabilité (processus non séparables), la méthode proposée restait efficace, surpassant souvent les estimateurs de covariance d'échantillon non régularisés grâce à un compromis biais-variance favorable.
• Données non gaussiennes : Dans des contextes à queues lourdes (distributions t), la méthode robuste a maintenu un rappel et un AUC élevés, bien que la précision ait été plus faible en raison de la difficulté à distinguer les queues de distribution des véritables anomalies.
• Explicabilité : Les valeurs de Shapley ont identifié avec succès les coordonnées et les intervalles de temps spécifiques responsables des anomalies, surpassant les mesures de déviation naïves et les scores locaux basés sur la profondeur dans des scénarios de contamination localisée.

Applications réelles

1. Oscillation australe El Niño (ENSO) : Analyse des données de température de surface de la mer (SST) provenant de quatre régions Niño. L'approche multivariée a identifié plus d'épisodes ENSO extrêmes que l'analyse univariée. La décomposition par Shapley a révélé que les événements El Niño étaient entraînés par un réchauffement dans Niño 3.4 et Niño 3, tandis que les événements La Niña étaient entraînés par un refroidissement dans Niño 4 et Niño 3.
2. Soudage par résistance : Application aux courbes de résistance dynamiques issues de la fabrication automobile. La méthode a atteint un AUC de 0,95, surpassant les autres méthodes, et a identifié avec succès quels points de soudage et quels intervalles de temps étaient anormaux dans les cas d'éjection.
3. Taux de fécondité : Analyse des courbes de fécondité par âge pour 22 pays. La méthode robuste a détecté des anomalies masquées par des estimateurs classiques (par exemple, États-Unis, Allemagne) et a fourni des insights interprétables sur les décalages dans le timing de la fécondité à travers différents groupes d'âge et décennies.

Importance et affirmations

L'article affirme fournir une approche robuste et interprétable pour l'analyse de données fonctionnelles multivariées avec des structures de covariance séparables. Son importance réside dans :

• Dépasser la détection pour aller vers l'explication : En intégrant les valeurs de Shapley, le cadre ne se contente pas de signaler les anomalies mais les explique en termes de composantes et d'instants spécifiques, ce qui est crucial pour les experts du domaine (par exemple, climatologues, ingénieurs en fabrication).
• Efficacité computationnelle : La réduction de la complexité des valeurs de Shapley d'exponentielle à linéaire rend la méthode évolutivement adaptée aux données fonctionnelles de haute dimension.
• Robustesse : L'utilisation d'estimateurs MMCD garantit que la détection et l'interprétation ne sont pas faussées par les anomalies mêmes qu'elles visent à trouver.
• Utilité pratique : Le cadre s'avère efficace même lorsque les hypothèses du modèle (séparabilité, normalité) ne sont pas parfaitement respectées, en faisant un outil viable pour l'analyse de données réelles où de telles hypothèses sont souvent des approximations.

Les auteurs concluent que, bien que l'hypothèse de séparabilité simplifie la modélisation, l'estimateur structuré proposé agit comme une approximation robuste qui produit souvent des diagnostics plus stables que les estimateurs non contraints pour des tailles d'échantillon modérées. Des travaux futurs sont suggérés pour étendre ces techniques d'estimation robuste aux structures de covariance non séparables.