Résumé technique : Détection et énumération d'anomalies collectives par test fermé conformalisé

1. Énoncé du problème

L'article aborde le défi de la détection et de l'énumération d'anomalies collectives dans des scénarios où les anomalies individuelles sont difficiles à identifier en raison de la parcimonie, de signaux faibles ou de leur insaisissabilité. Alors que l'inférence conformale traditionnelle s'est concentrée sur l'identification d'anomalies au niveau individuel (contrôle du taux de fausses découvertes pour des points de données spécifiques), cette approche manque souvent de puissance lorsque les anomalies ne présentent pas de déviations significatives à l'isolement.

Les auteurs définissent deux tâches principales pour un ensemble de test $Z_{m+1}, \dots, Z_{m+n}$ par rapport à un ensemble de référence d'inliers $Z_1, \dots, Z_m$ :

1. Détection d'anomalies : Tester l'hypothèse nulle globale selon laquelle un sous-ensemble des données de test ne contient aucune anomalie.
2. Énumération d'anomalies : Estimer le nombre d'anomalies au sein d'un sous-ensemble en fournissant une borne inférieure de confiance simultanée, sans nécessairement identifier l'identité exacte de chaque anomalie.

La difficulté fondamentale réside dans le fait que les tests individuels standards (par exemple, Benjamini-Hochberg appliqué aux valeurs p conformales) peuvent échouer à rejeter l'hypothèse nulle globale ou à fournir des bornes informatives lorsque les signaux sont faibles ou parcimonieux. De plus, la sélection a priori du classifieur d'apprentissage automatique et de la procédure de test statistique optimaux est difficile, et le « cherry-picking » basé sur les données entraîne un biais de sélection et une inférence invalide.

2. Méthodologie : ACODE

Les auteurs proposent ACODE (Automatic Conformal Outlier Detection and Enumeration), un cadre flexible et sans distribution qui intègre l'inférence conformale, le test fermé et les tests de rang adaptatifs.

2.1 Notation conformale et partitionnement

La méthode commence par générer des scores de conformité à l'aide de classifieurs d'apprentissage automatique entraînés à distinguer les anomalies des inliers.

• Classifieurs : Le cadre prend en charge à la fois les classifieurs à une classe (entraînés uniquement sur les inliers) et les classifieurs binaires (entraînés via l'apprentissage positif-non étiqueté).
• Génération de scores : Une fonction $\hat{s}$ mappe les points de données vers des scores scalaires. Pour garantir la validité, la méthode emploie le partitionnement de l'échantillon. Un ensemble de réglage est utilisé pour sélectionner le meilleur classifieur et la procédure de test, tandis qu'un ensemble de calibration distinct est utilisé pour générer des valeurs p conformales pour l'ensemble de test. Cette séparation préserve l'échangeabilité des scores d'inliers conditionnellement à la procédure sélectionnée, empêchant ainsi le biais de sélection.

2.2 Procédures de test local

ACODE agrège les scores de conformité pour tester les hypothèses locales $H_S$ (qu'un sous-ensemble $S$ ne contient aucune anomalie). L'article évalue une « boîte à outils » de tests locaux, chacun adapté à différentes structures de signaux :

• Test de Simes : Efficace pour les signaux rares et forts.
• Combinaison de Fisher : Efficace pour les signaux denses et faibles.
• Wilcoxon-Mann-Whitney (WMW) : Un test de rang démontré comme étant le test de rang le plus puissant localement (LMPR) sous des alternatives de Lehmann spécifiques (où les anomalies suivent la distribution du maximum de deux inliers).
• Test LMPR de Shiraishi : Une généralisation de WMW pour des distributions d'anomalies arbitraires.
• Test de rang adaptatif : Une extension pilotée par les données du test de Shiraishi qui estime la densité d'anomalies inconnue $g$ de manière non paramétrique. Les résultats théoriques (Théorème 2) montrent que ce test adaptatif atteint la même puissance asymptotique locale qu'un test oracle avec une connaissance connue de $g$.

2.3 Test fermé pour l'énumération

Pour passer des tests locaux à l'énumération globale, ACODE emploie le principe du test fermé (Marcus et al., 1976).

• Mécanisme : La méthode teste toutes les hypothèses d'intersection possibles $H_J$ pour les sous-ensembles $J \subseteq [n]$. Une borne inférieure de confiance $d(S)$ pour le nombre d'anomalies dans n'importe quel sous-ensemble $S$ est dérivée en trouvant le plus grand sous-ensemble $K \subseteq S$ pour lequel l'hypothèse nulle ne peut pas être rejetée après ajustement de la multiplicité.
• Validité : La Proposition 1 garantit que si les tests locaux sont valides, les bornes inférieures résultantes satisfont une couverture simultanée : $P(d(S) \le |I_1 \cap S| \text{ pour tout } S) \ge 1-\alpha$.
• Efficacité computationnelle : Bien que le test fermé soit généralement exponentiel, l'article utilise des raccourcis en temps polynomial (Goeman et al., 2019 ; Tian et al., 2023) pour les tests de Simes, WMW et Fisher, rendant la méthode évolutive vers de grands ensembles de données.

2.4 Adaptativité pilotée par les données

Une innovation clé est l'Algorithme 3, qui automatise la sélection du classifieur et du test local.

• Processus : L'algorithme évalue plusieurs combinaisons de classifieurs et de tests sur un ensemble de réglage afin de maximiser la borne inférieure (pour l'énumération) ou de minimiser la valeur p (pour la détection).
• Contrôle du biais : En utilisant un ensemble de réglage distinct puis en réévaluant la combinaison sélectionnée sur la division complète calibration/test, la méthode évite les taux d'erreur de type I gonflés associés au « cherry-picking » naïf.

3. Contributions clés

L'article apporte trois contributions méthodologiques principales :

1. Cadre ACODE : Introduit une méthode fondée sur des principes et pilotée par les données pour l'énumération d'anomalies qui sélectionne automatiquement le classifieur d'apprentissage automatique optimal et la procédure de test à deux échantillons. Il intègre le test fermé avec l'inférence conformale pour fournir des bornes inférieures simultanées et rigoureuses sur le nombre d'anomalies.
2. Extensions théoriques : Fournit des approximations asymptotiques pour les distributions nulles du test de rang le plus puissant localement de Shiraishi et de sa version adaptative sous des scores de conformité échangeables (plutôt que strictement i.i.d.). Cette extension est cruciale pour la validité dans le cadre conformal partitionné.
3. Test de rang adaptatif : Démontre qu'un test de rang adaptatif, qui estime la distribution des anomalies de manière non paramétrique, atteint la même puissance asymptotique locale qu'un test oracle disposant d'une connaissance complète de la distribution des anomalies (Théorème 2).

4. Résultats empiriques

La méthode a été évaluée sur des données synthétiques et des données réelles de physique des hautes énergies (LHCO 2020).

• Données synthétiques :

  • ACODE a systématiquement surpassé les méthodes d'identification au niveau individuel (comme Benjamini-Hochberg appliqué aux valeurs p conformales) en termes de puissance pour détecter l'hypothèse nulle globale et fournir des bornes inférieures informatives.
  • Le mécanisme de sélection adaptative a identifié avec succès le meilleur classifieur (à une classe vs binaire) et le meilleur test (WMW vs Fisher vs Simes) pour des régimes de données spécifiques, approchant la performance d'un oracle connaissant la combinaison optimale.
  • Dans des scénarios avec des anomalies « adverses » (où les scores individuels sont sous-dispersés et difficiles à détecter), l'approximation pilotée par les données du test de Shiraishi a nettement surpassé les méthodes standards.

• Données de physique des hautes énergies LHCO :

  • Appliqué à 1,1 million d'événements de collision de particules, ACODE a détecté et énuméré avec succès des événements « signaux » (anomalies) par rapport à un fond d'événements simulés.
  • La méthode a fourni des bornes inférieures de confiance à 90 % serrées sur le nombre d'anomalies, surpassant nettement la procédure BH en termes d'informativité.
  • Crucialement, la version adaptative de ACODE a atteint une performance proche de celle d'un oracle sans encourir de biais de sélection, tandis qu'une approche de « cherry-picking » naïve a conduit à des taux d'erreur de type I gonflés.

5. Signification et affirmations

L'article affirme que ACODE offre une solution robuste pour la détection d'anomalies collectives où la détection individuelle échoue. Sa signification réside dans :

• Combler le fossé : Il connecte l'inférence conformale avec le test multiple classique et la théorie des tests de rang pour gérer des signaux faibles et parcimonieux.
• Adaptativité fondée sur des principes : Il résout le problème du « biais de sélection » inhérent au choix des modèles d'apprentissage automatique et des tests statistiques, fournissant une inférence valide même lorsque la meilleure procédure est choisie en fonction des données.
• Informativité : Contrairement aux méthodes qui n'identifient que des anomalies spécifiques, ACODE fournit une borne inférieure statistiquement garantie sur le nombre d'anomalies, offrant une vue plus complète de la structure d'anomalie des données.

Les auteurs notent que, bien que la méthode soit puissante, elle repose sur la disponibilité d'un ensemble de référence propre d'inliers et suppose l'échangeabilité. Les travaux futurs pourraient explorer des cadres de validation croisée, la gestion de données de calibration contaminées et le développement de raccourcis computationnels plus rapides pour le test adaptatif de Shiraishi.