Résumé technique : Tests multiples conformalisés unifiés avec une efficacité maximale des données

1. Énoncé du problème

Les tests multiples conformalisés offrent un cadre sans modèle pour contrôler le taux de fausses découvertes (FDR) lors de l'identification d'échantillons de test dont les étiquettes d'intérêt sont non observées (par exemple, détection d'anomalies, sélection d'échantillons). La procédure standard consiste à construire un score de non-conformité, à l'étalonner par rapport à un ensemble d'échantillons nuls (négatifs) pour générer des valeurs p conformales, puis à appliquer une règle de tests multiples (par exemple, Benjamini-Hochberg).

Les méthodes existantes présentent deux limitations principales concernant l'utilisation des données :

1. Utilisation partielle des données : De nombreuses approches divisent les données nulles disponibles ($D_0$) en ensembles d'entraînement et d'étalonnage, jetant ainsi des informations précieuses. D'autres ne parviennent pas à exploiter les données étiquetées non nulles (positives) disponibles ($D_1$) ou les données de test non étiquetées ($D_u$) lors de la construction du score.
2. Cadres fragmentés : Différentes méthodes (par exemple, conformalisation divisée, intégrative, localisée) sont développées dans des contextes spécifiques et selon des schémas d'utilisation des données particuliers. Il n'existe pas de cadre théorique unifié englobant ces méthodes ou fournissant un principe systématique pour en concevoir de nouvelles qui exploitent pleinement toutes les données disponibles ($D_0, D_1, D_u$) tout en contrôlant rigoureusement le FDR.

Le défi central est de développer une approche unifiée qui maximise la puissance statistique en utilisant toutes les données disponibles pour la construction du score et l'étalonnage, sans violer les hypothèses d'échangeabilité requises pour le contrôle du FDR sur des échantillons finis.

2. Méthodologie : Le cadre ECOT

Les auteurs proposent Enhanced COnformal Testing (ECOT), un cadre unifié basé sur une stratégie de permutation complète. L'idée centrale est d'aborder les tests multiples conformalisés à travers le prisme des tests de permutation, où la valeur p pour un échantillon de test $j$ est calculée en comparant son score aux scores obtenus à partir de toutes les permutations possibles des données.

2.1 Composantes principales

La procédure ECOT se compose de trois étapes :

1. Construction du score : Pour chaque échantillon de test $j \in U$, une fonction de score individualisée $S^{(j)}$ est construite en utilisant toutes les données disponibles ($D_0, D_1, D_u$). Un score plus élevé indique une preuve plus forte contre l'hypothèse nulle.
2. Calcul de la valeur p : Une valeur p conforme est calculée par permutation complète :
   $$p_j = \frac{1}{|\Omega_j|} \sum_{\sigma \in \Omega_j} \mathbb{I}\{S^{(j)}(X_j) \le S^{(j)}_\sigma(X_{\sigma(j)})\}$$
   Ici, $\Omega_j$ est l'ensemble des permutations de l'ensemble d'étalonnage $C \subseteq L_0$ et de l'échantillon de test $j$, tout en fixant les indices en dehors de cet ensemble. $S^{(j)}_\sigma$ désigne la fonction de score construite sur l'ensemble de données permuté.
3. Procédure de test : Pour gérer la dépendance entre les valeurs p induite par la réutilisation des données et les scores individualisés, ECOT emploie une étape de calibration conditionnelle (inspirée de Fithian et Lei, 2022). Cela implique de définir des valeurs p modifiées $\tilde{p}^{(j)}_\ell$ en utilisant un résumé invariant par permutation (par exemple, la médiane) des scores, suivi d'une procédure de rejet garantissant le contrôle du FDR sur des échantillons finis.

2.2 Simplifications computationnelles

La permutation complète est intensivement coûteuse en calcul ($O((|C|+1)!)$). Le cadre identifie deux conditions de symétrie sous lesquelles la procédure se simplifie considérablement :

• Scores symétriques par étalonnage : Si $S^{(j)}$ est invariant par permutation de l'ensemble d'étalonnage et de $j$, la valeur p se réduit à un calcul simple basé sur le rang sur $C \cup \{j\}$, éliminant le besoin de réentraînement répété du modèle.
• Scores symétriques conjoints : Si une seule fonction de score $S$ est utilisée pour tous les échantillons et est symétrique par rapport à tous les échantillons nuls et de test, l'étape de calibration conditionnelle devient inutile, et la procédure standard de Benjamini-Hochberg (BH) appliquée aux valeurs p simplifiées est suffisante.

2.3 Approches améliorées

En tirant parti du cadre unifié, les auteurs proposent deux méthodes améliorées spécifiques :

• ECOT-bi (Classification binaire) : Utilise $D_0, D_1$ et $D_u$ conjointement pour entraîner un classifieur binaire. Le classifieur distingue les échantillons non nuls ($D_1$) des échantillons nuls/non étiquetés regroupés ($D_0 \cup D_u$). Cela approxime le rapport de densité optimal sans diviser $D_0$.
• ECOT-oc (Classification mono-classe) : Conçu pour des scénarios où les classifieurs binaires sont inefficaces (par exemple, différences de variance). Il entraîne des classifieurs mono-classe sur $D_0 \cup D_u$ (pour le nul) et $D_1$ (pour l'alternative), les intégrant pour former le score.

2.4 Sélection adaptative

Le cadre permet une Sélection adaptative de l'approche (ECOT-as). Au lieu de fixer une méthode unique, l'algorithme évalue plusieurs approches candidates (par exemple, ECOT-bi, ECOT-oc, FullND) et sélectionne celle produisant la puissance la plus élevée (nombre de rejets) pour chaque échantillon. Crucialement, l'étape de sélection est intégrée à la construction du score via la stratégie de permutation complète. Cela traite la sélection comme faisant partie de la génération du score, préservant l'échangeabilité et évitant le problème de « double plongement » qui gonfle généralement le FDR dans l'inférence post-sélection.

3. Contributions clés

1. Cadre unifié : L'article introduit ECOT, un cadre général qui englobe les méthodes existantes de tests multiples conformalisés (par exemple, conformalisation divisée, intégrative, localisée) comme cas particuliers sous des structures de symétrie spécifiques.
2. Efficacité maximale des données : Le cadre fournit une stratégie de conception fondée sur des principes pour utiliser toutes les données disponibles ($D_0, D_1, D_u$) pour la construction du score tout en conservant l'ensemble nul entier pour l'étalonnage. Il est démontré que cela améliore la puissance statistique en améliorant la qualité du score et en maximisant la taille de l'ensemble d'étalonnage.
3. Sélection adaptative avec contrôle du FDR : Les auteurs développent une stratégie pilotée par les données pour sélectionner automatiquement la meilleure approche de test conforme parmi un ensemble de candidats. En intégrant la sélection dans la construction du score basée sur la permutation, ils atteignent un contrôle du FDR sur des échantillons finis sans nécessiter de division supplémentaire des données.
4. Garanties théoriques : L'article démontre que, sous les hypothèses standard d'échangeabilité des données, la procédure ECOT contrôle le FDR au niveau souhaité $\alpha$ sur des échantillons finis, indépendamment de la complexité des fonctions de score utilisées.

4. Résultats expérimentaux

Des expériences numériques extensives ont été menées sur des données synthétiques et des ensembles de données réels de détection d'anomalies (Carte de crédit, Satellite, Navette, CovType, Mammographie).

• Amélioration de la puissance : Dans les scénarios où la classification binaire est optimale, ECOT-bi et ECOT-as surpassent systématiquement les références existantes (par exemple, AdaDetect, CP-bi, Integ) en atteignant une puissance supérieure tout en maintenant le contrôle du FDR. Cela est attribué à l'utilisation complète de $D_1$ et à l'évitement de la division des données.
• Robustesse au scénario : Dans les contextes où la classification mono-classe est supérieure (par exemple, changements de variance), ECOT-oc surpasse significativement les méthodes intégratives en utilisant $D_u$ dans la construction du score.
• Sélection adaptative : ECOT-as suit avec succès la méthode la plus performante à travers divers scénarios, atteignant une puissance proche de l'oracle théorique dans de nombreux cas.
• Performance sur données réelles : Sur les ensembles de données réels, les méthodes ECOT (particulièrement ECOT-bi et ECOT-as) démontrent une puissance supérieure par rapport aux références, qui souffrent souvent d'une faible puissance due à des données étiquetées limitées ou à des constructions de scores inappropriées.
• Coût computationnel : Bien que l'approche de permutation complète soit plus lourde en calcul que les méthodes divisées, la sélection adaptative ajustée (Algorithme 3) et les réductions de symétrie maintiennent les temps d'exécution dans des limites pratiques (environ 1 minute pour des tailles d'échantillon modérées), nettement plus rapides que les implémentations conformales complètes de cadres concurrents comme OptCS.

5. Signification et affirmations

L'article affirme qu'ECOT représente une avancée significative en unifiant le paysage fragmenté des tests multiples conformalisés. Sa signification principale réside dans :

• Conception systématique : Fournir une voie claire et fondée sur des principes pour concevoir de nouvelles procédures conformales qui maximisent l'efficacité des données.
• Adaptation automatique : Résoudre le problème de sélection de la stratégie de test optimale sans compromettre le contrôle du FDR, un écueil courant dans l'inférence post-sélection.
• Efficacité pratique : Démontrer que l'utilisation complète des données conduit à des gains tangibles en puissance à travers divers scénarios réels et synthétiques, rendant les tests conformes plus efficaces pour des applications comme la détection d'anomalies et la sélection d'échantillons.

Les auteurs reconnaissent que le cadre repose sur l'échangeabilité des données et que la permutation complète peut être intensivement coûteuse en calcul, suggérant des travaux futurs pour assouplir les hypothèses (par exemple, données non échangeables) et accélérer l'inférence basée sur la permutation.