Everywhere Valid Bounds on False Discovery Proportions in Conformal Inference

Résumé technique : Bornes valables partout pour les proportions de fausses découvertes en inférence conforme

Énoncé du problème
Les applications modernes de l'inférence conforme, telles que la détection d'anomalies et la sélection de candidats dans la découverte de médicaments, impliquent souvent la sélection d'échantillons de test en fonction du fait que leurs valeurs $p$ conformes tombent en dessous d'un seuil spécifique. La fiabilité de ces sélections est quantifiée par la proportion de fausses découvertes (FDP), définie comme la fraction de sélections incorrectes parmi toutes les unités sélectionnées.

Les méthodes existantes, telles que la procédure de Benjamini–Hochberg (BH), contrôlent principalement le taux de fausses découvertes (FDR), qui est la valeur attendue de la FDP sur des réalisations répétées des données. Cet article identifie deux limitations critiques de l'état de l'art actuel :

1. Absence de garanties réalisées : Le contrôle de l'espérance de la FDP ne garantit pas que la FDP sur un jeu de données spécifique soit faible. La FDP réalisée peut dépasser considérablement la valeur attendue, n'offrant aucune protection au cas par cas pour les praticiens.
2. Inflexibilité face à la sélection post hoc : Les garanties existantes exigent que le niveau de signification $\alpha$ soit fixé à l'avance. Si un praticien examine les données et ajuste le seuil (par exemple, pour augmenter le nombre de découvertes), le contrôle du FDR est invalidé.

Les auteurs visent à établir des bornes supérieures en échantillon fini et sans distribution sur la FDP qui valident simultanément pour tous les seuils de rejet possibles $t \in [0, 1]$. Cela permet une sélection post hoc arbitraire du seuil tout en maintenant des garanties statistiques rigoureuses.

Méthodologie
Le cœur du cadre proposé repose sur la distribution conjointe traitable des valeurs $p$ conformes « nulles » induite par l'hypothèse d'échangeabilité.

1. Variables uniformes conformes : Les auteurs définissent des variables uniformes conformes $u_j$ comme les rangs normalisés des scores de test par rapport à un ensemble de calibration. Sous l'hypothèse d'échangeabilité, le vecteur de ces variables admet une distribution conjointe connue $P_{n,m}$ qui est indépendante du mécanisme générateur de données sous-jacent.
2. Construction d'enveloppe par échantillonnage : Au lieu de s'appuyer sur des inégalités de concentration (comme Dvoretzky–Kiefer–Wolfowitz) qui produisent des bornes linéaires conservatrices, les auteurs proposent d'échantillonner à partir de la distribution conjointe $P_{n,m}$ pour construire une enveloppe à haute probabilité pour la fonction de répartition cumulative (CDF) empirique des valeurs $p nulles.
   • Ils définissent une statistique de résumé $T(F)$ (par exemple, les statistiques de Kolmogorov–Smirnov, Higher-Criticism ou Berk-Jones) appliquée à la CDF empirique.
   • En générant $B$ échantillons de Monte Carlo à partir de $P_{n,m}$, ils calculent le quantile $(1-\delta)$ de la statistique pour déterminer une valeur de coupure $\hat{T}$.
   • Cette coupure est inversée pour produire une fonction d'enveloppe $G(t)$ telle que $P(\hat{F}_{n,m}(t) \leq G(t), \forall t) \geq 1-\delta$.
3. Stratégies de raffinement pour la détection d'anomalies : Pour la détection d'anomalies, où le nombre de vraies nulles (inliers) est inconnu, les auteurs intègrent deux techniques de resserrement :
   • Auto-raffinement : Adaptation d'une technique de [HSG19] pour améliorer itérativement la borne sur le nombre de fausses découvertes en exploitant la monotonie de l'ensemble de sélection.
   • Resserrement par proportion nulle : Estimation d'une borne supérieure sur le nombre de vraies nulles ($m_0$) et construction de l'enveloppe basée sur la distribution $P_{n,m_0}$ plutôt que $P_{n,m}$, réduisant considérablement le conservatisme.
4. Application à la sélection conforme : Pour la sélection conforme (par exemple, découverte de médicaments), les auteurs utilisent des valeurs $p$ conformes « oracle » (qui dépendent des résultats vrais inconnus) pour borner le nombre de fausses découvertes. Ils démontrent que, sous des fonctions de score monotones spécifiques (par exemple, des scores tronqués), le nombre de fausses découvertes est borné par la CDF empirique de ces variables oracle, permettant d'appliquer directement la méthode d'enveloppe simultanée.

Contributions clés

1. Nouvelles bornes supérieures sur les CDF empiriques : L'article établit une nouvelle borne supérieure à haute probabilité sur la CDF empirique des variables uniformes conformes. Empiriquement, cette borne est plus serrée que les bornes existantes basées sur des inégalités de type DKW, notamment en s'adaptant à l'hétéroscédasticité de la CDF empirique (qui varie avec $t$).
2. Bornes FDP simultanées pour la détection d'anomalies : Les auteurs développent une méthode pour borner la FDP pour la détection d'anomalies simultanément sur tous les seuils. Cela combine la borne CDF améliorée avec les techniques d'auto-raffinement et de resserrement par proportion nulle.
3. Premières bornes FDP en échantillon fini pour la sélection conforme : L'article fournit les premières bornes FDP en échantillon fini qui valident uniformément sur tous les seuils de rejet pour les problèmes de sélection conforme.
4. Cadre général : Le travail introduit un cadre général pour dériver des bornes à haute probabilité sur des fonctions aléatoires en échantillonnant à partir de la distribution conjointe des valeurs $p$ nulles, offrant des bornes plus précises que les approches basées sur les inégalités de concentration tout en préservant la validité en échantillon fini.

Résultats
Les auteurs valident leur cadre grâce à des expériences sur des données synthétiques et réelles :

• Détection d'anomalies synthétique : Des expériences sur des modèles de mélanges gaussiens démontrent que les bornes FDP proposées (utilisant spécifiquement la statistique Higher-Criticism tronquée) maintiennent une couverture valide (dépassant la confiance cible de 90 %) sur 100 réplications. Les bornes s'avèrent considérablement moins conservatrices que les bornes linéaires de référence, en particulier pour les petits seuils de rejet. La combinaison de l'auto-raffinement et du resserrement par proportion nulle produit les bornes les plus précises.
• Découverte de médicaments dans le monde réel : En utilisant l'ensemble de données DAVIS pour la prédiction d'interactions médicament-cible, la méthode est appliquée pour sélectionner des candidats-médicaments prometteurs. Les résultats montrent que la borne supérieure simultanée se situe constamment au-dessus de la vraie FDP sur tous les seuils de sélection dans 92 % des exécutions indépendantes.
• Adaptativité post hoc : L'article démontre que les praticiens peuvent faire varier de manière adaptative le seuil de sélection (par exemple, augmenter $\alpha$ pour trouver plus de candidats) tandis que la borne proposée reste valide. En revanche, les ajustements post hoc standards du niveau BH échouent à borner supérieurement la FDP réalisée.

Signification et affirmations
L'article prétend fournir une solution au problème de la « FDP réalisée », offrant aux praticiens des garanties au cas par cas plutôt que de simples garanties de cas moyen. En permettant une sélection arbitraire de seuil post hoc, le cadre soutient une exploration flexible et pilotée par les données sans sacrifier la rigueur statistique. Les auteurs soulignent que leur approche produit des bornes « considérablement moins conservatrices » par rapport aux méthodes existantes, rendant l'inférence conforme plus pratique pour des applications à haut risque comme la découverte scientifique et le dépistage médical où les coûts de suivi sont élevés. Le travail est présenté comme une stratégie unifiée applicable à tout problème où la distribution conjointe des valeurs $p$ nulles peut être simulée, s'étendant au-delà des exemples spécifiques de détection d'anomalies et de sélection conforme.