📊 statistics

The Benjamini--Hochberg Procedure Can Fail to Control the FDR for Correlated Two-Sided Gaussian Tests

Cet article infirme une conjecture de longue date en démontrant que la procédure de Benjamini–Hochberg ne parvient pas à contrôler le taux de fausses découvertes à son niveau nominal pour les tests gausiens bilatéraux corrélés, un résultat rigoureusement prouvé par l'arithmétique d'intervalles et vérifié par l'auteur.

Auteurs originaux : Edgar Dobriban

Publié 2026-07-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Edgar Dobriban

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de capturer un groupe de menteurs dans une pièce remplie de gens honnêtes. Vous avez un carnet de règles spécial (la procédure de Benjamini–Hochberg) qui vous indique comment crier « Pris ! » sans accuser accidentellement trop de passants innocents. Pendant des décennies, les statisticiens ont cru que ce carnet de règles était incassable. Ils pensaient que même si les gens dans la pièce se chuchotaient des secrets les uns aux autres (données corrélées), le carnet de règles maintiendrait toujours le nombre de fausses accusations en dessous d'une limite stricte, disons 1 % (0,01).

Mais un nouvel article, écrit avec l'aide d'une IA super intelligente nommée GPT-5.6 Pro, vient de tirer le tapis sous leurs pieds.

La grande découverte : Le carnet de règles possède une faille
Les auteurs montrent que pour un type de situation particulièrement rusée — où les « tests » sont comme des nombres gaussiens bilatéraux (pensez à des mesures qui peuvent osciller vers le haut ou vers le bas par rapport à zéro) — le carnet de règles peut en réalité échouer. Il s'avère que lorsque ces mesures sont corrélées d'une manière très spécifique et sournoise, le carnet de règles laisse le taux de fausses accusations grimper un tout petit peu au-dessus de la limite.

Au lieu de rester en sécurité à 1 %, le taux de fausses alertes peut bondir à 0,0104. C'est un petit nombre, mais dans le monde des mathématiques strictes, c'est une fissure géante dans un barrage. L'article ne se contente pas de deviner cela ; il construit un « certificat » rigoureux (comme un rapport d'inspecteur de sécurité mathématique) qui prouve, avec une certitude absolue, que le taux est nécessairement supérieur à 0,01 pour de grands groupes de tests.

Le modèle du « Facteur Sournois »
Comment ont-ils trouvé cette faille ? Ils ont construit un monde fictif, un « modèle de facteurs », pour tester le carnet de règles. Imaginez une grande pièce avec trois groupes de personnes :

La foule honnête (96 % de la pièce) : Ce sont les vraies valeurs nulles. Elles sont censées être innocentes.
Le Groupe de Signal A (1 % de la pièce) : Ce sont de « vrais » signaux, se déplaçant dans une direction.
Le Groupe de Signal B (3 % de la pièce) : Ce sont aussi de vrais signaux, mais se déplaçant dans une direction différente.

Voici le rebondissement : Tout le monde dans la pièce écoute un chef d'orchestre invisible (un « facteur latent » appelé Z).

La foule honnête bouge avec le chef d'orchestre.
Les groupes de signaux bougent contre le chef d'orchestre, mais à des vitesses différentes.

Lorsque le chef d'orchestre agite sa baguette d'une certaine manière, les signaux deviennent plus forts, faisant crier « Pris ! » plus souvent au carnet de règles. Mais au même moment, la « foule honnête » devient un peu agitée, faisant en sorte que leurs queues (les extrémités de leur comportement) ressemblent suspectement aux signaux. Cela crée une tempête parfaite où le carnet de règles est confus, rejette trop de personnes innocentes, et le taux de fausses découvertes grimpe juste assez pour briser la règle de 1 %.

À quel point en sont-ils sûrs ?
Ce n'est pas un « peut-être » ou un « nous pensons ». Les auteurs sont extrêmement sûrs.

La preuve : Le cœur de l'argument a été généré par une IA puis soigneusement vérifié par l'auteur humain. Ils ont utilisé une méthode appelée « arithmétique d'intervalles », qui est comme faire des mathématiques avec une marge de sécurité garantissant que la réponse n'est jamais fausse, même avec des erreurs d'arrondi. Ils ont prouvé que pour un grand nombre de tests, le taux est strictement supérieur à 0,0104.
La simulation : Pour appuyer cela, ils ont mené des expériences informatiques (simulations Monte Carlo). Lorsqu'ils ont testé 200 groupes de données (totalisant 20 000 tests), l'ordinateur a mesuré le taux de fausses découvertes à 0,010359. C'est statistiquement supérieur à la limite de 1 %, confirmant la théorie dans une simulation réelle.

Ce que cela signifie (et ce que cela ne signifie pas)
Cet article écarte explicitement l'idée que la procédure de Benjamini–Hochberg est sûre pour tous les tests gausiens bilatéraux corrélés. Pendant vingt ans, les experts croyaient qu'elle était sûre ; cet article dit : « En fait, elle ne l'est pas. »

Cependant, l'article prend soin de ne pas dire que le carnet de règles est inutile. La violation est minuscule (0,0104 contre 0,01) et elle se produit dans un scénario construit très spécifique avec un grand nombre de tests. Les auteurs admettent qu'ils ne savent pas si cela se produit avec des nombres plus petits de tests ou s'il existe un plafond universel sur l'ampleur de la dégradation. Ils n'ont pas non plus testé cela sur des données réelles comme des gènes ou des actions boursières ; ils ont construit un modèle mathématique pour prouver le point.

Ainsi, la prochaine fois que vous entendrez qu'une méthode statistique est « prouvée » pour fonctionner dans n'importe quelle condition, souvenez-vous de cet article : parfois, les outils les plus fiables ont une petite fissure cachée que seul un super détective (et un peu d'aide de l'IA) peut trouver.

Résumé Technique : La procédure de Benjamini–Hochberg peut échouer à contrôler le FDR pour les tests gaussiens bilatéraux corrélés

Énoncé du problème
L'article traite d'une question ouverte de longue date dans le domaine des tests d'hypothèses multiples : la procédure de Benjamini–Hochberg (BH) contrôle-t-elle le taux de fausses découvertes (FDR) au niveau nominal $\alpha$ sous des structures de corrélation arbitraires pour les tests gausiens bilatéraux. Bien que la procédure BH soit connue pour contrôler le FDR sous l'indépendance (Benjamini et Hochberg, 1995) et sous la condition de régression monotone sur un sous-ensemble (PRDS) (Benjamini et Yekutieli, 2001), le cas des tests bilatéraux corrélés est resté non résolu.

La littérature antérieure, incluant des études empiriques (Reiner-Benaim, 2007 ; Kim et van de Wiel, 2008) et des revues influentes (Benjamini, 2010 ; Sarkar, 2023), a largement conjecturé que le contrôle du FDR est assuré pour les tests $z$ bilatéraux avec toute structure de corrélation. L'article conteste cette conjecture, postulant que le « repliement » des deux queues en tests bilatéraux ( $\{P_i \le t\} = \{X_i \ge c_t\} \cup \{X_i \le -c_t\}$ ) perturbe les arguments de régression monotone et de positivité totale qui fonctionnent pour les statistiques unilatérales, ce qui peut potentiellement mener à une inflation du FDR.

Méthodologie et construction
Pour infirmer la conjecture, les auteurs construisent un modèle factoriel gaussien spécifique impliquant $m_N = 100N$ hypothèses, partitionnées en trois blocs :

Vrais nuls ( $96N$ ) : $X^{(0)}_i = \frac{3}{10}Z + \frac{\sqrt{91}}{10}\epsilon_i$ .
Bloc de non-nuls 1 ( $N$ ) : $X^{(1)}_j = \frac{12}{5} - \frac{3}{10}Z + \frac{\sqrt{91}}{10}\eta_j$ .
Bloc de non-nuls 2 ( $3N$ ) : $X^{(2)}_k = \frac{22}{5} - \frac{18}{25}Z + \frac{\sqrt{301}}{25}\xi_k$ .

Ici, $Z$ est un facteur latent commun, et $\epsilon, \eta, \xi$ sont des lois normales standards indépendantes. Les moyennes des blocs de non-nuls sont ajustées pour évoluer à l'opposé du facteur latent $Z$ , tandis que le bloc nul évolue avec lui. Cela crée un scénario où, pour des réalisations spécifiques de $Z$ , les signaux de non-nuls augmentent le nombre de rejets (élevant ainsi le seuil de BH) précisément au moment où la distribution nulle conditionnelle développe des queues bilatérales plus lourdes.

La preuve repose sur une analyse asymptotique de la fonction de répartition empirique (CDF) des $p$ -valeurs. Les auteurs utilisent une technique de « balisage de seuil » (threshold bracketing) :

Ils définissent une CDF conditionnelle limite $G_z(t)$ pour les $p$ -valeurs étant donné $Z=z$ .
Ils identifient une plage de valeurs de $z$ où le seuil BH $\tau_N$ est strictement borné entre deux valeurs $v$ et $w$ (où $v < w < \alpha$ ).
Dans cette plage, la proportion de fausses découvertes (FDP) conditionnelle est démontrée comme dépassant $\alpha$ .

Contributions principales et mécanisme de preuve
La principale contribution est un contre-exemple rigoureux prouvant que le contrôle du FDR échoue pour les tests gausiens bilatéraux corrélés. La preuve se distingue par deux innovations :

Évitement de l'unicité limite : L'argument ne nécessite pas de point de croisement limite unique ou de différentiabilité de la CDF au point de croisement. Au lieu de cela, il utilise deux conditions de signe strictes pour encadrer le seuil.
Arithmétique d'intervalles rigoureuse : La preuve emploie une collection finie d'inégalités vérifiées par une « arithmétique d'intervalles à arrondi extérieur » (utilisant la bibliothèque Arb). En partitionnant l'espace du facteur latent et l'espace du seuil des $p$ -valeurs en rectangles rationnels, les auteurs certifient que des inégalités spécifiques sont strictement vérifiées. Cela élimine les erreurs de virgule flottante, fournissant un certificat mathématique que le FDR dépasse le niveau nominal.

La preuve a été générée par le modèle d'IA GPT-5.6 Pro et a été ultérieurement vérifiée par l'auteur, qui a également réalisé les simulations numériques et rédigé le manuscrit.

Résultats

Résultat théorique : Pour le modèle construit au niveau $\alpha = 0,01$ , les auteurs prouvent que pour tout $N$ suffisamment grand, le FDR satisfait $\text{FDR}_N > 0,0104$ . Cela viole strictement le niveau nominal de 0,01.
Certificat numérique : Le certificat d'arithmétique d'intervalles additionne les contributions sur 1 000 bacs (bins) du facteur latent $Z$ , produisant une borne inférieure certifiée d'environ $0,0104168$.
Expériences de Monte Carlo : Des simulations de Monte Carlo stratifiées (stratifiées sur $Z$ $Z$ pour gérer la variance) ont été menées pour $N=50, 100, 200$ $N = 50, 100, 200$ .
- À $N=200$ , le FDR estimé était de $0,010359$, avec un intervalle de confiance à 95 % de $[0,010155, 0,010563]$ , qui se situe entièrement au-dessus du niveau nominal.
- Les résultats sont cohérents avec la conclusion théorique asymptotique, montant un échec de contrôle également dans les échantillons finis.

Signification et revendications
L'article affirme infirmer une conjecture qui était largement admise depuis vingt ans. Il démontre que la procédure BH n'est pas universellement robuste aux structures de corrélation arbitraires dans les tests gausiens bilatéraux, spécifiquement lorsque la corrélation induit un couplage entre la force du signal et le comportement de la queue de la distribution nulle.

Les auteurs notent que la violation est légère (environ 4 % d'inflation par rapport au niveau nominal) et qu'elle survient dans un modèle comportant un grand nombre de tests. Ils précisent explicitement qu'il reste une question ouverte de savoir s'il existe une borne universelle sur l'inflation possible du FDR ou si le contrôle est garanti pour un plus petit nombre de tests. Ce travail souligne les limites des garanties théoriques actuelles pour la procédure BH dans des contextes de dépendance complexes et souligne la nécessité d'alternatives ajustées à la dépendance dans de tels scénarios.

Articles similaires