📊 statistics

The Benjamini--Hochberg Procedure Can Fail to Control the FDR for Correlated Two-Sided Gaussian Tests

Diese Arbeit widerlegt eine langjährige Vermutung, indem sie zeigt, dass das Benjamini–Hochberg-Verfahren die False-Discovery-Rate bei korrelierten zweiseitigen Gaußschen Tests nicht auf ihrem nominalen Niveau kontrolliert, ein Ergebnis, das mittels Intervallarithmetik rigoros bewiesen und vom Autor verifiziert wurde.

Ursprüngliche Autoren: Edgar Dobriban

Veröffentlicht 2026-07-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Edgar Dobriban

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, eine Gruppe von Lügnern in einem Raum voller ehrlicher Menschen zu überführen. Sie haben ein spezielles Regelbuch (das Benjamini–Hochberg-Verfahren), das Ihnen sagt, wann Sie „Erwischt!“ rufen dürfen, ohne versehentlich zu viele Unschuldige zu beschuldigen. Jahrzehntelang glaubten Statistiker, dass dieses Regelbuch unumstößlich sei. Sie dachten, selbst wenn die Menschen im Raum Geheimnisse miteinander flüstern würden (korrelierte Daten), würde das Regelbuch die Zahl der falschen Anschuldigungen unter einem strengen Limit, sagen wir 1 % (0,01), halten.

Die große Entdeckung: Das Regelbuch hat eine Lücke
Die Autoren zeigen, dass für eine ganz bestimmte, knifflige Situation – in der die „Tests“ wie zweiseitige Gaußsche Zahlen sind (denken Sie an Messungen, die nach oben oder unten von Null schwanken können) – das Regelbuch tatsächlich versagen kann. Es stellt sich heraus, dass die Fehlalarmrate, wenn diese Messungen auf eine ganz bestimmte, hinterlistige Weise korreliert sind, geringfügig über das Limit steigen kann.

Anstatt sicher bei 1 % zu bleiben, springt die Rate der Fehlalarme auf 0,0104. Das ist eine kleine Zahl, aber in der Welt der strengen Mathematik ist es ein riesiger Riss in der Talsperre. Das Papier rät nicht nur; es erstellt ein rigoroses „Zertifikat“ (wie einen mathematischen Sicherheitsinspektorbericht), das mit absoluter Gewissheit beweist, dass die Rate bei einer großen Anzahl von Tests tatsächlich höher als 0,01 sein muss.

Das Modell des „hinterlistigen Faktors“
Wie haben sie diese Lücke gefunden? Sie bauten eine fiktive Welt, ein „Faktormodell“, um das Regelbuch zu testen. Stellen Sie sich einen riesigen Raum mit drei Gruppen von Menschen vor:

Die ehrliche Menge (96 % des Raums): Dies sind die wahren Nullhypothesen. Sie sollten unschuldig sein.
Die Signalgruppe A (1 % des Raums): Dies sind die „echten“ Signale, die sich in eine Richtung bewegen.
Die Signalgruppe B (3 % des Raums): Dies sind ebenfalls echte Signale, aber sie bewegen sich in eine andere Richtung.

Hier ist der Clou: Alle im Raum hören auf einen einzigen, unsichtbaren Dirigenten (einen „latenten Faktor“ namens Z).

Die ehrliche Menge bewegt sich mit dem Dirigenten.
Die Signalgruppen bewegen sich gegen den Dirigenten, aber mit unterschiedlichen Geschwindigkeiten.

Wenn der Dirigent seinen Taktstock auf eine bestimmte Weise schwingt, werden die Signale lauter und lassen das Regelbuch öfter „Erwischt!“ rufen. Aber im selben Moment wird die „ehrliche Menge“ etwas unruhig, was dazu führt, dass ihre Randbereiche (die Tails ihres Verhaltens) verdächtig wie die Signale aussehen. Dies erzeugt einen perfekten Sturm, in dem das Regelbuch verwirrt wird, zu viele Unschuldige verurteilt und die Falschentdeckungsrate gerade so weit ansteigt, dass die 1 %-Regel gebrochen wird.

Wie sicher sind sie sich?
Dies ist kein „Vielleicht“ oder „Wir glauben“. Die Autoren sind sich extrem sicher.

Der Beweis: Das Kernargument wurde von einer KI generiert und dann von einem menschlichen Autor sorgfältig überprüft. Sie verwendeten eine Methode namens „Intervallarithmetik“, die wie eine Rechnung mit einer Sicherheitsmarge funktioniert, die garantiert, dass das Ergebnis selbst bei Rundungsfehlern niemals falsch ist. Sie haben bewiesen, dass für eine ausreichend große Anzahl von Tests die Rate strikt größer als 0,0104 ist.
Die Simulation: Um dies zu untermauern, führten sie Computerexperimente (Monte-Carlo-Simulationen) durch. Als sie die Daten mit 200 Gruppen (insgesamt 20.000 Tests) untersuchten, maß der Computer die Falschentdeckungsrate bei 0,010359. Dies ist statistisch gesehen höher als das 1 %-Limit, was die Theorie in einer realen Simulation bestätigt.

Was das bedeutet (und was es nicht bedeutet)
Dieses Paper widerlegt explizit die Vorstellung, dass das Benjamini–Hochberg-Verfahren für alle zweiseitigen Gaußschen Tests sicher ist. Zwanzig Jahre lang glaubten Experten, es sei sicher; dieses Papier sagt: „Eigentlich ist es das nicht.“

Dennoch ist das Paper vorsichtig darauf zu achten, nicht zu behaupten, das Regelbuch sei nutzlos. Der Verstoß ist winzig (0,0104 gegenüber 0,01) und tritt in einem sehr spezifischen, konstruierten Szenario mit einer großen Anzahl von Tests auf. Die Autoren geben zu, dass sie nicht wissen, ob dies auch bei kleineren Testzahlen geschieht oder ob es eine universelle Obergrenze dafür gibt, wie schlimm es werden kann. Sie haben dies auch noch nicht mit realen Daten wie Genen oder Aktien getestet; sie haben ein mathematisches Modell gebaut, um den Punkt zu beweisen.

Wenn Sie also das nächste Mal hören, dass eine statistische Methode unter allen Bedingungen „bewiesen“ funktioniert, denken Sie an dieses Paper: Manchmal haben selbst die vertrauenswürdigsten Werkzeuge einen winzigen, verborgenen Riss, den nur ein superintelligenter Detektiv (und ein wenig KI-Hilfe) finden kann.

Technisches Resümee: Das Benjamini–Hochberg-Verfahren kann die Kontrolle der FDR bei korrelierten zweiseitigen Gaußschen Tests versagen

Problemstellung
Die Arbeit befasst sich mit einer langjährigen offenen Frage in der multiplen Hypothesentestung: ob das Benjamini–Hochberg (BH)-Verfahren die False Discovery Rate (FDR) auf ihrem nominalen Niveau $\alpha$ unter beliebigen Korrelationsstrukturen für zweiseitige Gaußsche Tests kontrolliert. Während das BH-Verfahren bekanntlich unter Unabhängigkeit (Benjamini und Hochberg, 1995) und unter der Bedingung der positiven Regression-Abhängigkeit auf einer Teilmenge (PRDS) (Benjamini und Yekutieli, 2001) die FDR kontrolliert, blieb der Fall korrelierter zweiseitiger Tests ungelöst.

Die bisherige Literatur, einschließlich empirischer Studien (Reiner-Benaim, 2007; Kim und van de Wiel, 2008) und einflussreicher Rezensionen (Benjamini, 2010; Sarkar, 2023), vermutete weit verbreitet, dass die FDR-Kontrolle für zweiseitige $z$ -Tests mit jeder Korrelationsstruktur gilt. Die vorliegende Arbeit stellt diese Vermutung infrage und postuliert, dass das „Falten“ zweier Tails in zweiseitigen Tests ( $\{P_i \le t\} = \{X_i \ge c_t\} \cup \{X_i \le -c_t\}$ ) die Argumente der monotonen Regression und der Totalpositivität, die bei einseitigen Statistiken funktionieren, stört und potenziell zu einer Inflation der FDR führen kann.

Methodik und Konstruktion
Um die Vermutung zu widerlegen, konstruieren die Autoren ein spezifisches Gaußsches Faktormodell mit $m_N = 100N$ Hypothesen, die in drei Blöcke unterteilt sind:

Wahre Nullhypothesen ( $96N$ ): $X^{(0)}_i = \frac{3}{10}Z + \frac{\sqrt{91}}{10}\epsilon_i$ .
Nicht-Null-Block 1 ( $N$ ): $X^{(1)}_j = \frac{12}{5} - \frac{3}{10}Z + \frac{\sqrt{91}}{10}\eta_j$ .
Nicht-Null-Block 2 ( $3N$ ): $X^{(2)}_k = \frac{22}{5} - \frac{18}{25}Z + \frac{\sqrt{301}}{25}\xi_k$ .

Hierbei ist $Z$ ein gemeinsamer latenter Faktor, und $\epsilon, \eta, \xi$ sind unabhängige Standardnormalverteilungen. Die Mittelwerte der Nicht-Null-Blöcke sind so abgestimmt, dass sie sich gegen den latenten Faktor $Z$ bewegen, während der Null-Block sich mit ihm bewegt. Dies erzeugt ein Szenario, in dem die Nicht-Null-Signale für spezifische Realisierungen von $Z$ die Anzahl der Ablehnungen erhöhen (wodurch den BH-Schwellenwert anhebt), genau dann, wenn die bedingte Nullverteilung schwerere zweiseitige Tails entwickelt.

Der Beweis stützt sich auf eine asymptotische Analyse der empirischen kumulativen Verteilungsfunktion (CDF) der $p$ -Werte. Die Autoren nutzen eine „Schwellenwert-Einbettung“ (threshold bracketing):

Sie definieren eine limitierende bedingte CDF $G_z(t)$ für die $p$ -Werte gegeben $Z=z$ .
Sie identifizieren einen Bereich von $z$ -Werten, in dem der BH-Schwellenwert $\tau_N$ strikt zwischen zwei Werten $v$ und $w$ (wobei $v < w < \alpha$ ) begrenzt ist.
Innerhalb dieses Bereichs wird gezeigt, dass die bedingte False Discovery Proportion (FDP) $\alpha$ übersteigt.

Kernbeiträge und Beweismechanismus
Der primäre Beitrag besteht in einem rigorosen Gegenbeispiel, das beweist, dass die FDR-Kontrolle für korrelierte zweiseitige Gaußsche Tests fehlschlägt. Der Beweis zeichnet sich durch zwei Innovationen aus:

Vermeidung der limitierenden Eindeutigkeit: Das Argument erfordert keinen eindeutigen limitierenden Kreuzungspunkt oder die Differenzierbarkeit der CDF am Kreuzungspunkt. Stattdessen werden zwei strikte Vorzeichenbedingungen verwendet, um den Schwellenwert einzubetten.
Rigorose Intervallarithmetik: Der Beweis verwendet eine endliche Sammlung von Ungleichungen, die mittels „nach außen gerundeter Intervallarithmetik“ (unter Verwendung der Arb-Bibliothek) verifiziert wurden. Durch die Partitionierung des latenten Faktorraums und des $p$ -Wert-Schwellenwertraums in rationale Rechtecke zertifizieren die Autoren, dass spezifische Ungleichungen strikt gelten. Dies eliminiert Gleitkommafehler und liefert ein mathematisches Zertifikat dafür, dass die FDR das nominale Niveau überschreitet.

Der Beweis wurde durch das KI-Modell GPT-5.6 Pro generiert und anschließend vom Autor verifiziert, der auch die numerischen Simulationen durchführte und das Manuskript entwarf.

Ergebnisse

Theoretisches Ergebnis: Für das konstruierte Modell auf dem Niveau $\alpha = 0,01$ beweisen die Autoren, dass für alle hinreichend großen $N$ die FDR gilt: $\text{FDR}_N > 0,0104$ . Dies verletzt strikt das nominale Niveau von $0,01$.
Numerisches Zertifikat: Das Intervallarithmetik-Zertifikat summiert die Beiträge über 1.000 Bins des latenten Faktors $Z$ auf und ergibt eine zertifizierte untere Schranke von etwa $0,0104168$.
Monte-Carlo-Experimente: Stratifizierte Monte-Carlo-Simulationen (stratifiziert auf $Z$ $Z$ , um die Varianz zu handhaben) wurden für $N=50, 100, 200$ $N = 50, 100, 200$ durchgeführt.
- Bei $N=200$ betrug die geschätzte FDR $0,010359$, mit einem 95%-Konfidenzintervall von $[0,010155, 0,010563]$ , welches vollständig über dem nominalen Niveau liegt.
- Die Ergebnisse sind konsistent mit dem asymptotischen theoretischen Befund und zeigen ein Versagen der Kontrolle auch in endlichen Stichproben.

Bedeutung und Behauptungen
Das Papier beansprucht, eine Vermutung zu widerlegen, die seit zwanzig Jahren weit verbreitet geglaubt wurde. Es zeigt, dass das BH-Verfahren nicht universell robust gegenüber beliebigen Korrelationsstrukturen in zweiseitigen Gaußschen Tests ist, insbesondere wenn die Korrelation eine Kopplung zwischen der Signalstärke und dem Verhalten der Tails der Nullverteilung bewirkt.

Die Autoren merken an, dass die Verletzung geringfügig ist (etwa 4 % Inflation über dem nominalen Niveau) und in einem Modell mit einer großen Anzahl von Tests auftritt. Sie stellen explizit fest, dass es weiterhin eine offene Frage ist, ob eine universelle Schranke für die mögliche Inflation der FDR existiert oder ob die Kontrolle für kleinere Anzahlen von Tests garantiert ist. Die Arbeit hebt die Grenzen aktueller theoretischer Garantien für das BH-Verfahren in komplexen, abhängigen Settings hervor und unterstreicht die Notwendigkeit von abhängigkeitsangepassten Alternativen in solchen Szenarien.

Mehr davon