Mirror and knockoff+ thresholds under dependence

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen riesigen Fall mit hunderten von Verdächtigen zu lösen. Sie haben einen speziellen Test, der jedem Verdächtigen einen Wert gibt: Ein hoher positiver Wert bedeutet, dass er wahrscheinlich schuldig ist, während ein hoher negativer Wert bedeutet, dass er wahrscheinlich unschuldig ist. Das Problem ist, dass Ihr Test nicht perfekt ist; manchmal bekommen unschuldige Menschen hohe Werte, einfach nur durch Pech. Um fair zu sein, müssen Sie herausfinden, wie viele Ihrer „Schuldurteile“ eigentlich Irrtümer sind. Dies ist die Welt des Multiplen Testens, eines Zweigs der Statistik, der überall Anwendung findet, von medizinischen Studien bis hin zur Genetik. Das Ziel ist es, die False Discovery Rate (F FDR) zu kontrollieren – das ist schlichtweg der Prozentsatz Ihrer „Schuldigen“-Liste, der tatsächlich aus unschuldigen Menschen besteht.

Seit Jahrzehnten nutzen Statistiker einen cleveren Trick, um diese Fehler abzuschätzen. Sie nehmen an, dass es für einen unschuldigen Verdächtigen genauso wahrscheinlich ist, einen positiven wie einen negativen Wert zu erhalten, vergleichbar mit einem fairen Münzwurf. Wenn Sie also 100 Personen mit hohen positiven Werten sehen, schauen Sie nach, wie viele unschuldige Personen hohe negative Werte haben. Wenn Sie 10 unschuldige Personen mit hohen negativen Werten sehen, vermuten Sie, dass etwa 10 Ihrer 100 „Schuldigen“ eigentlich unschuldig sind. Diese „Spiegel“-Idee funktioniert wunderbar, wenn die Verdächtigen unabhängig voneinander sind – wenn das Pech des einen niemanden anderen beeinflusst. Aber was passiert, wenn die Verdächtigen miteinander verbunden sind? Was, wenn sie alle eine gemeinsame Quelle des Rauschens teilen, wie etwa eine Gruppe von Freunden, die alle denselben schlechten Wetterbericht erhalten? Dies ist die Frage, die die Forschung in dieser Arbeit antreibt.

Die Arbeit mit dem Titel „Mirror and knockoff+ thresholds under dependence“ stellt eine einfache, aber erschütternde Frage: Was passiert, wenn wir diesen Spiegel-Trick bei einer Gruppe von Verdächtigen anwenden, die sich heimlich gegenseitig beeinflussen? Der Autor, Xianyang Zhang, stellt fest, dass die Methode völlig zusammenbrechen kann, was zu einer Katastrophe führt, bei der die Anzahl der fälschlicherweise beschuldigten unschuldigen Menschen weit höher ist, als man erwartet hat.

Die Arbeit beweist, dass die „Spiegel“-Methode auf einer sehr spezifischen, starken Bedingung beruht: Sobald man weiß, wie „laut“ der Wert eines Verdächtigen ist, sollte sein Vorzeichen ein frischer, unabhängiger Münzwurf sein. Die Arbeit zeigt, dass die Methode versagt, wenn diese Bedingung fehlt – selbst wenn die Werte für sich genommen perfekt normal und symmetrisch aussehen.

Hier sind die drei Arten, wie die Arbeit diesen Ausfall unter Verwendung lebendiger Szenarien aufzeigt:

1. Die „Geheime Stimmung“-Falle (Nicht-Gaußsches Beispiel)
Stellen Sie sich eine Gruppe von elf Verdächtigen vor. Ohne dass Sie es wissen, gibt es eine Variable namens „geheime Stimmung“, die einen Münzwurf ausführt. Wenn die Münze Kopf zeigt, sorgt die geheime Stimmung dafür, dass es für alle elf Verdächtigen etwas wahrscheinlicher ist, positive Werte zu erhalten. Wenn sie Zahl zeigt, ist es wahrscheinlicher, dass sie negative Werte erhalten. Individuell betrachtet sieht jeder Verdächtige immer noch vollkommen fair aus (ihre Werte sind gleichverteilt). Da sie jedoch alle auf dieselbe geheime Stimmung reagieren, bewegen sie sich tendenziell gemeinsam.
Die Arbeit berechnet, dass, wenn Sie die Spiegel-Methode auf diese Gruppe anwenden, die Fehlerrate von den angestrebten 10 % auf 17,4 % springt. In einem leicht anderen Setup innerhalb derselben Familie von Beispielen kann die Fehlerrate sogar auf 50 % steigen. Das bedeutet, die Hälfte Ihrer „Schuldigen“-Liste könnte unschuldig sein, obwohl jeder einzelne Verdächtige für sich genommen fair aussah.

2. Das „Gemeinsame Wind“-Problem (Fixierte Gaußsche Korrelation)
Stellen Sie sich nun vor, die Verdächtigen stehen alle auf einem Feld. Es weht ein sanfter, ständiger Wind aus dem Osten (ein gemeinsamer Faktor). Selbst wenn der Wind sehr schwach ist, drückt er jeden Wert ein wenig nach rechts (positiv).
Die Arbeit beweist, dass, wenn Sie eine riesige Anzahl von Verdächtigen haben (Hunderte oder Tausende), dieser winzige, gemeinsame Wind ein massives Problem verursacht. Während die Gruppe größer wird, sieht die Spiegel-Methode viel mehr positive als negative Werte, nicht weil die Verdächtigen schuldig sind, sondern weil der Wind sie alle zusammengeschoben hat. Die Arbeit zeigt, dass die Fehlerrate für jede feste positive Korrelation, egal wie klein sie ist, schließlich auf 50 % ansteigt, wenn die Anzahl der Hypothesen wächst. Dies ist eine direkte Warnung: Selbst ein winziges Stück gemeinsames Rauschen kann die Spiegel-Methode in großen Gruppen zum Scheitern bringen.

3. Das „Unterschiedliche Skalen“-Albtraumszenario (Worst-Case-Szenario)
Schließlich betrachtet die Arbeit ein Szenario, in dem die Verdächtigen unterschiedliche „Empfindlichkeiten“ haben. Einige reagieren sehr empfindlich auf den Wind (große Skala), während andere weniger empfindlich sind (kleine Skala). Der Autor konstruiert ein mathematisches Modell, in dem der Wind so weht, dass er die Spiegel-Methode perfekt austrickst.
In diesem Worst-Case-Szenario beweist die Arbeit, dass die Fehlerrate beliebig nah an 100 % herangeführt werden kann. Das bedeutet, Sie könnten hundert unschuldige Menschen beschuldigen und keine Kontrollen finden, die Sie stoppen, einfach weil die Skalen ihrer Werte unterschiedlich waren.

Was dies bedeutet
Die Arbeit stellt vorsichtig klar, dass dies nicht bedeutet, dass die berühmte „Knockoff“-Methode (eine fortgeschrittenere Version des Spiegel-Tricks) kaputt ist. Die fortgeschrittene Methode funktioniert, weil sie spezielle „Knockoff“-Kontrollen aufbaut, die darauf ausgelegt sind, die Plätze mit den Verdächtigen zu tauschen und so die Unabhängigkeit der Münzwürfe zu bewahren. Das Problem entsteht, wenn Menschen versuchen, die einfache Spiegel-Formel auf Daten anzuwenden, die nicht über diese spezielle Struktur verfügen.

Die wichtigste Erkenntung ist: Symmetrie allein reicht nicht aus. Nur weil jeder einzelne Verdächtige fair aussieht, bedeutet das nicht, dass die Gruppe gemeinsam fair agiert. Wenn die Verdächtigen durch einen gemeinsamen Faktor miteinander verknüpft sind, kann die Spiegel-Methode getäuscht werden, sodass sie denkt, es gäbe weniger Fehler, als tatsächlich vorhanden sind. Die Arbeit nutzt exakte mathematische Beweise und Computersimulationen, um zu zeigen, dass diese Ausfälle nicht nur theoretisch sind; sie können bei moderaten Gruppengrößen (wie 11 bis 1.000 Personen) auftreten und in realen Daten sichtbar werden.

Kurz gesagt warnt uns die Arbeit: Vertrauen Sie dem Spiegel nicht, wenn die Verdächtigen Händchen halten. Wenn sie eine gemeinsame Quelle des Einflusses teilen, wird der einfache Trick, die Anzahl der negativen Werte zu zählen, um die positiven Fehler abzuschätzen, versagen und potenziell zu einer Flut falscher Anschuldigungen führen.