Statistical Significance Revisited

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Gibt es ein echtes Muster in den Daten, oder ist es nur ein Zufall?

Seit fast einem Jahrhundert nutzen Wissenschaftler ein bestimmtes Werkzeug namens Signifikanztest (und sein Hauptergebnis, den p-Wert), um diese Frage zu beantworten. Denken Sie an den p-Wert als einen „Verdachtsmesser". Wenn der Messwert sehr niedrig ist (üblicherweise unter 0,05 oder 5 %), sagt der Detektiv: „Das ist zu unwahrscheinlich, um ein Zufall zu sein; hier muss ein echtes Muster vorliegen!"

In jüngster Zeit haben jedoch viele argumentiert, dass dieses Werkzeug defekt ist. Sie sagen, es führe zu zu vielen „falschen Alarmen" (das Finden von Mustern, die nicht wirklich existieren), und dass der 5 %-Schwellenwert willkürlich sei. Diese von R. L. Machete verfasste Arbeit geht diesen Beschwerden tiefgehend nach und fragt: Sollten wir das Werkzeug wegwerfen, die Regeln verschärfen oder einfach lernen, es besser zu nutzen?

Hier ist eine Aufschlüsselung der Argumente der Arbeit unter Verwendung einfacher Analogien.

1. Die zwei Denkschulen: Der Torwächter vs. Der Spieler

Die Arbeit beginnt mit der Erklärung der Geschichte dieses Werkzeugs.

• Fisher (Der Torwächter): Er erfand den Test, um zu prüfen, ob ein Ergebnis „überraschend" genug war, um die Idee abzulehnen, dass nichts passiert (die Nullhypothese). Er verwendete einen 5 %-Schwellenwert, warnte jedoch davor, ihn wie ein starres Gesetz zu behandeln.
• Neyman & Pearson (Die Spieler): Sie fügten eine zweite Seite an die Wette an. Sie fragten: „Wenn es einen echten Effekt gibt, wie wahrscheinlich ist es dann, dass wir ihn übersehen?" Sie führten das Konzept der Fehler 1. Art (falsche Alarme) und Fehler 2. Art (das Übersehen eines echten Signals) ein.

Die Analogie: Stellen Sie sich einen Metalldetektor an einem Flughafen vor.

• Fisher sagt: „Wenn er piept, ist es verdächtig."
• Neyman & Pearson sagen: „Wir müssen das Piepen ausbalancieren. Wenn wir ihn zu empfindlich machen, fangen wir jeden Gürtelschnalle (Fehler 1. Art). Wenn wir ihn zu stumpf machen, verpassen wir echte Waffen (Fehler 2. Art)."

2. Die große Kontroverse: „Lasst uns die Regeln verschärfen!"

In jüngster Zeit argumentierten einige Wissenschaftler (wie Benjamin et al.), dass der 5 %-Schwellenwert zu locker sei. Sie wollen ihn auf 0,5 % (oder 0,005) ändern.

• Ihre Logik: Wenn wir den Metalldetektor viel schwerer auslösen lassen, werden wir weniger falsche Alarme fangen. Dies sollte die Anzahl der erfolgreichen Wiederholungen eines Experiments (Replikation) verdoppeln.
• Das Gegenargument der Arbeit: Der Autor sagt, dies sei ein Kompromiss. Wenn Sie den Detektor schwerer auslösbar machen, werden Sie definitiv mehr echte Waffen übersehen (Fehler 2. Art).
  • Die Kosten: Sie könnten aufhören, echte Entdeckungen zu finden, weil die Hbar so hoch gesetzt ist, dass nur die „super offensichtlichen" Fälle bestehen.
  • Die Mathematik: Die Arbeit zeigt, dass das Absenken des Schwellenwerts zwar falsche Alarme reduziert, die „Replikationskrise" jedoch nicht automatisch behebt, es sei denn, Sie wissen bereits, wie viele wahre Entdeckungen es überhaupt gibt – was in der Regel unmöglich zu wissen ist.

3. Der „Bayesianische" Umweg: Die Wahrscheinlichkeiten schätzen

Einige Kritiker argumentieren, dass p-Werte irreführend sind, weil sie nicht berücksichtigen, wie wahrscheinlich eine Theorie von vornherein war. Sie schlagen die Verwendung Bayesianischer Methoden vor, die erfordern, dass Sie die „Vorwahrscheinlichkeit" schätzen (wie wahrscheinlich Sie die Hypothese halten, bevor Sie überhaupt beginnen).

• Die Sicht der Arbeit: Der Autor argumentiert, dass wir in der realen Welt diese Vorwahrscheinlichkeiten oft nicht kennen können. Man kann nicht einfach erraten, welcher Prozentsatz aller wissenschaftlichen Theorien tatsächlich wahr ist.
• Die Metapher: Zu versuchen, Bayesianische Methoden für jede Studie zu verwenden, ist wie der Versuch, ein Auto zu fahren, indem man die Verkehrsdichte schätzt, bevor man die Einfahrt verlässt. Es ist eine nette Idee, aber in der Praxis haben wir diese Daten oft nicht. Die Arbeit schlägt vor, bei Fehlerwahrscheinlichkeiten (wie oft der Test einen Fehler macht) zu bleiben, da dies praktischer ist.

4. Die Bewegung „Weg damit"

Einige Reformer sagen: „Hört auf, p-Werte und Schwellenwerte vollständig zu verwenden! Berichten Sie einfach die Zahlen und lassen Sie die Leute entscheiden."

• Die Sicht der Arbeit: Der Autor hält dies für gefährlich.
  • Die Analogie: Stellen Sie sich einen Arzt vor, der sagt: „Sagen Sie mir nicht, ob der Patient Fieber hat oder nicht. Geben Sie mir einfach die Temperatur und lassen Sie mich raten."
  • Das Problem: Menschen sind schlecht darin, binäre Entscheidungen (Ja/Nein) ohne eine klare Linie zu treffen. Wenn Sie den Schwellenwert entfernen, haben Sie die Entscheidung nicht entfernt; Sie haben die Linie nur versteckt. Irgendwann muss jemand immer noch entscheiden, ob das Ergebnis „gut genug" ist.
  • Konfidenzintervalle: Die Arbeit stimmt zu, dass wir Konfidenzintervalle (ein Bereich wahrscheinlicher Werte) berichten sollten, argumentiert jedoch, dass diese p-Werte nicht ersetzen sollten. Sie sollten zusammenarbeiten, wie eine Karte und ein Kompass.

5. Der „Schweregrad"-Test: Ein neuer Weg, die Daten zu betrachten

Die Arbeit führt ein Konzept ein, das von einer Philosophin namens Mayo stammt und Schweregrad (Severity) genannt wird.

• Die Idee: Es reicht nicht aus, einfach einen Test zu bestehen. Man muss fragen: „Wenn diese Hypothese falsch wäre, wie wahrscheinlich wäre es dann gewesen, diesen Test trotzdem zu bestehen?"
• Die Metapher: Stellen Sie sich vor, ein Verdächtiger besteht einen Lügendetektortest.
  • Standardtest: „Sie haben bestanden, also sind sie unschuldig."
  • Schweregrad-Test: „Wenn sie schuldig wären, hätte dieser spezifische Lügendetektor sie dann erwischt? Wenn die Maschine kaputt ist und jeden durchlässt, dann beweist das „Bestehen" nichts. Aber wenn die Maschine sehr streng ist und sie trotzdem bestanden haben, ist das ein schwerwiegender Beweis für Unschuld."
• Der Autor schlägt vor, dieses „Schweregrad"-Denken zu nutzen, um tiefer in die Daten einzudringen, anstatt nur auf eine einzelne Zahl zu schauen.

6. Reales Beispiel: Savannenbrände in Afrika

Um zu beweisen, dass diese Werkzeuge funktionieren, betrachtet der Autor Daten über Brände in Afrika.

• Die Frage: Treten Brände in 5-Jahres-Zyklen auf?
• Das Ergebnis: Die Mathematik zeigte ein starkes Muster (ein sehr niedriger p-Wert).
• Die Anwendung: Der Autor sagte nicht einfach nur „Es ist signifikant." Er nutzte das Konzept des Schweregrads, um zu sagen: „Wir sind zu 95 % sicher, dass der Zyklus real und kein Zufall ist." Er nutzte auch Konfidenzintervalle, um genau zu zeigen, wie stark dieser Zyklus ist.
• Die Lehre: Die Werkzeuge arbeiteten zusammen, um eine klare, selbstbewusste Antwort zu geben, ohne die Spielregeln ändern zu müssen.

Das endgültige Urteil

Die Arbeit kommt zu dem Schluss, dass wir an einer Wegscheide stehen.

1. Werfen Sie die Werkzeuge nicht weg: p-Werte und Signifikanztests sind immer noch nützlich, um echte Wissenschaft von Rauschen zu unterscheiden.
2. Schrauben Sie nicht nur fester: Das Verschärfen des Schwellenwerts auf 0,005 mag zwar falsche Alarme reduzieren, wird aber auch echte Entdeckungen verbergen.
3. Nutzen Sie die Werkzeuge weise: Wissenschaftler sollten die Meister der Werkzeuge sein, nicht ihre Sklaven. Sie sollten p-Werte, Konfidenzintervalle und Schweregrad-Checks zusammen nutzen, um fundierte Entscheidungen zu treffen.
4. Der wahre Feind: Das Problem ist nicht die Mathematik; es ist das Verhalten. Dinge wie „Datendredging" (das Suchen nach Mustern, bis man eines findet) und „optionales Stoppen" (das Beenden eines Experiments, sobald man ein gutes Ergebnis erhält) sind die wahren Ursachen schlechter Wissenschaft. Eine Änderung des p-Wert-Schwellenwerts wird kein schlechtes Verhalten beheben; nur bessere Ethik und Anreize werden das tun.

Kurz gesagt: Die Arbeit argumentiert, dass wir nicht in Panik verfallen und die Regeln der Statistik neu schreiben sollten. Stattdessen sollten wir den bestehenden Werkzeugen vertrauen, sie mit mehr Nuancen verwenden (wie dem Prüfen auf „Schweregrad") und uns darauf konzentrieren, das menschliche Verhalten zu beheben, das zu schlechter Wissenschaft führt.