How accurate are Bayes factor-based null hypothesis tests? A simulation study
Diese Simulationsstudie validiert die Genauigkeit von Bayes-Faktor-basierten Nullhypothesentests in gängigen psychologischen Designs unter Verwendung der Pakete brms und bridgesampling und zeigt auf, dass die Schätzungen zuverlässig sind, wenn keine algorithmischen Warnungen ausgegeben werden, aber ignoriert werden sollten, wenn solche Warnungen erscheinen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Ist eine neue Spur tatsächlich ein Beweis für die Schuld Ihres Verdächtigen oder nur ein Zufall? In der Welt der Wissenschaft, insbesondere in Feldern wie der Psychologie und Linguistik, stehen Forscher oft vor genau derselben Frage. Sie haben Daten und sie haben zwei konkurrierende Geschichten: Eine, in der ein spezifischer Effekt existiert (die „schuldige“ Geschichte), und eine, in der gar nichts passiert (die „unschuldige“ Geschichte). Um zu entscheiden, welche Geschichte besser ist, nutzen Wissenschaftler ein mathematisches Werkzeug namens Bayes-Faktor. Betrachten Sie den Bayes-Faktor als eine superpräzise Waage, die das Gewicht des Beweises abwägt. Wenn sich die Waage stark in Richtung der „schuldigen“ Geschichte neigt, fühlt sich der Forscher sicher; wenn sie im Gleichgewicht bleibt, weiß er, dass die Beweislage schwach ist.
Die Berechnung des exakten Gewichts auf dieser Waage ist jedoch oft so, als würde man versuchen, jedes einzelne Sandkorn an einem Strand zu zählen, während man auf einem fahrenden Boot steht. Es ist mathematisch unmöglich, dies perfekt zu tun, also nutzen Wissenschaftler clevere Computer-Abkürzungen, um eine annähernde Antwort zu erhalten. Die große Sorge ist: Wie nah kommt diese Annäherung an die Wahrheit heran? Wenn die Schätzung des Computers danebenliegt, könnte der Detektiv einen Unschuldigen verurteilen oder einen Schuldigen laufen lassen. Dies ist genau das Problem, das in einer neuen Studie von Daniel J. Schad und Martin Modrák untersucht wird. Sie wollten wissen, ob die populären Computer-Werkzeuge, die Wissenschaftler zur Gewichtung dieser Bayes-Faktoren verwenden, tatsächlich genau sind oder ob sie heimlich auf eine Weise fehlerhaft sind, die zu falschen Schlussfolgerungen führen könnte.
Um dies zu testen, bauten die Autoren nicht einfach nur echte Daten nach; sie erschufen ein „Simulationslabor“. Stellen Sie sich vor, sie erstellten tausende von fiktiven Experimenten, bei denen sie die Antwort im Voraus kannten. Sie generierten fiktive Daten nach einem spezifischen Satz von Regeln und fragten dann die Computer-Werkzeuge, den Bayes-Faktor zu berechnen, um zu sehen, ob die Schlussfolgerung des Werkzeugs mit der Wahrheit übereinstimmte, die sie hineingelegt hatten. Sie konzentrierten sich auf drei sehr verbreitete Arten von experimentellen Designs, die in der Psychologie und Linguistik verwendet werden: ein einfaches 2x2-Design, ein Design, das Probanden und Items mischt (wie zum Beispiel verschiedene Menschen, die verschiedene Wörter lesen), und eine komplexere Version dieser Mischung.
Die Ergebnisse waren eine Geschichte von zwei sehr unterschiedlichen Ausgängen, abhängig von einem winzigen Detail: einer Warnmeldung. Wenn die Computer-Software ihre Berechnungen durchführte und keine Warnmeldung anzeigte, waren die Bayes-Faktoren punktgenau. Die Waage war perfekt kalibriert; die Schätzung des Werkzeugs über den Beweis stimmte fast exakt mit der Wahrheit überein. Es war, als ob die Waage des Detektivs perfekt funktionierte und jedes Mal zuverlässige Urteile fällte.
Die Geschichte änderte sich jedoch dramatisch, wenn die Software doch eine Warnung ausgab. In den Simulationen, in denen der Computer sagte: „Hey, ich habe Schwierigkeiten, diese Zahl zu schätzen“, wurden die Ergebnisse unzuverlässig. Die Bayes-Faktoren waren nicht länger genau; sie waren verzerrt und extrem variabel. Manchmal übertrieb das Werkzeug den Beweis, wodurch ein schwacher Effekt stark erschien (ein „liberaler“ Bias), und ein anderes Mal spielte es einen echten Effekt herunter, sodass er wie gar nichts aussah (ein „konservativer“ Bias). Die Autoren fanden heraus, dass der Computer in diesen Warnfällen im Wesentlichen mit viel Rauschen rätte und die Ergebnisse nicht vertrauenswürdig waren.
Interessanterweise versuchten die Autoren, dies zu beheben, indem sie dem Computer sagten, er solle härter arbeiten – indem sie mehr Berechnungsschritte ausführten (eine Erhöhung von 10.000 auf 40.000 Iterationen). Dies half zwar ein kleines bisschen, stoppte aber nicht die Warnungen und behob den Bias nicht vollständig. Die Studie legt nahe, dass das Problem nicht nur darin besteht, mehr Mathematik zu betreiben; es geht darum, dass die Form der Daten zu knifflig für die aktuellen Abkürzungen ist, um sie reibungslos zu handhaben.
Was bedeutet das also für die Zukunft der Wissenschaft? Die Autoren kommen zu dem Schluss, dass Bayes-Faktoren für die von ihnen getesteten gängigen experimentellen Designs ein großartiges Werkzeug sind – aber nur, wenn der Computer schweigt. Wenn die Software eine Warnung anzeigt, sollten die Forscher innehalten und das Ergebnis nicht vertrauen. Es ist ein wenig wie beim Autofahren: Wenn die „Check Engine“-Leuchte aus ist, können Sie mit Zuversicht fahren. Aber wenn dieses Licht blinkt, sollten Sie nicht einfach ignorieren und weiter beschleunigen; Sie müssen anhalten und das Problem beheben, bevor Sie dem Tacho vertrauen. Die Studie dient als entscheidende Erinnerung daran, dass in dem hochriskanten Spiel der wissenschaftlichen Entdeckung das Beachten der Warnsignale des Computers genauso wichtig ist wie die Daten selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.