The dangers of using three-number summaries to estimate unknown standard deviations: sensitivity analyses and some possible improvements incorporating shape
Diese Arbeit zeigt auf, dass Drei-Werte-Zusammenfassungen unzureichend sind, um Standardabweichungen in Metaanalysen zuverlässig zu schätzen, was zu potenziell ungültigen Schlussfolgerungen führt, und schlägt ein Sensitivitätsanalyse-Framework zusammen mit einem neuen, auf einer skalierten Beta-Verteilung basierenden Schätzer vor, der Informationen über die Datenform einbezieht, um die Genauigkeit zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel über die Körpergröße einer Gruppe von Menschen zu lösen. Sie haben nicht die Liste der Körpergröße jeder einzelnen Person. Stattdessen haben Sie nur eine winzige, dreizeilige Notiz eines Zeugen. Diese Notiz verrät Ihnen drei Dinge:
- Die Größe der kleinsten Person.
- Die Größe der Person genau in der Mitte (der Median).
- Die Größe der größten Person.
Oder vielleicht gibt Ihnen die Notiz nur die mittlere Person und die „mittleren 50 %“ (den Bereich zwischen dem 25. und 75. Perzentil) an.
Das Problem: Die „Normalitäts“-Falle
Seit Jahren versuchen Forscher, die Durchschnittsgröße und die Streuung (Standardabweichung) der gesamten Gruppe zu erraten, indem sie nur diese drei Zahlen verwenden. Die meisten von ihnen haben dabei eine „magische Formel“ benutzt, die davon ausgeht, dass alle Größen perfekt einer symmetrischen Glockenkurve folgen (einer Normalverteilung).
Dieses Paper argumenttiert, dass dies so ist, als würde man versuchen, die Form einer Wolke zu erraten, indem man nur auf ihren Schatten blickt. Wenn die Wolke eigentlich ein flacher Pfannkuchen, ein gezackter Berg oder ein U-förmiges Tal ist, wird die „Glockenkurven“-Formel eine völlig falsche Antwort liefern.
Die Autoren zeigen, dass die Daten hinter den drei Zahlen selbst dann in Dutzenden von verschiedenen Formen vorliegen können, wenn sie perfekt symmetrisch aussehen.
- Die Uniformitäts-Falle: Stellen Sie sich ein Klassenzimmer vor, in dem jeder einzelne Schüler exakt gleich groß ist. Die „Streuung“ ist null. Aber wenn Sie die Standardformel auf das Minimum/Maximum/Median anwenden, könnte sie Ihnen sagen, dass die Schüler stark variieren.
- Die U-Form-Falle: Stellen Sie sich einen Raum voller sehr kleiner und sehr großer Menschen vor, aber mit fast niemand in der Mitte. Die Standardformel könnte denken, dass alle durchschnittlich groß sind, und die extreme Streuung völlig übersehen.
Die Gefahr: Warum es wichtig ist
Warum ist es wichtig, die „Streuung“ falsch einzuschätzen? Denken Sie daran, wie man eine Kanone zielt.
- Wenn Sie die Streuung kleiner schätzen, als sie tatsächlich ist, fliegt Ihre Kanonenkugel (Ihr statistischer Test) zu weit. Sie könnten glauben, Sie hätten eine „Wunderheilung“ oder einen „riesigen Unterschied“ entdeckt, obwohl es nur zufälliges Rauschen ist. Sie könnten behaupten, ein Ergebnis sei signifikant, obwohl es das nicht ist.
- Wenn Sie die Streuung größer schätzen, als sie tatsächlich ist, fällt Ihre Kanonenkugel zu kurz. Sie könnten eine echte Entdeckung übersehen, weil Sie denken, die Daten seien zu ungeordnet, um ihnen zu trauen.
Das Paper zeigt, dass Forscher, die diese Zusammenfassungen aus drei Zahlen verwenden, ohne die Form zu prüfen, oft blind feuern, was zu falschen Schlussfolgerungen führt.
Die Lösung: Sensitivitätsanalyse (Das „Was wäre wenn?“-Spiel)
Anstatt sich für eine einzige Formel zu entscheiden und zu hoffen, schlagen die Autoren vor, das „Was wäre wenn?“-Spiel zu spielen, die sogenannte Sensitivitätsanalyse.
Stellen Sie sich vor, Sie sind ein Koch, der eine Suppe probiert. Anstatt nur den Salzgehalt zu erraten, probieren Sie die Suppe unter der Annahme, es sei Tomatensuppe, dann unter der Annahme, es sei Hühnersuppe, und dann unter der Annahme, es sei Gemüsesuppe.
- Wenn die Suppe egal was man annimmt, salzig schmeckt, können Sie sich sicher sein.
- Wenn der Salzgehalt stark variiert, je nachdem, ob Sie annehmen, es sei Tomaten- oder Hühnersuppe, wissen Sie, dass Sie nicht genug Informationen haben.
Die Autoren stellen ein neues Werkzeug (eine Web-App) zur Verfügung, mit dem Forscher dieses „Was wäre wenn?“-Spiel spielen können. Sie testen die Daten gegen viele verschiedene Formen (Glockenkurven, U-Formen, schiefe Hügel), um zu sehen, welche davon angesichts der drei Zahlen überhaupt möglich sind. Dies hilft Forschern zu sagen: „Wir können es nicht genau wissen, aber die Antwort liegt wahrscheinlich zwischen X und Y“, anstatt nur eine einzige, potenziell falsche Zahl anzugeben.
Der neue Trick: Die „Grenzen“ nutzen (Populationsgrenzen)
Manchmal kennen Forscher die „Grenzen“ der Daten.
- Beispiel: Wenn Sie das Alter von Erwachsenen in einer Studie untersuchen, wissen Sie, dass das Minimum 18 und das Maximum 100 ist. Niemand ist 5 oder 150.
- Beispiel: Wenn Sie eine Testleistung im Bereich von 0 bis 100 untersuchen, kennen Sie die Grenzen 0 und 100.
Das Paper führt eine neue Methode unter Verwendung einer skalierten Beta-Verteilung ein. Denken Sie an ein flexibles Gummiband. Wenn Sie die Grenzen (das Minimum und das Maximum) kennen, können Sie dieses Gummiband so dehnen, dass es zu den drei Zahlen passt, die Sie haben. Da das Gummiband weiß, dass es nicht über die Grenzen hinausgehen kann, kann es die „Streuung“ viel genauer schätzen als die alten Methoden, die so tun, als könnten die Daten ewig weitergehen.
Das Fazit
Das Paper schließt mit drei einfachen Regeln für Forscher ab:
- Erraten Sie die Streuung nicht, wenn Sie nur drei Zahlen haben. Wenn möglich, analysieren Sie die Mediane direkt, anstatt zu versuchen, sie in Mittelwerte umzuwandeln.
- Spielen Sie das „Was wäre wenn?“-Spiel. Prüfen Sie vor der Veröffentlichung, ob sich Ihre Antwort drastisch ändert, wenn Sie annehmen, dass die Daten wie ein Hügel, ein Tal oder eine flache Linie aussehen. Wenn dies der Fall ist, geben Sie die Unsicherheit zu.
- Nutzen Sie die Grenzen. Wenn Sie die absoluten Mindest- und Höchstwerte kennen (wie Altersgrenzen oder Testpunkt-Limits), nutzen Sie diese! Die neue Methode, die diese Grenzen verwendet, ist viel besser darin, die Streuung zu schätzen als die alten Methoden, die so tun, als könnten die Daten unendlich weit gehen.
Kurz gesagt: Drei Zahlen reichen nicht aus, um die ganze Geschichte zu erzählen. Zu versuchen, sie in eine einzige Antwort zu pressen, ist gefährlich. Untersuchen Sie stattden die Möglichkeiten, prüfen Sie die Form und seien Sie ehrlich in Bezug auf die Unsicherheit.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.