Hypothesizing an effect size by considering individual variation
Der Artikel stellt einen Ansatz vor, bei dem durch die Berücksichtigung einer Verteilung individueller Behandlungseffekte realistische Hypothesen für den durchschnittlichen Effekt in Studien aus Medizin, Wirtschaft und Psychologie entwickelt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Wir schätzen die Wirkung falsch ein
Stellen Sie sich vor, Sie sind ein Architekt, der einen neuen Brückentyp plant. Bevor Sie den ersten Stein legen, müssen Sie wissen: Wie viel Gewicht hält diese Brücke?
In der Wissenschaft (ob Medizin, Psychologie oder Wirtschaft) passiert oft Folgendes: Forscher planen ein Experiment und fragen sich: „Wie stark wird unsere neue Methode wirken?"
Das Problem ist: Die meisten Forscher machen hier einen riesigen Fehler. Sie raten eine einzige Zahl (den Durchschnitt) und hoffen, dass es stimmt. Oft sind diese Raten viel zu optimistisch. Sie denken: „Wenn die Methode funktioniert, wird sie Wunder wirken!"
Die Autoren dieses Papers sagen: Hören Sie auf, nach einer einzigen Zahl zu suchen. Das ist wie der Versuch, das Wetter für den ganzen Monat vorherzusagen, indem man nur den Durchschnittstemperaturwert nimmt. Das hilft Ihnen nicht zu wissen, ob Sie einen Regenschirm oder eine Sonnenbrille brauchen.
Die Lösung: Denken Sie in Verteilungen (Die „Schokoladen-Torte"-Methode)
Statt zu fragen: „Wie stark ist der Effekt?", sollten Sie fragen: „Wie sieht die ganze Torte aus?"
Stellen Sie sich vor, Sie backen eine Schokoladentorte für eine große Party.
- Der alte Weg: Sie sagen: „Die Torte schmeckt durchschnittlich 8/10 Punkten." Aber das sagt Ihnen nichts darüber, ob die Torte für jemanden, der nur ein kleines Stück will, zu süß ist oder für jemanden, der viel Schokolade liebt, zu wenig davon hat.
- Der neue Weg (die Idee der Autoren): Sie denken über die einzelnen Stücke nach:
- Die Null-Stücke: Es gibt Leute, die gar keine Schokolade mögen oder die Torte gar nicht probieren. Für sie ist der Effekt 0. (Das sind die Patienten, die die Pille nicht nehmen, oder die Schüler, die im Unterricht nicht aufpassen).
- Die kleinen Stücke: Die meisten Leute bekommen ein kleines Stück. Der Effekt ist klein.
- Die großen Stücke: Ein paar glückliche Leute bekommen ein riesiges Stück. Der Effekt ist sehr groß.
Wenn Sie diese Verteilung verstehen, können Sie viel besser planen.
Ein konkretes Beispiel: Die Medizin
Stellen Sie sich vor, ein neues Medikament soll Menschen vor dem Tod retten.
- Der optimistische Forscher denkt: „Das Medikament rettet 40% mehr Menschen!" Er plant eine Studie mit 100 Personen.
- Der realistische Ansatz (nach dem Paper):
- Von den 100 Personen werden 30 sowieso überleben, egal ob sie das Medikament nehmen oder nicht (sie sind „zu gesund").
- 20 werden sowieso sterben, egal was passiert (die Krankheit ist zu stark).
- Nur 50 sind die „Rettbaren".
- Von diesen 50 retten wir vielleicht 40.
Wenn Sie das auf die ganze Gruppe von 100 umrechnen, ist der durchschnittliche Effekt viel kleiner als gedacht. Wenn der Forscher nur die „Rettbaren" in seine Studie nimmt (weil er sie vorher aussortiert hat), sieht der Effekt riesig aus. Aber wenn er das Medikament in der echten Welt an alle gibt, ist der Effekt winzig.
Die Lektion: Wenn Sie den Durchschnitt berechnen wollen, müssen Sie zuerst wissen, wer in Ihrer Gruppe ist und wer nicht.
Warum ist das so wichtig?
- Vermeidung von „Glücksstudien": Wenn Forscher zu optimistisch sind, planen sie Studien mit zu wenigen Teilnehmern. Wenn sie dann doch ein positives Ergebnis finden, ist es oft nur ein Zufall (ein „Glückstreffer"), der in der Realität gar nicht existiert. Das führt zu der berühmten „Replikationskrise" (dass viele wissenschaftliche Entdeckungen sich nicht wiederholen lassen).
- Bessere Planung: Wenn Sie wissen, dass der Effekt bei manchen Menschen null ist und bei anderen groß, können Sie Ihre Studie so designen, dass Sie genau das messen, was Sie wollen.
- Realistische Erwartungen: Es hilft, Enttäuschungen zu vermeiden. Statt zu denken „Die Studie hat versagt, weil der Effekt zu klein war", denken Sie: „Ah, wir haben gemessen, dass der Effekt bei dieser speziellen Gruppe eben nur so klein ist."
Die „Anker-und-Justierung"-Methode (Wie man es macht)
Die Autoren schlagen einen einfachen 4-Schritte-Plan vor, um realistisch zu denken:
- Der Anker: Stellen Sie sich vor, das Medikament wirkt perfekt. Wie stark wäre das? (Nennen wir das X).
- Die Realität: Denken Sie an die Leute, für die es nicht funktioniert. Vielleicht ist der Effekt bei ihnen 0.
- Die Verteilung: Stellen Sie sich vor, wie die Leute verteilt sind. Vielleicht sind 50% der Leute „Null-Effekt", 40% haben einen kleinen Effekt und 10% einen großen.
- Der Durchschnitt: Rechnen Sie das jetzt zusammen.
- Faustformel: Nehmen Sie Ihre optimistische Zahl (X), teilen Sie sie durch 4 (wenn es direkt wirkt) oder sogar durch 20 (wenn es nur indirekt wirkt). Das ist Ihre realistische Schätzung für den Durchschnitt.
Fazit in einem Satz
Hören Sie auf, nach der „perfekten Zahl" für einen Effekt zu suchen. Fragen Sie stattdessen: „Wer wird davon profitieren, wer nicht, und wie sieht die Mischung in der echten Welt aus?" Nur so können wir Wissenschaft bauen, die der Realität standhält und nicht nur auf Glück basiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.