Meta-Analysis with JASP, Part I: Classical Approaches

Stellen Sie sich die wissenschaftliche Welt als eine riesige, geschäftige Bibliothek vor, in der jeder Forscher ein Buch über ein bestimmtes Experiment schreibt. Manchmal sagt ein Buch, dass ein neues Medikament Wunder wirkt, während ein anderes sagt, dass es gar nichts bewirkt. Hier kommt die Metaanalyse ins Spiel. Stellen Sie sie sich wie einen Super-Bibliothekar vor, der nicht nur ein Buch liest, sondern hunderte von Büchern sammelt, sie aufstapelt und herausfindet, welche wahre Geschichte sich im Rauschen verbirgt. Es ist, als versuche man, ein einzelnes Flüstern in einem vollen Stadion zu hören; man kann nicht nur einer Person zuhören, man muss die Stimmen aller kombinieren, um das echte Signal zu finden.

Um dies zu tun, nutzt der Super-Bibliothekar einige Schlüsselwerkzeuge. Zuerst berechnet er eine Effektstärke, was eine Art ist zu messen, „wie groß“ ein Ergebnis ist, indem verschiedene Arten von Messungen in eine gemeinsame Sprache übersetzt werden. Als Nächstes betrachtet er einen Forest Plot, ein Diagramm, das aussieht wie ein Wald aus Bäumen, wobei jeder Baum eine Studie repräsentiert und die Position des Baumes deren Ergebnis zeigt. Schließlich prüft er die Heterogenität, was nur ein schicker Begriff dafür ist, zu fragen: „Erzählen alle diese Studien dieselbe Geschichte oder sind sie völlig unterschiedlich?“ Wenn die Studien zu verschieden sind, muss der Bibliothekar spezielle Mathematik anwenden, um herauszufinden, warum. Wissenschaftler schätzen dies, denn sich auf eine einzige Studie zu verlassen, ist so, als würde man einen ganzen Film nach dem Anschauen nur einer einzigen Szene beurteilen; man könnte die Wendungen der Handlung oder das Ende verpassen.

Dieses Paper stellt ein neues, benutzerfreundliches Werkzeug namens JASP (speziell das „Meta-Analysis module“) vor, das diese mächtigen, komplexen Werkzeuge aus der Welt der Programmiercodes in eine einfache „Point-and-Click“-Benutzeroberfläche bringt. Die Autoren, ein Team aus Statistikern und Softwareentwicklern, haben dies entwickelt, um Wissenschaftlern, die keine Programmierer sind, fortgeschrittene Metaanalysen ohne das Schreiben von Code zu ermöglichen. Sie demonstrieren, dass JASP alles bewältigen kann, von einfachen Zusammenfassungen bis hin zu sehr komplizierten Szenarien, in denen Studien Daten teilen oder über mehrere Ebenen an Informationen verfügen. Das Paper behauptet nicht, ein neues Gesetz des Universums entdeckt zu haben; vielmehr zeigt es, dass eine kostenlose Open-Source-Software nun die schwere Arbeit der fortgeschrittenen Statistik übernehmen kann, was sie für Studenten und Forscher zugänglich macht, die zuvor möglicherweise auf einfachere, weniger leistungsfähige Werkzeuge angewiesen waren.

Die Geschichte vom neuen Werkzeugkasten des Super-Bibliothekars

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt eines Zeugen haben Sie fünfzig. Einige Zeugen haben das Verbrechen aus der Ferne gesehen, einige waren direkt dabei, und einige erzählen leicht unterschiedliche Geschichten. In der Vergangenheit mussten Sie, um all diese Geschichten zu einer klaren Wahrheit zu kombinieren, ein Meister-Coder sein, der die geheime Sprache der Computer (wie die Programmiersprache R) spricht, um eine maßgeschneiderte Maschine zu bauen, die die Beweise sortiert. Wenn Sie nicht coden konnten, waren Sie auf ein einfaches Vergrößerungsglas beschränkt, das die subtilen Hinweise übersah.

Die Autoren dieses Papers sagen: „Lasst uns eine Maschine bauen, die jeder benutzen kann.“ Sie haben ein Modul innerhalb der kostenlosen Software JASP erstellt, das wie ein hochmodernes Dashboard für diese Detektivarbeit fungiert. Anstatt Code einzutippen, klicken Sie einfach auf Schaltflächen, ziehen und lassen Ihre Daten, und die Software erledigt die Mathematik für Sie. Das Paper führt Sie durch drei verschiedene „Fälle“, um zu zeigen, wie dieses Dashboard funktioniert, und beweist, dass Sie nun die fortgeschrittenste Detektivarbeit leisten können, ohne ein Coder zu sein.

Fall 1: Das Impfstoff-Rätsel (Die Grundlagen)
Der erste Fall befasst sich mit einem berühmten Datensatz über einen Tuberkulose-Impfstoff. Die Autoren zeigen, wie man JASP verwendet, um die „Effektstärke“ (wie gut der Impfstoff wirkte) zu berechnen und einen Funnel Plot zu zeichnen. Stellen Sie sich einen Funnel Plot als trichterförmiges Diagramm vor, in das Sie alle Studienergebnisse hineinwerfen. Wenn alles fair und recht ist, sollten die Punkte eine ordentliche, symmetrische Pyramide bilden. Wenn die Pyramide einseitig ist, könnte dies bedeuten, dass einige Studien fehlen oder verzerrt sind. Die Software erstellt dann einen Forest Plot, der wie ein Wald aus Bäumen aussieht und genau zeigt, wo jede Studie steht und wie sicher wir uns beim Ergebnis sind. Die Autoren zeigen, dass JASP sogar in der Lage ist, die Bäume in Gruppen (Subgruppen) aufzuteilen, um zu sehen, ob der Impfstoff je nach Durchführung der Studie unterschiedlich wirkte. Das Ergebnis? Die Software repliziert erfolgreich die komplexe Mathematik, die früher das Codieren erforderte, wodurch das „Random-Effects“-Modell (eine Methode, um Unterschiede zwischen Studien zu handhaben) leicht ausführbar wird.

Fall 2: Die Schreibinterventionen (Nach Mustern suchen)
Im zweiten Fall betrachten die Detektive Studien über „Writing-to-Learn“-Interventionen (Schreiben zum Lernen). Hier wollen sie wissen, ob die Dauer der Intervention oder ob die Schüler Feedback erhielten, die Ergebnisse veränderte. Dies wird als Meta-Regression bezeichnet. Denken Sie daran wie beim Zeichnen einer Linie durch eine Punktwolke, um zu sehen, ob ein Trend existiert. JASP zeichnet diese Linie für Sie und erstellt sogar einen Bubble Plot, bei dem größere Blasen präzisere Studien bedeuten. Die Software berechnet auch Estimated Marginal Means, was eine schicke Art zu sagen ist: „Was wäre das Ergebnis, wenn wir alles andere konstant halten würden?“ Es ist wie die Frage: „Wenn jeder Schüler die exakt gleiche Zeit und das gleiche Feedback gehabt hätte, wie hoch wäre die Punktzahl gewesen?“ Das Paper zeigt, dass JASP diese komplexen Vergleiche bewältigen kann und sogar testet, ob sich die „Streuung“ der Daten (Heterogenität) basierend auf der Länge der Studie ändert – eine Technik namens Location–Scale-Modell.

Fall 3: Das Rückfall-Puzzle (Das verwobene Netz)
Der dritte Fall ist der kniffligste. Er untersucht Studien über Jugenddelinquenz und psychische Gesundheit. Das Problem hierbei ist, dass viele Studien mehrere Ergebnisse für dieselbe Gruppe von Kindern melden (z. B. Aggression, Mobbing und Diebstahl). Dies erzeugt ein „verworbenes Netz“ von Daten, in dem die Ergebnisse nicht unabhängig sind. Wenn man dies ignoriert, könnte man glauben, man hätte mehr Beweise, als man tatsächlich hat. Die Autoren zeigen, wie JASP dies unter Verwendung von Multilevel-Modellen (die die Verschachtelung von Daten handhaben), multivariaten Modellen (die die Korrelation zwischen verschiedenen Arten von Verbrechen berücksichtigen) und Cluster-robusten Standardfehlern (die wie ein Sicherheitsnetz wirken, damit die Mathematik nicht durch die Verbindungen getäuscht wird) entwirren kann. In diesem speziellen Fall fand die Software selbst nach dem Entwirren des Netzes einen statistisch signifikanten Unterschied: Jugendliche mit psychischen Störungen hatten eine andere Rückfallrate (gepoolte Effektstärke $d=0,36$, 95 % KI [0,16, 0,56]).

Warum das wichtig ist

Das Paper zeigt nicht nur eine hübsche Benutenschnittstelle; es argumenttiert, dass fortgeschrittene statistische Methoden nicht hinter einer Mauer aus Computercode verschlossen sein sollten. Durch die Integration dieser Werkzeuge in JASP legen die Autoren nahe, dass Forscher, Lehrer und Studenten sich nun darauf konzentrieren können, die Wissenschaft zu interpretieren, anstatt den Code zu debuggen. Die Software generiert den Code im Hintergrund; wenn Sie lernen möchten, können Sie sehen, wie es gemacht wird, aber wenn Sie nur die Antwort wollen, können Sie einfach auf „Run“ klicken.

Die Autoren sind vorsichtig genug anzumerken, dass dieses Modul zwar ein riesiges Gebiet abdeckt – von einfachen Plots bis hin zu komplexen Multilevel-Modellen –, aber ein laufendes Projekt ist. Sie erwähnen, dass einige Funktionen, wie die Netzwerk-Metaanalyse, für die Zukunft geplant sind. Aber für den Moment haben sie erfolgreich demonstriert, dass ein kostenloses Open-Source-Tool die rigorosen, hochmodernen Methoden bewältigen kann, die zur Synthese wissenschaftlicher Erkenntnisse notwendig sind. Sie behaupten nicht, jedes Problem der Wissenschaft gelöst zu haben, aber sie haben dem Super-Bibliothekar einen viel besseren Werkzeugkasten übergeben – einen, den jeder aufnehmen und nutzen kann, um die Wahrheit im Rauschen zu finden.