Bridging SCED and Group Designs: Demonstrating the Ratio-Metric BC-IRR Effect Size in a Meta-Analysis

In der Welt der Bildung und Therapie stehen Forscher vor einem hartnäckigen Rätsel: Wie misst man, ob eine neue Methode tatsächlich dazu führt, dass eine Person besser lernt oder sich besser verhält? Seit Jahrzehnten stützt sich die wissenschaftliche Gemeinschaft auf zwei sehr unterschiedliche Wege der Beweiserhebung. Ein Ansatz, bekannt als Gruppendesign, sammelt eine große Anzahl von Menschen, teilt sie in Teams auf und vergleicht die durchschnittlichen Ergebnisse des Teams, das eine neue Behandlung erhält, mit einem Team, das die Standardversorgung erhält. Diese Methode ist leistungsstark, um breite Trends in Populationen zu erkennen. Der andere Ansatz, das Einzelfall-Experimentdesign (Single-Case Experimental Design), konzentriert sich intensiv auf eine einzelne Person zur Zeit. Forscher beobachten sorgfältig eine einzelne Person, führen eine spezifische Intervention ein und verfolgen, wie sich das Verhalten dieser Person im Laufe der Zeit verändert, wobei sie oft nach unmittelbaren Verschiebungen in spezifischen Handlungen suchen, wie etwa dem Äußern einer Bitte oder dem Konzentrieren auf eine Aufgabe. Obwohl beide Methoden rigoros sind, haben sie historisch gesehen unterschiedliche Sprachen gesprochen. Die Gruppenstudien produzieren Zahlen, die beschreiben, wie sich eine ganze Gruppe verändert hat, während die Einzelfallstudien Zahlen produzieren, die beschreiben, wie sich ein Individuum verändert hat. Da diese Zahlen unterschiedlich berechnet werden, war es schwierig, sie zu einem einzigen, klaren Bild zusammenzuführen, was am besten für Schüler mit Autismus-Spektrum-Störungen funktioniert.

Diese Schwierigkeit schafft einen blinden Fleck für Pädagogen und politische Entscheidungsträger. Wenn eine neue Technologie Kindern in einer Gruppe hilft, ihre sozialen Fähigkeiten um einen gewissen Betrag zu verbessern, aber einer anderen Gruppe von Kindern hilft, ihre Kommunikation um einen anderen Betrag zu verbessern, wie können wir dann wissen, ob die Technologie insgesamt wirklich effektiv ist? Das Problem besteht nicht nur darin, dass die Studien unterschiedlich aussehen, sondern dass die Werkzeuge, die zur Messung des Erfolgs verwendet werden, inkompatibel sind. Traditionelle Werkzeuge verwechseln oft die Größe der Verbesserung mit der Frage, wie stark die Ergebnisse von Person zu Person variieren, oder sie ändern ihre Bedeutung, je nachdem, wie lange die Beobachtung dauer dauerte. Um dies zu lösen, setzte sich ein Forscherteam unter der Leitung von Wen Luo an der Texas A&M University zum Ziel, ein neues „Messstäbchen“ zu bauen. Sie wollten einen Weg finden, die Ergebnisse von Einzelpersonen und Gruppen in dieselbe Sprache zu übersetzen, damit diese nebeneinander verglichen werden können. Sie konzentrierten sich auf eine spezifische Art der Messung, die sogenannte Inzidenzratenverhältnis (Incidence Rate Ratio). Vereinfacht ausgedrückt ist dies ein einfacher Vergleich von Raten: Es fragt, wie oft ein Verhalten während der Behandlung auftrat im Vergleich dazu, wie oft es vor Beginn der Behandlung auftrat. Durch die Verwendung dieses Verhältnisses konnten die Forscher den Effekt einer Intervention als direkten prozentualen Anstieg oder Rückgang ausdrücken, anstatt als einen komplexen statistischen Wert, der spezielles Training erfordert, um verstanden zu werden.

Die Forscher testeten diesen neuen Ansatz, indem sie eine große Sammlung früherer Studien über technologiegestützte Instruktion für Schüler mit Autismus erneut untersuchten. Diese ursprüngliche Sammlung, die 2017 von anderen Wissenschaftlern zusammengestellt wurde, enthielt Dutzende von Studien unter Verwendung sowohl von Gruppen- als auch von Einzelfall-Designs. Das Team untersuchte die Daten von sechsunddreißig spezifischen Ergebnissen neu, die von der Fähigkeit der Kinder, Gesichtsausdrücke zu erkennen, bis hin zur Häufigkeit, mit der sie um Hilfe baten oder ein Gespräch führten, reichten. Sie wandten ihre neue verhältnisbasierte Methode auf die Einzelfallstudien an und ein passendes Verhältnisverfahren auf die Gruppenstudien. Das Ziel war es zu sehen, ob die beiden Arten von Forschung durch diese neue Linse eine konsistente Geschichte erzählen würden. Die Ergebnisse zeigten einen klaren, quantifizierbaren Unterschied darin, wie die beiden Designs Erfolg maßen. Die Gruppenstudien zeigten, dass die Technologie-Interventionen zu einer durchschnittlichen Verbesserung von etwa 23 Prozent gegenüber den Kontrollbedingungen führten. Mit anderen Worten: Die Schüler in den Behandlungsgruppen zeigten etwa ein Viertel bessere Leistungen als diejenigen, die die spezifische Technologiehilfe nicht erhielten.

Die Einzelfallstudien erzählten jedoch eine viel dramatischerer Geschichte. Als die Forscher die gleiche verhältnisbasierte Logik auf die Einzelfälle anwandten, fanden sie heraus, dass die Interventionen zu einer mehr als vierfachen Steigerung der positiven Ergebnisse im Vergleich zum Ausgangszustand (Baseline) führten. Das bedeutet, dass bei den einzelnen Schülern in diesen Studien das Verhalten, das verbessert werden sollte, nach Beginn der Intervention mehr als viermal so häufig auftrat. Der Unterschied zwischen einer 23-prozentigen Steigerung und einer vierfachen Steigerung ist frappierend, und es schien zunächst darauf hindeuten, dass ein Widerspruch vorliege. Dennoch verworfen die Forscher diese Lücke nicht als Fehler oder als Mangel in den Daten. Stattdessen nutzten sie die neue Metrik, um zu erklären, warum die Zahlen so unterschiedlich aussah. Sie fanden heraus, dass die beiden Arten von Studien im Wesentlichen von unterschiedlichen Punkten aus starteten. Die Gruppenstudien verglichen die neue Technologie oft mit einer Standard-Klassenzimmerumgebung oder einer anderen Art von Unterricht, bei dem die Schüler bereits über ein moderates Niveau an Fähigkeiten verfügten. Die Einzelfallstudien hingegen begannen oft mit Schülern, die vor Beginn der Intervention ein sehr niedriges Niveau des Zielverhaltens aufwiesen. Weil der Ausgangspunkt so niedrig war, führte selbst eine bescheidene absolute Verbesserung zu einer massiven prozentualen Steigerung.

Diese Unterscheidung ist entscheidend, da sie die Art und Weise verändert, wie wir diese Interventionen interpretieren. Die neue Methode zeigte, dass die großen Zahlen in den Einzelfallstudien nicht unbedingt ein Zeichen dafür waren, dass die Behandlung für Einzelpersonen besser funktionierte als für Gruppen, sondern dass die Individuen mit einem viel niedrigeren Ausgangsniveau starteten. Das verhältnisbasierte Maß machte dies deutlich, indem es sich auf die relative Veränderung statt auf den absoluten Unterschied konzentrierte. Es verdeutlichte auch eine wesentliche Schwäche der älteren Methoden, die zum Vergleich dieser Studien verwendet wurden. Die traditionellen Werkzeuge vermischten oft die Größe der Verbesserung mit der Variabilität der Daten, was es schwierig machte zu sagen, ob eine große Wirkung real war oder nur ein Resultat der Streuung der Werte. Der neue Verhältnisansatz umging diese Falle vollständig und bot ein Ergebnis, das stabil blieb, unabhängig davon, wie stark die Werte variierten oder wie lange die Beobachtungssitzungen dauerten. Er lieferte zudem eine Zahl, die jeder verstehen konnte: Eine vierfache Steigerung ist ein greifbares Konzept, während ein komplexer statistischer Wert dies nicht ist.

Die Studie befasste sich auch mit der Frage, ob diese unterschiedlichen Ergebnisse durch einen Bias (Verzerrung) in der Art und Weise der Publikation von Studien verursacht wurden. Es ist eine verbreitete Sorge, dass Forscher eher Einzelfallstudien veröffentlichen, die enorme Verbesserungen zeigen, während sie solche mit kleinen oder keinen Effekten ignorieren. Während die Forscher einigten, dass ein solcher Bias existieren könnte, deutete ihre Analyse darauf hin, dass dies nicht die ganze Geschichte war. Die Daten ergaben, dass der Unterschied in den Ergebnissen weitgehend auf die grundlegenden Unterschiede in der Konzeption der Studien und dem, was sie maßen, zurückzuführen war. Die Gruppenstudien testeten, ob die Technologie besser als das bereits Verfügbare war, während die Einzelfallstudien testeten, ob die Technologie eine massive Veränderung aus einem Zustand geringer oder gar keiner Fähigkeit heraus bewirken konnte. Beide Befunde sind valide, aber sie beantworten unterschiedliche Fragen. Die Gruppenstudien legen nahe, dass die Technologie einen moderaten, aber bedeutsamen Vorteil gegenüber Standardpraktiken bietet, während die Einzelfallstudien zeigen, dass die Technologie für Schüler, die von einem sehr niedrigen Funktionsniveau starten, transformativ sein kann.

Indem sie diese beiden Welten überbrückten, ebneten die Forscher einen klareren Weg für die Synthese von Evidenz. Sie zeigten, dass es möglich ist, Erkenntnisse aus verschiedenen Forschungsarten zu kombinieren, ohne sie in eine einzige, irreführende Zahl zu zwingen. Die neue Methode ermöglicht es Wissenschaftlern, das vollständige Bild zu sehen: dass technologiegestützte Instruktion effektiv ist, ihr Einfluss aber je nach Kontext und Ausgangspunkt der Schüler unterschiedlich aussieht. Die Studie kommt zu dem Schluss, dass keine einzelne Zahl die gesamte Wahrheit über die Wirksamkeit einer Intervention erfassen kann. Stattdessen sollten Forscher und Praktiker sowohl die relative als auch die absolute Veränderung betrachten, um das volle Ausmaß der Kraft einer Intervention zu verstehen. Dieser Ansatz stellt sicher, dass Entscheidungen über Bildung und Therapie auf einem vollständigen und genauen Verständnis der Evidenz basieren, anstatt auf einer teilweisen Sichtweise, die die Nuancen darüber, wie verschiedene Schüler auf Hilfe reagieren, übersehen könnte. Die Arbeit zeigt, dass wir, wenn wir die richtigen Werkzeuge zur Messung von Veränderung verwenden, nicht nur sehen, dass etwas funktioniert, sondern genau, wie und für wen es am besten funktioniert.