Factorial multistratum designs for building, optimising or evaluating multilevel interventions embedded in learning systems: A taxonomy of factorial cluster-randomised trial designs and their variants

Stellen Sie sich vor, Sie versuchen, das perfekte Kuchenrezept zu backen, aber anstatt nur Mehl und Zucker zu mischen, versuchen Sie, eine ganze Bäckerei zu reparieren. Sie müssen entscheiden, wie die Bäcker geschult werden, welche Rezepte auf die Speisekarte kommen und wie die Öfen angeordnet werden. Aber der knifflige Teil ist: Sie können nicht einfach eins nach dem anderen testen. Wenn Sie nur die Ofentemperatur ändern, übersehen Sie vielleicht, dass die Bäcker eine andere Art von Schürze benötigen, damit der Kuchen aufgeht. Dies ist die Welt der „komplexen Interventionen“ im Gesundheitswesen und in der Bildung. Wissenschaftler versuchen herauszufinden, wie man große, unübersichtliche Systeme behebt – wie Krankenhäuser, Schulen oder ganze Gemeinschaften –, in denen viele verschiedene Teile miteinander interagieren. Um dies zu erreichen, nutzen sie ein spezielles Werkzeug namens „randomisierte kontrollierte Studie“, was wie ein wissenschaftliches Experiment ist, bei dem man eine Münze wirft, um zu entscheiden, wer welche Version der Hilfe erhält. Aber wenn man viele Teile eines Systems gleichzeitig testen muss und diese Teile verschiedenen Gruppen gehören (wie Schüler innerhalb von Klassenzimmern, innerhalb von Schulen, innerhalb von Bezirken), wird die Mathematik unglaublich kompliziert. Es ist, als versuche man, einen Rubik's Cube zu lösen, bei dem jede Ebene eine andere Farbe und Größe hat und man herausfinden muss, welche Drehung das gesamte Rätsel löst, ohne die anderen Teile zu beschädigen.

Dieses Papier ist ein Leitfaden, um diesen Rubik's Cube zu entwirren. Die Autoren, ein Team aus Statistikern und Forschern, haben bemerkt, dass Wissenschaftler diese komplexen, mehrschichtigen Experimente zwar schon seit Jahrzehnten in der Landwirtschaft und Fabrikation anwenden, die Menschen, die medizinische und soziale Studien leiten, sich jedoch oft über den Fachjargon wundern. Sie bezeichnen diese Designs als „faktorielle Multistratum-Designs“, was nach einem Wortungetüm voller technischer Begriffe klingt, aber im Grunde bedeutet, mehrere Dinge gleichzeitig über verschiedene Ebenen eines Systems hinweg zu testen. Das Papier erfindet kein neues Zaubermittel und behauptet auch nicht, jedes Problem im Gesundheitswesen gelöst zu haben. Stattdessen schlägt es eine neue, klarere „Taxonomie“ vor – ein schicker Begriff für ein Klassifizierungssystem oder eine Karte –, die Forschern hilft, diese kniffligen Experimente zu beschreiben. Durch die Betrachtung von 44 realen Studien und die Erstellung eines theoretischen Beispiels über die Bekämpfung von Fettleibigkeit bei Kindern in Schulen, schlagen die Autoren einen Standardweg vor, um über diese Designs zu sprechen. Sie argumentieren, dass wir durch eine gemeinsame Sprache besser verstehen können, wie wir Interventionen entwickeln, verbessern und testen können, die auf mehreren Ebenen gleichzeitig wirken – vom einzelnen Patienten bis hin zur nationalen Politik.

Das Große Ganze: Warum wir eine Karte für unübersichtliche Systeme brauchen

Beginnen wir mit dem Problem. Stellen Sie sich vor, Sie sind ein Schulleiter, der versuchen möchte, Kinder daran zu hindern, zu viel zuzunehmen. Sie könnten den Kindern einfach sagen, dass sie besser essen sollen. Aber vielleicht liegt das Problem nicht nur bei den Kindern; vielleicht ist es die Schulkantine, der Sportunterricht oder sogar die Regeln, die der Bezirk für die ganze Stadt festlegt. Eine „multilevel Intervention“ ist, wenn man versucht, all diese Dinge gleichzeitig zu beheben. Sie könnten das Menü ändern (für die Schule), die Lehrer trainieren (für das Klassenzimmer) und eine Kampagne für Eltern durchführen (für die Gemeinschaft).

Das Problem ist: Woher wissen Sie, welcher Teil tatsächlich funktioniert hat? Haben die Kinder wegen des neuen Menüs abgenommen, wegen des Lehrer-Trainings oder wegen des Tatsache, dass es ein sonniger Frühling war? In der Vergangenheit hätten Wissenschaftler vielleicht nur eine Sache nach der anderen getestet, wie ein paralleles Rennen, bei dem eine Gruppe das Menü erhält und eine andere Gruppe nichts. Das ist langsam und verschwenderisch. Es ist, als versuche man, das beste Auto zu finden, indem man erst den Motor, dann die Reifen, dann die Lackierung testet, anstatt zu sehen, wie sie zusammenarbeiten.

Hier kommt das „faktorielle Design“ ins Spiel. Betrachten Sie dies als ein hocheffizientes Degustationsmenü. Anstatt den Motor und die Reifen separat zu testen, testen Sie vier Kombinationen gleichzeitig:

1. Alter Motor, alte Reifen.
2. Neuer Motor, alte Reifen.
3. Alter Motor, neue Reifen.
4. Neuer Motor, neue Reifen.

Dies sagt Ihnen nicht nur, ob der neue Motor gut ist, sondern auch, ob die neuen Reifen besser mit dem neuen Motor funktionieren. Dies ist die „Multiphase Optimisation Strategy“ (oder MOST), ein populärer Weg, um die bestmögliche Intervention aufzubauen, bevor man sie in großem Maßstab ausprobiert.

Aber hier wird es unübersichtlich. In einem einfachen Experiment wirft man für jede Person eine Münze. In einer „Cluster-randomisierten Studie“ (CRT) wirft man die Münze für eine ganze Gruppe, wie eine ganze Schule oder ein ganzes Krankenhaus. Warum? Weil man, wenn man einem Kind in einer Schule sagt, es solle Salat essen, und dem nächsten Kind, es solle Pizza essen, das erste Kind vielleicht einfach die Pizza des zweiten Kindes schnappt. Um diese „Kontamination“ zu vermeiden, randomisiert man die ganze Schule.

Stellen Sie sich nun vor, Sie wollen das Menü testen (für die Schule) UND das Lehrer-Training (für das Klassenzimmer) UND den Eltern-Newsletter (für den Bezirk). Sie können nicht einfach eine Münze werfen. Sie müssen eine Münze für den Bezirk werfen, eine andere Münze für die Schule und eine weitere für das Klassenzimmer. Dies erzeugt ein „Multistratum“-Design. Es ist wie eine russische Matroschka-Puppe der Randomisierung. Das Problem ist, dass die Menschen, die diese Designs untersuchen (meistens Landwirte und Fabrikmanager), eine Geheimsprache verwenden, die Ärzte und Lehrer nicht sprechen. Die Lehrbücher sind voll von Beispielen aus der Landwirtschaft, nicht aus dem Krankenhaus. Dieses Papier ist hier, um diese Geheimsprache in einfaches Englisch (bzw. Deutsch) zu übersetzen.

Die Mission des Papiers: Einen universellen Übersetzer bauen

Die Autoren, angeführt von Rebecca Walwyn und ihrem Team, haben sich zum Ziel gesetzt, eine gemeinsame Sprache für diese komplexen Studien zu schaffen. Sie saßen nicht nur in einem Labor und träumten von Theorien; sie haben sich 44 klinische Studien angesehen, die bereits durchgeführt wurden. Sie haben auch ein „theoretisches Beispiel“ basierend auf einem realen Szenario erstellt: einer Kampagne zur Reduzierung von Fettleibigkeit bei Kindern in Schulen.

In ihrem Beispiel stellten sie sich ein System mit drei Ebenen vor:

• Bezirke: Die großen Chefs.
• Schulen: Die mittleren Manager.
• Klassenzimmer: Die Frontlinie.

Sie wollten vier verschiedene „Zutaten“ (Behandlungsfaktoren) testen:

1. Trainings: Für die Lehrer.
2. Richtlinien: Regeln, die der Bezirk festlegt.
3. Menüs: Was die Schule serviert.
4. Aktivitäten: Was im Sportunterricht passiert.

Die Hauptfindung des Papiers ist, dass es zehn verschiedene Wege gibt, diese Experimente anzuordnen, je nachdem, wie man die Münzen wirft und wo man seine Zutaten anwendet. Sie haben eine „Taxonomie“ (eine Karte) erstellt, um diese zehn Designs zu benennen und zu beschreiben.

Anstatt zu sagen „wir haben ein Split-Plot-Ding gemacht“, was nach Gartenarbeit klingt, schlagen sie eine klare dreiteilige Beschreibung für jedes Experiment vor:

1. Behandlungsstruktur: Was testen wir? (z. B. ein 2x2-Design bedeutet zwei Zutaten, die jeweils zwei Versionen haben: „an“ oder „aus“).
2. Einheitenstruktur: Wer nimmt am Experiment teil? Ist es eine Hierarchie (Kinder in Klassenzimmern in Schulen) oder eine Mischung, bei der Zeitperioden mit Schulen kreuzen?
3. Randomisierungsdesign: Wie haben wir die Münzen geworfen? Haben wir die ganze Schule randomisiert oder nur die Klassenzimmer innerhalb der Schule?

Die Zehn Designs: Eine Tour durch das Labor

Die Autoren unterteilen die Möglichkeiten in drei Hauptfamilien und nutzen ihr Beispiel zur Fettleibigkeit, um zu zeigen, wie sie funktionieren.

Familie 1: Die hierarchischen Designs (Die Matroschka-Puppen)
Dies sind die häufigsten. Stellen Sie sich ein Schulsystem vor, in dem Kinder in Klassenzimmern sind, die in Schulen sind, die wiederum in Bezirken sind.

• Design A (Das einfache): Sie werfen eine Münze für die ganze Schule. Die Schule erhält ein neues Menü und ein neues Lehrer-Training zusammen. Es ist ein Standard-"2x2"-Test, aber die ganze Schule ist die Einheit.
• Design B (Das Split-Plot): Hier wird es clever. Sie werfen eine Münze für die Schule, um das Menü zu entscheiden. Aber dann werfen Sie innerhalb derselben Schule eine andere Münze für jedes Klassenzimmer, um das Lehrer-Training zu entscheiden. Dies ist wie ein „Split-Plot“-Design. Es ist effizient, weil Sie nicht das Menü der ganzen Schule für jedes einzelne Klassenzimmer ändern müssen, aber Sie können das Training dennoch separat testen.
• Design C & D (Der Tiefenbohrflug): Diese sind noch komplexer. Design C fügt eine Ebene hinzu, auf der das Ergebnis auf der Ebene der einzelnen Schüler gemessen wird, nicht nur auf Klassenzimmer-Ebene. Design D fügt eine dritte Zutat (Bezirksrichtlinien) hinzu und randomisiert diese auf der obersten Ebene, die Schule auf der mittleren Ebene und das Klassenzimmer auf der untersten Ebene. Es ist ein „Split-Split-Plot“-Design. Es ermöglicht Ihnen zu sehen, welche Ebene des Systems die Hauptarbeit leistet.

Familie 2: Die kreuzklassifizierten Designs (Die Zeitreisenden)
Diese Designs fügen einen Twist hinzu: Zeit. Stellen Sie sich vor, die Schulen sind dieselben, aber das Experiment läuft über 12 Monate.

• Design E: Die Schule erhält eine Behandlung (wie eine neue Richtlinie) und behält sie für 12 Monate. Sie messen die Kinder jeden Monat.
• Design F: Dies ist ein „Crossover“-Design. Die Schule probiert Behandlung A für 3 Monate, dann Behandlung B für 3 Monate, dann wieder A, dann wieder B. Es ist wie ein Latin-Square-Tanz, bei dem jede Schule über die Zeit jede Kombination ausprobiert.
• Design G & G: Diese mischen die Dinge. Vielleicht erhält der Bezirk eine Richtlinie, die 12 Monate lang gleich bleibt, aber die Zeitperioden erhalten jeden Monat ein anderes Training. Oder vielleicht ändert die Schule jeden Monat ihr Menü, aber die Bezirksrichtlinie bleibt unverändert. Dies wird als „Strip-Plot“-Design bezeichnet. Es ist großartig, um zu sehen, wie ein System im Laufe der Zeit „lernt“.

Familie 3: Die gemischten Designs (Das ultimative Hybrid)
Dies sind die Schwergewichte. Sie kombinieren die Verschachtelung von Familie 1 mit der Zeitkreuzung von Familie 2.

• Design I & J: Stellen Sie sich ein System vor, in dem die Bezirksrichtlinie ein Jahr lang feststeht, aber das Schulmenü jeden Monat wechselt und die Aktivität im Klassenzimmer jede Woche wechselt. Oder vielleicht ändert sich das Training jeden Monat. Diese Designs ermöglichen es Forschern, vier verschiedene Zutaten über vier verschiedene Ebenen des Systems hinweg zu testen, während sie gleichzeitig verfolgen, wie das System lernt und sich anpasst.

Was das Papier sagt (und nicht sagt)

Die Autoren sind sich sehr klar darüber, was sie getan haben und was nicht. Sie schlagen vor, dass die Verwendung dieser neuen Sprache es Forschern erleichtern wird, diese Studien zu planen, und Statistikern, sie zu analysieren. Sie stellten fest, dass bereits 44 reale Studien existieren, die in diese Kategorien fallen, was beweist, dass diese komplexen Designs nicht nur theoretisch sind – sie werden in der Primärversorgung, in Schulen und in Krankenhäusern bereits eingesetzt.

Das Papier behauptet jedoch nicht, dass diese Designs immer die beste Wahl sind. Tatsächlich weisen sie auf vier große praktische Herausforderungen hin:

1. Das System ist unübersichtlich: Reale Krankenhäuser und Schulen sind keine perfekten Boxen. Sie fusionieren, teilen sich auf und ändern ihre Größe. Man kann nicht immer ein perfektes „balanciertes“ Experiment durchführen.
2. Kontamination: Wenn man eine Behandlung einem Klassenzimmer zuweist, könnten die Kinder im nächsten Klassenzimmer davon erfahren und es kopieren. Dieser „Spillover“-Effekt kann das Experiment ruinieren, oder er ist manchmal sogar etwas Gutes (wie eine Impfung, die die ganze Herde schützt).
3. Carryover-Effekte: Wenn man eine Behandlung im Januar testet und dann im Februar zu einer neuen wechselt, könnten die Effekte vom Januar noch im Februar nachwirken. Dies ist ein Risiko bei zeitbasierten Designs.
4. Kommunikation: Es ist schwer, einem Arzt oder einem Schulleiter zu erklären, warum man ein so kompliziertes Design benötigt. Sie wollen vielleicht nur eine einfache Antwort. Die Autoren merken an, dass es Geduld und klare Kommunikation braucht, um alle mit ins Boot zu holen.

Das Fazit

Dieses Papier ist ein Werkzeugkasten, kein Zauberstab. Es sagt Ihnen nicht, welche Intervention funktionieren wird, um Fettleibigkeit zu stoppen oder Krankheiten zu heilen. Stattdessen gibt es Forschern einen besseren Weg, die Frage zu stellen. Indem sie eine klare Karte der zehn verschiedenen Möglichkeiten bereitstellen, diese mehrstufigen und zeitbasierten Experimente aufzustellen, hoffen die Autoren, die Verwirrung und die „undurchsichtige Sprache“ zu beenden, die diese mächtigen Werkzeuge bisher in den Schatten gestellt haben.

Sie schlagen vor, dass die Zukunft des Testens komplexer Interventionen darin liegt, diese Komplexität anzunehmen, anstatt sie zu vermeiden. Es ist ein Aufruf an die wissenschaftliche Gemeinschaft, diese Designs nicht länger als ein Mysterium zu betrachten, sondern als die hochentwickelten, leistungsstarken Werkzeuge, die sie sind. Der nächste Schritt, so sagen die Autoren, besteht darin, genau zu bestimmen, wie groß diese Experimente sein müssen und wie man die Daten analysiert, aber für den Moment haben wir die Karte. Und mit einer Karte wird selbst der am stärksten verhedderte Rubik's Cube lösbar.