Factorial multistratum designs for building, optimising or evaluating multilevel interventions embedded in learning systems: A taxonomy of factorial cluster-randomised trial designs and their variants

Stel je voor dat je de perfecte taart probeert te bakken, maar in plaats van alleen bloem en suiker te mengen, probeer je een hele bakkerij te repareren. Je moet beslissen hoe je de bakkers traint, welke recepten je op de menukaart zet en hoe je de ovens plaatst. Maar hier komt het lastige gedeelte: je kunt niet zomaar één ding tegelijk testen. Als je alleen de oventemperatuur verandert, mis je misschien dat de bakkers een ander soort schort nodig hebben om de taart te laten rijzen. Dit is de wereld van "complexe interventies" in de gezondheidszorg en het onderwijs. Wetenschappers proberen grote, rommelige systemen te begrijpen en te verbeteren — zoals ziekenhuizen, scholen of hele gemeenschappen — waar veel verschillende onderdelen met elkaar interageren. Om dit te doen, gebruiken ze een speciaal hulpmiddel genaamd een "gerandomiseerde gecontroleerde studie", wat een wetenschappelijk experiment is waarbij ze een muntje opgooien om te beslissen wie welke versie van de hulp krijgt. Maar wanneer je tegelijkertijd vele onderdelen van een systeem moet testen, en die onderdelen bij verschillende groepen behoren (zoals leerlingen binnen klaslokalen, binnen scholen, binnen districten), wordt de wiskunde ongelooflijk ingewikkeld. Het is also'n een Rubik's kubus proberen op te lossen waarbij elke laag een andere kleur en grootte heeft, en je moet uitzoeken welke draai de hele puzzel oplost zonder de andere stukjes te breken.

Dit artikel is een gids om die Rubik's kubus te ontwarren. De auteurs, een team van statistici en onderzoekers, merkten op dat hoewel wetenschappers deze complexe, meerlagige experimenten al decennia lang gebruiken in de landbouw en fabrieken, de mensen die medische en sociale studies uitvoeren vaak in de war raken door het jargon. Ze noemen deze ontwerpen "factoriële multistratum-ontwerpen", wat klinkt als een mond vol technische termen, maar het betekent in feite het tegelijkertijd testen van verschillende zaken over verschillende niveaus van een systeem. Het artikel bedenkt geen nieuw wondermiddel en beweert niet dat het elk probleem in de gezondheidszorg heeft opgelost. In plaats daarvan stelt het een nieuwe, duidelijkere "taxonomie" voor — een chique woord voor een classificatiesysteem of een kaart — om onderzoekers te helpen deze lastige experimenten te beschrijven. Door naar 44 echte onderzoeken te kijken en een theoretisch voorbeeld te creëren over de bestrijding van overgewicht bij kinderen op scholen, stellen de auteurs een standaardmanier voor om deze ontwerpen te beschrijven. Ze betogen dat als we een gemeenschappelijke taal gebruiken, we beter kunnen begrijpen hoe we interventies kunnen bouwen, verbeteren en testen die op meerdere niveaus tegelijk werken, van de individuele patiënt tot aan het nationale beleidsniveau.

Het Grote Plaatje: Waarom we een kaart nodig hebben voor rommelige systemen

Laten we beginnen bij het probleem. Stel je voor dat je een directeur bent die probeert te voorkomen dat kinderen te veel aankomen. Je zou ze gewoon kunnen vertellen dat ze gezonder moeten eten. Maar misschien ligt het probleem niet alleen bij de kinderen; misschien is het de kantine van de school, de gymles, of zelfs de regels die het district voor de hele stad vaststelt. Een "meerdereliggende interventie" is wanneer je al deze zaken tegelijkertijd probeert te repareren. Je verandert misschien het menu (voor de school), traint de leraren (voor het klaslokaal) en voert een campagne voor ouders (voor de gemeenschap).

Het probleem is: hoe weet je welk deel er werkelijk heeft gewerkt? Kwamen de kinderen minder aan door het nieuwe menu, de training van de leraren, of door het feit dat het een zonnige lente was? In de oude dagen zouden wetenschappers misschien slechts één ding tegelijk testen, zoals een parallelle race waarbij één groep het menu krijgt en een andere groep niets krijgt. Maar dat is traag en verspillend. Het is alsof je de beste auto probeert te vinden door eerst de motor, dan de banden, en dan de lak te testen, één voor één, in plaats van te zien hoe ze samenwerken.

Hier komt het "factoriële ontwerp" om de hoek kijken. Denk aan dit als een zeer efficiënt proefmenu. In plaats van de motor en de banden apart te testen, test je vier combinaties tegelijkertijd:

1. Oude motor, oude banden.
2. Nieuwe motor, oude banden.
3. Oude motor, nieuwe banden.
4. Nieuwe motor, nieuwe banden.

Dit vertelt je niet alleen of de nieuwe motor goed is, maar ook of de nieuwe banden beter werken met de nieuwe motor. Dit is de "Multiphase Optimisation Strategy" (of MOST), een populaire manier om de best mogelijke interventie op te bouwen voordat men deze op grote schaal probeert.

Maar hier wordt het rommelig. In een eenvoudig experiment gooi je voor elke persoon een muntje op. In een "cluster-gerandomiseerde studie" (CRT) gooi je het muntje voor een hele groep, zoals een hele school of een heel ziekenhuis. Waarom? Omdat als je één kind in een school vertelt dat het salade moet eten en het volgende kind dat het pizza mag eten, het eerste kind misschien gewoon de pizza van het tweede kind pakt. Om deze "besmetting" te voorkomen, randomiseren we de hele school.

Stel je nu voor dat je het menu (voor de school) EN de training van de leraren (voor het klaslokaal) EN de nieuwsbrief voor ouders (voor het district) wilt testen. Je kunt niet zomaan één muntje opgooien. Je moet een muntje opgooien voor het district, een ander muntje voor de school, en een ander voor het klaslokaal. Dit creëert een "multistratum" ontwerp. Het is als een Russische matroesjka-pop van randomisatie. Het probleem is dat de mensen die deze ontwerpen bestuderen (voornamelijk boeren en fabrieksmanagers) een geheime taal gebruiken die artsen en leraren niet spreken. De tekstboeken staan vol met landbouwvoorbeelden, niet met medische voorbeelden. Dit artikel is hier om die geheime taal te vertalen naar begrijpelijk Engels.

De Missie van het Papier: Het Bouwen van een Universele Vertaler

De auteurs, onder leiding van Rebecca Walwyn en haar team, wilden een gemeenschappelijke taal creëren voor deze complexe studies. Ze hebben niet alleen in een lab gezeten en theorieën bedacht; ze hebben gekeken naar 44 klinische trials die al waren uitgevoerd. Ze hebben ook een "theoretisch voorbeeld" gebouwd op basis van een scenario uit de echte wereld: een campagne om overgewicht bij kinderen op scholen te verminderen.

In hun voorbeeld stelden ze zich een systeem voor met drie niveaus:

• Districten: De grote bazen.
• Scholen: De middenmanagers.
• Klaslokalen: De frontlinie.

Ze wilden vier verschillende "ingrediënten" (behandelingsfactoren) testen:

1. Trainingen: Voor de leraren.
2. Beleid: Regels vastgesteld door het district.
3. Menu's: Wat de school serveert.
4. Activiteiten: Wat er in de gymles gebeurt.

De belangrijkste bevinding van het artikel is dat er tien verschillende manieren zijn om deze experimenten in te richten, afhankelijk van hoe je de muntjes opgooit en waar je de ingrediënten toepast. Ze hebben een "taxonomie" (een kaart) gemaakt om deze tien ontwerpen te benoemen en te beschrijven.

In plaats van te zeggen "we deden een split-plot ding", wat naar tuinieren klinkt, stellen ze een duidelijke driedelige beschrijving voor voor elke trial:

1. Behandelingsstructuur: Wat testen we? (bijv. een 2x2 ontwerp betekent twee ingrediënten, elk met twee versies: "aan" of "uit").
2. Eenheidsstructuur: Wie doet er mee aan het experiment? Is het een hiërarchie (kinderen binnen klaslokalen binnen scholen) of een mix waarbij tijdperioden met scholen kruisen?
3. Randomisatiedesign: Hoe hebben we de muntjes opgegooid? Hebben we de hele school gerandomiseerd, of alleen de klaslokalen binnen de school?

De Tien Ontwerpen: Een Rondleiding door het Lab

De auteurs verdelen de mogelijkheden in drie hoofdfamilies, waarbij ze hun voorbeeld over obesitas gebruiken om te laten zien hoe ze werken.

Familie 1: De Hiërarchische Ontwerpen (De Russische Matroesjka's)
Dit zijn de meest voorkomende. Stel je een schoolsysteem voor waar kinderen in klaslokalen zitten, die in scholen zitten, die in districten zitten.

• Ontwerp A (De Simpele): Je gooit één muntje voor de hele school. De school krijgt een nieuw menu en nieuwe instructietraining samen. Het is een standaard "2x2" test, maar de hele school is de eenheid.
• Ontwerp B (De Split-Plot): Dit is waar het slim wordt. Je gooit een muntje voor de school om het menu te bepalen. Maar dan, binnen diezelfde school, gooi je een ander muntje voor elk klaslokaal om de lerartraining te bepalen. Dit is als een "split-plot" ontwerp. Het is efficiënt omdat je niet het hele menu van de school voor elk klaslokaal hoeft te veranderen, maar je kunt de training nog steeds apart testen.
• Ontwerp C & D (De Diepe Duik): Deze zijn nog complexer. Ontwerp C voegt een laag toe waarbij de uitkomst wordt gemeten op individuele leerlingen, niet alleen op klaslokalen. Ontwerp D voegt een derde ingrediënt toe (districtbeleid) en randomiseert dat op het hoogste niveau, de school op het middelste niveau, en het klaslokaal op het laagste niveau. Het is een "split-split-plot" ontwerp. Het stelt je in staat om precies te zien welk niveau van het systeem het zware werk verricht.

Familie 2: De Kruisklassieke Ontwerpen (De Tijdreizigers)
Deze ontwerpen voegen een draai toe: Tijd. Stel je voor dat de scholen hetzelfde zijn, maar het experiment loopt over 12 maanden.

• Ontwerp E: De school krijgt een behandeling (zoals een nieuw beleid) en houdt dit 12 maanden vast. Je meet de kinderen elke maand.
• Ontwerp F: Dit is een "crossover" ontwerp. De school probeert Behandeling A gedurende 3 maanden, dan Behandeling B gedurende 3 maanden, dan weer A, en dan weer B. Het is als een Latin Square-dans waarbij elke school over de tijd elke combinatie probeert.
• Ontwerp G & H: Deze mengen de zaken. Misschien krijgt het district een beleid dat 12 maanden blijft staan, maar krijgt de tijdperiode elke maand een andere training. Of misschien verandert het menu van de school elke maand, maar blijft het districtbeleid ongewijzigd. Dit wordt een "strip-plot" ontwerp genoemd. Het is geweldig om te zien hoe een systeem in de loop van de tijd "leert".

Familie 3: De Gemengde Ontwerpen (De Ultieme Hybride)
Dit zijn de zwaargewichten. Ze combineren de nesting van Familie 1 met de tijd-kruising van Familie 2.

• Ontwerp I & J: Stel je een systeem voor waarbij het districtbeleid een jaar lang vaststaat, maar het menu van de school elke maand verandert, en de activiteit in het klaslokaal elke week verandert. Of misschien verandert de training elke maand. Deze ontwerpen stellen onderzoekers in staat om vier verschillende ingrediënten over vier verschillende niveaus van het systeem te testen, terwijl ze tegelijkertijd bijhouden hoe het systeem leert en zich aanpast over de tijd.

Wat het Papier Zegt (en Niet Zegt)

De auteurs zijn zeer duidelijk over wat ze wel en niet hebben gedaan. Ze stellen voor dat het gebruik van deze nieuwe taal het voor onderzoekers makkelijker maakt om deze studies te plannen en voor statistici om ze te analyseren. Ze vonden dat er al 44 echte klinische trials bestaan die in deze categorieën passen, wat bewijst dat deze complexe ontwerpen niet alleen theoretisch zijn — ze worden nu gebruikt in de eerstelijnszorg, scholen en ziekenhuizen.

Het artikel beweert echter niet dat deze ontwerpen altijd de beste keuze zijn. Sterker nog, ze wijzen op vier grote praktische uitdagingen:

1. Het Systeem is Rommelig: Echte ziekenhuizen en scholen zijn geen perfecte dozen. Ze fuseren, splitsen en veranderen van omvang. Je kunt niet altijd het perfecte "gebalanceerde" experiment krijgen.
2. Besmetting: Als je een behandeling aan een klaslokaal toewijst, kunnen de kinderen in het volgende klaslokaal erachter komen en het kopiëren. Deze "spillover" kan het experiment verpesten, maar soms is het juist een goed ding (zoals een vaccin dat de hele kudde beschermt).
3. Overdracht (Carryover): Als je een behandeling test in januari en dan in februari overschakelt naar een nieuwe, kunnen de effecten van januari nog steeds in februari aanwezig zijn. Dit is een risico bij tijdgebonden ontwerpen.
4. Communicatie: Het is moeilijk om een arts of een schooldirecteur uit te leggen waarom je zo'n ingewikkeld ontwerp nodig hebt. Ze willen misschien gewoon een simpel antwoord. De auteurs merken op dat het krijgen van draagvlak veel geduld en heldere communicatie vereist.

De Kernboodschap

Dit artikel is een gereedschapskist, geen toverstaf. Het vertelt je niet welke interventie zal werken om obesitas te stoppen of een ziekte te genezen. In plaats daarvan geeft het onderzoekers een betere manier om de vraag te stellen. Door een duidelijke kaart te bieden van de tien verschillende manieren om deze meerlagige, tijdgebonden experimenten op te zetten, hopen de auteurs de verwarring en de "ondoorzichtige taal" te stoppen die deze krachtige instrumenten in de schaduw hebben gehouden.

Ze suggereren dat als we deze gedeelde taal gebruiken, we betere interventies kunnen bouwen die zijn afgestemd op de echte wereld, waar problemen niet geïsoleerd voorkomen maar doorwerken in gezinnen, scholen en gemeenschappen. Het artikel suggereert dat de toekomst van het testen van complexe interventies ligt in het omarmen van deze complexiteit, in plaats van het te vermijden. Het is een oproep tot actie aan de wetenschappelijke gemeenschap om te stoppen met deze ontwerpen als een mysterie te behandelen en ze te gaan behandelen als de geavanceerde, krachtige instrumenten die ze zijn. De volgende stap, zeggen de auteurs, is om uit te zoeken hoe groot deze experimenten precies moeten zijn en hoe we de data moeten analyseren, maar voor nu hebben we de kaart. En met een kaart wordt zelfs de meest verwarrende Rubik's kubus oplosbaar.