Factorial multistratum designs for building, optimising or evaluating multilevel interventions embedded in learning systems: A taxonomy of factorial cluster-randomised trial designs and their variants

Immagina di cercare di preparare la torta perfetta, ma invece di limitarti a mescolare farina e zucchero, stai cercando di sistemare un'intera pasticceria. Devi decidere come formare i pasticceri, quali ricette inserire nel menù e come disporre i forni. Ma ecco la parte complicata: non puoi testare una cosa alla volta. Se cambi solo la temperatura del forno, potresti non accorgerti del fatto che i pasticceri hanno bisogno di un tipo diverso di grembiule per far lievitare la torta. Questo è il mondo degli "interventi complessi" nell'assistenza sanitaria e nell'istruzione. Gli scienziati stanno cercando di capire come sistemare sistemi grandi e disordinati — come ospedali, scuole o intere comunità — dove molte parti diverse interagiscono tra loro. Per farlo, usano uno strumento speciale chiamato "trial controllato randomizzato", che è come un esperimento scientifico in cui si lancia una moneta per decidere chi riceve quale versione dell'aiuto. Ma quando devi testare molte parti di un sistema contemporaneamente, e queste parti appartengono a gruppi diversi (come gli studenti all'interno delle classi, all'interno delle scuole, all'interno dei distretti), la matematica diventa incredibilmente complicata. È come cercare di risolvere un Cubo di Rubik dove ogni strato è di un colore e una dimensione diversa, e devi capire quale torsione risolve l'intero puzzle senza rompere gli altri pezzi.

Questo articolo è una guida per districare quel Cubo di Rubik. Gli autori, un team di statistici e ricercatori, hanno notato che mentre gli scienziati usano questi esperimenti complessi e multilivello da decenni in agricoltura e nelle fabbriche, le persone che gestiscono studi medici e sociali spesso si confondono con il gergo tecnico. Chiamano questi disegni "disegni fattoriali multistrato", che suona come un insieme di termini tecnici altisonanti, ma in sostanza significa testare diverse cose contemporaneamente attraverso diversi livelli di un sistema. L'articolo non inventa una nuova pillola magica né sostiene di aver risolto ogni problema nella sanità. Invece, propone una nuova e più chiara "tassonomia" — una parola elegante per un sistema di classificazione o una mappa — per aiutare i ricercatori a descrivere questi esperimenti complicati. Guardando a 44 trial reali e creando un esempio teorico sulla lotta all'obesità infantile nelle scuole, gli autori suggeriscono un modo standard per parlare di questi disegni. Sostengono che se usiamo un linguaggio comune, potremo comprendere meglio come costruire, migliorare e testare interventi che funzionano su più livelli contemporaneamente, dal singolo paziente fino al livello di politica nazionale.

Il quadro generale: Perché abbiamo bisogno di una mappa per i sistemi disordinati

Partiamo dal problema. Immagina di essere un preside che cerca di impedire ai ragazzi di aumentare troppo di peso. Potresti semplicemente dire loro di mangiare meglio. Ma forse il problema non sono solo i ragazzi; forse è la mensa scolastica, l'ora di palestra o persino le regole che il distretto stabilisce per tutta la città. Un "intervento multilivello" è quando provi a sistemare tutte queste cose contemporaneamente. Potresti cambiare il menù della mensa (per la scuola), formare gli insegnanti (per la classe) e lare una campagna per i genitori (per la comunità).

Il problema è: come fai a sapere quale parte ha effettivamente funzionato? I ragazzi sono dimagriti grazie al nuovo menù, alla formazione degli insegnanti o al fatto che era una soleggiata primavera? Nei vecchi tempi, gli scienziati avrebbero potuto testare una sola cosa alla volta, come una gara parallela dove un gruppo riceve il menù e un altro non riceve nulla. Ma questo è lento e sprecone. È come cercare di trovare la migliore auto testando prima il motore, poi gli pneumatici, poi la vernice, uno alla volta, invece di vedere come lavorano insieme.

Entra in gioco il "disegno fattoriale". Pensa a questo come a un menù degustazione super efficiente. Invezione di testare il motore e gli pneumatici separatamente, ne testi quattro combinazioni contemporaneamente:

1. Vecchio motore, vecchi pneumatici.
2. Nuovo motore, vecchi pneumatici.
3. Vecchio motore, nuovi pneumatici.
4. Nuovo motore, nuovi pneumatici.

Questo ti dice non solo se il nuovo motore è buono, ma anche se i nuovi pneumatici funzionano meglio con il nuovo motore. Questo è il "Multiphase Optimisation Strategy" (o MOST), un modo popolare per costruire il miglior intervento possibile prima di provarlo su scala massiccia.

Ma ecco dove la cosa si complica. In un esperimento semplice, lanci una moneta per ogni persona. In un "trial cluster-randomizzato" (CRT), lanci la moneta per un intero gruppo, come un'intera scuola o un intero ospedale. Perché? Perché se dici a un bambino in una scuola di mangiare l'insalata e al successivo di mangiare la pizza, il primo bambino potrebbe semplicemente prendere la pizza del secondo. Per evitare questa "contaminazione", randomizziamo l'intera scuola.

Ora, immagina di voler testare il menù (per la scuola) E la formazione degli insegnanti (per la classe) E la newsletter per i genitori (per il distretto). Non puoi semplicemente lanciare una moneta. Devi lanciare una moneta per il distretto, una moneta diversa per la scuola e un'altra per la classe. Questo crea un disegno "multistrato". È come una matrioska di randomizzazione. Il problema è che le persone che studiano questi disegni (soprattutto agricoltori e manager di fabbrica) usano un linguaggio segreto che i medici e gli insegnanti non parlano. I libri di testo sono pieni di esempi agricoli, non ospedalieri. Questo articolo è qui per tradurre quel linguaggio segreto in un inglese semplice.

La missione del documento: Costruire un traduttore universale

Gli autori, guidati da Rebecca Walwyn e dal suo team, si sono posti l'obiettivo di creare un linguaggio comune per questi trial complessi. Non si sono limitati a stare in un laboratorio a sognare teorie; hanno esaminato 44 trial clinici reali che erano già stati eseguiti. Hanno anche costruito un "esempio teorico" basato su uno scenario del mondo reale: una campagna per ridurre l'obesità infantile nelle scuole.

Nel loro esempio, hanno immaginato un sistema con tre livelli:

• Distretti: I grandi capi.
• Scuole: I dirigenti intermedi.
• Classi: La linea del fronte.

Volevano testare quattro diversi "ingredienti" (fattori di trattamento):

1. Formazioni: Per gli insegnanti.
2. Politiche: Regole stabilite dal distretto.
3. Menù: Ciò che la scuola serve.
4. Attività: Ciò che accade in palestra.

La scoperta principale del documento è che ci sono dieci modi distinti per organizzare questi esperimenti, a seconda di come lanci le monete e dove applichi i tuoi ingredienti. Hanno creato una "tassonomia" (una mappa) per nominare e descrivere questi dieci disegni.

Invece di dire "abbiamo fatto una cosa tipo split-plot", che suona come giardinaggio, propongono una descrizione chiara in tre parti per ogni trial:

1. Struttura del Trattamento: Cosa stiamo testando? (ad esempio, un disegno 2x2 significa due ingredienti, ciascuno con due versioni: "acceso" o "spento").
2. Struttura dell'Unità: Chi è coinvolto nell'esperimento? È una gerarchia (bambini dentro le classi, dentro le scuole) o un mix dove i periodi temporali si incrociano con le scuole?
3. Disegno di Randomizzazione: Come abbiamo lanciato le monete? Abbiamo randomizzato l'intera scuola o solo le classi all'interno della scuola?

I Dieci Disegni: Un tour del laboratorio

Gli autori suddividono le possibilità in tre famiglie principali, usando il loro esempio sull'obesità per mostare come funzionano.

Famiglia 1: I Disegni Gerarchici (Le Matrioske)
Questi sono i più comuni. Immagina un sistema scolastico dove i bambini sono in classi, che sono in scuole, che sono in distretti.

• Disegno A (Il Semplice): Lanci una moneta per l'intera scuola. La scuola riceve un nuovo menù e una nuova formazione per gli insegnanti insieme. È un classico test "2x2", ma l'intera scuola è l'unità.
• Disegno B (Lo Split-Plot): È qui che diventa intelligente. Lanci una moneta per la scuola per decidere il menù. Ma poi, all'interno di quella stessa scuola, lanci un' altra moneta per ogni classe per decidere la formazione degli insegnanti. Questo è come un disegno "split-plot". È efficiente perché non hai bisogno di cambiare il menù di tutta la scuola per ogni singola classe, ma puoi comunque testare la formazione separatamente.
• Disegno C & D (L'Approfondimento): Sono ancora più complessi. Il Disegno C aggiunge uno strato in cui l'esito viene misurato sui singoli studenti, non solo sulle classi. Il Disegno D aggiunge un terzo ingrediente (politiche del distretto) e lo randomizza al livello superiore, la scuola al livello intermedio e la classe al livello inferiore. È un disegno "split-split-plot". Ti permette di vedere esattamente quale livello del sistema sta facendo il lavoro pesante.

Famiglia 2: I Disegni Cross-Classified (I Viaggiatori del Tempo)
Questi disegni aggiungono un elemento: il Tempo. Immagina che le scuole siano le stesse, ma l'esperimento duri 12 mesi.

• Disegno E: La scuola riceve un trattamento (come una nuova politica) e lo mantiene per 12 mesi. Misuri i bambini ogni mese.
• Disegno F: Questo è un disegno "crossover". La scuola prova il Trattamento A per 3 mesi, poi il Trattamento B per 3 mesi, poi di nuovo A, poi di nuovo B. È come una danza in un quadrato latino dove ogni scuola prova tutte le combinazioni nel tempo.
• Disegno G & H: Questi mescolano le cose. Forse il distretto riceve una politica che rimane fissa per 12 mesi, ma i periodi temporali ricevono una formazione diversa ogni mese. O forse la scuola cambia il menù ogni mese, ma la politica del distretto resta ferma. Questo è chiamato un disegno "strip-plot". È ottimo per vedere come un sistema "impara" nel tempo.

Famiglia 3: I Disegni Misti (L'Ultimo Ibrido)
Questi sono i pesi massimi. Combinano l'annidamento della Famiglia 1 con l'incrocio temporale della Famiglia 2.

• Disegno I & J: Immagina un sistema in cui la politica del distretto è fissa per un anno, ma il menù della scuola cambia ogni mese e l'attività della classe cambia ogni settimana. O forse la formazione cambia ogni mese. Questi disegni permettono ai ricercatori di testare quattro diversi ingredienti attraverso quattro diversi livelli del sistema, il tutto monitorando come il sistema impara e si adatta nel tempo.

Cosa dice il documento (e cosa non dice)

Gli autori sono molto chiari su cosa hanno fatto e cosa non hanno fatto. Essi suggeriscono che l'uso di questo nuovo linguaggio renderà più facile per i ricercatori pianificare questi trial e per gli statistici analizzarli. Hanno scoperto che esistono già 44 trial reali che rientrano in queste categorie, dimostrando che questi disegni complessi non sono solo teorici — vengono utilizzati proprio ora nell'assistenza primaria, nelle scuole e negli ospedali.

Tuttamente, il documento non sostiene che questi disegni siano sempre la scelta migliore. Al contrario, evidenziano quattro grandi sfide pratiche:

1. Il Sistema è Disordinato: Gli ospedali e le scuole reali non sono scatole perfette. Si fondono, si dividono e cambiano dimensione. Non puoi sempre ottenere il perfetto esperimento "bilanciato".
2. Contaminazione: Se randomizzi un trattamento a una classe, i bambini della classe accanto potrebbero scoprirlo e copiarlo. Questo "spillover" può rovinare l'esperimento, o talvolta, è in realtà una cosa positiva (come un vaccino che protegge l'intero gregge).
3. Effetto Carryover: Se testi un trattamento a gennaio e poi passi a un nuovo trattamento a febbraio, gli effetti di gennaio potrebbero essere ancora presenti a febbraio. Questo è un rischio nei disegni basati sul tempo.
4. Comunicazione: È difficile spiegare a un medico o a un preside perché serva un disegno così complicato. Potrebbero volere solo una risposta semplice. Gli autori notano che ottenere il consenso di tutti richiede pazienza e una comunicazione chiara.

Il succo del discorso

Questo documento è un kit di attrezzi, non una bacchetta magica. Non ti dice quale intervento funzionerà per fermare l'obesità o curare una malattia. Invezione, fornisce ai ricercatori un modo migliore per porre la domanda. Fornendo una mappa chiara dei dieci modi diversi di impostare questi esperimenti multilivello e temporali, gli autori sperano di eliminare la confusione e il "linguaggio opaco" che ha tenuto questi potenti strumenti nell'ombra.

Suggeriscono che se useremo questo linguaggio condiviso, potremo costruire migliori interventi che siano adattati al mondo reale, dove i problemi non accadono in isolamento ma si propagano attraverso le famiglie, le scuole e le comunità. Il documento suggerisce che il futuro del test degli interventi complessi risiede nell'abbracciare questa complessità, non nell'evitarla. È un invito all'azione per la comunità scientifica affinché smetta di trattare questi disegni come un mistero e inizi a trattarli come gli strumenti sofisticati e potenti che sono. Il passo successivo, dicono gli autori, è capire esattamente quanto debbano essere grandi questi esperimenti e come analizzare i dati, ma per ora, abbiamo la mappa. E con una mappa, anche il più aggrovigliato Cubo di Rubik diventa risolvibile.