Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di una singola scena del crimine, hai un enorme magazzino scintillante pieno di milioni di indizi. Questo è ciò che accade nel mondo della scienza dei "big data", dove i ricercatori studiano enormi gruppi di persone — come migliaia di insegnanti da tutto il mondo — per capire come funzionano le cose. Ma ecco la parte complicata: quando hai così tanti indizi, puoi organizzarli in un milione di modi diversi per raccontare una storia. Potresti decidere di concentrarti solo sugli indizi rossi, o ignorare quelli dal lato sinistro della stanza, o raggrupparli per dimensione invece che per colore. Ognuna di queste scelte è come percorrere un sentiero diverso in un giardino. Se ne percorri uno, potresti trovare un tesoro nascosto; se ne percorri un altro, potresti trovare un vicolo cieco. Questa idea è chiamata "il giardino dei sentieri biforcati" e suggerisce che, a volte, la storia che raccontiamo dipende più dal sentiero che il detective ha scelto di percorrere che dagli indizi effettivi che ha trovato.

Questo articolo, scritto da Mark White dell'Università di Oslo, approfondisce questo problema utilizzando un enorme dataset chiamato TALIS 2018, che ha intervistato insegnanti da molti paesi. L'autore voleva vedere se la "storia" raccontata da uno studio famoso e altamente citato sull'addestramento degli insegnanti (chiamato "induzione") fosse effettivamente vera, o se fosse solo il risultato di un percorso specifico attraverso il giardino. Il documento non si limita a guardare un solo modo di analizzare i dati; invece, prova quasi mezzo milione di modi diversi per elaborare i numeri. È come chiedere a quasi 500.000 detective diversi di risolvere lo stesso caso usando regole leggermente diverse e vedere se trovano tutti lo stesso colpevole. L'obiettivo non è dire che lo studio originale era "sbagliato", ma mostrare che i risultati possono cambiare drasticamente a seconda delle scelte fatte lungo il percorso, rendendo difficile sapere con certezza quale sia la risposta "reale".

Il giardino di un milione di sentieri

Pensa allo studio originale che l'autore sta indagando come una mappa verso un tesoro. La mappa sosteneva che certe attività di formazione per insegnanti — come l'insegnamento in team o il tenere un diario — fossero le chiavi per rendere gli insegnanti più felici e competenti nel loro lavoro. I ricercatori che hanno disegnato questa mappa hanno usato un set specifico di regole per trovare il tesoro: hanno osservato insegnanti americani, hanno incluso solo lavoratori a tempo pieno e hanno usato una specifica formula matematica per collegare la formazione ai risultati. Hanno trovato un luccicante scrigno del tesoro e hanno detto: "Guardate! La formazione funziona!"

Ma Mark White si è chiesto: "E se cambiassimo le regole anche solo un po'?" E se guardassimo insegnanti in Australia o Nuova Zelanda invece che solo in America? E se guardassimo solo insegnanti al loro primo anno di insegnamento? E se cambiassimo leggermente la formula matematica? Per rispondere a questo, White non ha solo tirato a indovinare; ha costruito un "multiverso". In scienza, un'analisi del multiverso è come eseguire una simulazione in cui si testano tutte le singole combinazioni ragionevoli di regole contemporaneamente.

In questo caso, White ha identificato 13 diversi "pomelli" o scelte che un ricercatore potrebbe girare. Queste includevano decisioni come:

• Chi conta? (Dovremmo includere solo i nuovi insegnanti, o tutti gli insegnanti? Dovremmo guardare solo l'America, o anche altri paesi di lingua inglese?)
• Quali numeri usiamo? (Dovremmo regolare la matematica per tenere conto di quante persone sono state intervistate, o contare tutti ugualmente?)
• Come misuriamo la formazione? (Dovremmo guardare l'intero programma di formazione, o scomporlo in minuscole parti?)

Quando si moltiplicano tutte queste scelte, si ottiene un numero sbalorditivo: 497.664 modi diversi di analizzare i dati. Sono quasi mezzo milione di percorsi diversi attraverso il giardino. White ha eseguito l'analisi per ognuno di questi percorsi.

Il tesoro che muta forma

I risultati sono stati un po' scioccanti. Quando White ha osservato il "multiverso" dei risultati, ha scoperto che il tesoro non si trovava nello stesso posto per ogni percorso.

In alcune delle 497.664 analisi, le attività di formazione sembravano una bacchetta magica che rendeva gli insegnanti incredibilmente felici ed efficaci. In altre analisi, le stesse identiche attività di formazione sembravano addirittura danneggiare gli insegnanti, rendendoli meno efficaci. In molti altri percorsi, la formazione sembrava non fare nulla.

Il documento mostra questo con un enorme grafico (Figura 1 nel testo originale). Immaginate una linea di punti che si estende dal bordo sinisto al bordo destro. I punti all'estrema sinistra rappresentano le analisi in cui la formazione è stata un disastro. I punti all'estrema destra rappresentano le analisi in cui la formazione è stata un miracolo. I punti nel mezzo rappresentano le analisi in cui non è importante. La parte spaventosa è che ci sono punti verdi (che significano "statisticamente significativi" o "reali") su entrambi i lati. Ciò significa che per quasi ogni specifica attività di formazione e per ogni specifico esito degli insegnanti, un ricercatore potrebbe trovare un modo "ragionevole" per dimostrare che è stato un grande successo, e un altro modo "ragionevole" per dimostrare che è stato un grande fallimento.

Lo studio originale aveva scelto un percorso specifico attraverso questo giardino e aveva trovato un risultato positivo. Ma l'analisi del multiverso di White suggerisce che questo risultato non era necessariamente la verità "vera". Era solo una delle centinaia di migliaia di verità possibili, e la scelta di quale percorso intraprendere era in parte arbitraria.

Perché questo è importante

Questo articolo non dice che la formazione degli insegnanti sia inutile. Non dice che gli autori originali fossero errati. Invece, evidenzia un problema sottile ma enorme nel modo in cui facciamo scienza. Quando una domanda di ricerca è un po' vaga — come "La formazione aiuta gli insegnanti?" — ci sono così tanti modi per rispondere che la risposta spesso dipende dalle scelte che il ricercatore compie prima ancora di iniziare a guardare i dati.

L'autore chiama questo il "giardino dei sentieri biforcati". Se non sai su quale sentiero ti trovi, non puoi essere sicuro che il tesoro che hai trovato sia reale o sia solo il risultato del percorso specifico scelto. Il documento suggerisce che quando vediamo uno studio con un risultato singolo e chiaro, dovremmo essere un po' più curiosi. Dovremmo chiederci: "E se avessero scelto un percorso diverso?"

Eseguendo quasi mezzo milione di analisi, questo articolo ci mostra che la "verità" sulla formazione degli insegnanti è molto più complessa e incerta di quanto un singolo titolo di giornale possa suggerire. Non ci fornisce una risposta nuova e migliore; al contrario, ci offre un quadro molto più chiaro di quanto siamo realmente incerti. È un promemoria del fatto che, nel giardino della scienza, ci sono molti sentieri e, a volte, la vista cambia completamente a seconda di quale decidi di percorrere.