From Means to Slopes: Rethinking International Comparisons of Questionnaire Indicators in PISA
Questo studio sostiene che, per gli indicatori dei questionari PISA non cognitivi, i confronti internazionali dovrebbero passare dal fare affidamento su potenzialmente fuorvianti classifiche delle medie nazionali all'analisi dei coefficienti angolari intra-scolastici, i quali offrono una comprensione più robusta e rilevante ai fini delle politiche su come i sistemi educativi plasmino le esperienze e il rendimento degli studenti.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate di essere un detective che cerca di risolvere un mistero su come si stanno comportando le diverse scuole in tutto il mondo. Per anni, lo strumento principale che i detective hanno usato è stato un enorme tabellone dei punteggi, o una "classifica", che elencava semplicemente i paesi dal primo all'ultimo posto in base ai loro punteggi medi. È come classificare le squadre di basket guardando solo i punti totali segnati in una stagione, senza curarsi di chi ha giocato, di come ha giocato o se stessero persino giocando allo stesso gioco. Questo funziona abbastanza bene per la matematica o la lettura, dove le risposte sono solitamente giuste o sbagliate. Ma quando si tratta di sentimenti, motivazione o di quanto siano felici gli studenti, la questione si complica. Queste non sono cose che si possono misurare con un righello; sono come sapori o colori. Se chiedi alle persone in diverse culture quanto sia "piccante" il loro cibo, un giudizio di "molto piccante" in un paese può significare qualcosa di completamente diverso rispetto a un altro. Questo articolo parla di un gruppo di ricercatori che ha deciso di smettere di guardare solo il tabellone dei punteggi e ha iniziato a guardare le relazioni tra i giocatori e il gioco. Invece di chiedere: "Qual è il paese con la felicità media più alta?", hanno chiesto: "In che modo il background di uno studente o i suoi punteggi nei test cambiano il suo modo di percepire la scuola?". Volevano vedere se le regole del gioco cambiano quando si zooma da un singolo studente a un intero paese.
I ricercatori, guidati da Kit-Tai Hau e dal suo team, hanno preso un'istantanea massiccia di dati da 612.004 studenti in 80 paesi, raccolti durante il test PISA 2018. Hanno esaminato 31 diversi questionari su temi come la motivazione, il benessere e il modo in cui gli studenti percepiscono le proprie classi. La loro prima grande scoperta è stata che il tabellone dei punteggi era in gran parte inutile per questi sentimenti. Quando hanno elaborato i numeri, hanno scoperto che le differenze tra i paesi erano minuscole: solo il 6% circa della variazione in questi sentimenti era dovuto al fatto che lo studente si trovava in un determinato paese. Il restante 94% accadeva all'interno dei paesi, principalmente tra le diverse scuole. È come cercare di confrontare l'altezza media delle persone in Francia rispetto all'Italia e scoprire che la differenza è così piccola da non contare, mentre la differenza tra una squadra di basket e una di ginnastica nella stessa città è enorme.
Ma la vera magia è avvenuta quando hanno smesso di guardare le medie e hanno iniziato a guardare le "pendenze". Immaginate un grafico dove la linea sale o scende. Una "pendenza" vi dice come una cosa cambia al variare di un'altra. I ricercatori hanno scoperto che, se si guarda solo la media del paese, la storia spesso si ribalta. Ad esempio, a livello di singolo studente, andare bene in lettura di solito fa sentire bene se stessi. Ma quando si guarda a livello di paese, i paesi con punteggi medi di lettura più alti avevano talvolta studenti che riportavano una fiducia in se stessi minore. È un po' come l'effetto "Grande Pesce, Piccolo Stagno": se sei un pesce intelligente in uno stagno pieno di altri pesci intelligenti, potresti sentirti meno speciale rispetto a essere il pesce più intelligente in un piccolo e tranquillo stagno. La media del paese nasconde questo perché mescola tutti gli stagni insieme.
L'articolo sostiene che, invece di classificare i paesi in base alla loro media di "umore", dovremmo guardare queste pendenze per capire come funzionano i sistemi educativi. Hanno scoperto che la relazione tra il background di uno studente (come la ricchezza della famiglia) e la sua esperienza scolastica è un modo molto migliore per giudicare un sistema. Hanno scoperto che queste relazioni (le pendenze) erano per lo più coerenti nella direzione — il che significa che la teoria reggeva — ma la forza di queste relazioni variava da paese a paese. Interessantemente, la maggior parte delle differenze in queste pendenze non era tra i paesi, ma tra le scuole all'interno dello stesso paese. Ciò suggerisce che, se vogliamo risolvere i problemi o migliorare le cose, non dobbiamo guardare solo alle politiche nazionali; dobbiamo guardare a ciò che accade all'interno di specifiche scuole.
Gli autori hanno anche verificato per assicurarsi che le loro scoperte non fossero solo un caso dovuto al modo in cui contavano i dati. Hanno provato diversi modi di pesare i numeri, e i risultati sono rimasti invariati. Hanno anche scoperto che alcune caratteristiche strutturali di un paese, come quanto le scuole siano segregate (ovvero quanto gli studenti di diversi background siano separati), potevano spiegare perché le pendenze fossero diverse in alcuni luoghi. Ad esempio, nei paesi in cui le scuole erano più miste, il legame tra l'andare bene e il sentirsi bene era spesso più forte.
In definitiva, l'articolo suggerisce un cambiamento radicale nel modo in cui pensiamo ai rapporti sull'istruzione internazionale. Non dovremmo buttare via del tutto il tabellone dei punteggi, ma non dovremmo nemmeno fare affidamento su di esso per capire quanto siano felici o motivati gli studenti. Il tabellone è uno strumento debole per i sentimenti perché ignora il contesto. L'approccio della "pendenza" è come passare da una foto di gruppo sfocata a un video in alta definizione che mostra come gli studenti interagiscono con il loro mondo. Ci dice che le differenze più importanti non sono tra le nazioni, ma tra le scuole al loro interno. Concentrandoci su queste relazioni piuttosto che sulle semplici medie, possiamo ottenere un quadro più chiaro e onesto di come i sistemi educativi plasmano la vita dei giovani, passando dal semplice classificare chi è "migliore" al comprendere come rendere le cose migliori per tutti.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.