When the adjustment fails: population-denominator sensitivity in coverage-adjusted PISA trends

Ogni pochi anni, un enorme esperimento globale ha luogo nelle classi di tutto il mondo. Centinaia di migliaia di quindicenni si siedono per sostenere gli stessi test in matematica, lettura e scienze. Questo è il Programme for International Student Assessment, noto come PISA. I risultati sono più di un semplice pagella per le scuole; sono un'istantanea di quanto i giovani di una nazione siano preparati per il futuro. Poiché i test avvengono in cicli, i ricercatori possono guardare indietro e vedere se un paese sta migliorando o peggiorando nel tempo. Ma c'è una complicazione nascosta in questo confronto. Gli studenti che sostengono il test non sono sempre lo stesso spicchio della popolazione da un anno all'altro. In alcuni paesi, il test potrebbe raggiungere quasi tutti i quindicenni, mentre in altri, potrebbe raggiungere solo una piccola frazione. Quando il gruppo di studenti cambia, la media dei punteggi può spostarsi semplicemente perché il mix di persone è cambiato, non perché gli studenti stessi abbiano imparato più o meno. Per risolvere questo, l'organizzazione che gestisce i test utilizza un particolare aggiustamento matematico. Essa cerca di stimare quale sarebbe stato il punteggio degli studenti con le prestazioni migliori se il test avesse raggiunto ogni singolo quindicenne del paese, non solo quelli che si sono presentati. Questo numero corretto dovrebbe essere un modo equo per confrontare il progresso tra anni diversi e nazioni diverse.

Due ricercatori, Jonas A. Mandalunes e Danica Jane S. Mandalunes, hanno deciso di vedere quanto sia fragile questo aggiustamento in realtà. Si sono concentrati sulla parte più critica del puzzle: il numero totale di quindicenni in ogni paese. Questo numero funge da denominatore, o parte inferiore della frazione, che determina quanto debba essere grande l'aggiustamento. I ricercatori si sono posta una domanda semplice ma profonda: cosa succede ai risultati finali se si cambia questo numero inferiore? Non hanno assunto che una fonte di dati sulla popolazione fosse perfetta e l'altra sbagliata. Al contrario, hanno trattato due diversi modi di contare i quindicenni come due diversi scenari. Uno scenario utilizzava i numeri che i governi nazionali avevano ufficialmente inviato agli organizzatori del test. L'altro scenario utilizzava una proiezione della crescita della popolazione globale ampiamente rispettata delle Nazioni Unite. Eseguendo l'intera analisi delle tendenze due volte — una con i numeri ufficiali e l'altra con le proiezioni globali — potevano vedere quanto cambiasse la storia del progresso di un paese a seconda di quale conteggio venisse utilizzato.

I ricercatori hanno esaminato i dati di settantatré economie tra il 2018 e il 2022. Hanno scoperto che il conteggio ufficiale dei quindicenni utilizzato dagli organizzatori del test cambiava significativamente in molti luoghi. In media, la differenza nel tasso di copertura tra i due anni era di quasi due punti percentuali, ma in alcuni casi, la variazione era massiccia, oscillando fino a ventisette punti in una direzione o quaranta cinque nell'altra. Quando hanno analizzato il motivo di questi cambiamenti, hanno scoperto che nella maggior parte dei casi, lo spostamento derivava dal sondaggio stesso — ovvero il test aveva raggiunto una quota diversa degli studenti iscritti — piuttosto che da un cambiamento nel numero di studenti effettivamente iscritti a scuola. Questa distinzione è vitale perché significa che un punteggio in crescita potrebbe non significare che più ragazzi frequentano la scuola; potrebbe solo significare che il test ha raggiunto un gruppo diverso di loro.

Il risultato più sorprendente è stato quanto fossero sensibili le tendenze finali a questo denominatore. Quando i ricercatori hanno sostituito il conteggio ufficiale della popolazione con la proiezione delle Nazioni Unite, la variazione stimata dei punteggi dei test è cambiata drasticamente. In matematica, la differenza media tra i due scenari era di circa 3,4 punti. In lettura, era di 3,5 punti, e in scienze era di 3,4 punti. Per mettere questo in prospettiva, gli organizzatori del test pubblicano un valore di "errore di collegamento" standard per aiutare i lettori a comprendere il margine di incertezza dei loro trend. Per la matematica, quel valore è di 2,24 punti. La differenza causata semplicemente dal cambiare il conteggio della popolazione era superiore a questo margine di errore standard in trentotto dei sessantanove paesi. In lettura, superava il margine in cinquantadue paesi, e in scienze, in cinquantuno. Ciò significa che per la maggioranza dei paesi studiati, la scelta di quale numero di popolazione utilizzare contava più dell'incertezza statistica solitamente associata al test stesso.

I ricercatori hanno anche esaminato cosa accade quando la matematica si scontra con un muro. La procedura di aggiustamento assume che il test abbia raggiunto meno studenti di quanti ne esistano effettivamente nel paese. Ma in alcuni casi specifici, la matematica suggeriva che il test avesse raggiunto più studenti del conteggio ufficiale della popolazione. Quando ciò accadeva, la procedura doveva applicare un fix speciale: impostava semplicemente il peso extra a zero e riportava il punteggio grezzo degli studenti che avevano sostenuto il test, disattivando di fatto l'aggiustamento. Questo accadeva in paesi come la Corea e l'Irlanda nel 2022. I ricercatori hanno dimostrato che questo passaggio da un punteggio corretto a un punteggio grezzo crea una rottura improvvisa nei dati. Non è una transizione fluida; è un arresto netto dove il metodo cambia completamente. Hanno anche notato che in alcuni casi il conteggio ufficiale della popolazione era superiore al numero di studenti che il test dichiarava di aver raggiunto, il che dovrebbe essere impossibile se le definizioni fossero perfettamente allineate, suggerendo che le definizioni di chi sia un "quindicenne" o di chi sia "iscritto" possano differire tra gli organizzatori del test e i statistici della popolazione.

Lo studio non ha concluso che un conteggio della popolazione fosse quello vero e l'altro un errore. I ricercatori sono stati attenti a dichiarare che né i numeri ufficiali dei governi né le proiezioni delle Nazioni Unite sono la verità assoluta. I numeri ufficiali spesso mancano di dettagli su quando esattamente sia stata effettuata la rilevazione o quale specifica definizione di "residente" sia stata utilizzata. Le proiezioni globali sono modelli basati su assunzioni. Il problema centrale è che il punteggio della tendenza finale dipende pesantemente da un numero che non è pienamente spiegato o coerente. I ricercatori hanno scoperto che anche quando hanno cercato di pulire i dati rimuovendo i paesi con noti conflitti territoriali o registri incoerenti, le differenze rimanevano. Il divario tra i due scenari non era scomparso; era solo cambiato leggermente. Ciò suggerisce che la sensibilità è una caratteristica fondamentale del metodo attuale, non solo il risultato di dati disordinati.

Alla fine, i ricercatori sostengono che il modo in cui queste tendenze vengono riportate debba cambiare per essere più onesto riguardo a questa incertezza. Raccomandano che gli organizzatori dei test pubblichino esattamente da dove provengono i numeri della popolazione, includendo la data e la definizione specifica utilizzata. Suggeriscono che ogni volta che viene riportata una tendenza, essa debba essere accompagnata da un intervallo che mostri cosa sarebbe il risultato se venisse utilizzato un diverso, ragionevole conteggio della popolazione. Questo non sarebbe un intervallo di confidenza in senso statistico, ma una chiara dichiarazione di quanto il risultato dipenda dal denominatore. Infine, propongono che se la matematica fallisce perché i numeri non tornano, il punteggio corretto non debba essere silenziosamente sistemato o nascosto; debba essere segnalato e trattenuto fino a quando gli input non saranno riconciliati. Lo studio mostra che la storia di come i paesi stiano migliorando o declinando è reale, ma i numeri specifici che usiamo per raccontare questa storia sono molto più delicati di quanto sembrino. Le tendenze esistono, ma la loro precisa entità è legata a una scelta di numeri che attualmente viene fatta al buio.