Measurement-bounded predictive inference in international large-scale assessment: how the plausible-value ceiling governs attainable accuracy and the stability of predictor rankings in PISA 2022
Questo studio dimostra che il limite di precisione della misurazione inerente ai valori plausibili di PISA 2022 limita fondamentalmente l'accuratezza predittiva raggiungibile e destabilizza le classifiche dei predittori attraverso i domini e i sistemi educativi, rendendo necessario che i confronti sulle prestazioni e le interpretazioni dei modelli siano fondati su tali limiti di misurazione computabili.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Ogni anno, milioni di adolescenti in tutto il mondo sostengono un test massiccio chiamato PISA, progettato per vedere quanto bene comprendano la matematica, la lettura e la scienza. I risultati vengono utilizzati da governi ed educatori per giudicare quali scuole e paesi stiano facendo il miglior lavoro. Negli ultimi anni, i ricercatori hanno iniziato a utilizzare questi punteggi nei test per costruire modelli informatici che tentano di prevedere il successo di uno studente in base al suo background, come il reddito della famiglia, i libri presenti in casa o il clima scolastico. Questi studi producono spesso una lista classificata dei fattori più importanti, suggerendo che se vogliamo migliorare i punteggi, dovremmo concentrarci sugli elementi in cima a quella lista. Tuttavia, c'è un problema nascosto in questo approccio. I punteggi dei test utilizzati in questi studi non sono osservazioni dirette dell'abilità di uno studente. Inveve, sono stime statistiche, create estraendo dieci diversi numeri possibili per ogni studente da una nuvola di possibilità. Poiché questi numeri sono stime, contengono una certa quantità di rumore intrinseco, o incertezza, che nessuna quantità di dati potrà mai spiegare. Questa incertezza stabilisce un limite rigido alla precisione con cui qualsiasi modello può prevedere le prestazioni di uno studente, un limite che cambia a seconda della materia testata e del paese in cui il test è stato svolto.
Uno studio di Jonas Mandalunes indaga esattamente quanto questo rumore nascosto limiti la nostra capacità di imparare da questi test massicci. Il ricercatore ha utilizzato il database internazionale del ciclo PISA 2022, che include dati di oltre 600.000 studenti provenienti da 80 diversi sistemi educativi. Lo studio si è concentrato su quattro aree: matematica, lettura, scienze e un'aggiunta più recente chiamata pensiero creativo. La domanda centrale era semplice: quanto della prestazione di uno studente può essere effettivamente spiegato da un modello informatico, e questo limite cambia la lista dei fattori che sembrano contare di più? Per rispondere a ciò, il ricercatore ha calcolato un "soffitto" per ogni materia in ogni paese. Questo soffitto rappresenta l'accuratezza massima che qualsiasi modello di previsione potrebbe mai raggiungere, semplicemente perché i punteggi dei test stessi non sono perfetti. Lo studio ha scoperto che questo soffitto varia enormemente. Per il pensiero creativo, il limite variava da circa il 65 percento a quasi il 90 percento a seconda del paese. Per la matematica, l'intervallo era più stretto ma comunque variabile, dall'81 percento all'93 percento circa. Ciò significa che in alcuni luoghi, nessun modello potrà mai spiegare più di due terzi delle differenze nei punteggi degli studenti, mentre in altri, il limite è molto più alto.
Lo studio è andato oltre per vedere se questo limite influenzi la classifica dei fattori che influenzano i punteggi. Il ricercamento ha eseguito gli stessi modelli informatici ripetutamente, utilizzando ogni volta una diversa tra le dieci possibili stime del punteggio degli studenti. Nelle materie misurate con maggiore precisione, la lista dei fattori principali rimaneva per lo più la stessa. Ma nelle materie meno precise, come il pensiero creativo, la lista cambiava drasticamente. Quando il ricercatore passava da una stima del punteggio all'altra, più del 40 percento dei primi cinque fattori in lista cambiava posizione. Ciò significa che uno studio che riporta una singola lista di fattori "più importanti" sta essenzialmente mostrando solo un singolo scatto casuale di una realtà molto più ampia e mutevole. Se il ricercatore avesse scelto una stima del punteggio diversa, avrebbe potuto concludere che un insieme completamente diverso di fattori fosse la causa del successo degli studenti.
Un'altra scoperta critica riguardava come i dati venissero suddivisi per testare i modelli. Molti studi mescolano casualmente studenti di scuole diverse in gruppi di addestramento e di test. La nuova ricerca ha dimostrato che questo metodo crea un falso senso di accuratezza. Poiché gli studenti della stessa scuola tendono a essere simili, un modello che vede studenti di una specifica scuola durante l'addestramento può apprendere schemi specifici di quella scuola, piuttosto che apprendere informazioni sugli studenti stessi. Quando il ricercatore ha costretto il modello a mantenere le intere scuole separate durante l'addestramento e il test, l'accuratezza prevista è scesa significativamente. In alcuni casi, il calo è stato massiccio, rivelando che studi precedenti avevano gonfiato i loro risultati di ben 0,36 punti semplicemente perché non tenevano conto della struttura scolastica. La dimensione di questa inflazione dipendeva dal numero di scuole presenti nello studio, non dalla complessità del modello informatico utilizzato.
Lo studio ha anche esaminato perché la precisione dei punteggi differisse così tanto tra le materie. Ha scoperto che più un test si affidava a valutatori umani per assegnare i punteggi alle risposte aperte, meno precisi tendevano a essere i punteggi, specialmente nei paesi molto grandi. Il pensiero creativo, che veniva valutato interamente da esseri umani che leggevano le risposte scritte, mostrava la maggiore variazione di precisione. Al contrario, la matematica, che è valutata principalmente da macchine, era più costante. Ciò suggerisce che il modo in cui un test viene somministrato e valutato è importante quanto le domande stesse quando si tratta di capire quanto possiamo imparare dai risultati.
Le implicazioni di queste scoperte sono dirette per chiunque cerchi di comprendere i dati sull'istruzione. Non si può confrontare la prestazione di un modello in un paese con quella in un altro, o in una materia con un'altra, senza prima conoscere il soffitto di precisione per quel contesto specifico. Un modello che spiega il 45 percento della varianza in un paese con un soffitto basso sta in realtà performando molto bene, catturando gran parte di ciò che è possibile conoscere. Lo stesso modello in un paese con un soffitto alto potrebbe invece performare male, lasciando gran parte del segnale inesplicato. Inoltre, qualsiasi lista di fattori importanti derivata da questi test dovrebbe essere trattata con cautela. Poiché le classifiche cambiano molto a seconda di quale stima del punteggio viene utilizzata, una singola lista non è un fatto stabile, ma una realizzazione temporanea. Lo studio conclude che i ricercatori dovrebbero sempre riportare il soffitto di precisione insieme ai loro risultati e dovrebbero testare i loro modelli attraverso tutte le possibili stime del punteggio per vedere se le loro conclusioni reggono. Senza questi controlli, le classifiche e i confronti che guidano la politica educativa potrebbero essere costruiti su una base di rumore statistico piuttosto che su prove solide.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.