Instructional Quality and PISA Mathematics Trajectories, 2012–2022: Frequentist and Bayesian Conditional Latent Growth Curve Analysis

Sintesi Tecnica: Qualità dell'Istruzione e Traiettorie PISA in Matematica, 2012–2022

Problematica
Questo studio affronta due questioni distinte ma analiticamente collegate riguardanti il framework della "economia della conoscenza" e la politica educativa. In primo luogo, indaga la validità dell'ipotesi del "co-movimento", la quale assume che i miglioramenti nazionali nella qualità dell'istruzione, negli investimenti in ricerca e sviluppo (R&S) e nella partecipazione al mercato del lavoro siano mutuamente rinforzanti nel tempo. Sebbene i dati trasversali mostrino costantemente che questi pilastri sono correlati, rimane da testare se i paesi che migliorano in un pilastro migliorino simultaneamente anche negli altri su base longitudinale. In secondo luogo, lo studio esamina se i trend nazionali della qualità dell'istruzione — specificamente il supporto degli insegnanti e il clima disciplinare — predicano la traiettoria dei risultati di apprendimento degli studenti (punteggi PISA in matematica) nell'arco di un decennio. Ciò affronta una lacuna nella letteratura dove le associazioni intra-ciclo tra qualità dell'insegnamento e rendimento sono ben documentate, ma il loro potere predittivo tra i cicli a livello di paese rimane sconosciuto.

Metodologia
La ricerca impiega un disegno longitudinale trasversale secondario utilizzando dati di 52 paesi attraverso quattro cicli PISA (2012, 2015, 2018, 2022).

• Fonti dei Dati: Lo studio integra i punteggi PISA in matematica (tramite il pacchetto R learningtower), gli Indicatori di Sviluppo della Banca Mondiale (spesa in R&S come % del PIL) e i dati ILO ILOSTAT (rapporto occupazione in età lavorativa/popolazione). Le variabili della qualità dell'istruzione (Indice di Supporto degli Insegnanti [TEACHSUP] e Indice di Clima Disciplinare [DISCLIM]) sono state derivate dai questionari PISA per gli studenti.
• Standardizzazione: Tutte le variabili di esito sono state standardizzate tramite z-score utilizzando l'ondata 2012 come baseline. Il tempo è stato codificato come anni metrici dal 2012.
• Framework Analitico:
  • Analisi Primaria: È stato implementato un Modello di Curva di Crescita Latente (LGCM) parallelo Bayesiano per la popolazione media utilizzando brms e rstan per stimare simultaneamente i parametri di crescita per la matematica PISA, la R&S e l'occupazione. Questo approccio consente la stima delle correlazioni tra intercetta e pendenza cross-dominio. Sono stati utilizzati prior debolmente informativi per regolarizzare le stime dato il piccolo numero di cluster (N=52 paesi).
  • Analisi Condizionale: Una serie di modelli di crescita condizionali (sia frequetisti a effetti misti usando lme4 che equivalenti Bayesiani usando brms) ha testato se le variabili della qualità dell'istruzione (livello di TEACHSUP nel 2012, variazione di TEACHSUP nel 2012–2022 e DISCLIM nel 2022) moderassero il tasso di variazione della matematica PISA.
• Diagnostica: La convergenza è stata valutata tramite statistiche $\hat{R}$ e dimensioni effettive del campione. L'adattamento del modello è stato valutato tramite LOO-CV (Bayesiano) e AIC (frequetista).

Risultati Chiave

1. Traiettorie Divergenti e Decoupling: Le pendenze medie della popolazione per i tre domini sono diverge significativamente. I punteggi di matematica PISA sono diminuiti ($\beta = -0,025$/anno), mentre la spesa in R&S ($\beta = +0,020$/anno) e l'occupazione in età lavorativa ($\beta = +0,064$/anno) sono aumentate.
2. Mancanza di Co-movimento: Sebbene le correlazioni tra le intercette cross-dominio siano positive e credibili (indicando che i paesi ad alte prestazioni iniziano con livelli più elevati in tutti i domini), tutte le correlazioni tra le pendenze cross-dominio sono prossime allo zero e non credibili. Ciò indica che i tassi di crescita in istruzione, R&S e occupazione si sono evoluti indipendentmente nel decennio, supportando l'ipotesi del "decoupling" piuttosto che quella del co-movimento.
3. Predittori della Qualità dell'Istruzione: I modelli condizionali hanno rivelato che né il livello di supporto degli insegnanti nel 2012, né il cambiamento decennale nel supporto degli insegnanti, né il clima disciplinare del 2022 hanno moderato significativamente il tasso di variazione della matematica PISA. I termini di interazione erano piccoli ($\beta$ nell'intervallo: 0,003–0,006) e i loro intervalli di credibilità/confidenza al 95% attraversavano lo zero.
4. Il Caso Turchia: La Turchia è servita come caso illustrativo, mostrando un profilo unico in cui i punteggi di matematica PISA sono migliorati significativamente (+32,51 punti) nonostante abbia registrato uno dei maggiori declini nel supporto percepito degli insegnanti nel campione. Ciò sottolinea ulteriormente l'indipendenza delle traiettorie PISA dai trend del supporto degli insegnanti a livello di paese.

Contributi Chiave

• Metodologici: Lo studio dimostra l'utilità del LGCM parallelo Bayesiano per modellare il co-movimento dell'economia della conoscenza a livello transnazionale. Evidenzia come la stima Bayesiana con prior debolmente informativi fornisca robustezza contro i fallimenti di convergenza e le stime di confine nei modelli di equazioni strutturali con piccoli cluster, un problema comune nella ricerca panel cross-nazionale.
• Empirici: Fornisce il primo test longitudinale dell'ipotesi dei pilastri dell'economia della conoscenza, riscontrando che, sebbene questi pilastri si raggruppino trasversalmente, essi si disaccoppiano longitudinalmente. Ciò mette in discussione l'assunto che gli indici compositi che aggregano questi pilastri forniscano sintesi valide delle traiettorie di sviluppo nazionale.
• Riproducibilità: Gli autori forniscono una pipeline completamente riproducibile, incluso lo script di analisi e il dataset processato, integrando dati da PISA, World Bank e ILO.

Significato e Rivendicazioni
L'articolo sostiene che l'indipendenza strutturale dei pilastri dell'economia della conoscenza suggerisce che i ranking compositi (ad esempio, l'Indice di Competitività Globale) possano oscurare l'eterogeneità temporale critica per la progettazione delle politiche. I decisori politici che si affidano ad indici aggregati potrebbero non cogliere il fatto che un paese può migliorare in un dominio (ad esempio, R&S) mentre ristagna o declina in un altro (ad esempio, istruzione).

Per quanto riguarda la qualità dell'istruzione, lo studio conclude che i trend nazionali nella percezione del supporto degli insegnanti da parte degli studenti non predicono le traiettorie decennali PISA. Gli autori attribuiscono questo risultato nullo a:

1. Disallineamento Temporale: TEACHSUP misura la percezione di una specifica coorte rispetto agli insegnanti attuali, il che non si allinea con i trend di esito decennali di diverse coorti.
2. Effetti del Gruppo di Riferimento: I sistemi ad alte prestazioni spesso hanno studenti che valutano gli insegnanti più bassamente, creando una correlazione trasversale negativa che complica l'interpretazione longitudinale.
3. Bias di Aggregazione: Le medie a livello di paese possono mascherare la variazione intra-paese dove gli effetti della qualità dell'istruzione sono effettivamente operativi.

Lo studio avverte gli sviluppatori di programmi educativi dall'uso dei dati trend PISA sul supporto degli insegnanti come proxy diretta della qualità dell'istruzione a livello di sistema, osservando che un declino nel supporto percepito non indica necessariamente un declino nella qualità dell'insegnamento o un fallimento delle riforme. Invece, i risultati suggeriscono che le leve politiche che governano istruzione, ricerca ed occupazione operano su scale temporali distinte e attraverso canali istituzionali separati.