Cross-construct Optimization of TIMSS Mathematics Affective Scales

Sintesi Tecnica: Ottimizzazione Cross-Construct delle Scale Affettive di TIMSS Mathematics

Definizione del Problema
Le valutazioni internazionali su larga scala, come il Trends in International Mathematics and Science Study (TIMSS), utilizzano questionari estesi per misurare l'impegno affettivo degli studenti verso la matematica. Nello specifico, il TIMSS 2023 valuta tre dimensioni distinte per gli studenti di terza media (Grade 8): Gli Studenti amano imparare la matematica (SLM), Gli Studenti sono sicuri in matematica (SCM) e Gli Studenti danno valore alla matematica (SVM). Queste scale comprendono collettivamente 26 item. Sebbene queste dimensioni siano teoricamente collegate all'interno del Modello Tridimensionale dell'Atteggiamento (TMA) e della Teoria Aspettativa-Valore, esse vengono tipicamente somministrate e analizzate come costrutti indipendenti. Questo approccio impone un carico di indagine considerevole su studenti ed educatori. Lo studio affronta una domanda fondamentale di misurazione: se queste scale operino come una rete affettiva integrata in cui gli item di una dimensione possano predire le classificazioni di un'altra, permettendo così una "ottimizzazione cross-construct" che riduca il numero di item senza sacrificare l'accuratezza predittiva.

Metodologia
Lo studio ha utilizzato i dati di 232.970 studenti di terza media provenienti da 44 paesi dal database internazionale TIMSS 2023. L'approccio analitico ha impiegato un framework di ottimizzazione cross-diagnostica adattato dalla letteratura dello screening psichiatrico e applicato qui alla valutazione educativa.

1. Modellazione della Rete: Tutti i 26 item delle scale SLM, SCM e SVM sono stati accorpati e analizzati utilizzando un Modello Grafico Gaussiano (GGM). Il GGM, stimato tramite l'algoritmo graphical LASSO con tuning basato sull'Extended Bayesian Information Criterion (EBIC), ha modellato la struttura di dipendenza condizionale tra gli item. Ogni nodo rappresentava un item e gli archi rappresentavano le correlazioni parziali controllando per tutti gli altri item.
2. Analisi della Centralità di Bridge: La centralità di betweenness è stata calcolata per ogni item al fine di identificare gli "item ponte" (bridge items): nodi che si trovano sui percorsi più brevi tra altri nodi, in particolare quelli che attraversano i confini tra le diverse scale. Gli item sono stati classificati in base a questa metrica di centralità.
3. Selezione Sequenziale degli Item: È stato condotto un processo di selezione sequenziale per determinare l'insieme minimo di item necessari per predire le classificazioni ufficiali a tre livelli (Alta, Intermedia, Bassa) per ciascuna scala. Gli item sono stati aggiunti uno alla volta in ordine di centralità di betweenness (priorità ai bridge).
   • Predizione Cross-construct: Fondamentalmente, è stato permesso agli item di una scala di predire la classificazione di un'altra scala (ad esempio, item SVM che predicono SLM).
   • Rilevamento del Plateau: Il processo è stato interrotto quando la performance predittiva (misurata come macro-media AUROC) ha raggiunto il 99% del miglior baseline di singolo item ottenibile all'interno della scala target. Questa soglia ha permesso una perdita di accuratezza trascurabile (<1%) in cambio di uno strumento parsimonioso.
4. Validazione: La procedura è stata replicata indipendentemente per ciascuno dei 44 paesi per valutare la coerenza transnazionale della struttura degli item ponte. La performance è stata valutata utilizzando split train-test 80/20 stratificati e cross-validazione a 5 pieghe (5-fold).

Risultati Chiave

• Identificazione degli Hub Strutturali: L'analisi GGM ha rivelato che gli item della scala Gli Studenti danno valore alla matematica (SVM) occupavano le posizioni di ponte più centrali nella rete affettiva. L'item "Mi piacerebbe un lavoro che comporti l'uso della matematica" (BSBM23E) ha mostrato la più alta centralità di betweenness ed è stato il primo item selezionato per predire tutte e tre le dimensioni.
• Set di Item Ottimizzati:
  • SLM: Ha richiesto 7 item per raggiungere il plateau delle performance. Notevolmente, 5 di questi (71%) erano item cross-scale (provenienti da SVM o SCM).
  • SCM: Ha richiesto 6 item. I primi quattro item aggiunti erano tutti cross-scale (da SVM o SLM), senza che alcun item della propria scala entrasse fino al quinto passaggio.
  • SVM: Ha raggiunto il plateau con soli 2 item, entrambi tratti dalla scala SVM stessa (BSBM23E e BSBM23A).
• La Batteria Compatta: Le soluzioni SLM e SCM condividevano un nucleo comune di sei item. Combinati con un ulteriore item unico per SLM, è stata derivata una batteria a 7 item capace di monitorare simultaneamente tutte e tre le dimensioni. Ciò rappresenta una riduzione del 73% rispetto all'originale strumento a 26 item.
• Performance Predittiva: La batteria a 7 item ha raggiunto un'elevata accuratezza predittiva in tutte le dimensioni, con valori AUROC compresi tra .889 (SVM) e .939 (SLM).
• Coerenza Transnazionale: Sebbene la specifica degli item ponte variasse, l'utilità predittiva del framework è stata robusta. L'indice di coerenza degli item ponte (proporzione di top-5 item ponte globali riprodotti localmente) è stato mediamente di .509. Tuttavia, l'accuratezza predittiva (AUROC) è rimasta elevata e stabile (mediana .87–.95) in tutti i 44 paesi, anche in quelli con minore coerenza strutturale (es. Arabia Saudita, Romania, Turchia, Uzbekistan).

Contributi Principali

1. Caratterizzazione Empirica del TMA: Lo studio fornisce la prima mappatura a livello di item della struttura di dipendenza condizionale attraverso le scale affettive di TIMSS in un ampio campione internazionale. Identifica empiricamente la dimensione "Visione della Matematica" (SVM) come l'hub strutturale della rete, estendendo il framework teorico del TMA specificando il ruolo integrativo delle credenze sul valore.
2. Innovazione Metodologica: Introduce l'ottimizzazione cross-construct nella valutazione educativa su larga scala. Sfruttando la centralità di bridge nei GGM, lo studio dimostra che gli item di un costrutto possono predire efficientemente le classificazioni di un altro, sfidando la convenzione di trattare le scale come pool isolati.
3. Strumento Pratico: Lo studio fornisce una batteria compatta a 7 item validata che sostituisce l'ufficiale batteria a 26 item. Per facilitarne l'adozione, gli autori forniscono risorse ad accesso aperto, inclusi un modulo Python per la predizione batch e uno strumento basato su browser per l'autovalutazione individuale dello studente.

Significatività e Asserzioni
L'articolo sostiene che le credenze sul valore della matematica funzionano come il nodo integrativo primario nella rete affettiva, portando una sproporzionata informazione cross-costrutto. Questa scoperta supporta l'asserzione della Teoria Aspettativa-Valore secondo cui le credenze sul valore mediano la relazione tra competenza e interesse.

Lo studio conclude che una batteria a 7 item può monitorare efficacemente gli studenti attraverso tutte e tre le dimensioni del TMA con un'elevata accuratezza, riducendo significativamente il carico di indagine. Ciò consente il monitoraggio periodico dell'affettività degli studenti (ad esempio, all'inizio di ogni trimestre) senza i vincoli logistici della somministrazione completa. Gli autori osservano che, sebbene il framework sia robusto a livello globale, i paesi con minore coerenza degli item ponte (specificamente Arabia Saudita, Romania, Turchia e Uzbekistan) dovrebbero considerare la batteria come un punto di partenza che richiede una validazione locale, poiché i fattori culturali e istituzionali possono alterare le dipendenze condizionali tra gli item affettivi. I risultati offrono un approccio fondato per un monitoraggio efficiente dell'affettività sia nella ricerca che negli ambienti scolastici.