A Deep Investigation Using Factorial Analysis and Rasch Model: An Optimized Short-Version of the Computational Thinking Scale (COTS)

Sintesi Tecnica: Una Versione Ottimizzata e Breve della Scala del Pensiero Computazionale (COTS)

Problema di Ricerca
Il pensiero computazionale (CT) è riconosciuto come una competenza fondamentale del XXI secolo, essenziale per la risoluzione sistematica dei problemi in diverse discipline. Nonostante la sua crescente importanza nell'istruzione, il settore manca di strumenti psicometricamente robusti progettati specificamente per valutare le abilità di CT, in particolare in contesti non ICT come le scienze sociali. Gli strumenti esistenti spesso si basano su questionari a risposta chiusa che potrebbero non tenere adeguatamente conto delle differenze culturali o non possedere una validità e un'affidabilità sufficienti. Questa lacuna limita la capacità di ricercatori ed educatori di diagnosticare accuratamente i punti di forza e di debolezza degli studenti, ostacolando così la progettazione di interventi educativi efficaci. Lo studio affronta la necessità di uno strumento di misurazione di alta qualità e validato, basato su un rigoroso processo di analisi psicometrica.

Metodologia
Lo studio ha impiegato un processo di validazione sequenziale in due fasi per sviluppare e perfezionare uno strumento per le abilità di Pensiero Computazionale (COTS), originariamente adattato da una scala di 22 item.

• Partecipanti e Raccolta Dati: I dati sono stati raccolti in forma anonima da studenti universitari a Makassar, Indonesia. Il processo ha coinvolto due campioni distinti: 364 partecipanti per l'Analisi Fattoriale Confermativa (CFA) iniziale e 434 partecipanti per la successiva analisi del modello Rasch.
• Fase 1: Analisi Fattoriale Confermativa (CFA): Utilizzando il software JASP, i ricercatori hanno valutato la validità fattoriale dello strumento di 22 item. L'analisi si è concentrata sui carichi fattoriali (richiesti >0,50), sugli indici di adattamento del modello (CFI, GFI, TLI, NNFI, IFI, RNI >0,90; RMSEA e SRMR <0,08) e sulla coerenza interna della affidabilità (McDonald's $\omega$ e Cronbach's $\alpha$ >0,80 per la scala totale). Gli item che non soddisfacevano tali criteri sono stati rimossi.
• Fase 2: Modello di Valutazione Rasch (RSM): Lo strumento perfezionato è stato analizzato utilizzando il software J.Metrik. Questa fase ha valutato le assunzioni fondamentali della misurazione, tra cui:
  • Unidimensionalità: Verificata tramite l'Analisi delle Componenti Principali (PCA) dei residui (autovalore del primo contrasto <3,0).
  • Indipendenza Locale: Valutata attraverso le correlazioni residue tra coppie di item (soglia <0,40).
  • Funzionamento della Scala di Valutazione: Esaminato per modelli monotonicamente crescenti nelle misure medie e parametri di soglia ordinati.
  • Adattamento del Modello: Valutato tramite le statistiche Infit e Outfit Mean Square (intervallo accettabile 0,5–1,5).
  • Affidabilità e Separazione: Calcolate sia per gli item che per le persone per determinare la precisione della misurazione e la capacità di distinguere tra diversi livelli di abilità.
  • Difficoltà dell'Item: Analizzata per determinare la distribuzione degli item lungo il continuum del tratto latente.

Risultati Chiave

• Perfezionamento dello Strumento: La fase CFA ha portato alla rimozione di due item dalla dimensione "astrazione" a causa di carichi fattoriali inferiori a 0,50. Lo strumento finale consiste in 20 item suddivisi in quattro dimensioni: Astrazione (3 item), Decomposizione (6 item), Pensiero Algoritmico (6 item) e Generalizzazione/Riconoscimento di Pattern (5 item).
• Risultati della CFA: Il modello finale ha dimostrato un eccellente adattamento. Tutti gli indici di fit hanno superato lo 0,90 (ad es., CFI = 0,922, TLI = 0,908) e gli indici di errore erano inferiori a 0,06 (RMSEA = 0,057, SRMR = 0,046). I carichi fattoriali variavano da 0,52 a 0,75. L'affidabilità complessiva era di 0,89, con affidabilità delle sottoscale compresa tra 0,62 e 0,85.
• Risultati del Modello Rasch:
  • Assunzioni: Lo strumento ha soddisfatto l'unidimensionalità (autovalore del primo contrasto = 2,54) e l'indipendenza locale (correlazione residua massima = 0,40).
  • Adattamento del Modello: Tutti i 20 item rientravano nell'intervallo accettabile Infit/Outfit (0,5–1,5) e la scala di valutazione funzionava in modo ottimale con soglie monotonicamente crescenti.
  • Affidabilità: L'affidabilità degli item era eccellente (0,97–0,98) e l'affidabilità delle persone era buona (0,87–0,88). Gli indici di separazione indicano che lo strumento può distinguere circa 9,89 strati di difficoltà degli item e 3,80 strati di abilità delle persone.
  • Difficoltà dell'Item: L'intervallo di difficoltà spaziava da −0,79 a 0,82 logits. La distribuzione indica che lo strumento è più efficace per valutare individui con livelli moderati di abilità di CT.

Significatività e Rivendicazioni
L'articolo sostiene di fornire uno strumento (COTS) in versione breve, psicometricamente solido, per valutare il pensiero computazionale tra gli studenti universitari. Integrando la CFA e la modellazione Rasch, lo studio offre una validazione completa che affronta sia la validità strutturale che le proprietà di misurazione a livello di item.

Gli autori affermano che il COTS è uno strumento valido e affidabile per i contesti educativi, capace di identificare i punti di forza e di debolezza degli studenti per informare interventi mirati e la progettazione curricolare. Tuttavia, lo studio riconosce modestamente un limite: lo strumento è rivolto principalmente a individui con abilità di CT moderate. A causa del raggruppamento della difficoltà degli item nel range basso-moderato, lo strumento ha una precisione limitata nel differenziare individui con abilità di CT avanzate o di alto livello. Di conseguenza, l'articolo conclude che, sebbene l'attuale strumento sia robusto per la valutazione generale, lo sviluppo futuro dovrebbe concentrarsi sulla creazione di item più impegnativi per migliorare la copertura nella parte superiore dello spettro delle abilità.