Asymptotic Standard Errors for Reliability Coefficients in Item Response Theory

1. Il Problema

La fiabilità (reliability) è un indice fondamentale della precisione di misurazione nelle scienze psicologiche ed educative. Recentemente, Liu et al. (2025b) hanno classificato i coefficienti di fiabilità in due categorie principali basate su un quadro di regressione:

1. Fiabilità della Teoria Classica dei Test (CTT): Corrisponde al coefficiente di determinazione quando si regredisce un punteggio osservato su tutti i variabili latenti (LV).
2. Riduzione Proporzionale dell'Errore Quadratico Medio (PRMSE): Corrisponde al coefficiente di determinazione quando si regredisce un punteggio latente su tutte le variabili di risposta.

Sebbene questi coefficienti siano concettualmente definiti, nella pratica vengono stimati dai dati campionari e sono quindi soggetti a variabilità campionaria. La letteratura esistente sulla quantificazione di questa incertezza (tramite errori standard, SE, e intervalli di confidenza, CI) è scarsa.

• Limitazione attuale: Le formule SE esistenti (es. metodo Delta) sono accurate solo quando la variabilità deriva esclusivamente dalla stima dei parametri degli item. Tuttavia, per test lunghi o complessi, il calcolo esatto dei momenti della popolazione (necessari per la fiabilità) diventa computazionalmente intrattabile (crescita esponenziale dei pattern di risposta). Di conseguenza, si sostituiscono i momenti della popolazione con stime campionarie.
• Il Gap: Quando si utilizzano momenti campionari, la variabilità campionaria proviene da due fonti simultanee: (1) la stima dei parametri degli item e (2) l'uso dei momenti campionari. I metodi attuali non riescono a catturare correttamente questa doppia fonte di incertezza, rendendo necessari nuovi approcci teorici.

2. Metodologia

Gli autori propongono una strategia generale per derivare gli Errori Standard Asintotici (ASE) per coefficienti di fiabilità che dipendono sia dai parametri stimati del modello IRT che dai momenti campionari.

• Quadro Teorico Generale:

  • Si definisce un vettore di statistiche campionarie $\hat{\eta}(\hat{\nu})$ basato su funzioni $H(Y_i; \nu)$ che dipendono dalle risposte $Y_i$ e dai parametri $\nu$.
  • Si applica il Metodo Delta per derivare l'asintotica normalità di una trasformazione $\phi(\hat{\eta}(\hat{\nu}))$, che rappresenta il coefficiente di fiabilità stimato.
  • La formula dell'errore standard risultante incorpora la matrice di covarianza asintotica che tiene conto sia dell'errore nella stima dei parametri ($\hat{\nu}$) sia della variabilità dei momenti campionari.

• Applicazione Specifica (Modello GRM):
  Gli autori applicano la teoria generale al Modello di Risposta Graduale (GRM) per due casi specifici:

  1. CTT per il punteggio EAP (Expected A Posteriori): Per calcolare la fiabilità CTT, è necessario approssimare integrali intrattabili (la varianza del punteggio vero) utilizzando la quadratura numerica. Gli autori riformulano il punteggio vero come un'aspettativa rispetto alla distribuzione marginale delle risposte, permettendo l'uso di medie campionarie.
  2. PRMSE per la variabile latente: La formula viene espressa in termini di momenti (varianze e covarianze) che possono essere stimati direttamente dai dati.

• Studio di Simulazione:
  È stato condotto uno studio di simulazione per valutare le proprietà dei campioni finiti delle SE derivate.

  • Modelli: Modello Logistico a 2 Parametri (2PL) e GRM (5 categorie).
  • Condizioni: Dimensioni campionarie ($n=250, 500, 1000$) e lunghezze di test variabili ($m=4$ a $32$).
  • Metriche: Bias dei punti stimati, accuratezza degli SE (confronto tra SE teorici e SD empirica), e tassi di copertura degli intervalli di confidenza al 95%.

• Esempio Empirico:
  Applicazione sui dati "SAT12" (600 studenti, 32 item) per calcolare CTT e PRMSE con i relativi intervalli di confidenza.

3. Contributi Chiave

1. Quadro Generale Unificato: Introduzione di un metodo generale per derivare SE che gestisce simultaneamente la variabilità derivante dalla stima dei parametri e dall'uso di momenti campionari, superando i limiti del metodo Delta tradizionale.
2. Derivazioni Analitiche Complete: Fornitura delle formule esatte per gli SE di due coefficienti critici: la fiabilità CTT per il punteggio EAP e la PRMSE per la variabile latente, sotto il modello GRM.
3. Soluzione Computazionale per Test Lunghi: Dimostrazione di come riformulare il punteggio vero come aspettativa marginale permetta di stimare la fiabilità CTT esatta (o quasi esatta) per test lunghi senza dover calcolare la somma su tutti i pattern di risposta possibili, rendendo applicabile la formula degli SE.
4. Validazione Empirica: Dimostrazione tramite simulazione che le nuove formule funzionano bene in campioni moderati e grandi.

4. Risultati

• Accuratezza degli Errori Standard: Le SE derivate analiticamente catturano con precisione la variabilità campionaria. La differenza tra la SD empirica degli stimatori e la media delle SE calcolate è trascurabile (spesso < 0.002) anche per $n=250$.
• Bias dei Punti Stimati:
  • In campioni piccoli ($n=250$), si osserva una leggera sovrastima dei coefficienti di fiabilità (bias positivo), specialmente per test lunghi.
  • Questo bias diminuisce all'aumentare della dimensione campionaria, allineandosi alla teoria asintotica.
• Copertura degli Intervalli di Confidenza:
  • Per $n=250$, si registra una sottocopertura (undercoverage) degli intervalli di confidenza al 95% (es. 90-92% invece di 95%), dovuta alla scarsa approssimazione normale e alla distribuzione asimmetrica degli stimatori in piccoli campioni.
  • Per $n \ge 500$, la copertura raggiunge stabilmente il livello nominale (95%), confermando la validità delle formule in campioni moderati e grandi.
• Esempio Empirico: Nell'applicazione ai dati SAT12, la fiabilità CTT è stata stimata a 0.918 (CI: [0.847, 0.990]) e la PRMSE a 0.838 (CI: [0.821, 0.856]), dimostrando l'utilità pratica del metodo per quantificare l'incertezza.

5. Significato e Implicazioni

Questo lavoro colma una lacuna significativa nella metodologia IRT fornendo strumenti rigorosi per quantificare l'incertezza nelle stime di fiabilità quando si utilizzano dati reali e test lunghi.

• Impatto Pratico: Permette ai ricercatori di riportare non solo un coefficiente di fiabilità, ma anche il suo errore standard e l'intervallo di confidenza, anche quando i momenti della popolazione non sono calcolabili analiticamente.
• Flessibilità: Il quadro teorico proposto è estendibile ad altri punteggi osservati o latenti e ad altri modelli parametrici IRT, non limitandosi solo al GRM.
• Pianificazione del Campione: Le formule degli SE possono essere utilizzate per la pianificazione della dimensione campionaria negli studi di fiabilità.
• Limiti e Futuro: Il metodo assume una specificazione corretta del modello e una distribuzione normale della variabile latente. Future ricerche potrebbero esplorare correzioni per il bias nei piccoli campioni (es. bootstrap o trasformazioni) e l'estensione a modelli IRT multidimensionali.

In sintesi, Sung e Liu forniscono una soluzione analitica robusta per un problema pratico comune nella ricerca psicometrica, migliorando la trasparenza e la precisione nella valutazione della qualità delle misurazioni basate su IRT.