Sequential generalized kernel equating: Providing comparable scores across multiple test forms with nonequivalent groups and differently measured covariates

Riepilogo Tecnico: Equivalenza Sequenziale del Kernel Generalizzato

Enunciato del Problema
L'equivalenza dei test è essenziale per garantire l'equità nel confronto dei punteggi provenienti da diverse forme di test somministrate a gruppi differenti. In situazioni in cui i gruppi non sono equivalenti e non è disponibile un test di ancoraggio (item comuni), viene spesso adottato il disegno dei Gruppi Non Equivalenti con Covariate (NEC). Questo disegno si basa sull'ipotesi critica delle distribuzioni condizionali invarianti per popolazione: ovvero, una volta tenute in considerazione le covariate (ad esempio, voti scolastici, punteggi di test precedenti), la distribuzione dei punteggi del test è identica tra i gruppi.

Tuttavia, tale ipotesi è minacciata quando le covariate stesse sono misurate utilizzando diverse forme di test con difficoltà o scale variabili tra i gruppi. In tali casi, la covariata non rappresenta una linea di base puramente pre-trattamento, ma è influenzata dalla specifica forma di test somministrata. Condizionare su tali covariate "post-trattamento" o non invarianti può introdurre distorsioni nei risultati dell'equivalenza, poiché la relazione tra la covariata e il punteggio del test target può differire tra i gruppi. Il lavoro affronta la mancanza di un metodo robusto per gestire queste specifiche violazioni all'interno del quadro dell'equivalenza del kernel.

Metodologia
Gli autori propongono l'Equivalenza Sequenziale del Kernel Generalizzato (Sequential GKE), un'estensione in due passaggi del metodo standard di Equivalenza del Kernel Generalizzato (GKE) progettata per il disegno NEC.

1. Contesto GKE Standard: Il lavoro utilizza il quadro GKE standard, che prevede cinque passaggi: pre-lisciatura (utilizzando modelli log-lineari), stima delle probabilità dei punteggi, continuizzazione (utilizzando kernel gaussiani), definizione della funzione di equivalenza e calcolo degli errori standard. Il GKE standard assume che le covariate siano misurate sulla stessa scala tra le popolazioni.
2. L'Approccio Sequenziale: Per affrontare le differenze di scala nelle covariate, il metodo proposto introduce un passaggio intermedio di equivalenza:
   • Passaggio 1 (Equivalenza della Covariata): La covariata $C$ (specificamente quella misurata da diverse forme) viene prima equivalizzata tra le due popolazioni non equivalenti ($P$ e $Q$). Questo trasforma i valori osservati della covariata nella popolazione $Q$ ($C$) in valori equivalizzati ($C^*$) confrontabili con la distribuzione nella popolazione $P$. Questo passaggio rimuove efficacemente gli effetti della forma dalla covariata prima che questa venga utilizzata per aggiustare i punteggi del test principale.
   • Passaggio 2 (Equivalenza del Punteggio Principale): Viene quindi applicata la procedura GKE standard per equivalizzare i punteggi del test principale ($X$ e $Y$). Crucialmente, le distribuzioni di probabilità congiunte utilizzate in questo passaggio incorporano i valori della covariata trasformati ed equivalizzati ($C^*$) anziché i valori osservati grezzi. Ciò garantisce che l'ipotesi di distribuzione condizionale sia più probabile che si verifichi, poiché la covariata si trova ora su una scala comune.

Studio di Simulazione e Risultati
Gli autori hanno valutato il metodo proposto attraverso uno studio di simulazione utilizzando il disegno NEC, variando le difficoltà delle forme di test, la forza della correlazione tra covariata e punteggio del test, e le dimensioni del campione.

• Violazione dell'Ipotesi: Quando la covariata è stata misurata con difficoltà diverse tra i gruppi (violando l'ipotesi di distribuzione condizionale invariante), il GKE standard ha prodotto una distorsione significativa nei punteggi equivalizzati. Tale distorsione è stata particolarmente pronunciata quando la correlazione tra la covariata e il punteggio del test era forte.
• Prestazioni del GKE Sequenziale: L'applicazione dell'approccio sequenziale ha ridotto significativamente questa distorsione. Equivalizzando prima la covariata, il metodo ha ripristinato la confrontabilità, portando a risultati di equivalenza più accurati.
• Compromessi: Sebbene l'equivalenza della covariata abbia introdotto un lieve aumento dell'Errore Standard dell'Equivalenza (SEE) dovuto alla variabilità aggiuntiva del passaggio di trasformazione, l'Errore Quadratico Medio (RMSE) complessivo è migliorato. Ciò indica un compromesso favorevole in cui la riduzione della distorsione supera il lieve aumento della varianza, in particolare con dimensioni campionarie più grandi.
• Correlazione Debole: Quando la relazione tra la covariata e il punteggio del test era debole, la distorsione derivante dalla violazione dell'ipotesi era meno grave, ma il metodo sequenziale ha comunque fornito miglioramenti senza un'importante inflazione del SEE.

Applicazione su Dati Reali
Il metodo è stato applicato a dati provenienti da un esame nazionale di maturità (test di Lingua Inglese) somministrato nei periodi primaverile e autunnale per tre anni. Il punteggio del test di Lingua Madre (LM) è stato utilizzato come covariata.

• Contesto: Il test di LM è obbligatorio, mentre il test di Inglese è facoltativo. Gli autori hanno notato che i punteggi di LM potrebbero variare leggermente in termini di difficoltà tra i periodi/anni.
• Risultati: In questo specifico insieme di dati, le forme del test di LM apparivano relativamente stabili nel tempo. Di conseguenza, la differenza tra l'uso dei punteggi grezzi di LM e dei punteggi di LM equivalizzati nel modello GKE sequenziale è stata minima. I punteggi di Inglese equivalizzati sono risultati molto simili tra l'approccio standard e quello sequenziale.
• Implicazione: Ciò suggerisce che quando le covariate sono stabili, il passaggio aggiuntivo potrebbe non essere necessario. Tuttavia, gli autori sottolineano che il metodo sequenziale funge da salvaguardia contro la distorsione sostanziale osservata nella simulazione quando l'invarianza della covariata è violata.

Significato e Affermazioni
Il lavoro afferma che il GKE Sequenziale offre una soluzione metodologica per le valutazioni educative ad alto rischio in cui:

1. Non è disponibile un test di ancoraggio.
2. I gruppi non sono equivalenti.
3. Le covariate di background sono misurate utilizzando strumenti o forme diversi che potrebbero non essere direttamente confrontabili.

Gli autori affermano che questo approccio mitiga il rischio di risultati di equivalenza distorti causati da violazioni dell'ipotesi di distribuzioni condizionali invarianti per popolazione. Sottolineano che, mentre il GKE standard è sensibile a tali violazioni, l'approccio sequenziale allinea le scale di misurazione delle covariate prima dell'equivalenza principale, migliorando così l'equità e la confrontabilità dei punteggi. Lo studio conclude che i praticanti dovrebbero verificare empiricamente la stabilità delle covariate; se si sospetta che l'invarianza sia violata, il GKE sequenziale fornisce un meccanismo robusto per correggere queste discrepanze, anche se l'applicazione nel mondo reale ha mostrato solo lievi deviazioni a causa della stabilità dei dati specifici utilizzati.