Examining the robustness of a model selection procedure in the binary latent block model through a language placement test data set

Sintesi Tecnica: Esame della Robustezza di una Procedura di Selezione del Modello nel Modello a Blocchi Latenti Binari attraverso un Set di Dati di Test di Posizionamento Linguistico

Enunciato del Problema
Il documento affronta la sfida di analizzare i dati dei test di posizionamento, in particolare il test SELF utilizzato presso l'Université Grenoble Alpes, per raggruppare simultaneamente gli studenti in gruppi omogenei basati sulla competenza e gli item in gruppi basati sulla difficoltà o sull'abilità. I dati sono rappresentati come una matrice binaria in cui le righe corrispondono agli studenti, le colonne agli item del test e le voci indicano risposte corrette (1) o errate (0).

La difficoltà principale risiede nell'applicazione dei Modelli a Blocchi Latenti (LBM) a questi dati binari. Sebbene gli LBM consentano il raggruppamento simultaneo di righe e colonne, la selezione del numero corretto di gruppi di righe ($g$) e di gruppi di colonne ($m$) non è banale. Criteri standard come AIC e BIC non sono direttamente applicabili poiché la verosimiglianza massimizzata non può essere calcolata per gli LBM. Inoltre, gli algoritmi di stima (come l'EM Variazionale o il campionamento Gibbs) sono sensibili ai valori iniziali e inclini a convergere verso cluster vuoti o ottimi locali. Gli autori notano una mancanza di risultati teorici o di disuguaglianze di concentrazione non asintotiche per i criteri di selezione del modello in questo specifico contesto, rendendo necessaria un'approccio computazionale.

Metodologia
Gli autori propongono una procedura di selezione del modello basata sul criterio della Verosimiglianza Completata Integrata (ICL), esteso per i modelli a blocchi latenti binari. La metodologia coinvolge tre componenti principali:

1. Algoritmo di Stima: Lo studio utilizza un algoritmo combinato V-Bayes Gibbs. Questo approccio impiega un'approssimazione di Bayes Variazionale per evitare gruppi vuoti e un campionatore Gibbs per mitigare la sensibilità ai valori iniziali. L'algoritmo viene eseguito $T$ volte (inizializzazioni) per ogni coppia candidata di $(g, m)$, mantenendo la soluzione che massimizza l'energia libera.
2. Selezione del Modello: La procedura itera su una griglia di possibili coppie $(g, m)$. Per ogni coppia, il criterio ICL viene calcolato utilizzando la partizione $(\hat{z}, \hat{w})$ ottenuta tramite la regola del Massimo a Posteriori (MAP) dopo l'ultimo passaggio V-Bayes. La coppia $(\hat{g}, \hat{m})$ che massimizza l'ICL viene selezionata come modello ottimale.
3. Analisi di Robustezza: La robustezza della procedura viene valutata in due modi:
   • Ottimizzazione dell'Inizializzazione: Determinazione del numero necessario di inizializzazioni ($T$) per recuperare in modo affidabile il modello vero, testato tramite simulazione e dati reali.
   • Stabilità della Dimensione del Campione: Valutazione della stabilità dei raggruppamenti degli studenti al variare della dimensione del campione ($n$). Ciò comporta la simulazione di sottocampioni di studenti e il confronto delle partizioni risultanti con un modello di riferimento utilizzando tassi di classificazione errata e tabelle di contingenza con aggiustamenti per lo scambio di etichette.

Set di Dati
Lo studio utilizza due set di dati reali dal test di posizionamento SELF:

• Test di Giapponese: 137 studenti, 33 item (prima fase).
• Test di Inglese: 228 studenti, 36 item (prima fase).
  Entrambi i set di dati coprono tre abilità: comprensione orale, comprensione scritta ed espressione scritta.

Risultati Chiave

• Sensibilità all'Inizializzazione: Il numero richiesto di inizializzazioni ($T$) dipende fortemente dalla "difficoltà" del set di dati.
  • Nel set di dati Giapponese (considerato un caso "facile"), il modello di riferimento $(3, 4)$ è stato trovato nel 100% delle 170.000 esecuzioni con una singola inizializzazione ($T=1$). I tempi di inter-arrivo per il modello di riferimento sono stati tutti uguali a 1.
  • Nel set di dati Inglese (un caso "difficile"), il modello di riferimento $(4, 5)$ è stato trovato solo 16 volte in 170.000 esecuzioni. Il tempo di inter-arrivo mediano è stato di 6.595,5, suggerendo che centinaia o migliaia di inizializzazioni sono necessarie per trovare in modo affidabile il modello ottimale in scenari complessi.
  • Gli studi di simulazione hanno confermato che per bassi livelli di rumore ($\epsilon \leq 0,25$), $T=1$ è spesso sufficiente, ma all'aumentare del rumore ($\epsilon = 0,3$), la distribuzione di $T$ si sposta significativamente verso valori più alti.
• Robustezza alla Dimensione del Campione:
  • All'aumentare del numero di studenti ($n$), il numero selezionato di gruppi $(\hat{g}, \hat{m})$ converge verso la coppia di riferimento.
  • Il tasso di studenti classificati erroneamente diminuisce all'aumentare di $n$ quando viene selezionato il numero corretto di gruppi.
  • Per dimensioni del campione più piccole e livelli di rumore più elevati, la distribuzione dei modelli selezionati diventa più dispersa, sebbene tenda ancora a concentrarsi attorno al riferimento all'aumentare di $n$.
• Stime dei Parametri: Nel set di dati Inglese, i parametri stimati hanno rivelato un gruppo di item in cui la probabilità di una risposta corretta era simile in tutti i gruppi di studenti. Gli autori suggeriscono che ciò indica caratteristiche rumorose o irrilevanti che potrebbero ostacolare un co-clustering significativo.

Significato e Affermazioni
Il documento afferma di fornire un quadro computazionale pratico per l'ottimizzazione della selezione del modello nei modelli a blocchi latenti binari dove mancano garanzie teoriche. Il contributo principale è la dimostrazione che il numero di inizializzazioni dell'algoritmo deve essere adattato alla difficoltà specifica del set di dati; un approccio "taglia unica" è insufficiente.

Gli autori concludono modestamente che, sebbene la procedura sia robusta in termini di stabilità dei gruppi all'aumentare della dimensione del campione, può avere difficoltà con set di dati contenenti caratteristiche rumorose (item con probabilità di successo uniformi). Come prospettiva futura, suggeriscono che l'incorporazione di una "classe di rumore" nel modello a blocchi latenti (come proposto da Laclau e Brault) potrebbe migliorare i risultati isolando gli item che non contribuiscono alla classificazione degli studenti, potenzialmente aiutando nel perfezionamento dei test di posizionamento. Il lavoro non afferma di risolvere le questioni teoriche di identificabilità, ma offre una strategia computazionale validata per i professionisti che si occupano di dati di test di posizionamento.