Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning

Riepilogo Tecnico: Modellazione della Difficoltà degli Item Senza Risposta per Domande a Scelta Multipla con Transformer Affinati

Enunciato del Problema
Una stima accurata della difficoltà degli item è fondamentale per la valutazione educativa ad alto rischio, tuttavia la calibrazione basata sulle risposte è spesso non disponibile per item di nuova stesura, pre-test sicuri o popolazioni ridotte. Sebbene i giudizi degli esperti offrano una soluzione parziale, mancano di sufficiente affidabilità. Ciò rende necessaria la modellazione della difficoltà degli item senza risposta (IDM), in cui la difficoltà è inferita direttamente dalla formulazione dell'item prima della somministrazione.

Gli approcci esistenti presentano limitazioni significative:

1. Pipeline di Ingegneria delle Caratteristiche: Queste estraggono manualmente caratteristiche testuali (ad esempio, leggibilità, profondità sintattica) e le inseriscono in modelli statistici. Tale processo richiede un pre-processing esteso (lemmatizzazione, rimozione delle parole vuote) che scarta informazioni morfosintattiche e si basa su una progettazione di caratteristiche guidata dalla teoria.
2. IRT Esplicativa con Encoder Congelati: Metodi come il Modello Logistico Lineare per i Test (LLTM) integrano le caratteristiche degli item nella funzione di verosimiglianza. Recenti adattamenti utilizzano encoder BERT congelati per sostituire le caratteristiche codificate a mano, ma le rappresentazioni rimangono vincolate agli obiettivi di pre-addestramento generici piuttosto che al compito specifico di IDM.
3. La Sfida della Comprensione del Letto: Per le domande a scelta multipla (MCQ) di comprensione del testo, la difficoltà deriva da richieste inferenziali che coinvolgono congiuntamente il testo, la domanda e le opzioni. Una semplice estrazione di caratteristiche o encoder congelati spesso non riescono a catturare queste complesse interazioni tra componenti, specialmente nei regimi a piccoli campioni tipici della psicometria applicata, dove i dati etichettati sulla difficoltà sono scarsi.

Metodologia
Gli autori propongono e valutano tre architetture basate su transformer che affinano modelli con solo encoder (specificamente ModernBERT) da capo a fondo sulla formulazione degli item, eliminando l'ingegneria manuale delle caratteristiche. Lo studio utilizza un disegno annidato sulle dimensioni del set di addestramento sul corpus RACE++ (29.618 item), dove gli obiettivi di difficoltà sono pseudo-etichettati utilizzando un Grande Modello Linguistico (Gemini 2.5 Flash) calibrato rispetto alle stime Rasch umane del sottoinsieme PALRACE.

I tre metodi confrontati sono:

1. Codifica Congiunta (Baseline):

   • Architettura: Il testo, la domanda e le opzioni sono concatenati in un'unica sequenza di input separata da token [SEP].
   • Meccanismo: Un encoder Transformer standard elabora la sequenza piatta. La rappresentazione aggregata dal token [CLS] viene passata attraverso una testa di regressione lineare per prevedere la difficoltà ($\hat{b}_i$).
   • Obiettivo: Minimizza l'Errore Quadratico Medio (MSE) tra la difficoltà prevista e quella pseudo-etichettata.

2. Codifica per Componente:

   • Architettura: Il testo, la domanda e l'insieme delle opzioni sono codificati separatamente attraverso un encoder condiviso.
   • Meccanismo: Ogni componente produce una rappresentazione [CLS]. Questi tre vettori sono concatenati e inseriti nella testa di regressione.
   • Motivazione: Impone esplicitamente la decomposizione funzionale di una MCQ, permettendo teoricamente al modello di preservare le caratteristiche relazionali dei distrattori che potrebbero andare perse in una sequenza piatta.

3. Apprendimento Multi-Task (MTL):

   • Architettura: Mantiene l'input di codifica congiunta ma aggiunge un ramo ausiliario di Risposta a Domande a Scelta Multipla (MCQA).
   • Meccanismo: L'encoder condiviso alimenta due teste:
     • Una testa di regressione per la difficoltà ($\hat{b}_i$).
     • Una testa di classificazione ($f_\xi$) che prevede la probabilità che ciascuna opzione sia corretta.
   • Addestramento: I compiti si alternano per batch. Un vettore condizionante del compito apprendibile ($z_t$) viene aggiunto all'embedding [CLS] per segnalare il compito attivo. La perdita MCQA è pesata ($\lambda=0.05$) per prevenire il trasferimento negativo.
   • Motivazione: Il compito ausiliario agisce come regolarizzatore, costringendo l'encoder a imparare rappresentazioni capaci di discriminazione a livello di opzione. Questo allinea le caratteristiche apprese al processo cognitivo della prova, fornendo un segnale di supervisione quando l'etichetta primaria di difficoltà è scarsa.

Risultati Chiave
I modelli sono stati valutati su tre dimensioni del set di addestramento ($n \approx 800$, $n \approx 4.300$ e $n \approx 23.000$) utilizzando RMSE, $R^2$ e Spearman $\rho$.

• Fattibilità dell'Affinamento da Capo a Fondo: Tutti i metodi basati su transformer hanno superato significativamente il regressore "finto" (che prevede la difficoltà media del set di addestramento). A $n \approx 800$, i modelli hanno ridotto l'RMSE del 14–16% rispetto alla baseline, dimostrando che l'affinamento dei transformer è un'alternativa valida alle pipeline di ingegneria delle caratteristiche.
• Codifica per Componente: Questa variante ha mostrato nessun beneficio rilevabile rispetto alla codifica congiunta. Anzi, ha performato leggermente peggio su RMSE e $R^2$ a dimensioni campionarie più piccole. Gli autori interpretano ciò come evidenza che il meccanismo di auto-attenzione nella codifica congiunta cattura già efficacemente i segnali tra componenti, rendendo ridondante una decomposizione architetturale esplicita.
• Apprendimento Multi-Task (MTL):
  • Alla dimensione campionaria più piccola ($n \approx 800$), l'MTL ha fornito miglioramenti accoppiati significativi rispetto alla codifica congiunta su tutte le metriche (RMSE, $R^2$ e Spearman $\rho$).
  • All'aumentare della dimensione del set di addestramento ($n \approx 4.300$ e $23.000$), il vantaggio dell'MTL è diminuito ed è diventato statisticamente indistinguibile dalla codifica congiunta.
  • Ciò conferma l'ipotesi che l'obiettivo MCQA ausiliario fornisca un segnale regolarizzante cruciale specificamente quando il segnale primario di difficoltà è scarso.

Significato e Affermazioni
Il documento afferma che l'affinamento dei transformer, in particolare quando regolarizzato da un compito ausiliario adeguato, recupera una porzione sostanziale del segnale di difficoltà derivabile dalla formulazione a dimensioni del set di addestramento tipiche dei contesti di misurazione applicata.

I punti chiave includono:

• Efficienza: L'affinamento da capo a fondo collassa le fasi di pre-processing e modellazione dell'ingegneria delle caratteristiche tradizionale in un unico processo guidato dai dati.
• Regolarizzazione a Piccoli Campioni: In regimi con scarsità di dati, l'aggiunta di un compito ausiliario che imita il processo di svolgimento del test (MCQA) agisce come un pregiudizio induttivo efficace, impedendo al modello di apprendere scorciatoie di superficie e migliorando la generalizzazione.
• Applicazione Pratica: Queste previsioni senza risposta possono servire come prior o stime iniziali nei flussi di lavoro di calibrazione, potenzialmente riducendo la dimensione campionaria richiesta per successivi affinamenti basati sulle risposte.

Gli autori mantengono un tono modesto riguardo al limite assoluto della previsione basata sul testo, riconoscendo che fattori come le strategie di svolgimento del test e il layout visivo non sono catturati nella formulazione, e che gli obiettivi pseudo-etichettati contengono essi stessi rumore derivante sia dal LLM che dalla stima Rasch sottostante. Tuttavia, il framework fornisce un'interfaccia personalizzabile per future estensioni motivate psicometricamente.