Invariance of multiple-choice item difficulty to item position: a counterbalanced quasi-experimental study in emergency medical services education
Questo studio quasi-sperimentale controbilanciato nell'ambito dell'istruzione dei servizi medici di emergenza dimostra che la difficoltà degli item a scelta multipla e la prestazione degli esaminandi rimangono essenzialmente invariate rispetto alla posizione dell'item, supportando la validità della randomizzazione dell'ordine delle domande nelle valutazioni informatizzate.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di dover sostenere un grande esame, come un esame finale di una materia difficile. Ti siedi, matita in mano, e la prima domanda ti colpisce. Se quella prima domanda è un mostro — super difficile e confusa — potresti andare nel panico. Il cuore accelera, il cervello si annebbia e improvvisamente anche le domande che avresti saputo rispondere iniziano a sembrare impossibili. Questo è il concetto alla base dell' "ansia da esame": la paura che l'ordine delle domande conti. Se incontri un muro all'inizio, potresti inciampare per il resto del test.
Ma ecco il colpo di scena: e se alle domande non importasse affatto dove si trovano? Nel mondo della misurazione educativa, esiste una regola d'oro chiamata "invarianza". È come dire che un mattone è un mattone, sia esso in fondo o in cima a un muro. Il peso e le dimensioni del mattone non cambiano solo perché lo hai spostato. Allo stesso modo, la difficoltà di una domanda di un test dovrebbe essere un tratto fisso della domanda stessa, non un trucco della sua posizione. Se questa regola è rispettata, i computer possono rimescolare le domande casualmente per impedire agli studenti di utilizzare risorse non autorizzate, e i punteggi saranno comunque equi. Ma se la regola viene infranta, rimescolare le domande potrebbe accidentalmente rendere il test più difficile o più facile per alcune persone, rovinando l'equità.
Questo è esattamente il mistero che un gruppo di ricercatori in Arabia Saudita ha deciso di risolvere. Non stavano solo tirando a indovinare; hanno condotto un esperimento molto intelligente con studenti che studiavano servizi medici di emergenza. Volevano vedere se spostare una domanda dall'inizio di un quiz alla fine dello stesso cambiasse quanto sembrasse difficile o quanti studenti la rispondessero correttamente. Si chiedevano anche se iniziare con domande facili e lasciare quelle difficili per la fine (il metodo "dal facile al difficile") fosse effettivamente meglio per il cervello di tutti rispetto al contrario.
Il Grande Rimescolamento delle Domande
Per risolvere il caso, i ricercatori hanno organizzato un gioco "controbilanciato". Immagina di avere un mazzo di 1anno 10 carte, ognuna delle quali rappresenta una domanda medica sulla salute del cuore. Hanno creato due versioni del quiz. Il Gruppo A ha ricevuto le carte in ordine, dalla più facile alla più difficile. Il Gruppo B ha ricevuto le stesse identiche carte, ma in ordine inverso: dalla più difficile alla più facile. Poiché i gruppi erano perfettamente coordinati, ogni singola domanda è stata posta all'inizio del test per un gruppo e alla fine per l'altro. Era come guardare lo stesso film, ma un gruppo ha visto prima il finale e l'altro ha visto prima l'inizio.
Lo studio ha coinvolto 89 studenti (65 uomini e 24 donne) che sostenevano un quiz di 10 domande sulla cardiologia. Le domande spaziavano da semplici controlli di memoria (come "Qual è il nome di questa valvola cardiaca?") a complessi enigmi clinici (come "Guarda questa striscia del ritmo cardiaco e dimmi cosa c'è che non va"). I ricercatori hanno utilizzato un trucco statistico speciale per vedere se la "difficoltà" di una domanda cambiasse solo perché aveva cambiato posto.
Il Verdetto: Il Mattone Non si Muove
I risultati sono stati sorprendentemente calmi. I ricercatori hanno scoperto che la difficoltà di una domanda era quasi completamente invariante rispetto alla sua posizione. In parole povere: una domanda era tanto difficile (o tanto facile) sia che apparisse per prima, sia che apparisse per ultima.
Quando hanno analato gli studenti maschi, che costituivano il gruppo più numeroso, i dati erano incredibilmente coerenti. La difficoltà di una domanda quando si trovava all'inizio del test correlava quasi perfettamente (un punteggio di 0,975) con la sua difficoltà quando si trovava alla fine. Anche per le domande che erano state spostate per ben nove posizioni, la difficoltà era quasi rimasta invariata. La differenza media in quanto una domanda sembrasse difficile era un minuscolo 0,05 su una scala da 0 a 1.
I ricercatori hanno anche controllato se il tipo di domanda contasse. Le complesse domande cliniche che fanno bruciare il cervello diventavano più difficili quando gli studenti si stancavano alla fine del test? No. L' "invarianza" si è mantenuta vera sia per le semplici domande di memoria che per quelle cliniche più impegnative. La posizione della domanda non ha cambiato le probabilità che uno studente la rispondesse correttamente.
L L'ordine ha cambiato il punteggio?
Il team si è anche chiesto: "Iniziare con domande facili aiuta gli studenti a ottenere punteggi più alti?" La risposta è stata un garbato "forse, ma probabilmente no".
Confrontando i due gruppi, gli studenti che hanno sostenuto la versione "dal facile al difficile" hanno ottenuto punteggi medi leggermente più alti rispetto a quelli che hanno sostenuto la versione "dal difficile al facile". Il gruppo combinato ha ottenuto 0,48 punti in più su 10. Tuttavia, questa differenza non era statisticamente significativa; l'intervallo di confidenza variava da -0,33 a 1,28, il che significa che la vera differenza poteva facilmente essere zero. In altre parole, l'ordine non sembrava dare un vero vantaggio.
C'è stato un piccolo e incerto accenno di un beneficio. L'ordine "dal facile al difficile" ha reso i punteggi del test leggermente più coerenti internamente (una misura statistica chiamata KR-20 è passata da 0,390 a 0,488). Ma i ricercatori hanno avvertito che questi numeri erano instabili perché il test era troppo breve (solo 10 domande) e i gruppi piccoli. Quindi, sebbene iniziare con il facile potrebbe essere una bella abitudine, lo studio non ha dimostato che fosse una formula magica per ottenere punteggi migliori.
Perché questo è importante
La conclusione principale è un sollievo per chiunque progetti o sostenga dei test. Lo studio suggerisce che rimescolare le domande — cosa che i computer fanno automaticamente per prevenire l'uso di risorse non autorizzate — non compromette l'equità del test. La difficoltà di una domanda è un tratto stabile, come il peso di un mattone, e non le importa se si trova all'inizio o alla fine della fila.
Questa scoperta estende la nostra comprensione dagli studenti universitari generici al mondo ad alta tensione dell'addestramento medico d'emergenza. Ci dice che, anche per il ragionamento medico complesso e decisivo per la vita, l'ordine delle domande non distorce i risultati. Sebbene l'approccio "dal facile al difficile" possa sembrare più piacevole agli studenti, i dati suggeriscono che la randomizzazione dell'ordine è sicura ed equa, garantendo che i punteggi riflettano ciò che gli studenti sanno, e non solo dove si sono seduti nella fila delle domande.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.