Inverted validity arguments in the evaluation of India’s national professionalism curriculum: a systematic review
Questa revisione sistematica rivela che la letteratura che valuta il curriculum nazionale sulla professionalità AETCOM dell'India è metodologicamente fallace e "invertita", offrendo ampie e sicure affermazioni di efficacia basate su disegni deboli e spin, pur non fornendo le prove necessarie per determinare se il curriculum migliori effettivamente la pratica medica nel mondo reale.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di essere uno chef che cerca di capire se una nuova ricetta per la "Zuppa Perfetta", imposta dal governo, stia effettivamente rendendo le persone più sane. Nel mondo dell'educazione medica, questa ricetta si chiama AETCOM, un programma nazionale in India progettato per insegnare ai futuri medici come essere gentili, etici e bravi a parlare con i pazienti. Ma ecco la parte complicata: come fai a sapere se la zuppa funziona davvero? Non puoi semplicemente chiedere allo chef se pensa che sia buona, e non puoi nemmeno limitarti a guardare la lista degli ingredienti. Devi osservare cosa succede quando la zuppa viene servita ai veri clienti in un vero ristorante. È qui che entra in gioco la scienza della "valutazione". È il processo di controllo se una lezione cambi effettivamente il comportamento nel mondo reale, non solo in un'aula. Per farlo correttamente, gli scienziati usano alcuni concetti fondamentali: la "Validità", che è come controllare se il tuo righello sta misurando la lunghezza e non la temperatura; il "Trasferimento dell'Addestramento", che chiede se ciò che impari in cucina ti aiuta davvero a cucinare meglio quando il ristorante si riempie; e lo "Spin" (la distorsione), ovvero quando qualcuno scrive un rapporto che fa sembrare un piccolo successo una vittoria gigantesca.
Ora, immagina un team di detective — i ricercatori Siddalingaiah e Masali — che decidono di indagare sulla pila di rapporti scritti su questa ricetta della "Zuppa Perfetta". Non si sono limitati a chiedere: "La zuppa funziona?". Hanno posto una domanda molto più strana: "I rapporti in nostro possesso sono effettivamente capaci di rispondere a questa domanda?". Hanno esaminato decine di studi dal 2015 in poi che cercavano di testare il curriculum AETCOM. Quello che hanno trovato è stato simile ad entrare in una stanza dove tutti urlano che la zuppa è fantastica, ma nessuno sta in realtà assaggiando la zuppa nel ristorante. Invece, stanno assaggiando gli ingredienti crudi in cucina, o stanno solo chiedendo allo chef come si sente riguardo alla ricetta.
I detective hanno scoperto che la "dimensione" del successo riportato in questi studi dipendeva interamente da come era impostato il test, non da quanto fosse buona la zuppa. Quando gli insegnanti valutavano i propri studenti immediatamente dopo la lezione, i risultati erano enormi e radiosi, come un punteggio di 3,49 su una scala dove 1 è già ottimo. Ma quando i ricercatori hanno cercato i soli due studi che avevano effettivamente confrontato gli studenti che avevano ricevuto l'addestramento con quelli che non lo avevano ricevuto, la magia è svanita. Il punteggio è sceso a un minuscolo 0,12. È come se il primo gruppo di tester avesse usato una lente d'ingrandimento che faceva apparire tutto più grande, mentre il secondo gruppo avesse usato uno specchio semplice e onesto. Il documento mostra che più le regole del test erano "permissive" (o lasche), maggiore sembrava essere il successo riportato.
Ancora più interessante, i ricercatori hanno notato un bizzarro schema di "spin". Hanno scoperto che nel 75% dei rapporti, gli autori facevano affermazioni che andavano ben oltre ciò che avevano effettivamente misurato. È come se uno studente prendesse un 'A' in un test di ortografia e poi scrivesse nel suo rapporto: "Questo dimostra che vincerò il Premio Nobel per la Letteratura". Gli studi misuravano cose come "come si sentivano gli studenti" o "ciò che sapevano in un test", ma i rapporti sostenevano che questi studi dimostrassero che i medici ora trattavano meglio i pazienti o che le cause legali sarebbero scomparse. In effetti, l'89% dei rapporti rivendicava più di quanto le loro prove potessero supportare. Erano sicuri dei risultati proprio nei punti in cui avevano meno prove.
Il documento evidenzia anche che quasi nessuno ha controllato le "condizioni sul posto di lavoro". Pensa a questo come a: puoi insegnare a un conducente a parcheggiare perfettamente in un parcheggio vuoto, ma se le vere strade della città sono bloccate, affollate e il capo ti dice di guidare veloce, potresti comunque fare un incidente. I ricercatori hanno scoperto che solo il 5% degli studi ha controllato se i supervisori dei medici supportassero il nuovo comportamento, e solo il 12% ha controllato se i medici avessero persino la possibilità di praticare ciò che avevano imparato. Senza sapere se il "parcheggio" fosse aperto, non puoi dare la colpa al conducente se non parcheggia bene, e non puoi dare la colpa nemmeno alla scuola guida.
Quindi, qual è il verdetto? Il documento non dice che il curriculum AETCOM sia cattivo o che non funzioni. Dice che il modo attuale di testarlo è rotto. La base di evidenze è "invertita": è più rumorosa e sicura di sé proprio dove è in realtà più debole. Gli autori concludono che non possiamo ancora dire se il curriculum sia un successo o un fallimento, semplicemente perché non abbiamo costruito un test che possa effettivamente vedere se le lezioni rimangono impresse quando i medici si trovano ad affrontare pazienti reali in ospedali reali. Suggeriscono che dobbiamo smettere di usare i test con la "lente d'ingrandimento" e iniziare a costruire un sistema che osservi ciò che accade nel mondo reale, controllando se l'ambiente permette di utilizzare le nuove competenze. Finché non lo faremo, le grandi affermazioni sul salvare vite e sistemare le relazioni rimarranno esattamente questo: affermazioni, non fatti provati.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.