Measuring AI Readiness in Health Professions Education: Development and Validation of the AI Competence and Preparedness Evaluation Resource (AICPER)

Immagina di dover insegnare a un'intera scuola di futuri medici, infermieri ed esperti di salute pubblica come usare un nuovo assistente robotico super intelligente. Prima di poter costruire il manuale di formazione perfetto, devi sapere esattamente cosa pensano gli studenti del robot. Lo amano? Temono che possa commettere errori? Pensano che sia imbrogliare se lo usano per i compiti?

Per molto tempo, gli strumenti utilizzati per porre queste domande sono stati un po' come usare un righello per misurare la temperatura: non erano adatti al compito. Erano spesso troppo semplici, focalizzati su un solo tipo di studente o scritti prima dell'esplosione dell'IA generativa (quella che scrive saggi e crea immagini).

Ecco l'AICPER. Immaginalo come un nuovissimo e tecnologicamente avanzato "Termometro dell'Atteggiamento verso l'IA", progettato specificamente per gli studenti del settore sanitario negli Stati Uniti. Un team di ricercatori dell'Università di Rutgers ha costruito questo strumento per vedere esattamente come si sentono gli studenti di infermieristica, farmacia e salute pubblica nei confronti dell'intelligenza artificiale.

La Grande Scoperta: Non è una questione di Dove, ma di Come

Quando i ricercatori hanno costruito l'AICPER per la prima volta, pensavano di misurare tre luoghi specifici in cui l'IA viene utilizzata: la Pratica Clinica (in ospedale), la Ricerca (in laboratorio) e l'Educazione (in aula). Si aspettavano che le risposte si dividessero in questi tre pile ordinate.

Ma ecco il colpo di scena: il cervello degli studenti non ha ordinato le risposte in quel modo. Quando i ricercatori hanno analizzato i dati, le "pile" si sono riorganizzate in tre categorie completamente diverse basate sulle sensazioni piuttosto che sulle posizioni.

1. Benefici Funzionali (Il fattore "Strumento Fantastico"): Questo gruppo misura quanto gli studenti pensano che l'IA renderà i loro lavori più facili, veloci e intelligenti. È come chiedere: "Questo robot mi aiuterà a trasportare scatole pesanti?"
2. Etica e Fiducia (Il fattore "Preoccupazione"): Questo gruppo cattura le paure. Il robot farà errori? È prevenuto? Possiamo fidarci di lui con i segreti dei pazienti? È la pila del "Questo robot mi ruberà il lavoro o mi mentirà?".
3. Coinvolgimento Educativo (Il fattore "Impariamo Qualcosa"): Questo misura il livello di coinvolgimento degli studenti nell'apprendimento relativo all'IA. È la pila del "Voglio seguire un corso su questo".

L'articolo ha scoperto che questa nuova struttura in tre parti è un modo molto migliore per comprendere gli studenti rispetto al semplice chiedere: "Ti piace l'IA in ospedale?". Uno studente potrebbe pensare che l'IA sia uno strumento fantastico per risparmiare tempo (Alti Benefici Funzionali) ma essere comunque terrorizzato dai suoi rischi etici (Bassa Etica e Fiducia). I vecchi strumenti avrebbero perso questa sfumatura, ma l'AICPER la cattura.

Come lo hanno testato (Lo "Stress Test")

Per assicurarsi che questo nuovo termometro funzionasse davvero, i ricercatori non si sono limitati a indovinare. Lo hanno sottoposto a un rigoroso stress test coinvolgendo 193 studenti e 7 esperti giudici.

• Gli Esperti: Sette persone intelligenti con titoli accademici avanzati hanno controllato ogni singola domanda per assicurarsi che avesse senso. Hanno concordato che le domande fossero rilevanti, conferendo allo strumento un punteggio di "validità di contenuto" di 0,86 (che è un punteggio molto buono).
• Gli Studenti: 193 studenti di programmi di infermieristica, farmacia e salute pubblica hanno partecipato al sondaggio.
• La Matematica: I ricercatori hanno utilizzato statistica pesante (come l'Analisi Fattoriale Esplorativa e l'Analisi Fattoriale Confermativa) per vedere se le domande stavano insieme correttamente. Il risultato? Lo strumento ha retto magnificamente. Il punteggio di coerenza interna era di 0,86, il che significa che le domande misuravano in modo affidabile lo stesso sentimento sottostante.

Cosa dicono i numeri

Lo studio non si è limitato a dire "funziona". Ha fornito numeri specifici per sostenerlo:

• Lo strumento finale ha 18 domande (ne hanno scartate due perché non si adattavano bene).
• I tre fattori (Benefici Funzionali, Etica e Coinvolgimento) sono distinti ma correlati, con correlazioni tra 0,42 e 0,61.
• Lo strumento funziona allo stesso modo per gli studenti di infermieristica, farmacia e salute pubblica. I ricercatori hanno verificato questo confrontando i gruppi e hanno trovato che la differenza nel modo in cui lo strumento misurava loro era minima (-0,001), il che significa che un infermiere e un farmacista rispondono alle domande nello stesso "linguaggio".

Cosa NON è (La lista dei "No")

È importante sapere cosa questo articolo non afferma.

• Non è una bacchetta magica: L'articolo dichiara esplicitamente che questo è un passaggio "preliminare" per alcune parti. Hanno utilizzato lo stesso gruppo di studenti sia per scoprire la struttura che per confermarla. Sebbene abbiano usato una matematica avanzata (bootstrap resampling con 2.000 ripetizioni) per dimostrare che i risultati fossero stabili, ammettono che testarlo su un altro gruppo di studenti è il passo successivo necessario.
• Non è ancora perfetto: I ricercatori hanno notato che alcune delle domande a "punteggio invertito" (quelle in cui bisogna pensare "no" per intendere "sì") hanno creato un po' di rumore extra nei dati. Circa il 24,8% della variazione in quelle specifiche risposte era dovuto al modo in cui la domanda era formulata, non solo all'opinione dello studente. Suggeriscono che le versioni future dovrebbero riformularle per renderle più chiare.
• Non è per tutti (ancora): Lo studio ha incluso solo studenti di infermieristica, farmacia e salute pubblica. Non ha incluso studenti di medicina (futuri medici), quindi non possiamo essere sicuri che funzioni anche per loro.

In sintamente

L'AICPER è uno strumento rigorosamente testato di 18 item che misura con successo come si sentono gli studenti del settore sanitario riguardo all'IA. Ha dimostato che gli atteggiamenti degli studenti non riguardano solo il "dove" usano l'IA, ma tre sentimenti fondamentali: utilità, fiducia e coinvolgimento.

I ricercatori suggeriscono che i dirigenti scolastici possono usare questo strumento per scoprire esattamente dove i loro studenti sono bloccati. Se una classe è brava a vedere i benefici ma spaventata dall'etica, possono costruire una lezione specifica per correggere quella paura. Se sono eticamente solidi ma non vogliono imparare la tecnologia, possono provare un approccio didattico diverso.

Sebbene l'articolo si fermi prima di definirlo una "soluzione finale" (poiché sono necessari ulteriori test), esso fornisce la prima solida mappa validata per navigare nel complesso mondo della prontezza all'IA nell'educazione sanitaria. Trasforma un dubbio nebbioso in un'immagine chiara e tridimensionale.