Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)

Nelle scuole di medicina, imparare a parlare con i pazienti è altrettanto critico che imparare a esaminarli. Per garantire che gli studenti siano pronti per il mondo reale, gli educatori utilizzano un metodo di test chiamato Esame Clinico Strutturato Obiettivo (OSCE). In questo contesto, uno studente siede di fronte a un attore professionista che interpreta un paziente. Lo studente deve porre le domande giuste per raccogliere un'anamnesi medica, e l'attore valuta lo studente in base a una rigorosa checklist di ciò che è stato chiesto e di quanto sia stato fatto bene. Questo processo è il gold standard per l'insegnamento delle abilità cliniche, ma è anche incredibilmente laborioso. Richiede ore di formazione per gli attori, che devono mantenere la coerenza pur dovendo anche giudicare la prestazione dello studente, e richiede che i docenti trascorrano innumerevoli ore a revisionare queste interazioni per garantire l'equità. Man mano che l'intelligenza artificiale diventa più capace di ascoltare le conversazioni e comprendere il linguaggio, gli educatori hanno iniziato a chiedersi se un computer possa subentrare nella valutazione. La speranza è che una macchina possa ascoltare la registrazione, spuntare le domande richieste e dare un voto allo studente in una frazione del tempo necessario a un essere umano, liberando risorse per l'insegnamento.

Un team di ricercatori della University of Texas Medical Branch di Galveston ha intrapreso l'idea di testare questo concetto con un obiettivo specifico: vedere se l'intelligenza artificiale potesse valutare accuratamente le parti oggettive di un colloquto medico. Si sono concentrati su un esame del primo anno di scuola medica che coinvolgeva 234 studenti. In questo esame, gli studenti venivano registrati mentre intervistavano un paziente standardizzato, e attori umani avevano già valutato loro su dodici elementi specifici di una checklist, come chiedere la localizzazione del dolore, la gravità dei sintomi o l'anamnesi familiare del paziente. I ricercatori hanno preso le registrazioni video di questi incontri e le hanno trasformate in trascrizioni testuali. Hanno poi inserito queste trascrizioni in una piattaforma software dotata di intelligenza artificiale, programmata con prompt progettati per cercare proprio quei dodici elementi della checklist. Al computer è stato ordinato di agire come un valutatore, assegnando un punto per ogni elemento rilevato nel testo. Il team ha quindi confrontato i punteggi generati dal computer con i punteggi dati dagli attori umani, cercando le differenze e cercando di capirne le cause.

I risultati hanno mostrato che l'intelligenza artificiale era un assistente capace, sebbene non perfetto. Quando i ricercatori hanno confrontato i voti del computer con quelli umani, hanno riscontrato un livello di accordo moderato. Il punteggio totale medio assegnato dal computer era quasi identico a quello assegnato dagli umani, con il computer che assegnava una media di 11,51 punti su un possibile 12, mentre gli umani ne assegnavano 11,60. In termini di tempo, la differenza era netta. Il processo di valutazione umana, che includeva la formazione degli attori e la revisione degli esami, ha richiesto circa 56 ore per completare questo gruppo di studenti. Il computer, una volta impostato il sistema, ha analizzato tutti i 234 colloqui e ha generato i punteggi in poco meno di tre ore. Ciò suggerisce che, per il compito specifico di verificare la presenza di domande fattuali in un colloquto medico, la macchina può svolgere il lavoro pesante con una velocità notevole e un alto grado di coerenza.

Tuttavia, lo studio ha anche rivelato esattamente dove la macchina ha vacillato. Su quasi 2.800 singole decisioni di valutazione, ci sono stati 83 casi in cui il computer e l'attore umano sono stati in disaccordo. Esaminando da vicino questi errori, i ricercatori hanno individuato quattro ragioni principali per il disallineamento. In primo luogo, il computer dipende interamente dalla qualità del testo che legge. Se la registrazione audio era bassa, se due persone parlavano contemporaneamente o se il rumore di fondo interrompeva la conversazione, il software di trascrizione potrebbe mancare una parola o ascoltarla male. Ad esempio, se uno studente avesse chiesto se il dolore "irradiava" in un'altra parte del corpo ma il computer avesse trascritto "risonava", l'IA non avrebbe riconosciuto il termine medico corretto e avrebbe segnato la domanda come mancante.

In secondo luogo, il computer fatica con il modo in cui gli esseri umani parlano realmente. Gli studenti spesso formulano le domande in modi unici o indiretti che un attore umano può comprendere immediatamente, ma un computer potrebbe perderli se è alla ricerca di un set specifico di parole. Se uno studente avesse chiesto: "Il dolore resta in un unico punto?" invece dell'atteso "Il dolore irradia?", un essere umano potrebbe dare credito per la comprensione del concetto, ma il computer, seguendo regole rigide, potrebbe non farlo. Terzo, il computer non può vedere o sentire gli indizi non verbali. In un vero colloquio, un paziente potrebbe annuire o indicare il proprio stomaco per rispondere a una domanda, e un attore umano darebbe credito allo studente per quell'interazione. Poiché il computer legge solo la trascrizione testuale, non può vedere il cenno o l'indicazione, quindi segna la domanda come non risposta. Infine, c'erano differenze di giudizio. A volte l'attore umano dava credito per un significato implicito che lo studente intendeva, mentre il computer richiedeva che lo studente dicesse esattamente le parole scritte nella checklist.

I ricercatori hanno concluso che, sebbene l'intelligenza artificiale sia uno strumento potente per velocizzare la valutazione di checklist strutturate e oggettive, non è ancora pronta a sostituire interamente il giudizio umano. Il computer è eccellente nel trovare parole specifiche in una trascrizione, ma manca della capacità di comprendere il contesto, il tono o la sottile intenzione dietro la domanda di uno studente. Lo studio suggerisce che il miglior uso di questa tecnologia sia come strumento di supporto. Può gestire la fase iniziale di valutazione, risparmiando agli educatori decine di ore, ma un essere umano deve comunque revisionare i risultati per correggere gli errori derivanti da un audio scadente, da una formulazione insolita o dalla comunicazione non verbale. Finché la tecnologia non sarà in grado di interpretare in modo affidabile la piena sfumatura di una conversazione umana, incluso ciò che non viene detto, l'ultima parola nella valutazione delle abilità cliniche di uno studente deve rimanere in mano a una persona. Il futuro della valutazione nell'educazione medica potrebbe prevedere una partnership in cui la macchina gestisce il volume e l'essere umano gestisce il giudizio, garantendo che gli studenti siano valutati in modo equo ed efficiente.