ChatGPT versus veterinary students for clinical data extraction: a mixed-methods study

Nel mondo della medicina veterinaria, il lavoro quotidiano di cura degli animali genera un oceano vastissimo di informazioni. Ogni volta che un cane viene esaminato, il veterinario annota appunti sui suoi sintomi, i risultati degli esami del sangue e i rilievi delle ecografie. Questi registri sono conservati in sistemi digitali, ma l'informazione al loro interno è spesso scritta sotto forma di testo libero, molto simile a un racconto o a una pagina di diario. Sebbene questo stile narrativo sia naturale per i medici, è difficile da leggere per i computer o da analizzare per i ricercatori. Per trasformare queste storie in dati utili per studi scientifici — come il monitoraggio dei modelli di malattie o la comprensione di come funzionano i trattamenti — qualcuno deve prima leggere ogni singola nota ed estrarre fatti specifici, come una lettura della temperatura o una diagnosi, e inserirli in una tabella ordinata e precisa. Questo processo, noto come estrazione dei dati, è essenziale per la scienza moderna, ma se eseguito manualmente, è lento, tedioso e soggetto all'errore umano.

L'intelligenza artificiale è emersa come una potenziale soluzione a questo collo di bottiglia. Nello specifico, i grandi modelli linguistici sono programmi informatici addestrati su enormi quantità di testo che possono comprendere e generare il linguaggio umano. Questi strumenti promettono di leggere le cartelle cliniche ed estrarre i fatti necessari in pochi secondi, liberando potenzialmente gli esperti per concentrarsi su compiti più complessi. Tuttavia, rimane una domanda critica: questi strumenti digitali possono effettivamente svolgere il lavoro bene quanto un essere umano esperto, o commettono errori che potrebbero rovinare la ricerca? Inoltre, come si sentono le persone che utilizzeranno questi strumenti, come i futuri veterinari, nel consegnare questo lavoro a una macchina? Per rispondere a queste domande, i ricercatori della Texas A&M University hanno condotto un confronto diretto tra studenti umani e un sistema di intelligenza artificiale, misurando non solo la velocità e l'accuratezza del lavoro, ma anche i pensieri e i sentimenti degli studenti coinvolti.

Lo studio si è concentrato su dieci studenti di secondo anno di medicina veterinaria, iscritti a un corso sull'intelligenza artificiale. I ricercatori hanno chiesto a questi studenti di estrarre informazioni dalle cartelle cliniche di tre cani sospettati di avere la pancreatite, un'infiammazione dolorosa del pancreas. Gli studenti hanno eseguito questo compito due volte. Per prima, hanno letto manualmente le cartelle e compilato un foglio di calcolo con sessantatré diversi punti dati, che andavano dall'età e dal peso dell'animale fino a specifici valori di laboratorio e descrizioni ecografiche. Dopo una pausa di un mese per garantire che non ricordassero semplicemente le risposte, gli stessi studenti hanno eseguito esattamente lo stesso compito, ma questa volta utilizzando un chatbot, un tipo di intelligenza artificiale, per aiutarli. Sono stati istruiti a incollare le cartelle cliniche nel chatbot e chiedere al sistema di estrarre i dati, registrando quanto tempo impiegava ogni metodo.

I risultati hanno rivelato una differenza drammatica nella velocità. Lavorando da soli, gli studenti impiegavano in media otto minuti e mezzo per completare l'estrazione per un singolo caso. Utilizzando il chatbot, il processo richiedeva solo quindici secondi per caso. Ciò significa che l'intelligenza artificiale era trentaquattro volte più veloce degli studenti umani. Nonostante questo enorme divario di velocità, l'accuratezza del lavoro è rimasta sorprendentemente alta per entrambi i metodi. Gli studenti hanno raggiunto un tasso di accuratezza superiore al novanta percento, e l'intelligenza artificiale ha eguagliato questa prestazione, superando anch'essa il novanta percento di accuratezza. Questo risultato suggerisce che la velocità della macchina non è avvenuta a scapito della qualità; lo strumento è stato in grado di elaborare l'informazione in modo altrettanto affidabile rispetto agli studenti formati.

Tuttavia, la natura degli errori commessi dagli umani e dalle macchine era piuttosto diversa. Gli studenti tendevano a commettere errori legati alla fatica e alla ripetizione, come digitare un numero in modo errato o disallineare una riga di dati. Inoltre, avevano difficoltà con le descrizioni ambigue nelle note mediche, talvolta inferendo informazioni che non erano esplicitamente dichiarate. Ad esempio, se un registro menzionava una piccola quantità di fluido senza dire esplicitamente "anormale", uno studente poteva ipotizzare la gravità, mentre l'intelligenza artificiale tendeva a essere più conservativa, attenendosi strettamente a quanto scritto. Interessantemente, l'intelligenza artificiale commetteva un tipo di errore diverso: a volte non seguiva rigorosamente le istruzioni di formattazione, restituendo una frase completa quando veniva richiesto un semplice codice. Sebbene lo strumento comprendesse il contenuto medico, occasionalmente mancava di rispettare le regole specifiche del compito, un tipo di errore che non si verificava con gli studenti umani.

Oltre ai numeri, i ricercatori volevano capire come si sentissero gli studenti riguardo l'uso di questa tecnologia. Attraverso sondaggi e interviste, gli studenti hanno espresso una chiara preferenza per l'intelligenza artificiale. Descrivevano il processo manuale come mentalmente estenuante e ripetitivo, notando che lo strumento li aiutava ad evitare il carico cognitivo di setacciare narrazioni lunghe e disordinate. Gli studenti sentivano che l'intelligenza artificiale poteva gestire le parti noiose e ripetitive del lavoro, permettendo loro di concentrarsi sugli aspetti più complessi del ragionamento clinico. Eppure, questa fiducia non era cieca. Gli studenti hanno sottolineato che avrebbero comunque dovuto controllare il lavoro svolto dalla macchina. Riconoscevano che, sebbene lo strumento fosse efficiente, l'ultima responsabilità per i dati e le decisioni mediche basate su di essi restava in capo al veterinario umano.

Lo studio conclude che l'intelligenza artificiale è un partner potente ed efficiente per l'estrazione dei dati dalle cartelle cliniche veterinarie, capace di lavorare a una velocità che gli umani non possono eguagliare mantenendo un'alta accuratezza. La tecnologia eccelle nel ridurre la fatica dei compiti ripetitivi, ma non sostituisce la necessità di una supervisione umana. Gli studenti dello studio hanno visto il valore nell'integrare questi strumenti nelle loro future carriere, a patto che siano usati per assistere piuttosto che sostituire il giudizio umano. Mentre la medicina veterinaria avanza, la combinazione tra l'esperienza umana e la velocità dell'intelligenza artificiale offre una strada promettente per gestire il crescente volume di dati medici, garantendo che le storie contenute nei registri possano essere trasformate in conoscenza utile per aiutare gli animali ovunque.