Quality of physicians responses using a conversational artificial intelligence system: a randomized vignette experiment in Latin America

Nelle frenetiche cliniche dell'America Latina, un medico affronta spesso un momento di silenziosa incertezza: un paziente presenta un complesso insieme di sintomi e il percorso terapeutico corretto non è immediatamente ovvio. Per decenni, la soluzione è stata quella di fermarsi e cercare risposte, sfogliando libri di testo o digitando query in un database digitale. Questo processo si basa sulla capacità del medico di trovare, leggere e interpretare rapidamente enormi quantità di informazioni mediche. Oggi, un nuovo strumento è entrato in questo panorama: l'intelligenza artificiale conversazionale. Questi sistemi, costruiti su massicce collezioni di conoscenza umana, possono sostenere un dialogo, rispondere a domande e riassumere argomenti complessi in pochi secondi. La promessa è che un tale strumento possa agire come un partner al letto del paziente, aiutando i medici a recuperare prove più velocemente e con maggiore accuratezza. Tuttavia, la maggior parte dei test di questi sistemi è stata condotta in ambienti controllati e statici, lontani dalla realtà di un ospedale trafficato in un paese a basso o medio reddito. La domanda critica rimane se questi assistenti digitali migliorino effettivamente la qualità delle cure quando utilizzati da medici reali in contesti reali, o se siano solo chatbot sofisticati che suonano sicuri di sé ma offrono poco aiuto pratico.

Per trovare la risposta, ricercatori in America Latina hanno progettato un confronto diretto che ha coinvolto duecento e due medici. Hanno creato uno scenario in cui ai medici veniva chiesto di risolvere quattro casi di pazienti simulati, ciascuno dei quali richiedeva risposte a quattro domande aperte. I medici sono stati divisi casualmente in due gruppi. Un gruppo ha utilizzato i propri metodi abituali per trovare informazioni, cercando tra le risorse standard come farebbero normalmente. L'altro gruppo ha utilizzato un sistema conversazionale specifico progettato per fornire risposte che potessero essere ricondotte a prove mediche. Per garantire l'equità, due specialisti indipendenti, che non sapevano quale metodo avesse utilizzato ciascun medico, hanno valutato ogni risposta. Hanno valutato le risposte basandosi su sei diverse dimensioni di qualità, creando un punteggio composito che riflettesse la validità complessiva del consiglio medico fornito.

I risultati hanno mostrato una chiara differenza tra i due approcci. I medici che hanno utilizzato il sistema conversazionale hanno prodotto risposte che erano, in media, più valide rispetto a quelli che si sono affidati alle loro pratiche di ricerca abituali. I punteggi per il gruppo supportato sono stati più alti, con una mediana di 2,83 rispetto a 2,46 per il gruppo della pratica abituale. Quando i ricercatori hanno adeguato i dati per fattori come i titoli accademici dei medici, i dati hanno suggerito che un medico che utilizza il sistema ha una probabilità significativamente maggiore di produrre una risposta che soddisfi un alto standard di validità. Questo vantaggio si è mantenuto in quasi tutti i criteri specifici utilizzati per la valutazione, in particolare in quelli in cui gli esperti giudici concordavano maggiormente tra loro. Tuttavia, lo studio ha rivelato anche una sfumatura: guardando strettamente alla sola accuratezza dei fatti, la differenza tra i due gruppi non ha raggiunto un livello di significatività statistica. Ciò ha portato i ricercatori a designare la misura composita più ampia della validità come il reperto primario, una decisione rinforzata quando un valutatore esterno ha ripetuto l'analisi della sola accuratezza e ha riscontrato la stessa mancanza di differenza.

Oltre alla qualità delle risposte, lo studio ha esaminato come i medici si sentissero riguardo al processo e quanto tempo avessero impiegato. I medici che hanno utilizzato il sistema hanno riportato alti livelli di soddisfazione, trovando lo strumento accettabile e facile da usare. Interessante è che il tempo impiegato per completare i compiti e il numero di ricerche che i medici hanno riferito di aver effettuato non hanno mostrato una chiara differenza tra i due gruppi, sebbene i ricercatori abbiano notato che la mancanza di dati rendeva difficile interpretare con certezza questo specifico confronto. Lo studio si conclude con un importante promemoria sulla sua portata: i partecipanti erano volontari che hanno scelto di completare l'esercizio, il che significa che i risultati sono esplorativi piuttosto che una prova definitiva di come lo strumento funzioni per ogni medico in ogni situazione. Sebbene il sistema non abbia agito come una bacchetta magica che risolve ogni problema istantaneamente, l'evidenza suggerisce che, quando utilizzato da medici praticanti in questa regione, può aiutare ad elevare la qualità delle informazioni mediche che forniscono ai loro pazienti.