Comparison of ChatGPT and Gemini in Providing Postoperative Information After Tonsillectomy: An Expert-Based Assessment
Una valutazione basata su esperti che confronta ChatGPT e Gemini per l'educazione postoperatoria alla tonsillectomia in lingua turca non ha riscontrato differenze statisticamente significative nella qualità complessiva o nella sicurezza tra i due modelli, sottolineando la necessità della revisione clinica prima di utilizzare informazioni per i pazienti generate dall'IA.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Ogni anno, milioni di persone si sottopongono a una tonsillectomia, un comune intervento chirurgico per rimuovere le tonsille nella parte posteriore della gola. Sebbene la procedura sia di routine, il recupero è spesso difficile. I pazienti si svegliano con un dolore significativo, difficoltà a deglutire e una costante preoccupazione per il sanguinamento o la disidratazione. Poiché la maggior parte di questo recupero avviene a casa, le famiglie si affidano a istruzioni chiare per sapere cosa è normale e cosa richiede l'aiuto di un medico. Negli ultimi anni, molti si sono rivolti agli strumenti di intelligenza artificiale per ottenere queste risposte istantaneamente. Questi programmi informatici, noti come modelli linguistici di grandi dimensioni, possono sostenere conversazioni e generare testi che suonano molto umani. Promettono di essere disponibili ventiquattr'ore su ventiquattro per spiegare termini medici o offrire consigli. Tuttavia, poiché questi programmi generano risposte basandosi su schemi nei dati piuttosto che su una profonda comprensione della medicina, esiste il rischio che possano fornire consigli confondenti, obsoleti o addirittura pericolosi. La domanda che i medici e i pazienti si pongono è semplice: possiamo fidarci di queste macchine per guidare una famiglia attraverso un recupero difficile, o hanno bisogno di un esperto umano che controlli il loro lavoro?
Per rispondere a questo, un team di ricercatori in Turchia ha allestito un test accurato coinvolgendo due dei sistemi di intelligenza artificiale più avanzati disponibili: ChatGPT e Gemini. Non hanno posto ai computer domande casuali. Invece, sono partiti da persone reali. I ricercatori hanno raccolto le domande di quaranta pazienti che avevano subito recentemente la rimozione delle tonsille. Questi pazienti hanno scritto esattamente ciò che volevano sapere sul proprio recupero, coprendo argomenti come la gestione del dolore, la dieta e quando cercare assistenza d'emergenza. Un panel di dieci medici esperti ha poi perfezionato queste in quindici domande chiare in turco. In un singolo giorno, i ricercatori hanno chiesto sia a ChatGPT che a Gemini di rispondere a queste stesse quindici domande. I computer hanno generato le loro risposte e i ricercatori le hanno salvate esattamente come apparivano, senza cambiare una singola parola.
Successivamente, i ricercatori hanno coinvolto sedici diversi specialisti di otorinolaringoiatria per agire come giudici. Questi medici non sapevano quale programma informatico avesse scritto quale risposta. Vedevano semplicemente due set di risposte, etichettati solo come "Risposta A" e "Risposta B". Ogni medico ha letto le risposte a tutte le quindici domande e le ha valutate su quattro aspetti specifici: quanto le informazioni fossero scientificamente accurate, se il consiglio fosse appropriato per un vero paziente, quanto fosse facile da capire e, cosa più importante, se la risposta fosse sicura o se contenesse qualcosa che potesse indurre in errore un paziente verso il pericolo. I medici hanno assegnato un punteggio da uno a cinque per ogni categoria, con cinque che rappresentava il punteggio massimo possibile. In totale, il team ha raccolto quasi duemila valutazioni individuali per confrontare i due sistemi fianco a fianco.
I risultati hanno mostrato che entrambi i programmi di intelligenza artificiale hanno ottenuto prestazioni piuttosto buone nel complesso. Hanno fornito informazioni generalmente accurate e clinicamente appropriate, ottenendo punteggi elevati per l'esattezza dei fatti medici. Quando i ricercatori hanno esaminato i punteggi totali, ChatGPT ha ricevuto una valutazione media leggermente superiore rispetto a Gemini, ma la differenza era così piccola che avrebbe potuto facilmente essere dovuta al caso. In effetti, quando gli esperti hanno esaminato le categorie specifiche, i due programmi erano quasi identici nella capacità di fornire fatti medici corretti. Nessuno dei due sistemi si è dimostrato chiaramente migliore dell'altro in un modo che i dati potessero confermare con certezza. Lo studio non ha trovato prove che un modello fosse superiore all'altro per questo compito specifico.
Tuttavia, un esame più attento ha rivelato una storia più importante riguardante la sicurezza. Entrambi i programmi hanno ricevuto i punteggi più bassi nella categoria della sicurezza del paziente. Ciò significa che, sebbene le risposte fossero spesso fattualmente corrette, gli esperti hanno comunque individuato potenziali rischi, come la mancanza di avvertenze sul sanguinamento o la fornitura di consigli vaghi sulla medicazione. Anche se ChatGPT ha ottenuto un punteggio di sicurezza leggermente superiore rispetto a Gemini, la differenza non era significativa per dichiararlo la scelta più sicura. Gli esperti hanno anche notato che i medici non sempre concordavano tra loro nel valutare la sicurezza, suggerendo che individuare un pericolo nascosto in un paragrafo di testo è difficile anche per i professionisti. Questa mancanza di un accordo perfetto evidenzia che la sicurezza è un giudizio complesso, non un semplice controllo dei fatti.
Lo studio conclude che, sebbene questi strumenti di intelligenza artificiale siano impressionanti e possano generare informazioni utili, non sono ancora pronti a sostituire il consiglio di un medico. Il fatto che entrambi i sistemi abbiano ricevuto punteggi di sicurezza più bassi suggerisce che un esperto umano debba sempre revisionare le informazioni prima che vengano date a un paziente. La ricerca non mostra che un programma sia il vincitore assoluto, né prova che siano perfettamente sicuri da usare da soli. Al contrario, suggerisce che questi strumenti funzionino meglio come assistenti che forniscono una bozza di informazioni, che un professionista medico deve poi controllare e correggere. Finché la tecnologia non migliorerà al punto da poter identificare ed evitare costantemente tutti i potenziali rischi senza l'aiuto umano, la strada più sicura per i pazienti rimane una conversazione con il proprio medico.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.