Generative AI Responses to Patient-Presented Orthodontic Misinformation and Controversial Claims: A Comparative Cross-Sectional Evaluation of Safety, Accuracy, Evidence Concordance, Misinformation Correction, Uncertainty Communication, Transparency, and Actionability

Le persone si rivolgono sempre più ai motori di ricerca, ai social media e ai video brevi per ottenere risposte sulla propria salute. Questi canali rendono le informazioni facili da trovare, ma rendono anche difficile giudicare chi stia dicendo la verità. Ciò è particolarmente vero per l'ortodonzia, il campo dell'odontoiatria che serve a raddrizzare i denti e allineare le mascelle. I consigli trovati online spesso mescolano fatti con esagerazioni, storie personali o strategie di vendita. Un paziente potrebbe leggere che un certo tipo di apparecchio può cambiare la forma del proprio viso, o che può raddrizzare i propri denti a casa usando degli elastici. Sebbene parte di queste informazioni sia innocua, altre affermazioni possono portare a aspettative irrealistiche, ritardi nelle cure mediche o persino a lesioni fisiche. Quando una persona incontra un'affermazione confusa o pericolosa, ha bisogno di una spiegazione chiara, sicura e accurata per aiutarla a decidere cosa fare dopo.

Negli ultimi anni, è emerso un nuovo tipo di strumento per aiutare le persone a organizzare le informazioni: l'intelligenza artificiale generativa. Questi sistemi possono sostenere conversazioni e rispondere a domande in un linguaggio fluido e naturale. Stanno diventando comuni nella vita quotidiana e molte persone ora chiedono loro consigli sulla salute. Tuttavia, rimane incerto se questi sistemi siano in grado di gestire il compito complicato di correggere le false affermazioni mediche senza dare accidentalmente istruzioni pericolose. Un programma informatico potrebbe sembrare sicuro di sé e cortese pur omettendo un avvertimento critico o non spiegando perché un'idea popolare sia errata. Per capire quanto bene questi strumenti performino in uno scenario del mondo reale, i ricercatori avevano bisogno di testarli contro i tipi specifici di domande fuorvianti che i pazienti pongono realmente.

Un team di ricercatori provenienti da ospedali della Cina si è posto l'obiettivo di testare cinque dei più popolari chatbot di intelligenza artificiale rivolti al consumatore. Volevano vedere come questi sistemi rispondessero quando gli utenti presentavano affermazioni false o controverse sull' trattamento ortodontico. Lo studio si è concentrato su cinque sistemi specifici: ChatGPT, Gemini, Microsoft Copilot, DeepSeek e Doubao. I ricercatori non hanno posto a questi sistemi domande semplici come "cos'è un dente?". Invece, hanno creato sessantotto prompt specifici basati sulla disinformazione del mondo reale. Questi prompt includevano idee false sull'estrazione dei denti, sul cambiamento dei tratti del viso, sull'uso di allineatori fai-da-te o sull'accelerazione del trattamento con metodi non provati. Ogni prompt è stato progettato per contenere una premessa falsa che il chatbot avrebbe dovuto riconoscere e correggere.

I ricercatori hanno sottoposto ciascuna delle sessantotto domande a tutti e cinque i chatbot, generando un totale di trecentoquaranta risposte. Hanno trattato ogni domanda come una singola conversazione una tantum per garantire la coerenza dei risultati. Per valutare le risposte, cinque esperti medici ortodonti hanno esaminato il testo in modo indipendente. Hanno cercato diverse qualità chiave. Innanzitutto, hanno controllato la sicurezza: la risposta incoraggiava comportamenti che potrebbero danneggiare il paziente, come tentare di muovere i denti senza un esame professionale? In secondo luogo, hanno misurato l'accuratezza: l'informazione era fattualmente corretta? Terzo, hanno valutato quanto la risposta corrispondesse alle evidenze mediche stabilite. Hanno anche controllato se il chatbot correggesse attivamente la premessa falsa contenuta nella domanda, invece di limitarsi a ignorarla fornendo una risposta generica. Infine, hanno valutato se la risposta comunicasse l'incertezza in modo appropriato, se fosse trasparente riguardo alle proprie fonti e se fornisse al paziente un passo successivo chiaro e sicuro da compiere.

I risultati hanno mostrato che tutti e cinque i chatbot erano generalmente bravi a evitare i pericoli più ovvi. Delle trecentoquaranta risposte, trecentoseven sono state classificate come sicure, il che significa che non contenevano consigli che potessero portare a un danno fisico immediato. Tuttavia, i sistemi non erano ugualmente validi in tutto il resto. I ricercatori hanno scoperto differenze significative nel modo in cui i chatbot gestivano la qualità delle loro risposte. ChatGPT ha fornito costantemente le informazioni più accurate ed è stato il migliore nel correggere le idee false presentate nelle domande. È stato anche il migliore nello spiegare i limiti della propria conoscenza e nell'offrire passi chiari e azionabili per il paziente. Gemini è stato bravo in alcune aree, pareggiando con ChatGPT sulla corrispondenza delle sue risposte con le evidenze mediche, ma è stato meno costante in altre categorie. Gli altri tre sistemi, inclusi Copilot, DeepSeek e Doubao, hanno generalmente ottenuto punteggi più bassi in tutto, fallendo spesso nel correggere la disinformazione o nel fornire una guida sufficientemente dettagliata.

Un risultato cruciale dello studio è stato che essere "sicuri" non significa che una risposta sia sufficientemente buona da essere usata da sola. Molte delle risposte evitavano consigli pericolosi ma non riuscivano comunque a correggere l'incomprensione del paziente o a fornire il contesto necessario. Ad esempio, un chatbot potrebbe affermare correttamente che i denti necessitano di apparecchi, ma non spiegare che un particolare metodo fai-da-te menzionato nella domanda è insicuro. Lo studio ha dimostrato che, sebbene i sistemi raramente dessero istruzioni che potessero causare lesioni immediate, spesso mancavano della profondità e della precisione richieste per una guida medica. I ricercatori hanno notato che le differenze tra i sistemi non erano solo variazioni minori; i modelli con le prestazioni migliori erano chiaramente superiori nella capacità di gestire affermazioni complesse e fuorvianti rispetto agli altri.

Gli autori hanno concluso che questi strumenti di intelligenza artificiale dovrebbero essere visti come utili supplementi all'educazione del paziente, non come sostituti di una visita dal dentista. Possono aiutare a organizzare le informazioni e rispondere a domande generali, ma non possono sostituire la necessità di un esame professionale, di radiografie o di un piano di trattamento personalizzato. Lo studio sottolinea che i pazienti non dovrebbero fare affidamento su questi chatbot per convalidare le affermazioni che vedono online, specialmente quando tali affermazioni riguardano il cambiamento dei denti o del viso. Invece, il miglior uso di questi strumenti è raccogliere informazioni iniziali e poi cercare un professionista qualificato per verificare i fatti e discutere un corso d'azione sicuro. La ricerca suggerisce che, sebbene la tecnologia stia avanzando, essa richiede ancora la supervisione umana per garantire che il consiglio fornito non sia solo sicuro, ma anche accurato, completo e veramente utile per il singolo paziente.