Large Language Models for Pulmonary Embolism Health Education: A Four- Model Comparison of Reliability, Quality, and Readability

Sintesi Tecnica: Modelli Linguistici di Grandi Dimensioni per l'Educazione Sanitaria sull'Embolia Polmonare

Problematica
L'embolia polmonare (EP) è una condizione potenzialmente letale che richiede informazioni pubbliche tempestive, affidabili e comprensibili. Sebbene i modelli linguistici di grandi dimensioni (LLM) siano sempre più utilizzati per interrogazioni di carattere sanitario, le loro prestazioni nella generazione di materiale educativo specifico per i pazienti affetti da EP non sono state confrontate sistematicamente tra più modelli. La letteratura esistente evidenzia preoccupazioni riguardanti le "allucinazioni", l'eccessiva sicurezza, la mancanza di trasparenza delle fonti e l'uso di un linguaggio che supera i livelli di alfabetizzazione sanitaria raccomandati. Esiste una critica necessità di valutare se i principali LLM possano fornire simultaneamente contenuti affidabili, citazioni trasparenti e testi accessibili al grande pubblico (specificamente a un livello di lettura della sesta classe).

Metodologia
Questo studio trasversale ha confrontato quattro LLM accessibili via web: ChatGPT (GPT-5.5), Gemini (3.5 Flash), Microsoft Copilot e Perplexity AI. Lo studio ha seguito la linea guida di reporting CHART (Chatbot Assessment Reporting Tool).

• Raccolta dei dati: Trentuno query ad alta frequenza relative all'EP sono state selezionate dai dati mondiali di Google Trends (17 luglio 2021 – 17 luglio 2026) dopo la mappatura sui Medical Subject Headings (MeSH) e lo screening per pertinenza. Queste query coprivano sintomi, fattori di rischio, diagnosi, trattamento, prognosi e popolazioni speciali.
• Disegno sperimentale: Ogni query è stata sottoposta una sola volta a ciascuno dei quattro modelli in una sessione zero-shot a turno, utilizzando le impostazioni predefinite e la cronologia del browser azzerata per minimizzare la personalizzazione. Ciò ha prodotto un totale di 124 risposte.
• Metriche di valutazione:
  • Affidabilità e Qualità: Valutate tramite DISCERN (16 item, scala 16–75), EQIP (20 item, 0–100%), criteri di benchmark JAMA (4 item per la trasparenza delle fonti) e la Scala di Qualità Globale (GQS, 1–5).
  • Leggibilità: Valutata tramite sei indici: Automated Readability Index (ARI), Flesch Reading Ease Score (FRES), Flesch-Kincaid Grade Level (FKGL), Gunning Fog Index (GFI), Coleman-Liau Index (CLI) e Simple Measure of Gobbledygook (SMOG).
• Analisi Statistica: Due ricercatori clinici indipendenti hanno valutato tutte le risposte. Le differenze tra i modelli sono state analizzate tramite test di Kruskal-Wallis con l'effetto epsilon-quadrato, seguiti da confronti post hoc di Dunn-Bonferroni. La leggibilità è stata confrontata rispetto al parametro di riferimento della sesta classe tramite test di Wilcoxon signed-rank.

Risultati Chiave

• Completamento della risposta: Tutti e quattro i modelli hanno risposto a ogni query senza rifiuti o output vuoti.
• Qualità e Affidabilità:
  • DISCERN: Copilot e Perplexity hanno raggiunto un punteggio mediano di 41 ("qualità discreta"), superando significativamente ChatGPT (35) e Gemini (33), entrambi rientranti nel range "scarsa" ($P < 0.001$). Nessun modello ha raggiunto la soglia di "buona" qualità (51+).
  • EQIP: Tutti i modelli si sono generalmente collocati nell'intervallo "buono con problemi minori" (55–75%), con Copilot (75) e Perplexity (70) che hanno ottenuto punteggi superiori rispetto a ChatGPT (60) e Gemini (55).
  • Benchmark JAMA: Copilot e Perplexity hanno dimostrato una trasparenza delle fonti significativamente migliore (mediana 1.0) rispetto a ChatGPT e Gemini (mediana 0.0), grazie alla visualizzazione delle citazioni ($P < 0.001$).
  • GQS: Non vi è stata alcuna differenza significativa nelle valutazioni della qualità complessiva tra i modelli (mediana 4.0 per tutti, $P = 0.652$).
• Leggibilità:
  • Mancato raggiungimento degli standard: Nessun modello ha soddisfatto il livello di lettura raccomandato della sesta classe su nessuno dei sei indici di leggibilità.
  • Livelli di classe: Gli indici mediani del livello di classe variavano approssimativamente tra 9 e 16. ChatGPT ha prodotto il testo più leggibile (mediana FKGL ~9, FRES ~47.9), mentre Copilot ha prodotto il testo più complesso (mediana FKGL ~11, FRES ~34.8).
  • Variabilità: Esisteva una variazione significativa nella leggibilità e nella qualità all'interno di ciascun modello a seconda della specifica query (ad esempio, le linee guida e i temi sulla gravidanza erano più tecnici).

Contributi Chiave

1. Benchmarking Comparativo: Questo studio fornisce il primo confronto multi-modello specifico per l'educazione sull'EP, utilizzando un set standardizzato di query di ricerca reali.
2. Differenziazione tra Fluidità e Affidabilità: I risultati dimostrano che gli alti punteggi della Global Quality Scale (GQS) (fluidità e organizzazione) non correlano con la trasparenza delle fonti (JAMA) o l'affidabilità strutturale (DISCERN). I modelli che visualizzavano le citazioni (Copilot, Perplexity) hanno ottenuto punteggi più alti in termini di trasparenza, ma non hanno necessariamente prodotto un testo più leggibile.
3. Gap di Leggibilità: Lo studio quantifica il persistente divario tra l'output degli LLM e gli standard di alfabetizzazione sanitaria, mostrando che anche i modelli con le migliori prestazioni generano testi significativamente superiori al livello della sesta classe raccomandato dall'American Medical Association.
4. Variabilità a livello di Query: L'analisi evidenzia che la prestazione del modello non è uniforme; un modello può fornire una risposta di alta qualità a una query, pur fallendo su un'altra, specialmente riguardo alla complessità tecnica e alla comunicazione del rischio.

Significato e Rivendicazioni
L'articolo conclude che, sebbene i principali LLM possano generare contenuti educativi sull'EP fluidi e ampiamente strutturati, nessun modello attuale combina contenuti affidabili, trasparenza delle fonti e leggibilità adeguata.

• Ruolo Supplementare: Gli autori affermano che gli LLM dovrebbero servire solo come supplemento, e non come sostituto, del giudizio medico professionale. Sono adatti per compiti esplicativi a basso rischio (ad esempio, definizioni generali, guida allo stile di vita), ma non sono sicuri per la diagnosi indipendente, la stratificazione del rischio o la selezione del trattamento.
• Governance e Progettazione: Lo studio invita gli sviluppatori di modelli a integrare il recupero di prove autorevoli, offrire versioni linguistiche adattate all'alfabetizzazione sanitaria e implementare cicli di revisione umana.
• Sicurezza Clinica: Gli autori sottolineano che in condizioni ad alto rischio come l'EP, una prosa sicura può mascherare una debole trasparenza delle prove. Pertanto, le istituzioni cliniche che utilizzano l'IA per i materiali destinati ai pazienti devono adottare un flusso di lavoro "generazione da macchina – revisione professionale – test sul paziente" per garantire sicurezza, accuratezza e chiarezza.

Lo studio riconosce i limiti, tra cui la natura dinamica degli LLM (i risultati sono specifici per il tempo), l'uso di query esclusivamente in lingua inglese e il ricorso a formule di leggibilità piuttosto che a test diretti di comprensione del paziente. Di conseguenza, i risultati sono presentati come uno snapshot esplorativo delle prestazioni dei modelli piuttosto che come una classificazione universale definitiva.