📄 medicine

Large Language Models for Pulmonary Embolism Health Education: A Four- Model Comparison of Reliability, Quality, and Readability

Deze studie vergelijkt vier grote taalmodellen op het gebied van gezondheidseducatie over longembolie en stelt vast dat hoewel Copilot en Perplexity een superieure betrouwbaarheid en bronvermelding toonden, geen van de modellen voldeed aan de aanbevolen leesbaarheidsnormen voor patiënteneducatie, wat de noodzaak van professioneel toezicht onderstreept.

Oorspronkelijke auteurs: Jin Zhong, Jing Li, Yanmao Wang

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jin Zhong, Jing Li, Yanmao Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, drukke bibliotheek waar iedereen naar binnen kan lopen en een vraag kan stellen. In het verleden, als je iets vroeg over een angstaanjagende medische aandoening, kreeg je misschien een stapel oude boeken, een verwarrend krantenartikel of een wild gerucht van een vreemde. Maar onlangs is er een nieuw soort bibliothecaris gearriveerd: het Large Language Model (LLM). Denk aan deze als superintelligente, onvermoeibare robots die bijna alles hebben gelezen wat er op het internet geschreven is en met je kunnen chatten in gewoon Engels. Ze zijn geweldig in het schrijven van verhalen, het oplossen van wiskundige problemen en zelfs het beantwoorden van gezondheidsvragen.

Maar hier komt het lastige deel: als het gaat om ernstige gezondheidsproblemen, is een goede verhalenverteller niet genoeg. Je hebt een bibliothecaris nodig die de feiten kent, toegeeft wanneer hij het niet zeker weet en dingen simpel genoeg uitlegt voor een vermoeid, bezorgd persoon om te begrijpen. Eén zodanige angstaanjagende aandoening is een longembolie (PE). Het is als een verkeersopstopping in de longen veroorzaakt door een bloedstolsel, en het kan zeer gevaarlijk zijn. Omdat het zo ernstig is, zoeken mensen vaak snel op Google naar antwoorden. Dit artikel stelt een grote vraag: Als je vier verschillende AI-bibliothecarissen naar PE vraagt, geven ze je dan hetzelfde goede advies? Of zullen sommigen zelfverzekerd klinken maar fout zitten, of antwoorden geven die te moeilijk te lezen zijn?

De Grote AI-Showdown: Wie is de Beste Gezondheidsbibliothecaris?

In dit onderzoek besloten onderzoekers van het Xinfeng County People's Hospital vier van de meest populaire AI-chatbots aan de tand te voelen. Ze kozen voor ChatGPT, Gemini, Microsoft Copilot en Perplexity AI. Om het een eerlijk gevecht te maken, stelden ze de robots geen vreemde, verzonnen vragen. In plaats daarvan keken ze naar wat echte mensen daadwerkelijk zochten op Google over een periode van vijf jaar. Ze vonden de 31 meest voorkomende vragen die mensen stellen over longembolie — zaken als "Wat zijn de symptomen?", "Hoe wordt het behandeld?" en "Is het gevaarlijk tijdens de zwangerschap?".

Vervolgens voerden ze deze exacte 31 vragen in bij elk van de vier AI-modellen. Omdat er vier modellen en 31 vragen waren, kwamen de onderzoekers uit op 124 verschillende antwoorden om te beoordelen. Ze gedroegen zich als strenge leraren en gebruikten vier verschillende "rapportcijfers" om de antwoorden te controleren:

Betrouwbaarheid: Gaaf de AI toe wat het wel en niet wist? Liet het zijn huiswerk zien (bronnen)?
Kwaliteit: Was het advies gebalanceerd en nuttig?
Leesbaarheid: Was de taal simpel genoeg voor een leerling uit de 6e klas (groep 8/onderbouw) om te begrijpen? (Artsen adviseren meestal dat gezondheidsinformatie deze eenvoud moet hebben zodat iedereen het kan begrijpen).
Algemene Flow: Verliep de tekst vloeiend?

De Resultaten: Het "Goede" Nieuws en het "Slechte" Nieuws

Hier komt de plotwending: Alle vier de AI-modellen beantwoordden elke vraag. Geen van hen crashte of weigerde te praten. Ze klonken allemaal zelfverzekerd en schreven in heldere, vloeiende zinnen. Als je alleen de eerste paragraaf zou lezen, leken ze allemaal op behulpzame experts.

Echter, toen de onderzoekers beter keken, waren de verschillen enorm.

De "Bron" Score (JAMA Benchmark):
Stel je een essay voor waarbij je punten krijgt voor het vermelden van je bronnen. Twee modellen, Copilot en Perplexity, waren de enigen die de moeite namen om hun werk te laten zien. Ze gaven citaties (links naar de plek waar ze de informatie vandaan hadden). De andere twee, ChatGPT en Gemini, gaven meestal gewoon antwoorden zonder te laten zien waar ze vandaan kwamen. Sterker nog, ChatGPT en Gemini kregen een score van 0 voor het tonen van bronnen, terwijl Copilot en Perplexity iets hoger scoorden (rond de 1 van de 4). Dit betekent dat als je wilde controleren of de AI de waarheid sprak, je dat eigenlijk alleen bij de eerste twee kon doen.

De "Betrouwbaarheid" Score (DISCERN):
Deze score controleert of het advies gebalanceerd en veilig is.

Copilot en Perplexity scoorden een mediaan van 41.
ChatGPT scoorde 35.
Gemini scoorde 33.
Op een schaal waarbij 63 "uitstekend" is en 16 "zeer slecht", kwamen alle vier de modellen in de categorie "slecht" tot "redelijk" terecht. Zelfs de "winnaars" (Copilot en Perplexity) bereikten niet het niveau "goed". Ze waren oké, maar niet geweldig.

Het "Leesbaarheid" Probleem:
Dit is waar het verhaal een beetje frustrerend wordt. De American Medical Association zegt dat gezondheidsadvies geschreven moet worden op een leesniveau van de 6e klas zodat iedereen, ongeacht de opleiding, het kan begrijpen.

De onderzoekers controleerden de antwoorden met zes verschillende wiskundige formules om te meten hoe moeilijk de tekst te lezen was.
Geen van de vier modellen slaagde voor de test.
De makkelijkste antwoorden waren nog steeds geschreven op een 9e-klas niveau (ChatGPT).
De moeilijkste antwoorden waren geschreven op een 16e-klas niveau (Copilot), wat gelijk staat aan het niveau van een universiteit!
De "Flesch Reading Ease" score (waarbij hoger makkelijker is) lag voor alle modellen rond de 35 tot 48. Om te slagen, hadden ze een score van 80 of hoger nodig.

In essentie schreven de AI-robots in een taal die te ingewikkeld is voor de gemiddelde persoon om snel te lezen, vooral wanneer diegene bang en bezorgd is om een medisch noodgeval.

Het Eindoordeel: Laat de Robot Niet de Auto Besturen

De studie concludeerde dat hoewel deze AI-modellen goed zijn in het intelligent klinken en het organiseren van informatie, ze er nog niet klaar voor zijn om een arts te vervangen.

Copilot en Perplexity waren de "betere" leerlingen omdat ze hun bronnen lieten zien en een iets betere structuur hadden, maar ze gebruikten nog steeds te veel moeilijke woorden.
ChatGPT en Gemini waren iets minder goed in het tonen van bronnen, ook al klonken ze net zo vloeiend.
Cruciaal was dat de studie vond dat geen enkel model betrouwbare feiten, duidelijke bronnen EN eenvoudige taal combineerde.

De auteurs concluderen dat deze AI-tools als een behulpzame co-piloot zijn, maar ze mogen nooit degene zijn die de auto bestuurt. Ze kunnen helpen uitleggen wat een ziekte is of welke vragen je aan een arts kunt stellen, maar ze kunnen je niet diagnosticeren, niet bepalen of je veilig bent, en niet beslissen over je behandeling. Als je AI gebruikt voor gezondheidsinformatie, moet je onthouden dat het zelfverzekerd maar fout kan zijn, en dat het te moeilijk te lezen kan zijn. Het beste plan is om de AI te gebruiken als startpunt, maar vervolgens een echte menselijke arts het werk te laten controleren.

Kortom: de AI-bibliothecarissen zijn beleefd en snel, maar ze leren nog steeds hoe ze "menselijk" moeten spreken en hoe ze kunnen bewijzen dat ze niet zomaar dingen verzinnen. Totdat ze beter worden, moeten we een mens in de loop houden.

Technische Samenvatting: Large Language Models voor Educatie over Longembolie

Probleemstelling
Longembolie (PE) is een levensbedreigende aandoening die tijdige, betrouwbare en begrijpelijke publieke informatie vereist. Hoewel Large Language Models (LLM's) steeds vaker worden ingezet voor medische vragen, is hun prestatie bij het genereren van PE-specifieke patiënteneducatie nog niet systematisch vergeleken over meerdere modellen heen. Bestaande literatuur wijst op zorgen over "hallucinaties", overmoed, gebrek aan brontransparantie en het gebruik van taal die de aanbevolen gezondheidsgeletterdheid overschrijdt. Er is een kritieke behoefte om te evalueren of mainstream LLM's simultaan betrouwbare inhoud, transparante bronvermelding en tekst kunnen bieden die toegankelijk is voor het algemene publiek (specifiek op een zesde klas niveau).

Methodologie
Deze dwarsdoorsnedestudie vergeleek vier publiek toegankelijke webgebaseerde LLM's: ChatGPT (GPT-5.5), Gemini (3.5 Flash), Microsoft Copilot en Perplexity AI. De studie volgde de CHART (Chatbot Assessment Reporting Tool) rapportage richtlijn.

Gegevensverzameling: Drieëndertig hoog-frequente PE-gerelateerde zoekopdrachten werden geselecteerd uit wereldwijde Google Trends-data (17 juli 2021 – 17 juli 2026) na mapping naar Medical Subject Headings (MeSH) en screening op relevantie. Deze zoekopdrachten dekten symptomen, risicofactoren, diagnose, behandeling, prognose en speciale populaties.
Experimenteel ontwerp: Elke zoekopdracht werd één keer ingediend bij elk van de vier modellen in een zero-shot, single-turn sessie met standaardinstellingen en gewiste browsergeschiedenis om personalisatie te minimaliseren. Dit leverde in totaal 124 reacties op.
Evaluatiemetrieken:
- Betrouwbaarheid en Kwaliteit: Beoordeeld met DISCERN (16 items, 16–75 schaal), EQIP (20 items, 0–100%), de JAMA Benchmark Criteria (4 items voor brontransparantie) en de Global Quality Scale (GQS, 1–5).
- Leesbaarheid: Beoordeeld met zes indices: Automated Readability Index (ARI), Flesch Reading Ease Score (FRES), Flesch-Kincaid Grade Level (FKGL), Gunning Fog Index (GFI), Coleman-Liau Index (CLI) en Simple Measure of Gobbledygook (SMOG).
Statistische Analyse: Twee onafhankelijke klinische onderzoekers beoordeelden alle reacties. Verschillen tussen modellen werden geanalyseerd met Kruskal-Wallis tests met epsilon-squared effectgroottes, gevolgd door Dunn-Bonferroni post hoc vergelijkingen. Leesbaarheid werd vergeleken met de zesde-klas benchmark middels Wilcoxon signed-rank tests.

Belangrijkste Resultaten

Voltooiing van reacties: Alle vier de modellen beantwoordden elke zoekopdracht zonder weigeringen of lege outputs.
Kwaliteit en Betrouwbaarheid:
- DISCERN: Copilot en Perplexity behaalden een mediaan score van 41 ("redelijke" kwaliteit), wat significant beter was dan ChatGPT (35) en Gemini (33), die beide in het "slechte" bereik vielen ( $P < 0,001$ ). Geen enkel model bereikte de "goede" drempel (51+).
- EQIP: Alle modellen scoorden over het algemeen in het bereik "goed met kleine problemen" (55–75%), waarbij Copilot (75) en Perplexity (70) hoger scoorden dan ChatGPT (60) en Gemini (55).
- JAMA Benchmark: Copilot en Perplexity vertoonden een significant betere brontransparantie (mediaan 1,0) vergeleken met ChatGPT en Gemini (mediaan 0,0), gedreven door de weergave van citaties ( $P < 0,001$ ).
- GQS: Er was geen significant verschil in de algemene kwaliteitsbeoordelingen tussen de modellen (mediaan 4,0 voor alle modellen, $P = 0,652$ ).
Leesbaarheid:
- Niet voldoen aan standaarden: Geen enkel model voldeed aan het aanbevolen leesniveau van de zesde klas op welke van de zes leesbaarheidindices dan ook.
- Graadniveaus: De mediane graad-niveau indices varieerden van ongeveer 9 tot 16. ChatGPT produceerde de meest leesbare tekst (mediaan FKGL ~9, FRES ~47,9), terwijl Copilot de meest complexe tekst produceerde (mediaan FKGL ~11, FRES ~34,8).
- Variabiliteit: Er bestond significante variatie in leesbaarheid en kwaliteit binnen elk model, afhankelijk van de specifieke zoekopdracht (bijv. richtlijnen en zwangerschapsonderwerpen waren technischer).

Belangrijkste Bijdragen

Vergelijkende Benchmarking: Deze studie biedt de eerste multi-model vergelijking van LLM's specifiek voor PE-educatie, gebruikmakend van een gestandaardiseerde set real-world zoekopdrachten.
Differentiatie van Vloeiendheid versus Betrouwbaarheid: De bevindingen laten zien dat hoge Global Quality Scale (GQS) scores (vloeiendheid en organisatie) niet correleren met brontransparantie (JAMA) of structurele betrouwbaarheid (DISCERN). Modellen die citaties toonden (Copilot, Perplexity) scoorden hoger op transparantie, maar produceerden niet noodzakelijkerwijs meer leesbare tekst.
Leesbaarheidsgat: De studie kwantificeert de hardnekkige kloof tussen LLM-output en gezondheidsgeletterheidstandaarden, waarbij wordt aangetoond dat zelfs de "best presterende" modellen tekst genereren die aanzienlijk boven het zesde-klas niveau ligt dat door de American Medical Association wordt aanbevolen.
Variabiliteit per Zoekopdracht: De analyse benadrukt dat modelprestaties niet uniform zijn; een model kan een hoogwaardig antwoord geven op de ene zoekopdracht, terwijl het op een andere faalt, met name wat betreft technische complexiteit en risicocommunicatie.

Betekenis en Claims
Het artikel concludeert dat hoewel mainstream LLM's vloeiende en breed gestructureerde PE-gezondheidseducatie kunnen genereren, geen enkel huidig model betrouwbare inhoud, transparante bronvermelding en geschikte leesbaarheid combineert.

Supplementele Rol: De auteurs stellen dat LLM's slechts als aanvulling moeten dienen op, en niet als vervanging voor, professioneel medisch oordeel. Ze zijn geschikt voor laag-risico verklarende taken (bijv. algemene definities, levensstijladvies), maar zijn onveilig voor onafhankelijke diagnose, risicostratificatie of behandelkeuze.
Governance en Ontwerp: De studie roept modelontwikkelaars op om autoritatieve bewijsretrieval te integreren, versies van de taal aan te bieden die zijn aangepast aan de gezondheidsgeletterdheid, en menselijke reviewcycli te implementeren.
Klinische Veiligheid: De auteurs benadrukken dat bij hoog-risico condities zoals PE, zelfverzekerde proza zwakke bewijstransparantie kan maskeren. Daarom moeten klinische instellingen die AI voor patiëntenmateriaal gebruiken, een "machine-generatie – professionele review – patiënttesten" workflow hanteren om veiligheid, nauwkeurigheid en duidelijkheid te waarborgen.

De studie erkent beperkingen, waaronder de dynamische aard van LLM's (resultaten zijn tijdsgebonden), het gebruik van uitsluitend Engelse zoekopdrachten, en de afhankelijkheid van leesbaarheidsformules in plaats van directe patiëntenbegrips-testen. Bij consequent worden de bevindingen gepresenteerd als een exploratieve snapshot van modelprestaties in plaats van een definitieve universele rangschikking.

De Grote AI-Showdown: Wie is de Beste Gezondheidsbibliothecaris?

De Resultaten: Het "Goede" Nieuws en het "Slechte" Nieuws

Het Eindoordeel: Laat de Robot Niet de Auto Besturen

Meer zoals dit