💬 NLP

Do No Harm? Hallucination and Actor-Level Abuse in Web-Deployed Medical Large Language Models

Dit artikel presenteert een grootschalige evaluatie van meer dan 6.000 op het web ingezette medische grote taalmodellen, waarbij aanzienlijke risico's op hallucinaties, schendingen van beleidsregels en privacygaten worden blootgelegd, terwijl er tegelijkertijd nieuwe evaluatiekaders en een dataset worden geïntroduceerd om toekomstige veiligheidsverbeteringen te sturen.

Oorspronkelijke auteurs: Sunday Oyinlola Ogundoyin, Muhammad Ikram, Rahat Masood

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sunday Oyinlola Ogundoyin, Muhammad Ikram, Rahat Masood

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de "App Store" van het internet voor AI, maar in plaats van games of productiviteitstools, zit deze vol met duizenden digitale artsen. Dit zijn aangepaste AI-chatbots (genaamd MedGPT's) die iedereen kan bouwen en publiceren om medisch advies te geven, symptomen te diagnosticeren of behandelingen uit te leggen.

Het paper dat je hebt aangeleverd, is als een enorme, undercover gezondheidsinspectie van deze digitale markt. De onderzoekers keken niet alleen naar de best beoordeelde, populaire artsen; ze auditieerden meer dan 6.000 van hen om te zien of ze veilig, eerlijk zijn of daadwerkelijk gevaarlijk.

Hier is wat ze vonden, opgesplitst in eenvoudige concepten:

1. Het probleem van de "Zekere Leugenaar" (Hallucinaties)

Stel je een gids voor die met absolute zekerheid spreekt, maar feiten over geschiedenis verzonnen. In de medische wereld noemen we dit een hallucinatie.

De bevinding: Ongeveer 25% tot 30% van deze AI-artsen "liegt" of verzonnen medische feiten. Ze kunnen je er met zekerheid van overtuigen een gevaarlijk medicijn te nemen of een ernstig symptoom te negeren.
De draai: Je zou denken dat de populairste artsen het veiligst zijn. Maar de studie vond dat populariteit een slechte leugendetector is. De "beroemde" AI-artsen waren net zo waarschijnlijk aan het verzonnen als de onbekende. Sterker nog, de minder populaire waren vaak nog slechter.
Het blinde vlekje van de gebruiker: De onderzoekers vonden dat gebruikers deze leugens niet lijken te merken. Als een AI een vloeiend, zelfverzekerd antwoord geeft, geven mensen het vijf sterren, zelfs als het advies medisch verkeerd is. Het is alsof je een chef-kok vijf sterren geeft die je een eruitziend heerlijke maar giftige maaltijd serveert.

2. Het probleem van de "Slechte Acteur" (Ontwerpmisbruik)

Sommige van deze AI-artsen zijn niet per ongeluk verkeerd; ze zijn ontworpen om risicovol te zijn.

De bevinding: Bijna 50% van de AI-artsen had "rode vlaggen" in hoe ze waren gebouwd.
De metafoor: Stel je een restaurantuitbater voor die een bord ophangt met de tekst "Wij zijn een ziekenhuis" (hoewel ze dat niet zijn), het menu verbergt en weigert te laten zien waar het eten vandaan komt.
De details:
- Sommige makers noemden hun bots dingen als "Directe Kankerdiagnose" om mensen te misleiden en te laten denken dat ze echte artsen zijn.
- Veel van deze bots hebben een functie genaamd "Acties" (waarmee ze verbinding kunnen maken met externe websites), maar 57% van hen had geen privacybeleid. Het is alsof je een kliniek binnenloopt waar de arts een bloedstaal van je neemt, maar weigert te vertellen wat ze ermee zullen doen.
- Zelfs wanneer ze wel een privacybeleid hadden, waren bijna 70% daarvan gebroken, vaag of beschermden ze je gegevens niet daadwerkelijk.

3. De "Open Source" versus "In de winkel gekocht" Showdown

De onderzoekers vergeleken deze in de winkel gekochte AI-artsen ook met "open source"-versies (modellen die ontwikkelaars vrijelijk delen, zoals een gemeenschapsreceptenboek).

De in de winkel gekochte (MedGPT's): Deze waren over het algemeen beter in slim en accuraat klinken (ze kregen de feiten vaker goed). Ze waren echter minder stabiel – soms gaven ze een geweldig antwoord, en de volgende keer dat je dezelfde vraag stelde, gaven ze een totaal ander, verwarrend antwoord.
De open source: Deze waren consistenter (ze gaven elke keer hetzelfde antwoord), maar ze waren minder accuraat in de feiten.
De les: Geen van beide types is perfect. De "fancy" versies klinken beter maar wiebelen; de "gemeenschaps" versies zijn stabiel maar kunnen de details verkeerd hebben.

4. De "Vertrouwenssignalen" zijn kapot

In een normale app-store vermijd je een app als deze slechte reviews of lage ratings heeft.

De bevinding: In deze medische AI-winkel vertellen ratings en reviews je niets over veiligheid.
De metafoor: Het is als een autohandel waar de auto's met de meeste proefritten en de hoogste "5-sterren" ratings eigenlijk de auto's zijn met defecte remmen. De onderzoekers vonden dat hoe veel mensen met de AI praatten, bijna geen enkele connectie had met of de AI eigenlijk de waarheid sprak.

De conclusie

Het paper concludeert dat we deze AI-artsen niet kunnen vertrouwen alleen omdat ze populair zijn of omdat ze zelfverzekerd klinken.

Het systeem is kapot: De huidige manier van controleren van deze bots (vertrouwen op gebruikersreviews en sterrenratings) faalt.
Het gevaar: Omdat patiënten vaak geen medische opleiding hebben, kunnen ze niet zien wanneer de AI liegt of wanneer de arts "autoriteit" neerzet.
De oplossing: We hebben een nieuw soort "gezondheidsinspecteur" nodig die de feiten van de AI, het ontwerp en de privacyregels controleert voordat het mag praten met patiënten. De onderzoekers hebben een nieuwe dataset en een reeks tools vrijgegeven om deze inspecteurs te helpen bouwen.

Kortom: De digitale medische markt zit vol met zelfverzekerde leugenaars en risicovolle ontwerpen, en de "klantreviews" helpen ons niet om ze op te sporen. We hebben betere veiligheidscontroles nodig voordat we deze AI-artsen in ons leven toelaten.

Technische Samenvatting: Do No Harm? Hallucinatie en Misbruik op Actorniveau in Web-geïmplementeerde Medische Groot Taalmodellen

1. Probleemstelling

De snelle implementatie van aangepaste medische Groot Taalmodellen (MedGPT's) op commerciële platforms zoals de OpenAI Store brengt aanzienlijke veiligheidsrisico's met zich mee die vaak worden over het hoofd gezien. Hoewel deze modellen diagnostische suggesties en gezondheidsadviezen bieden, staan ze voor twee primaire, onderling verbonden bedreigingen:

Klinische Hallucinatie: Het genereren van vloeiende maar feitelijk onjuiste, onvolledige of gefabriceerde medische informatie (bijvoorbeeld onveilige behandelingen, verkeerd medicijnadvies). In tegenstelling tot fouten in algemene LLM's, gebruiken deze hallucinaties domeinspecifieke taal, waardoor ze moeilijk te detecteren zijn voor niet-expert patiënten.
Misbruik op Actorniveau: Opzettelijke ontwerpkiezen door ontwikkelaars die modellen vatbaar maken voor onveilig of onethisch gebruik. Dit omvat misleidende metadata (namen, beschrijvingen), het omzeilen van veiligheidsmaatregelen via tools (bijvoorbeeld webbrowsing), en het ontbreken van functionele privacyverklaringen, met name bij modellen die zijn uitgerust met "Acties" (externe API-aanroepen).

De huidige literatuur richt zich grotendeels op hallucinaties in basismodellen of generiek misbruik in algemene toepassingen, waardoor er een gat bestaat in de systematische evaluatie van geïmplementeerde, gebruikersgerichte gezondheidszorg-GPT's met betrekking tot zowel inhoudelijke nauwkeurigheid als door ontwikkelaars veroorzaakte structurele risico's.

2. Methodologie

De auteurs voerden een grootschalige audit uit van de OpenAI GPT Store, waarbij ze een evaluatiekader met twee lagen introduceerden.

Datacollectie

Scope: Een crawler haalde metadata uit 9.245 unieke GPT's op via de publieke zoek-API van OpenAI en een domeinspecifieke taxonomie van 171 medische sleutelwoorden.
Filtering: Na handmatige curatie om relevantie voor de gezondheidszorg te waarborgen, werd een definitieve dataset van 6.233 MedGPT's vastgesteld.
Steekproef: Vanwege platformlimieten voor het aantal verzoeken per seconde werd een gestratificeerde steekproef van 1.500 MedGPT's geselecteerd voor diepe evaluatie: de Top 1.000 (op basis van aantal gesprekken), een willekeurige Midden 250 en een Onderste 250.
Vergelijkingsgroep: 10 prominente open-source medische LLM's (bijvoorbeeld Galactica, PMC-LLaMA, MedAlpaca) werden met dezelfde metrics geëvalueerd voor vergelijking.

Evaluatiekaders

MedGPT-HEval (Detectie van Hallucinatie):
- Input: Elk model werd vijf keer bevraagd met gestandaardiseerde klinische scenario's uit de MedQA-benchmark.
- Metrics: Antwoorden werden gescoord met vier complementaire metrics:
  - G-Eval: Een chain-of-thought-kader met Gemini 3.1 Pro om feitelijke nauwkeurigheid, consistentie en betrouwbaarheid van citaten te beoordelen.
  - BARTScore: Meet de waarschijnlijkheid van de gegenereerde tekst gezien de input-prompt om trouw te beoordelen.
  - Semantische Entropie: Kwantificeert modelonzekerheid; hogere waarden wijzen op grotere instabiliteit en risico op hallucinaties.
  - Cosine Similariteit: Meet de semantische uitlijning tussen het antwoord en de klinische input met BioBERT-embeddings.
- Validatie: Geautomatiseerde scores werden gevalideerd tegen menselijke annotatie op een gestratificeerde subset (300 modellen), met een overeenkomst van 90,5–94,0% (Cohen's kappa = 0,8163).
Evaluatie van Misbruik op Actorniveau:
- Methode: Een LLM-as-a-judge-pijplijn (met Gemini 3.1 Pro) analyseerde metadata (namen, beschrijvingen, gespreksstarters) tegen het gebruikbeleid van OpenAI.
- Categorieën: Risico's werden geclassificeerd in gezondheidsconsulten, oplichting, privacyovertredingen en illegale activiteiten.
- Drempelbepaling: K-means clustering ( $k=2$ ) werd toegepast op scores voor misbruikrisico om een compliance-drempel van 0,45 te bepalen. Dit werd gevalideerd door expertreview (Cohen's kappa = 0,8188).
- Privacyaudit: Specifiek voor de 170 modellen met ingeschakelde "Acties" beoordeelden de auteurs de toegankelijkheid en naleving van gekoppelde privacyverklaringen.

3. Belangrijkste Resultaten

Klinische Hallucinatie

Prevalentie: 25–30% van de MedGPT's in alle populariteitslagen scoorde lager dan 0,8 op G-Eval.
Verschillen per Laag: Modellen in de onderste en middelste lagen vertoonden de hoogste hallucinatie-risico's en de zwakste contextuele uitlijning. Modellen in de top-laag presteerden beter, maar vertoonden nog steeds aanzienlijke variatie.
Specifieke Metrics:
- Slechts 37,27% van de MedGPT's behaalde een BARTScore $\ge -3,5$ .
- Slechts 41,07% bereikte een Cosine Similariteit $\ge 0,4$ .
- 59,87% had een semantische entropie $< 2$ , wat wijst op gematigde stabiliteit, hoewel modellen in de onderste laag hoge variabiliteit vertoonden.
Perceptie van Gebruikers: Er was een bijna nul-correlatie tussen gebruikersbetrokkenheid (aantal gesprekken, sterrenbeoordelingen) en hallucinatiemetrics (bijvoorbeeld $r \approx -0,03$ voor G-Eval). Gebruikers belonen activiteit, niet nauwkeurigheid; minder betrouwbare modellen kregen vaak meer positieve feedback.

Misbruik op Actorniveau en Privacy

Raten van Misbruik: 49,8% van alle geëvalueerde MedGPT's schond operationele beleidsregels.
- Top 1.000: 54,3% niet-compliant.
- Midden 250: 48,0% niet-compliant.
- Onderste 250: 33,6% niet-compliant.
Privacygaten: Onder de 170 modellen met ingeschakelde Acties:
- 57,06% miste toegankelijke privacyverklaringen.
- Van de 42,94% met toegankelijke verklaringen scoorde bijna 70% onder de compliance-drempel (ontbrekende openbaringen over gegevensoverdracht, cookies, gebruikersrechten).
- Veel verklaringen waren gebroken links, generieke sjablonen of verwezen naar niet-gerelateerde domeinen.

Open-Source versus Web-geïmplementeerde Modellen

Nauwkeurigheid versus Stabiliteit: MedGPT's vertoonden een hogere feitelijke nauwkeurigheid (Gemiddelde G-Eval: 0,9238) en semantische uitlijning (Gemiddelde Cosine: 0,4054) in vergelijking met open-source modellen (Gemiddelde G-Eval: 0,4558; Gemiddelde Cosine: 0,3731).
Consistentie: Open-source modellen waren stabieler en voorspelbaarder (lagere semantische entropie: 1,6129 versus 1,9272 voor MedGPT's), wat wijst op een afweging waarbij web-geïmplementeerde modellen coherentie kunnen prioriteren boven de stabiliteit die te vinden is in door de gemeenschap aangedreven alternatieven.

4. Belangrijkste Bijdragen

HAA-MedGPT Dataset: De release van de eerste grootschalige, gestructureerde dataset met metadata, interactielogboeken en evaluatiescores voor 6.233 aangepaste web-geïmplementeerde MedGPT's.
Veiligheidsanalyse met Twee Lagen: De introductie van MedGPT-HEval voor hallucinatie-detectie in combinatie met een evaluator voor misbruik op actorniveau, waarmee zowel fouten op output-niveau als risico's op ontwerpniveau worden aangepakt.
Vindingen inzake Systemisch Bestuur: Empirisch bewijs dat platformvertrouwensindicatoren (beoordelingen, recensies) niet correleren met veiligheid of nauwkeurigheid, en dat bijna de helft van de geïmplementeerde modellen operationele beleidsregels schendt.
Kwantificering van Privacyrisico's: De eerste empirische beoordeling die aantoont dat de meerderheid van de medische GPT's met ingeschakelde Acties geen functionele privacyopenbaringen heeft.

5. Betekenis en Aanspraken

Het artikel betoogt dat de huidige implementatie van medische LLM's op open marktplaatsen lijdt aan systemische bestuurlijke falen. De auteurs stellen dat:

Populariteit geen proxy is voor veiligheid: Hoge aantallen gesprekken en positieve recensies geven geen aanwijzing voor feitelijke betrouwbaarheid of naleving van veiligheidsbeleid.
Risico structureel is: Onveilig gedrag is vaak op ontwerpniveau ingebouwd door ontwikkelaars (bijvoorbeeld misleidende namen, ontbrekende privacyverklaringen) in plaats van incidentele generatiefouten te zijn.
Meer-metric evaluatie essentieel is: Vertrouwen op een enkele metric (zoals nauwkeurigheid) is ontoereikend; een combinatie van feitelijke uitlijning, semantische stabiliteit en beleidsnaleving is vereist om de veiligheid van medische LLM's te beoordelen.
Dringende behoefte aan veiligheidsmaatregelen: De bevindingen benadrukken de noodzaak van proactieve veiligheidsbeoordelingen, afdwingbare beleidsstandaarden en meer-metric evaluatiekaders voordat modellen aan het publiek worden ontsloten.

De auteurs concluderen dat zonder deze interventies de "vertrouwenskloof" tussen waargenomen betrouwbaarheid en daadwerkelijke veiligheid patiënten blijft blootstellen aan klinische en privacy-risico's.