💻 computer science

ChainTrust-LLM: Secure and Auditable Hallucination Mitigation in Medical LLMs Using Blockchain and Expert Feedback

Dit artikel introduceert ChainTrust-LLM, een nieuw framework dat deskundige feedback integreert met een op een DAG gebaseerd blockchain-ledger om hallucinaties in medische Large Language Models te detecteren en te mitigeren, waarbij een reductie van 64,8% in foutpercentages wordt bereikt terwijl veilige, controleerbare interacties met minimale latentie worden gewaarborgd.

Oorspronkelijke auteurs: Muhammad Ismail Mohamand

Gepubliceerd 2026-07-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Muhammad Ismail Mohamand

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je kunt praten met een superintelligente robotbibliothecaris die elk medisch tekstboek ooit geschreven heeft gelezen. Deze robot, bekend als een Large Language Model (LLM), is geweldig in chatten, vragen beantwoorden en zelfs artsen helpen bij het uitleggen van zaken aan patiënten. Maar hier zit een addertje onder het gras: soms wordt deze robot een beetje te zelfverzekerd en verzint hij dingen. Hij kan je vertellen dat een bepaald medicijn een ziekte geneest die het niet geneest, of dat een symptoom iets betekent wat het niet is. In de wereld van de geneeskunde worden deze verzonnen feiten "hallucinaties" genoemd, en ze zijn gevaarlijk omdat ze kunnen leiden tot slechte beslissingen.

Om dit op te lossen, proberen wetenschappers een systeem te bouwen dat werkt als een strenge redacteur. Ze willen een manier hebben om het werk van de robot te controleren, een permanent verslag van elke correctie bij te houden, en ervoor te zorgen dat de robot leert van zijn fouten zonder ze te vergeten. Hier komt het idee van "vertrouwen" om de hoek kijken. Als de robot een vraag goed beantwoordt, vertrouwen we hem meer; als hij het fout heeft, vertrouwen we hem minder. Maar het bijhouden van al dit vertrouwen en ervoor zorgen dat niemand de records stiekem kan aanpassen, is een enorme uitdaging. Daarom kijken onderzoekers naar het combineren van menselijke experts met een speciaal soort digitaal grootboek genaamd "blockchain", wat een soort openbaar dagboek is dat niemand kan wissen of wijzigen zodra er iets in is geschreven.

Dit is precies waar het artikel "ChainTrust-LLM" over gaat. De onderzoekers, onder leiding van Muhammad Ismail Mohmand en zijn team, wilden het probleem van medische hallucinaties oplossen, specifijk voor een aandoening genaamd hypothyreoïdie (een probleem met de schildklier). Ze merkten op dat wanneer robots praten over symptomen zoals vermoeidheid, gewichtstoename of problemen met de menstruatiecyclus, ze de details vaak verkeerd krijgen. Om dit op te lossen, hebben ze een nieuw framework gebouwd genaamd ChainTrust-LLM. Denk aan dit als een hoogtechnologisch vangnet dat de fouten van de robot en de correcties veilig vastlegt, waardoor er een controleerbaar spoor ontstaat om toekomstige prestaties te verbeteren.

Zo werkt hun systeem, gebruikmakend van een simpel verhaal: Stel je voor dat de medische robot een student is die een toets maakt. Elke keer als hij een vraag beantwoordt, controleren drie echte artsen (experts) het antwoord. Als de student het goed heeft, geven ze een duim omhoog; als hij het fout heeft, geven ze een duim omlaag en schrijven ze het juiste antwoord op. Maar in plaats van deze aantekeningen alleen in een rommelige stapel papier te bewaren, schrijft ChainTrust-LLM elke enkele beoordeling en correctie in een "digitaal dagboek" dat gebruikmaakt van blockchain. Dit dagboek is onveranderlijk, wat betekent dat zodra een fout is vastgelegd, deze voor altijd blijft staan als bewijs.

Het systeem heeft ook een speciale regel over tijd. Als de robot vandaag een vraag goed beantwoordt, gaat zijn "vertrouwensscore" omhoog. Maar als hij een lange tijd niet is gecontroleerd, vervaagt die vertrouwensscore langzaam, zoals een batterij die leegloopt. Dit zorgt ervoor dat het systeem fris blijft en niet vertrouwt op oude, potentieel verouderde informatie. Wanneer de robot een fout maakt, gebruikt het systeem een "risicodetector" om de leugen op te sporen op basis van hoe sterk het antwoord afwijkt van de waarheid, en legt vervolgens het hele evenement veilig vast.

Het team testte dit idee op drie beroemde medische robots: GPT-4, MedPaLM en Claude. Ze stelden hen 300 verschillende vragen over symptomen, behandelingen en laboratoriumtests van hypothyreoïdie. Voordat het nieuwe systeem werd toegepast, maakten deze robots nogal vaak fouten. Bijvoorbeeld, GPT-4 hallucineerde (verzon de feiten) in 23,1% van de gevallen. Nadat het nieuwe systeem werd toegepast, daalde dat aantal drastisch naar 8,5%. Dat is een vermindering van ongeveer 63%. Voor de andere robots waren de verbeteringen net zo groot, met foutmarges die met wel 64,8% daalden.

Niet alleen maakten de robots minder fouten, maar het systeem werd ook veel beter in weten wanneer het gelijk had of niet. De "vertrouwenskalibratienauwkeurigheid" — wat in feite is hoe goed het zelfvertrouwen van de robot overeenkomt met de werkelijkheid — sprong voor GPT-4 van ongeveer 75% naar meer dan 91%. De experts die de antwoorden controleerden, stemden ook veel vaker met elkaar overeen, waarbij hun overeenstemmingsscore steeg van 0,65 naar 0,87. Dit betekent dat het systeem niet alleen fouten herstelde, maar ook een betrouwbaar, gedeeld begrip van de waarheid creëerde.

Een van de coolste onderdelen van dit onderzoek is hoe snel het werkt. Zelfs met alle extra controles en de blockchain-registratie die plaatsvindt, voegde het systeem slechts een minimale vertraging toe. Gemiddeld duurde het slechts 211 milliseconden (dat is minder dan een kwart seconde) om een transactie te loggen. Dit suggereert dat een dergelijk systeem daadwerkelijk in ziekenhuizen gebruikt kan worden zonder de zaken te vertragen.

Het artikel concludeert dat ChainTrust-LLM een sterke, veilige manier is om medische AI veiliger te maken. Door menselijke experts te combineren met een tijdsgebonden vertrouwenssysteem en een onveranderlijk blockchain-record, hebben ze een framework gecreëerd dat gevaarlijke leugens in medisch advies aanzienlijk vermindert. Hoewel deze studie specifiek gericht was op symptomen van hypothyreoïdie zoals vermoeidheid en gewichtstoename, suggereert de methode een pad voorwaarts om AI betrouwbaar te maken in andere medische gebieden. Het is geen toverstaf die alles direct oplost, maar het is een zeer veelbelovende stap naar een toekomst waarin we onze digitale medische helpers kunnen vertrouwen.

Technische Samenvatting: ChainTrust-LLM

1. Probleemstelling

Large Language Models (LLM's) zoals GPT-4, Med-PaLM en Claude hebben een aanzienlijk potentieel aangetoond in klinische tekstgeneratie, diagnostische ondersteuning en patiënteneducatie. De integratie van deze modellen in de echte medische praktijk wordt echter belemmerd door het fenomeen van hallucinatie—het genereren van feitelijk onjuiste, gefabriceerde of misleidende outputs die met een hoge mate van zekerheid worden gepresenteerd. In de medische sector vormen deze fouten ernstige risico's voor de patiëntveiligheid en de klinische betrouwbaarheid.

Bestaande mitigatietechnieken, waaronder Retrieval-Augmented Generation (RAG), gestructureerde kennisinjectie en Reinforcement Learning from Human Feedback (RLHF), missen vaak transparantie, traceerbaarheid en domeinspecifieke robuustheid. Bovendien behandelt de huidige literatuur hallucinatie vaak als een universeel probleem, in plaats van de specifieke implicaties ervan voor bepaalde ziekten te adresseren. Dit artikel identificeert een kritieke kloof in het detecteren en mitigeren van hallucinaties gerelateerd aan hypothyreoïdie, waarbij specifiek wordt gefocust op subtiele en gemakkelijk te verwarren symptomen zoals vermoeidheid, gewichtstoename en verstoringen in de menstruatiecyclus. Misinformatie op deze gebieden kan leiden tot een foutieve diagnose of gemiste behandeling, terwijl weinig systemen zich bezighouden met domeinspecifieke symptoomdetectie met beveiligde auditeerbaarheid.

2. Methodologie: Het ChainTrust-LLM Framework

De auteurs stellen ChainTrust-LLM voor, een nieuw framework dat human-in-the-loop trust-kalibratie integreert met blockchain-gebaseerde auditeerbaarheid om hallucinaties te detecteren en te mitigeren. Het systeem is ontworpen rond vier kernmodules:

2.1 Dataset Constructie

Een ziektespecifieke dataset is ontwikkeld, bestaande uit 300 gecureerde medische prompts, verdeeld in drie categorieën: symptomen (gericht op vermoeidheid, gewichtstoename en menstruatiegezondheid), medicatie/behandeling, en laboratoriumtesten/diagnose. De grondwaarheden (ground truths) zijn vastgesteld aan de hand van gezaghebbende bronnen (NIDDK, CDC, ATA, MedlinePlus, DailyMed) en geverifieerd door drie ervaren endocrinologen. De dataset bevat binaire hallucinatie-labels, ernstscores en betrouwbaarheidsscores.

2.2 Systeemarchitectuur

Het framework verwerkt inputs via de volgende pipeline:

Prompt Encoder Module: Maakt gebruik van een domein-getunede taalencoder (bijv. BioBERT of ClinicalBERT) om klinische queries te transformeren naar gestructureerde semantische embeddings. Een softmax-classifier routeert prompts naar specifieke domeinen (symptoom, medicatie of lab) om de hallucinatie-drempels dienovereenkomstig aan te passen.
Hallucination Detection Module: Implementeert een binaire risicoclassificator $R(x)$ die gehallucineerde responses identificeert. Het maakt gebruik van semantische contradictie-scoring ( $C_i = 1 - \text{Sim}(y_i, y^*_i)$ ) om de feitelijke gelijkenis tussen de LLM-output en geverifieerde referentieantwoorden te meten. Kenmerken zijn onder meer linguïstische overlap, negatie-detectie en klinische entiteitsmatching (ICD-10, vermeldingen van medicijnen).
Trust Scoring Model: Introduceert een tijd-gewogen trust-update mechanisme dat zich aanpast aan expert-feedback. De trust score $T(y, t)$ wordt bijgewerkt op basis van nieuwe menselijke feedback $f_t(y)$ en een vorige trust score $T_{prev}(y)$ , gebalanceerd door een geheugenparameter $\alpha$ . Cruciaal is dat het model exponentiële trust-decay ( $e^{-\lambda \Delta t}$ ) incorporeert om trust scores in de loop van de tijd te verlagen bij het uitblijven van recente feedback, wat zorgt voor een domeinspecifieke betrouwbaarheidsbeoordeling.
Blockchain Auditing Layer: Om een onveranderbare tracking te garanderen, worden alle response-feedback paren gehasht en opgeslagen op een private, permissioned DAG-gebaseerde blockchain (geïmplementeerd op een permissioned Ethereum netwerk met geth). Elke block-entry bevat de trust score, het feedback-label en een tijdstempel, verbonden via cryptografische hash-pointers om integriteit en traceerbaarheid te garanderen.

2.3 Beveiliging en Formalisering

Het paper formaliseert de robuustheid van de hallucinatie-detectie tegen adversariële perturbaties en definieert de integriteit van de trust-keten middels DAG-gebaseerde hash-pointers. Toegangscontrole wordt afgedwongen via digitale handtekeningen van toegestane expert-gebruikers, en replay-attacks worden voorkomen met behulp van nonces.

3. Belangrijkste Bijdragen

Het paper schetst drie primaire bijdragen:

Human-in-the-Loop Trust Calibration: Een framework voor hallucinatie-detectie die specifiek is afgestemd op hypothyreoïdie-gerelateerde responsen, gebruikmakend van iteratieve expert-feedback om trust scores bij te werken.
Blockchain-Audited Feedback Loop: Een beveiligd logging-mechanisme dat de traceerbaarheid en onveranderlijkheid van hallucinatie-correcties en trust-beoordelingen garandeert.
Time-Weighted Trust Decay Model: Een innovatieve benadering voor het beoordelen van de betrouwbaarheid van LLM-responses over tijd, rekening houdend met de afname van vertrouwen (trust decay) bij het uitblijven van continue expert-validatie.

4. Experimentele Resultaten

Het framework werd geëvalueerd met GPT-4, Med-PaLM en Claude over de dataset van 300 prompts. De belangrijkste prestatie-indicatoren zijn:

Reductie van het Hallucinatiepercentage: ChainTrust-LLM reduceerde het aantal hallucinaties aanzienlijk over alle modellen heen:
- GPT-4: Daalde van 23,1% naar 8,5% (63,2% reductie).
- Med-PaLM: Daalde van 28,7% naar 10,1% (64,8% reductie).
- Claude: Daalde van 31,9% naar 12,4% (61,1% reductie).
Trust Calibration Accuracy (TCA): De afstemming tussen model-trust voorspellingen en expert-ratings verbeterde substantieel:
- GPT-4: 75,4% $\rightarrow$ 91,2%
- Med-PaLM: 70,3% $\rightarrow$ 89,5%
- Claude: 67,8% $\rightarrow$ 87,1%
Inter-Rater Agreement: De Fleiss' Kappa ( $\kappa$ ) verbeterde van een gemiddelde baseline van 0,65 naar 0,87, wat wijst op een sterke overeenstemming tussen experts over de gecorrigeerde outputs.
Symptoom-Specifieke Detectie: De nauwkeurigheid bij het detecteren van hallucinaties voor specifieke symptomen verbeterde significant:
- Vermoeidheid: 68% $\rightarrow$ 92%
- Gewichtstoename: 64% $\rightarrow$ 89%
- Menstruatiegezondheid: 61% $\rightarrow$ 87%
Classifier Performance: De hallucinatie-risico-classifier bereikte een AUC van 0,934, wat duidt op een hoge sensitiviteit en specificiteit.
Blockchain Overhead: Het systeem behield een lage latentie, met een gemiddelde transactie-latentie van 211 ms en minimale gas-kosten, wat real-time logging ondersteunt.

5. Betekenis en Claims

De auteurs beweren dat ChainTrust-LLM een robuuste, verklaarbare en veilige oplossing biedt voor het inzetten van medische taalmodellen. In tegen tegenstelling tot eerdere post-hoc detectoren, opereert dit framework als een real-time, feedback-gebaseerde mitigatie-loop. Door formele trust-modellering te combineren met blockchain-transparantie, adresseert het systeem de cruciale behoefte aan auditeerbaarheid in medische AI met hoge inzet.

De studie benadrukt dat hoewel algemene hallucinatie-detectie een actief onderzoeksveld is, specifieke aandacht voor minder onderzochte klinische domeinen zoals hypothyreoïdie-symptomen essentieel is. De integratie van een time-decay trust model en onveranderlijke audit trails biedt een mechanisme om te waarborgen dat LLM's betrouwbaar blijven over tijd, zelfs wanneer medische kennis evolueert of feedbackpatronen veranderen. De auteurs concluderen dat het framework een belangrijke stap is naar betrouwbare AI in de gezondheidszorg, waarbij toekomstig werk gepland is om uit te breiden naar andere symptomen en gebruik te maken van federated learning voor bredere toepasbaarheid.