💬 NLP

Hallucination Mitigating for Medical Report Generation

Dit artikel stelt KERM voor, een kennisverrijkt framework dat MedCLIP-gebaseerde retrieval, een contextzuiveringsmodule en fijnmazige reinforcement learning integreert om hallucinaties te verminderen en de klinische nauwkeurigheid van medische rapportage te verbeteren.

Oorspronkelijke auteurs: Ruoqing Zhao, Runze Xia, Piji Li

Gepubliceerd 2026-01-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Ruoqing Zhao, Runze Xia, Piji Li

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een hoog intelligente, breed opgeleide robotarts voor (een Large Vision-Language Model, of LVLM) die naar röntgenfoto's kijkt en probeert een verslag te schrijven voor een menselijke arts. Deze robot is ongelooflijk slim, maar heeft een slechte gewoonte: hij houdt ervan om dingen te verzinnen.

In de medische wereld wordt dit een "hallucinatie" genoemd. Het is alsof de robot een gezond hart ziet, maar vol vertrouwen schrijdt: "De patiënt heeft een milde hartvergroting," simpelweg omdat dat plausibel klinkt. In het echte leven zou dit kunnen leiden tot een verkeerde behandeling van een patiënt.

De auteurs van dit artikel, Ruoqing Zhao en collega's, hebben een nieuw systeem gebouwd genaamd KERM om dit op te lossen. Zie KERM als een driestaps "factcheck- en coaching-systeem" voor onze robotarts.

1. De "Bibliothecaris"-stap (Kennisverrijking)

Voordat de robot naar de röntgenfoto kijkt, fungeert het systeem als een supersnelle bibliothecaris.

Het Probleem: De robot kan zich misschien niet elke specifieke medische feit over een zeldzame aandoening herinneren.
De Oplossing: Het systeem doorzoekt een enorme, gecureerde bibliotheek van medische feiten (een "Knowledge Corpus") om zinnen te vinden die bij de röntgenfoto passen. Als de röntgenfoto bijvoorbeeld een specifiek type longvlek laat zien, vindt de bibliothecaris een zin uit een medisch tekstboek die precies die vlek beschrijft.
De "Purificatie"-filter: Soms brengt de bibliothecaris te veel boeken mee die niet passen bij het specifieke verhaal van de patiënt (zoals diens voorgeschiedenis of symptomen). Het systeem heeft een "Purification Module" die werkt als een strikte redacteur, die irrelevante feiten weggoopt en alleen de feiten behoudt die perfect overeenkomen met de huidige situatie van de patiënt. Dit zorgt ervoor dat de robot begint met de juiste context.

2. De "Strenge Coach"-stap (Fijnmazige Beloningen)

Zodra de robot een conceptverslag schrijft, krijgt hij niet zomaar een "Goed gedaan!" of een "Slecht gedaan!" Hij wordt op twee specifieke niveaus beoordeeld door een strenge coach (met behulp van AI-tools zoals GPT-3.5 en medische classificaties):

Niveau 1: De Ziekte-checklist (Ziekte-niveau beloning): De coach controleert: "Heb je de longontsteking vermeld? Ben je vergeten de breuk te noemen?" Als de robot een ziekte verzint die er niet is, krijgt hij een strafpunt. Als hij een echte ziekte mist, krijgt hij ook een strafpunt. Het is als een docent die een meerkeuzetoets nakijkt op nauwkeurigheid.
Niveau 2: De Zinsvloeiendheid (Zinsniveau beloning): Zelfs als de feiten kloppen, kan de zin vreemd of onnatuurlijk klinken. De coach leest de zin en vraagt: "Klinkt dit alsof een echte arts dit zou zeggen? Is het logisch?" Als de robot een zin schrijft die technisch gezien waar is maar vreemd of ongepast klinkt, krijgt hij een lagere score.

3. De "Trainingslus"

De robot leert van deze scores. In plaats van alleen maar te gokken, gebruikt hij een wiskundige methode (Reinforcement Learning) om zijn brein aan te passen. Hij leert: "Wanneer ik dit type röntgenfoto zie, moet ik dat specifieke feit uit de bibliotheek opzoeken, en ik moet zinnen schrijven die een hoge score krijgen van de coach."

De Resultaten

De auteurs hebben dit systeem getest op twee enorme databases van echte röntgenfoto's en verslagen (IU-Xray en MIMIC-CXR).

De Uitkomst: Het KERM-systeem schreef verslagen die veel nauwkeuriger waren dan eerdere methoden. Het maakte minder fouten (hallucinaties) en gebruikte medische taal die natuurlijker en betrouwbaarder klonk.
De Analogie: Als eerdere modellen als een student waren die een paar feiten uit het hoofd leerde en de rest gokte, dan is KERM als een student die een tekstboek open heeft liggen, zijn werk controleert aan de hand van een beoordelingsmodel en wordt beoordeeld door een strenge leraar voordat hij het definitieve werk inlevert.

Belangrijke Beperkingen (Wat het artikel vermeldt)

De auteurs zijn eerlijk over wat hun systeem nog niet kan:

Het is afhankelijk van de bibliotheek: Als de medische bibliotheek die zij hebben gebouwd een zeldzaam feit mist of verouderde informatie bevat, kan de robot er nog steeds naast zitten.
Het is niet perfect: De "Purification"-filter pakt misschien niet elke kleine nuance van een complexe patiëntgeschiedenis op.
Het is duur: Het draaien van dit systeem vereist krachtige computers, wat voor kleinere ziekenhuizen op dit moment moeilijk betaalbaar kan zijn.

Kortom, KERM is een manier om AI-artsen te stoppen met "dingen verzinnen" door hen een naslagwerk te geven om in te checken en een strenge leraar die hun werk beoordeelt, wat resulteert in veiligere en nauwkeurigere medische verslagen.

Technische Samenvatting: Knowledge-Enhanced with Fine-Grained Reinforced Rewards Medical Report Generation (KERM)

Probleemstelling

De generatie van radiologieverslagen uit medische beelden is een cruciale maar arbeidsintensieve taak voor radiologen. Hoewel Large Vision-Language Models (LVLMs) indrukwekkende capaciteiten hebben getoond in het overbruggen van visuele en tekstuele modaliteiten, wordt hun toepassing in de medische sector gehinderd door een significante vatbaarheid voor "hallucinaties". Dit zijn instanties waarbij modellen plausibel klinkende maar feitelijk onjuiste beweringen genereren (bijv. het onjuist identificeren van een pacemaker als hartvergroting).

Bestaande mitigatiestrategieën, die vaak gericht zijn op het verfijnen van trainingsdata of het aanpassen van modelarchitecturen, hebben dit probleem niet volledig kunnen oplossen. De auteurs identificeren twee primaire hoofdoorzaken:

Schaarste aan hoogwaardige annotaties: Medische datasets missen vaak de precieze, expert-niveau annotaties die nodig zijn om modellen effectief te sturen, wat leidt tot de generatie van onjuiste informatie.
Long-Tail Verdeling: Medische datasets vertegenwoordigen veelvoorkomende condities vaak overmatig, terwijl ze zeldzame condities ondervertegenwoordigen, waardoor de output van het model afwijkt van de verwachte medische bevindingen voor minder veelvoorkomende gevallen.

Methodologie: Het KERM-framework

Om deze uitdagingen aan te pakken, stellen de auteurs KERM (Knowledge-Enhanced with Fine-Grained Reinforced Rewards Medical Report Generation) voor. Het framework werkt op een voorgetraind LVLM (specifiek LLaVA-1.5-7b) en integreert twee kernmodules: Medical Knowledge Enhancement (MKE) en Reward Modeling via Fine-Grained Feedback (RM).

1. Medical Knowledge Enhancement (MKE)

Deze module heeft als doel het begrip van het LVLM te funderen in externe, gecureerde medische feiten.

Constructie van de kenniscorpus: Een corpus van 100.000 medische feitzinnen wordt geconstrueerd door het parsen van regiobeschrijvingen uit de MIMIC-CXR en CheXpert datasets.
Kennisretrieval: Voor een gegeven invoerbeeld gebruikt het systeem MedCLIP (een voorgetraind multimodaal model) om de top-10 meest relevante feiten uit de corpus te extraheren op basis van de cosinusovereenkomst tussen beeld- en tekstembeddings.
Purificatiemodule: Om te garanderen dat de opgehaalde kennis contextueel relevant is voor de specifieke patiënt, wordt een purificatiemodule ingezet. Deze construeert een context-embedding ( $E_C$ ) afgeleid van de indicaties en de klinische geschiedenis van de patiënt. De initieel opgehaalde feiten worden opnieuw gerangschikt op basis van hun gelijkenis met deze contextvector, en de top-5 meest relevante feiten worden geselecteerd om de uiteindelijke gezuiverde kennisset ( $K'$ ) te vormen. Deze set wordt samen met de beeldkenmerken in het LVLM gevoed om de generatie van het verslag te sturen.

2. Reward Modeling via Fine-Grained Feedback (RM)

Om hallucinaties tijdens de training te mitigeren, hanteert KERM een reinforcement learning-strategie met een dubbel niveau beloningssysteem.

Ziekte-niveau Beloning ( $R_{dis}$ ): Het systeem gebruikt de CheXpert labeling tool om 14 medische terminologieën te extraheren uit zowel de gegenereerde als de referentieverslagen. Er wordt een F1-score berekend voor elke label om de afstemming van ziektevoorspellingen met de grondwaarheid te beoordelen, waarbij precisie en recall in balans worden gebracht.
Zinsniveau Beloning ( $R_{sen}$ ): Door gebruik te maken van GPT-3.5 evalueert het systeem de coherentie en plausibiliteit van gegenereerde zinnen ten opzichte van de grondwaarheid. GPT-3.5 wordt gepromptt om de gelijkenis van zinsparen te scoren op een schaal van 0 tot 1, waarbij afwijkingen van verwachte medische bevindingen worden bestraft, zelfs als deze niet direct onjuist zijn.
Reinforcement Loss: De totale beloning ( $R_t$ ) voor een gegenereerde sequentie is een gewogen combinatie van $R_{dis}$ en $R_{sen}$ , gecontroleerd door een hyperparameter $\alpha$ . Deze beloning stuurt de optimalisatie van het model via het Reinforce Algoritme, waarbij een gecombineerde loss-functie van cross-entropy en reinforcement loss wordt geminimaliseerd.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Knowledge-Enhanced Approach: De integratie van een gecureerde kenniscorpus afkomstig van publieke datasets (MIMIC-CXR, CheXpert) om de LVLM-inputs te versterken. Dit zorgt ervoor dat gegenereerde verslagen geworteld zijn in accurate, relevante medische informatie, wat het vermogen van het model verbetert om betrouwbare beschrijvingen te produceren.
Fine-Grained Reinforced Reward Modeling: De ontwikkeling van een dubbel niveau beloningssysteem (ziekte-niveau en zinsniveau) dat specifiek hallucinerende inhoud bestraft. Dit bevordert outputs die nauw aansluiten bij medische normen en mitigeert het voorkomen van feitelijke fouten.
Uitgebreide Empirische Validatie: Uitgebreide experimenten die aantonen dat de voorgestelde methode de huidige state-of-the-art methoden overtreft op zowel Natural Language Generation (NLG) metrieken als klinische effectiviteit (CE) metrieken.

Experimentele Resultaten

Het KERM-framework werd geëvalueerd op twee breed gebruikte benchmarks: IU-Xray en MIMIC-CXR.

Natural Language Generation (NLG) Metrieken: Op de IU-Xray dataset behaalde KERM state-of-the-art resultaten over alle metrieken, inclusief BLEU-4 (0.182), METEOR (0.197) en ROUGE-L (0.388). Op MIMIC-CXR overtrof het bestaande methoden in de meeste NLG-metrieken en behaalde een vergelijkbare prestatie als de state-of-the-art in BLEU-4 en METEOR.
Clinical Efficacy (CE) Metrieken: KERM presteerde significant beter dan voorgaande methoden op het gebied van F1-score, precisie en recall voor ziektedetectie. Opvallend genoeg was, terwijl de precisie iets lager was dan de KM-methode, behaalde het een superieure F1-score (0.415 op MIMIC-CXR), wat wijst op een betere balans tussen het identificeren van ware positieven en het minimaliseren van vals positieven/negatieven.
Ablatie-studies: Experimenten bevestigden dat zowel de MKE- als de RM-modules significant bijdragen aan de prestaties. De MKE-module leverde substantiële winst door gedetailleerde contextuele informatie te bieden (bijv. de positie en aanwezigheid van laesies), terwijl de RM-module hallucinaties effectief verminderde. De integratie van beide modules leverde de beste algehele prestaties op.
Casestudies: Kwalitatieve analyse (Figuur 5) toonde aan dat KERM bijna alle noodzakelijke medische termen en abnormaliteiten dekt die in de grondwaarheid-verslagen worden gevonden, terwijl het basis-LVLM vaak cruciale details miste of hallucinaties introduceerde.

Betekenis en Claims

De auteurs beweren dat KERM een robuuste oplossing biedt voor de kritieke uitdaging van hallucinaties in de generatie van medische verslagen. Door externe kennisretrieval te combineren met een purificatiemechanisme en een fijnmazig beloningssysteem, versterkt het framework de visuele grounding van LVLMs voorbij de voorgetrainde baselines.

Het artikel benadrukt dat deze aanpak niet alleen statistische taalmetrieken verbetert, maar ook de klinische relevantie en diagnostische nauwkeurigheid aanzienlijk verhoogt. De auteurs stellen dat hun methode verslagen produceert die niet alleen feitelijk accuraat zijn, maar ook in lijn zijn met de typische patronen die in de medische praktijk worden waargenomen. De auteurs blijven echter bescheiden over de reikwijdte van hun claims en erkennen beperkingen zoals de afhankelijkheid van de kwaliteit van de kenniscorpus, het potentieel van de purificatiemodule om genuanceerde klinische narratieven te missen, en de computationele kosten die gepaard gaan met het trainen van grote modellen. Zij concluderen dat hoewel KERM veelbelovende resultaten laat zien, verder onderzoek vereist is om de generaliseerbaarheid over diverse datasets en medische domeinen te waarborgen.