Technische Samenvatting: Hallucinatiedetectie-Gestuurde Preferentie-Optimalisatie voor Klinische Samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) tonen sterke capaciteiten in tekstsamenvatting, maar genereren frequent "hallucinaties"—inhoud die niet wordt ondersteund door het brondocument of inconsistent is met wereldkennis. In klinische settings, waar modellen patiëntendossiers samenvatten om zorgverlening te ondersteunen, manifesteren deze hallucinaties zich als gefabriceerde of vervormde medische statements (bijvoorbeeld niet-ondersteunde procedures, medicatie of diagnoses). Zelfs domein-geadaptede modellen produceren vaak hallucinaties met medisch plausibele terminologie, wat een deskundige review noodzakelijk maakt. Bestaande mitigatiestrategieën staan voor aanzienlijke beperkingen: trainingsmethoden (bijvoorbeeld supervised fine-tuning, reinforcement learning) vereisen enorme hoeveelheden hoogwaardige domeindata en vertrouwen vaak op factualiteitsmetrieken die slechts zwak correleren met klinische correctheid. Inference-technieken, zoals retrieval-augmented generation of self-refinement, brengen vaak hoge rekenkosten met zich mee of riskeren over-editing en het verwijderen van opvallende inhoud.

Methodologie

De auteurs stellen een tweestaps-pijplijn voor, HDSR (Hallucination Detection Guided Self-Refinement) en HDSR-PL (HDSR voor Preference Learning), ontworpen om hallucinaties te verminderen terwijl de vlotheid en coherentie van de samenvatting behouden blijven.

1. Hallucinatiedetectie-Gestuurde Zelf-Refinement (HDSR)

HDSR is een inference-methode die hallucinatiedetectie integreert in een iteratief verfijningstraject:

• Initiële Generatie: Een LLM genereert een initiële samenvatting uit een klinische notitie (bijvoorbeeld Brief Hospital Course).
• Detectie: Een hallucinatiedetector (specifiek MedCat of MedAlign) analyseert de samenvatting tegen het brondocument om niet-ondersteunde of tegenstrijdige spans te identificeren.
  • MedCat koppelt klinische concepten aan biomedische ontologieën om ontbrekende of niet-ondersteunde inhoud te markeren.
  • MedAlign gebruikt een prompt-gebaseerde aanpak die volgt op een klinisch gemotiveerde taxonomie van fouttypen (bijvoorbeeld niet-ondersteunde aandoeningen, procedures, medicatie).
• Iteratieve Herziening: De feedback van de detector (met name foutspans markerend) wordt teruggekoppeld naar de LLM als prompt. Het model krijgt de instructie om de samenvatting te herzien om deze feitelijke fouten te corrigeren, terwijl ondersteunde inhoud behouden blijft en een professionele toon wordt gehandhaafd.
• Beëindiging: Dit proces herhaalt zich totdat een vastgesteld iteratielimiet is bereikt of er geen verdere hallucinaties meer worden gedetecteerd.

2. Preferentie-Leren uit Detectie-Gestuurde Zelf-Refinement (HDSR-PL)

Om de rekenkosten van iteratieve verfijning te amortiseren en geloofwaardige generatie tijdens inference mogelijk te maken zonder extra stappen, stellen de auteurs HDSR-PL voor:

• Constructie van Preferentiepaires: Het iteratieve HDSR-proces genereert paren van samenvattingen voor elk brondocument: de initiële (gehallucineerde) samenvatting en de herziene (feitelijk gecorrigeerde) samenvatting.
• Training: Deze paren worden behandeld als preferentiedata, waarbij de herziene samenvatting de "geprefereerde" output is en de initiële samenvatting de "niet-geprefereerde" output.
• Optimalisatie: Het samenvattingsmodel wordt fijngeschaald met Direct Preference Optimization (DPO). Dit stelt het model in staat de door de detector geleide feitelijke correcties te internaliseren, waardoor het tijdens inference direct geloofwaardige samenvattingen genereert zonder dat het iteratieve verfijningstraject nodig is.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op de MIMIC-IV-Note v2.2 dataset, specifiek de Hallucination-Generated-DI subset, met gebruikmaking van Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct en Gemma-3-4B-IT.

• Vermindering van Hallucinaties:
  • HDSR (Inference-tijd): Verminderde hallucinaties met ongeveer 24% in Llama-3.1-8B-Instruct (van 29 naar 22 fouten) vergeleken met zero-shot prompting.
  • HDSR-PL (Training-tijd): Bereikte de meest significante vermindering, met een verlaging van hallucinaties met 48% (van 29 naar 15 fouten) in Llama-3.1-8B-Instruct.
  • Daarentegen leidde standaard Supervised Fine-Tuning (SFT) op door clinici geschreven referenties tot een bijna verdubbeling van hallucinaties (van 29 naar 57 fouten), wat het risico van SFT zonder specifieke factualiteitsbeperkingen benadrukt.
• Kwaliteit van Samenvatting: Zowel HDSR als HDSR-PL behielden of verbeterden de kwaliteitsmetrieken van de samenvatting (Consistentie, Coherentie, Vlotheid, Relevantie) zoals beoordeeld door menselijke clinici en een LLM-as-judge. HDSR-PL toonde een lichte afweging in vlotheid en coherentie vergeleken met HDSR, toegeschreven aan het leren van een algemene voorkeur voor feitelijke uitlijning boven fijne stylistische details.
• Fouttype Analyse: De methoden waren bijzonder effectief in het verminderen van "Niet-ondersteunde Aandoeningen" en "Niet-ondersteunde Procedures", die de meerderheid van de fouten in baseline-modellen uitmaken.

Betekenis en Claims

Het artikel beweert dat door detectie geïnformeerde verfijning en preferentie-lering een geautomatiseerde oplossing bieden voor het verbeteren van feitelijke geloofwaardigheid in klinische samenvatting. Belangrijke bijdragen zijn:

1. Aantonen van het falen van standaard SFT: Het werk toont aan dat het simpelweg fijnafstemmen op door clinici geschreven samenvattingen hallucinaties in klinische contexten kan verergeren, wat gespecialiseerde uitlijnstrategieën noodzakelijk maakt.
2. Geautomatiseerde Generatie van Preferentiedata: Door hallucinatiedetectoren in te zetten om zelf-refinement te sturen, creëren de auteurs hoogwaardige preferentiepaires zonder handmatige menselijke annotatie, wat DPO-training voor feitelijke uitlijning mogelijk maakt.
3. Balans tussen Geloofwaardigheid en Vlotheid: De resultaten geven aan dat het mogelijk is hallucinaties aanzienlijk te verminderen (tot 48%) terwijl de vlotheid en coherentie die vereist zijn voor klinische samenvattingen behouden blijven, zoals gevalideerd door zowel menselijke experts als geautomatiseerde metrieken.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Afhankelijkheid van Detector: De effectiviteit van zowel HDSR als HDSR-PL is afhankelijk van de nauwkeurigheid van de hallucinatiedetector. Valse positieven (markeren van ondersteunde inhoud) of valse negatieven (het missen van subtiele inconsistenties) kunnen de effectiviteit van de verfijning beperken.
• Domeinspecificiteit: De evaluatie is beperkt tot het samenvatten van Brief Hospital Courses naar Discharge Instructions uit MIMIC-IV. De overdraagbaarheid naar andere medische notitietypes of niet-klinische domeinen blijft onverkend.
• Rekenkosten: Hoewel HDSR-PL de kosten tijdens inference amortiseert, brengt de HDSR-inferentiemethode extra rekenkosten met zich mee door meerdere verfijningsiteraties en detectoroproepen, wat de implementatie in settings met lage latentie kan belemmeren.