💬 NLP

From Attribution to Abstention: Training-Free Attention-Based Auditing for Clinical Summarization

Het paper introduceert ClinTrace, een trainingsvrij framework dat decoder-attentie-weights van multimodale grote taalmodellen gebruikt om voor klinische samenvattingen automatisch bronattributie en hallucinatie-detectie te genereren zonder extra inferentiekosten, waardoor de betrouwbaarheid en transparantie voor clinici aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Qianqi Yan, Huy Nguyen, Sumana Srivatsa, Hari Bandi, Xin Eric Wang, Krishnaram Kenthapadi

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qianqi Yan, Huy Nguyen, Sumana Srivatsa, Hari Bandi, Xin Eric Wang, Krishnaram Kenthapadi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat overdreven verteller hebt. Deze verteller kan prachtige verhalen schrijven over medische dossiers, maar hij heeft een kwaal: soms verzonnen hij details die niet waar zijn, of hij haalt dingen door elkaar. In de medische wereld is dit gevaarlijk; een verzonnen symptoom kan leiden tot onnodige tests of een verkeerde diagnose.

De onderzoekers van dit paper hebben een oplossing bedacht die ze ClinTrace noemen. Het is alsof ze een onzichtbare "waarheidsmeter" hebben gebouwd die direct in het brein van de computer zit, zonder dat ze de computer hoeven te herscholen of extra software hoeven toe te voegen.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De "Aandacht" als Spoorboekje

Elke moderne AI (zoals de modellen die dit paper gebruikt) werkt met een mechanisme genaamd aandacht (attention). Wanneer de AI een zin schrijft, "kijkt" hij terug naar de originele tekst of foto's om te zien waar hij die informatie vandaan haalt.

De Analogie: Stel je voor dat de AI een detective is die een verslag schrijft. Normaal gesproken schrijft hij het verslag en gooit hij zijn notities (de originele gegevens) in de prullenbak.
De Innovatie: ClinTrace pakt die notities niet weg. In plaats daarvan kijkt de AI naar hoe intensief hij naar elke zin in zijn notities kijkt terwijl hij schrijft.
- Als hij heel intens naar een specifieke zin in het origineel kijkt terwijl hij een nieuwe zin schrijft, is dat een goed teken. Hij heeft een bron.
- Als hij wazig om zich heen kijkt en geen enkele zin in het origineel goed aankijkt, is dat een rode vlag. Hij verzonnet het waarschijnlijk.

2. Twee Krachtige Signalen

Uit deze "blik" halen ze twee dingen:

De Bronvermelding (Attributie):
De AI kan nu precies aangeven: "Deze zin over de rode ogen komt uit zin 4 van het gesprek, en deze zin over de foto komt uit de foto." Het is alsof de AI direct onder elke zin een klein citaten-icoontje plaatst. Dit helpt de arts om snel te controleren of de AI de feiten klopt, zonder het hele originele dossier opnieuw te hoeven lezen.
- Resultaat: Dit werkt verrassend goed. De AI wijst de bronnen bijna altijd correct aan (meer dan 90% nauwkeurigheid).
De "Waarheidsgraad" (Groundedness):
Dit is de meter die zegt: "Hoe zeker ben ik?"
- Hoge score: De AI kijkt stevig naar de bron. "Ik weet zeker dat dit waar is."
- Lage score: De AI kijkt wazig. "Ik heb geen idee waar dit vandaan komt, ik gok maar."
- Het slimme: Ze hoeven hiervoor geen extra rekenkracht. Het is gratis, want de AI doet dit al tijdens het schrijven.

3. Het "Stilte"-Principe (Abstention)

Dit is misschien wel het belangrijkste deel voor de veiligheid. Stel, de AI schrijft een verslag, maar voor één zin is de "Waarheidsgraad" laag.

De Oude Manier: De AI schrijft de zin er gewoon bij, en de arts moet hopen dat het klopt.
De Nieuwe Manier (ClinTrace): De AI zegt: "Ik ben niet zeker van deze zin. Ik laat hem weg en vraag de arts om dit zelf te controleren."
De Analogie: Het is alsof een kok die een gerecht maakt, zegt: "Ik ben 100% zeker van de soep, maar ik ben niet zeker van de saus. Ik serveer de soep, maar ik laat de saus apart staan zodat jij (de chef) hem zelf kunt proeven voordat je hem op het bord doet."

Door de twijfelachtige zinnen weg te laten, wordt het resterende verslag veel betrouwbaarder. In de tests steeg de betrouwbaarheid van 61% naar 72% door simpelweg de 20% minst betrouwbare zinnen weg te laten.

4. Het Geheim: Specifieke Training maakt het Slimmer

Een verrassende ontdekking in dit paper is dat niet alle AI's even goed in dit "spioneren" zijn.

De Algemene AI: Een algemene AI (zoals een veelzijdige chatbot) is slim, maar zijn "blik" is vaak wat verspreid. Hij weet niet altijd precies waar hij naar moet kijken.
De Medische AI: Een AI die specifiek is getraind op medische teksten (zoals HuatuoGPT), heeft een veel scherper zicht. Zijn "blik" is strakker gericht op de medische feiten.
De Les: Als je een AI wilt gebruiken in een ziekenhuis, is het niet genoeg om een slimme algemene AI te nemen. Je hebt een "gespecialiseerde" AI nodig, omdat die van nature beter kan aangeven waar zijn informatie vandaan komt en wanneer hij twijfelt.

Samenvatting

ClinTrace is een slimme, gratis manier om AI's in de zorg veiliger te maken. Het gebruikt de "blik" van de AI zelf om te zeggen:

Waar komt deze informatie vandaan? (Bronvermelding)
Hoe zeker ben ik? (Waarheidsmeter)
Moet ik stoppen? (Als ik niet zeker ben, laat ik het aan de mens over).

Het is een stap in de richting van AI die niet alleen slim is, maar ook eerlijk en transparant over wat hij wel en niet weet.

Probleemstelling

Multimodale Large Language Models (MLLM's) worden steeds vaker ingezet voor klinische documentatie, zoals het samenvatten van arts-patiëntgesprekken of radiologieverslagen. Hoewel deze modellen vloeiende teksten genereren, zijn ze vatbaar voor hallucinaties (claims die niet worden ondersteund door de bron). In de zorgsector, waar fouten leiden tot vertraagde diagnoses of onnodige tests, is vloeiheid onvoldoende.

Bestaande oplossingen voor transparantie en hallucinatiemitigatie hebben beperkingen:

Post-hoc attributie-methoden (zoals gradient-based saliency) zijn ontwikkeld voor classificatie en werken niet goed voor open-ended generatie.
Trainingsgebaseerde methoden (zoals RLHF) vereisen dure hertraining en bieden geen per-zin herkomst.
Retrieval-augmented generation grondt output in externe kennis, maar traceert niet terug naar het specifieke invoerdocument.

Er is een gat tussen wat MLLM's produceren en wat klinische workflows nodig hebben: een auditlaag die per zin aangeeft waar de informatie vandaan komt en wanneer een claim onbetrouwbaar is, zonder extra kosten of training.

Methodologie: ClinTrace

Het paper introduceert ClinTrace, een training-vrij framework dat twee klinisch nuttige signalen extrahert uit de decoder-aandachtsgewichten (attention weights) die elke transformer-based MLLM al berekent tijdens de generatie. Het vereist geen extra modellen, geen hertraining en geen extra inferentiekosten.

Het framework werkt in drie fasen:

Chunking van de bron: De invoer (tekst en/of afbeelding) wordt opgesplitst in zin-niveau bewijseenheden. Bij multimodale input wordt de afbeelding behandeld als één eenheid.
Attention Pooling: Voor elke gegenereerde token worden de aandachtsgewichten over alle lagen en koppen (heads) gemiddeld om een stabiele vector te krijgen die de relevantie van de bron aangeeft.
Attributie en Groundedness Scoring:
- Attributie: Elke gegenereerde zin wordt gekoppeld aan de bronzin(s) waar de tokens het meest naar kijken. Een drempelwaarde bepaalt of een bronzin als citatie wordt behouden.
- Groundedness Score ( $\phi$ ): Een scalar die aangeeft hoe sterk de aandacht van een zin geconcentreerd is op specifieke bronbewijzen. Een hoge score betekent dat de zin goed onderbouwd is; een lage score (diffuse aandacht) wijst op een potentieel hallucinatie.

Abstention Mechanisme: Zinnen met een lage groundedness-score worden niet als definitieve output gepresenteerd, maar gemarkeerd voor controle door een arts. Dit verhoogt de algehele betrouwbaarheid van de output.

Belangrijkste Bijdragen

Training-vrije Auditlaag: Het bewijs dat decoder-aandachtsgewichten voldoende signaal bevatten voor zowel bronattributie als hallucinatie-detectie, zonder extra kosten.
Dubbel doel: Het framework levert tegelijkertijd bronvermelding (waar komt deze zin vandaan?) en betrouwbaarheidsscores (is deze zin betrouwbaar?).
Invloed van Medical Finetuning: Het paper toont aan dat medisch gefinetuned modellen (zoals HuatuoGPT) semantisch gestructureerdere aandachtspatronen hebben dan algemene modellen, waardoor ze beter geschikt zijn voor zelf-audit.
Abstention Strategie: Een praktische implementatie waarbij onzekere output wordt terughoudend aan de arts, wat de betrouwbaarheid van de resterende output significant verhoogt.

Resultaten

De evaluatie vond plaats op twee taken:

CliConSummation: Samenvatting van arts-patiëntgesprekken (tekst + afbeeldingen).
MIMIC-CXR: Samenvatting van radiologieverslagen (Findings $\to$ Impression).

Gebruikte modellen: Qwen3-8B (algemeen) en HuatuoGPT-Vision-7B (medisch gefinetuned).

1. Bronattributie (Source Attribution):

ClinTrace presteerde aanzienlijk beter dan baselines (zoals embedding-gebaseerde methoden of self-attribution).
Radiologie: >92% Text F1 (HuatuoGPT) en >92% (Qwen3).
Dialogen: >88% Text F1.
Medisch gefinetuned modellen presteerden beter, wat suggereert dat domeinspecifieke training de interpretatie van aandacht verbetert.

2. Hallucinatie-detectie (Groundedness Scores):

HuatuoGPT: Bereikte een AUROC van 0,77, wat vergelijkbaar is met dure embedding-gebaseerde methoden, maar zonder extra kosten.
Qwen3-8B: Een zwakker signaal (AUROC 0,59), wat bevestigt dat algemene modellen minder gestructureerde aandachtspatronen hebben voor klinische inhoud.
Abstention Effect: Door de 20% minst onderbouwde zinnen te verwijderen bij HuatuoGPT, steeg de faithfulness (betrouwbaarheid) van 61,7% naar 72,6%.

3. Verband tussen Attributie, Groundedness en Faithfulness:

Er is een sterke correlatie: zinnen met correcte attributie hebben hogere groundedness-scores en zijn vaker feitelijk correct. Dit bevestigt dat deze drie signalen verschillende aspecten van hetzelfde onderliggende aandachtssignaal zijn.

Betekenis en Conclusie

Dit werk biedt een praktische, kostenefficiënte oplossing voor het veiligstellen van AI in de zorg. De belangrijkste inzichten zijn:

Decoder-aandacht is een gratis klinische resource: Het weggegooid signaal tijdens generatie kan worden gebruikt voor auditing.
Medical Finetuning is cruciaal voor interpretbaarheid: Voor klinische toepassingen bieden domein-specifieke modellen niet alleen betere prestaties, maar ook betrouwbaardere ingebouwde veiligheidsignalen.
Abstention boven stil falen: Het is veiliger om onzekere output te markeren voor menselijke controle dan om te proberen fouten stil te corrigeren.

Het paper concludeert dat ClinTrace een haalbare route is naar verantwoorde AI in de kliniek, mits er gebruik wordt gemaakt van medisch gefinetuned modellen om de kwaliteit van de audit-signalen te maximaliseren.