Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering

Dit artikel introduceert Semantically Decoupled Latent Steering (SDLS), een trainingsvrij raamwerk dat hallucinaties van eerdere bevindingen in radiologieverslagen effectief onderdrukt door middel van een orthogonaal georiënteerde, semantisch gedecoupeerde latentesturing zonder in te leveren op de klinische nauwkeurigheid.

De kern

Stel je voor dat een kunstmatige intelligentie (AI) werkt als een zeer slimme, maar soms wat verwarde arts-assistent. Deze assistent moet radiologieverslagen schrijven op basis van röntgenfoto's. Het probleem is dat deze AI vaak "hallucineert": ze verzonnen dingen die er niet zijn.

Specifiek heeft deze AI een rare gewoonte ontwikkeld: ze praat alsof ze de oude foto's van de patiënt heeft gezien, zelfs als ze alleen maar naar de huidige foto kijkt. Ze zegt dingen als: "Geen verandering ten opzichte van de vorige foto" of "De klachten zijn verslechterd", terwijl er helemaal geen vorige foto is. Dit is gevaarlijk, want een arts kan denken dat er een verloop is, terwijl de patiënt misschien voor het eerst wordt onderzocht.

De auteurs van dit paper hebben een slimme oplossing bedacht om dit te fixen, zonder de AI opnieuw te hoeven trainen (wat enorm duur en langzaam is). Ze noemen hun methode SDLS.

Hier is hoe het werkt, vertaald naar alledaagse analogieën:

1. Het Probleem: De "Geest van het Verleden"

Stel je voor dat de hersenen van de AI een enorme bibliotheek zijn met miljoenen medische verslagen. Omdat in 76% van die oude verslagen er over "vergelijkingen met vorige foto's" wordt gesproken, heeft de AI een sterk patroon geleerd: "Als ik een verslag schrijf, moet ik altijd iets zeggen over de vorige keer."

Dit is als een muzikant die een liedje speelt, maar door een oude, verkeerde bladmuziek in zijn hoofd, steeds de verkeerde noten speelt. De AI "hallucineert" het verleden.

2. De Slechte Oplossing: De Bibliotheek Branden

Tot nu toe was de enige manier om dit te fixen: alle oude verslagen in de bibliotheek van de AI verwijderen die over "vergelijkingen" gaan, en de AI opnieuw laten leren.

• Het nadeel: Dit is als de hele bibliotheek platbranden. De AI leert dan wel geen leugens meer, maar ze vergeet ook hoe ze echt moet zeggen: "De klachten zijn nu beter dan vorige week" (als er wel een vorige foto is). Ze verliest haar geheugen voor het verleden, zelfs als het nodig is.

3. De Nieuwe Oplossing: SDLS (De "Geheime Rem")

De auteurs zeggen: "Wacht, we hoeven de bibliotheek niet te verbranden. We kunnen gewoon de AI tijdens het schrijven een kleine duw geven."

Ze gebruiken een techniek die Semantisch Ontkoppeld Latent Sturen heet. Laten we dit uitleggen met een analogie:

De "Verwarde Kompasnaald"

Stel je voor dat de AI een kompas heeft dat de richting aangeeft.

• De huidige foto wijst naar het noorden (de waarheid).
• De oude gewoonte (het hallucineren) duwt het kompas naar het oosten.
• Als je de AI gewoon probeert te stoppen, duw je vaak per ongeluk ook het noorden (de echte diagnose) weg. Dat is als proberen het oosten te stoppen door het hele kompas plat te drukken.

De "QR-Methode" (Het Scharnier)

De slimme truc van de auteurs is dat ze eerst de "verkeerde richting" (het hallucineren) precies analyseren. Ze gebruiken een wiskundige techniek (QR-decompositie) om de "verkeerde richting" te scheiden van de "echte richting".

• Analogie: Stel je voor dat je een touw hebt dat in twee richtingen trekt: één kant trekt naar "verleden" en de andere naar "huidige ziekte". Normaal gesproken zijn deze twee verstrengeld, zoals een knoop in een touw.
• De oude methoden probeerden het hele touw te knippen (en sneden per ongeluk de ziekte weg).
• De SDLS-methode is als een chirurgische schaar die precies de knoop oplost. Ze halen de "verleden-richting" eruit, zonder het touw van de "huidige ziekte" aan te raken.

4. Het Resultaat: Een Schone AI

Door deze "geheime rem" (een wiskundige vector) toe te voegen op het exacte moment dat de AI een woord kiest, gebeurt het volgende:

1. De AI stopt met het verzonnen verleden ("geen verandering ten opzichte van...").
2. De AI blijft wel perfect de huidige ziekte beschrijven (bijv. "longontsteking").
3. De AI wordt zelfs beter in de diagnose, omdat ze niet meer wordt afgeleid door die oude, verkeerde gewoonten.

Samenvatting in één zin

De auteurs hebben een slimme, wiskundige "rem" bedacht die de AI precies leert stoppen met het verzonnen van oude foto's, zonder haar te verbieden om over het verleden te praten als dat écht nodig is, en zonder haar te dwingen om opnieuw te leren.

Het is alsof je een kind leert om niet meer te liegen over wat het gisteren heeft gedaan, zonder het kind te verbieden om te vertellen wat hij vandaag heeft gedaan. De AI wordt daardoor betrouwbaarder en veiliger voor echte artsen.

Technische samenvatting

Titel

Onderdrukking van Hallucinaties door Vorige Vergelijkingen in de Generatie van Radiologieverslagen via Semantisch Ontkoppelde Latente Sturing (SDLS).

1. Het Probleem: Prior-Comparison Hallucinaties

Automatische systemen voor het genereren van radiologieverslagen, gebaseerd op Vision-Language Models (VLMs), kampen met een specifiek en gevaarlijk type hallucinatie: prior-comparison hallucinaties.

• Definitie: Het model genereert historische bevindingen of vergelijkingen met eerdere onderzoeken (bijv. "geen verandering sinds de vorige opname" of "verslechterde infiltraten") die niet ondersteund worden door de huidige studie.
• Oorzaak: Dit komt voort uit een schuine verdeling in grote medische corpora, waar vergelijkingen met het verleden zeer frequent voorkomen. Modellen internaliseren hierdoor sterke statistische priors die visuele bewijzen overschaduwen.
• Gevolg: Dit ondermijnt de temporele specificiteit van het verslag en vormt een serieuze barrière voor klinisch vertrouwen. Een vals "stabiel" rapport kan leiden tot uitgestelde interventies, terwijl een vals "verslechterd" rapport onnodige procedures kan veroorzaken.
• Huidige beperkingen: Bestaande oplossingen zijn vaak data-centric (hertraining op schoongemaakte datasets). Dit is computatief duur, vereist hertraining bij elke modelupdate en kan de modelcapaciteit om legitieme longitudinale analyses uit te voeren permanent beschadigen.

2. Methodologie: Semantically Decoupled Latent Steering (SDLS)

De auteurs introduceren SDLS, een trainingsvrij framework dat werkt tijdens de inferentie (tijdens het genereren van tekst). Het doel is om de interne activaties van het model te sturen zonder de modelgewichten te wijzigen.

Kerncomponenten:

• Semantische Ontkoppeling: Het grootste probleem bij bestaande "activation steering"-technieken is semantische verstrengeling. De richting in de latent space die "historische vergelijking" vertegenwoordigt, is vaak verstrengeld met klinische bevindingen. Een simpele subtractie zou dus zowel hallucinaties als waardevolle diagnose-informatie verwijderen.
• LLM-gedreven Decompositie: Om dit op te lossen, wordt een Large Language Model (LLM) gebruikt om rapporten te ontleden in klinische bevindingen en deze toe te wijzen aan temporele semantische klassen (bijv. "verbeterd", "verslechterd", "onveranderd").
• QR-Orthogonalisatie (De Sleutelstap):
  1. Er worden verschilvectoren berekend tussen rapporten met en zonder historische context.
  2. Per semantische klasse wordt de dominante richting (via PCA) geëxtraheerd.
  3. Deze richtingen worden onderworpen aan een QR-decompositie. Dit creëert een orthonormale basis.
  4. Doordat de klinische inhoud varieert tussen de klassen maar de "historische stijl" constant blijft, middelt de QR-methode de variabele klinische signalen weg en isoleert de Semantically Decoupled Intervention Vector (SDIV).
  5. Deze SDIV is strikt orthogonaal op het visuele manifold (de ruimte van klinische feiten) en richt zich uitsluitend op de "historische vergelijking"-as.

Inferentie-tijd Interventie:
De gegenereerde SDIV wordt toegevoegd aan de verborgen staten (activaties) van het decoder-gedeelte van het VLM tijdens het genereren van tekst. De auteurs testen verschillende injectie-strategieën, waaronder:

• Global Injection: Toevoegen aan alle lagen.
• SteerFair: Gerichte injectie in de output van de self-attention mechanismen (blijkt het meest effectief).
• GentleInject: Een sterke, vroege verstoring op het begin van de sequentie.

3. Belangrijkste Bijdragen

1. SDLS Framework: Een trainingsvrij mechanisme dat QR-orthogonalisatie gebruikt om hallucinatie-bias visueel semantiek te ontkoppelen.
2. Mechanistische Interpretatie: Het biedt een verklaring dat prior-comparison hallucinaties voortkomen uit een falen van "visuele grounding" (het model vertrouwt taal-priors meer dan visuele input). De SDIV neutraliseert deze priors.
3. Positieve Som Uitkomst: Het bewijst dat het mogelijk is om hallucinaties te onderdrukken zonder de klinische nauwkeurigheid te verliezen; in feite verbetert de nauwkeurigheid vaak omdat de "ruis" van de taal-prior wordt verwijderd.
4. Architecturale Inzichten: Het identificeert dat diepe cross-attention mechanismen (zoals in BiomedGPT) essentieel zijn voor effectieve lineaire sturing, terwijl modellen met alleen visuele prefixes (zoals LLaVA-Med) minder goed reageren op deze techniek.

4. Resultaten

De methode werd gevalideerd op de BiomedGPT foundation model en getest op MIMIC-CXR, CheXpert Plus en IU-Xray.

• Onderdrukking van Hallucinaties:
  • Op MIMIC-CXR daalde de FilBERT-score (kans op hallucinatie) significant van 0.2373 naar 0.1889.
  • De History-comparison Span Rate (HSR) nam af.
• Verbetering van Klinische Fidelity:
  • In tegenstelling tot naïeve methoden die de diagnosekwaliteit verzwakken, steeg de CheXpert Macro-F1 score van 0.2242 naar 0.3208.
  • Dit bevestigt dat de methode "ruis" verwijdert zonder het "signaal" (de echte diagnose) aan te tasten.
• Zero-Shot Transfer:
  • De SDIV, afgeleid van MIMIC-CXR, werkte uitstekend op onzichtbare datasets (CheXpert Plus en IU-Xray) zonder fijnafstemming, wat aantoont dat de "historische stijl" bias een universeel kenmerk is dat kan worden gestuurd.
• Architecturale Grenzen:
  • Op LLaVA-Med (decoder-only met visuele prefix) had de methode weinig effect, wat suggereert dat lineaire sturing van cross-modale hallucinaties afhankelijk is van persistente cross-attention interactie.
  • Op het eenvoudigere VED-model werkte de geautomatiseerde SDIV minder goed dan handmatig gecureerde vectoren, wat wijst op de noodzaak van een rijke latent space voor deze techniek.

5. Betekenis en Conclusie

Dit onderzoek markeert een paradigmaverschuiving van dure hertraining naar inferentie-tijd mechanische sturing.

• Klinische Veiligheid: Het biedt een praktische oplossing om hallucinaties te elimineren die het klinisch vertrouwen ondermijnen, zonder de modelcapaciteit voor longitudinale analyse te vernietigen.
• Geometrische Disentanglement: Het toont aan dat hallucinaties vaak een geometrisch probleem zijn in de latent space dat opgelost kan worden door orthogonale projectie, in plaats van door complexe data-curatie.
• Toekomst: De methode biedt een blauwdruk voor het ontwikkelen van transparante, controleerbare klinische AI-systemen die "helder spreken over het heden" zonder geobsedeerd te worden door de statistieken van het verleden.

Kortom, SDLS is een krachtige, trainingsvrije techniek die de betrouwbaarheid van AI-genereren radiologieverslagen aanzienlijk verbetert door de specifieke oorzaak van hallucinaties (verstrengelde taal-priors) chirurgisch te verwijderen.