Technische Samenvatting: Universele Boosts, Specifieke Suppressors: Sturing van Medische Vision-Language Modellen met Sparse Autoencoders

Probleemstelling

Medische Vision-Language Modellen (VLM's) hallucineren vaak bevindingen bij het genereren van radiologieverslagen uit thoraxfoto's. Deze fouten manifesteren zich als het fabriceren van niet-bestaande bevindingen, het weglaten van kritieke pathologieën, of het verkeerd lokaliseren/inschatten van de ernst van waargenomen aandoeningen. Hoewel bestaande mitigatiestrategieën vertrouwen op optimalisatie na training—zoals Reinforcement Learning (RL) met Direct Preference Optimization (DPO) of Group Relative Policy Optimization (GRPO)—hebben deze benaderingen aanzienlijke rekenkundige overhead tot gevolg (bijvoorbeeld honderden GPU-uren per model) en vereisen ze gradiëntupdates, geoptimaliseerde beloningssignalen en modelspecifieke trainingsruns. Bovendien ontbreekt het aan deze "black box"-fijneinstellingsmethoden vaak aan interpreteerbaarheid met betrekking tot welke interne mechanismen specifieke klinische fouten veroorzaken.

Methodologie

De auteurs stellen een inferentie-only-benadering voor die bevroren medische VLM's stuurt door hun interne activaties tijdens het decoderen te bewerken, met gebruikmaking van Sparse Autoencoders (SAE's). De pijplijn bestaat uit vier fasen:

1. Verzameling van Activaties in de Residual Stream: Per-token verborgen toestanden ($h^{(t)}_\ell$) worden verzameld uit specifieke transformerlagen tijdens het genereren van verslagen op een trainings/validatie-split.
2. Training van Sparse Autoencoders: Een Top-K SAE wordt getraind op elke geselecteerde laag om de dichte verborgen toestanden te decomponeren in hoogdimensionale, schaarse representaties ($z^{(t)}_\ell$). De auteurs gebruiken een woordenboekgrootte van $D=32.768$ en schaarsheid $K=64$.
3. Identificatie van Kenmerken (Causale Screening):
   • Voorfiltering: Kenmerken worden gerangschikt op basis van het absolute verschil in gemiddelde activatie tussen samples met hoge fouten (bovenste kwartiel) en samples met lage fouten (onderste kwartiel).
   • Causale Screening: Er wordt een interventie met één kenmerk uitgevoerd op een apart gehouden validatieset. Voor elke kandidaat-kenmerk ableren de auteurs dit (zetten het op nul) of versterken ze het en meten ze de resulterende verandering in automatische klinische metrieken, specifiek de GREEN-foutentaxonomie (Valse Bevindingen, Ontbrekende Bevindingen, Verkeerde Locatie, Verkeerde Ernst).
   • Classificatie: Kenmerken worden gecategoriseerd als suppress-kandidaten (ablatie vermindert fouten) of boost-kandidaten (ablatie verhoogt fouten, wat betekent dat het kenmerk kwaliteit bevordert). Cruciaal wordt per-fouttype geïdentificeerd, met erkenning dat een enkel kenmerk één fouttype kan suppressen terwijl het een ander type boostt.
4. Residusturing: Tijdens de inferentie worden de geïdentificeerde kenmerken in de SAE-basis bewerkt: suppress-kenmerken worden op nul gezet, en boost-kenmerken worden geschaald met $(1+\beta)$. In plaats van de verborgen toestand te vervangen door de SAE-reconstructie (wat reconstructiefout introduceert), passen de auteurs een pure residupdate toe:
   $$\delta_\ell = \text{decode}_\ell(z'_\ell) - \text{decode}_\ell(z_\ell)$$
   $$h'_\ell = h_\ell + \alpha \delta_\ell$$
   Dit zorgt ervoor dat alleen de specifieke delta veroorzaakt door de interventie wordt toegevoegd aan de oorspronkelijke verborgen toestand, waardoor de onbewerkte kennis van het model behouden blijft.

Belangrijkste Bijdragen

• Mitigatie Alleen via Inferentie: Het artikel toont aan dat hallucinaties kunnen worden gemitigeerd zonder gewichtsupdates, hertraining of prompt-engineering, wat de rekenkosten aanzienlijk verlaagt in vergelijking met RL-fijneinstelling.
• Causale Ontdekking van Kenmerken: De auteurs identificeren dat klinisch betekenisvolle SAE-kenmerken geen monolithische "hallucinatie-richtingen" zijn. In plaats daarvan vertonen ze een complexe structuur waarbij:
  • Boost-kenmerken (die verslagkwaliteit bevorderen) grotendeels universeel zijn over verschillende architecturen (RadVLM, LLaVA-Rad, CheXOne), met een hoge functionele overlap (cosinussimilariteit ~0,91–0,95).
  • Suppress-kenmerken (die specifieke fouten verminderen) modelspecifiek zijn, met een lage functionele overlap (cosinussimilariteit zo laag als 0,25). Dit impliceert dat hoewel kwaliteitsbevorderende mechanismen gedeeld worden, de interne paden die leiden tot hallucinaties uniek zijn voor het trainingsregime van elk model.
• Gedetailleerde Foutcontrole: De methode maakt afzonderlijke stuurlijsten mogelijk voor verschillende fouttypen (bijv. Ontbrekende Bevindingen versus Valse Bevindingen), waardoor gerichte interventies mogelijk zijn die de specifieke causale rollen van kenmerken adresseren.
• Zero-Shot Transfer: Het stuurrecept, geïdentificeerd op MIMIC-CXR, wordt effectief overgebracht naar de onafhankelijke IU-Xray-dataset zonder hertraining, wat bevestigt dat de geïdentificeerde kenmerken eigenschappen zijn van de modelarchitectuur en geen artefacten van het trainingscorpus.

Resultaten

De methode werd geëvalueerd op drie medische VLM's (RadVLM, LLaVA-Rad en CheXOne) op de MIMIC-CXR-testsplit, met aanvullende zero-shot-evaluatie op IU-Xray.

• Prestatiewinst:
  • RadVLM: +5,4% relatieve verbetering in de klinische samengestelde metriek; +3,9% absolute verbetering in de GREEN-score.
  • LLaVA-Rad: +7,2% relatieve verbetering in samengestelde metriek; +10,2% absolute verbetering in GREEN.
  • CheXOne: +17,0% relatieve verbetering in samengestelde metriek; +11,7% absolute verbetering in GREEN. Opmerkelijk is dat winst werd waargenomen zelfs bij CheXOne, dat al was fijne ingesteld met GRPO, wat suggereert dat SAE-sturing complementair is aan RL.
• Herverdeling van Fouten: Het stuurmechanisme herstelt voornamelijk Ontbrekende Bevindingen (vermindering met 654 bij RadVLM) ten koste van een matige toename van Valse Bevindingen (+1.112). Vanwege de structurele asymmetrie van de GREEN-metriek (waarbij het herstellen van een ontbrekende bevinding een grotere positieve impact heeft dan het toevoegen van een valse bevinding een negatieve impact), is het netto-resultaat een aanzienlijke verbetering in de algehele verslagkwaliteit en klinische bruikbaarheid.
• Cross-Model Alignering: Analyse bevestigde dat boost-kenmerken zeer consistent zijn over modellen, terwijl suppress-kenmerken verschillend zijn. Dit ondersteunt de conclusie dat overdraagbare sturing suppressie per backbone moet behandelen.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage het bieden is van een mechanistisch venster in medische VLM's. Door de residual stream te decomponeren in interpreteerbare, schaarse coördinaten, kunnen de auteurs:

1. De specifieke interne mechanismen die verantwoordelijk zijn voor klinische fouten benoemen en lokaliseren.
2. Deze mechanismen tijdens de inferentie bewerken om veiligheid en nauwkeurigheid te verbeteren zonder hertraining.
3. Begrijpen dat hallucinatiemitigatie geen enkele globale richting is, maar een gestructureerde afweging tussen volledigheid (boosten) en specificiteit (suppressen).

De auteurs benadrukken dat hoewel de absolute metriekwinsten gematigd zijn in vergelijking met zware RL-fijneinstelling, de benadering een duidelijk voordeel biedt in interpreteerbaarheid en efficiëntie. Het vermijdt het "black box"-karakter van RL door de causale circuits van het model bloot te leggen, wat gerichte, transparante interventies mogelijk maakt. Het werk claimt niet radiologen te vervangen of te dienen als een zelfstandig hulpmiddel voor klinische besluitvorming, maar eerder als een onderzoeksraamwerk voor het verbeteren van de betrouwbaarheid van geautomatiseerde verslaggeneratie.