Explaining BiomedCLIP with Weighted Banzhaf Interactions Supported by Tree-Gram Parsing

Technische Samenvatting: ParseFIxLIP voor de interpreteerbaarheid van BiomedCLIP

Probleemstelling
Vision-Language Models (VLM's), zoals BiomedCLIP, hebben sterke zero-shot capaciteiten aangetoond in medische taken zoals radiologische analyse. De inzet hiervan in klinische settings wordt echter belemmerd door een gebrek aan getrouwe, interpreteerbare verklaringen. Bestaande speltheoretische verklaringsframeworks, specifiek FIxLIP, hebben moeite bij toepassing op moderne VLM's vanwege de afhankelijkheid van subwoord-tokenizers (bijv. BPE, WordPiece).

In het medische domein veroorzaakt deze tokenisatie-aanpak conceptfragmentatie. Precieze klinische termen (bijv. "saddle embolus") worden opgesplitst in willekeurige, semantisch betekenisloze subwoorden (bijv. "sad", "dle", "embol", "us"). Deze fragmentatie leidt tot twee kritieke problemen:

1. Semantische Incoherentie: Verklaringen worden onleesbaar voor clinici, omdat belang wordt verdeeld over verspreide fragmenten in plaats van verenigde medische concepten.
2. Statistische Instabiliteit: De fragmentatie creëert een hoog-dimensionale featureruimte met ernstige multicollineariteit. Bij het analyseren van lange radiologieverslagen zorgt de combinatorische explosie van mogelijke token-masks voor de "vloek van dimensionaliteit", waardoor standaard interactie-estimatiemethoden falen in het isoleren van betekenisvolle signalen uit ruis, wat vaak resulteert in slechte goodness-of-fit metrieken (bijv. een negatieve Adjusted $R^2$).

Methodologie: ParseFIxLIP
Om deze uitdagingen aan te pakken, introduceren de auteurs ParseFIxLIP, een model-agnostische uitbreiding van het FIxLIP-framework die Tree-Gram Parsing integreert in de Weighted Banzach-interactiegame.

In plaats van ruwe subwoord-tokens te behandelen als individuele spelers in het coöperatieve spel, projecteert ParseFIxLIP de verklaringstaak naar een gereduceerde-dimensionale ruimte met behulp van een surjectieve mappingfunctie $\pi: N \to N'$. Deze mapping groepeert ruwe tokens tot semantisch coherente "macro-spelers" op basis van dependency parsing trees gegenereerd door spaCy. De auteurs stellen vier groeperingsstrategieën voor:

1. Raw: De baseline identiteitsmapping (standaard tokenisatie).
2. Words: Het samenvoegen van subwoorden tot volledige woorden uit het woordenboek.
3. Noun_chunks: Het groeperen van meervoudige naamwoordgroepen tot enkelvoudige entiteiten.
4. Smart_depth: Een nieuwe syntactische strategie die recursief de dependency tree heads groepeert met hun modifiers, waardoor complexe medische concepten worden verenigd.

In theorie definieert deze formulering een quotient game $\mathcal{G}' = (N', \nu')$. Door het aantal spelers te reduceren ($|N'| \ll |N|$) terwijl de semantische parsimonie behouden blijft, elimineert de methode structureel de ruis veroorzaakt door subwoord-fragmentatie voordat de interacties worden berekend. Deze reductie stabiliseert de Weighted Banzach-estimatie onder een vastgesteld sampling-budget, wat multicollineariteit en de vloek van dimensionaliteit mitigeert.

Belangrijkste Bijdragen
Het artikel brengt de interpreteerbaarheid van VLM's vooruit door drie primaire bijdragen:

1. Linguïstisch Geïnformeerde Speltheoretische Verklaring: ParseFIxLIP wordt gepresenteerd als het eerste werk dat subwoord-fragmentatie in speltheoretische XAI aanpakt door dependency parsing trees te gebruiken om tokens te groeperen tot coherente klinische concepten.
2. Theoretische Mitigatie van Dimensionaliteit: De quotient game-formulering laat zien dat zij inherent problemen met multicollineariteit en hoog-dimensionaliteit oplost, waardoor de estimatie van Weighted Banzach-waarden wordt gestabiliseerd.
3. Empirische Validatie op Medische Data: De aanpak wordt geëvalueerd op de ROCOv2 dataset, waarbij wordt aangetoond dat semantische groepering statistische robuustheid behoudt waar standaard baselines falen, met name bij lange radiologie-bijschriften.

Experimentele Resultaten
De auteurs evalueerden de methode met behulp van Spearman's Rank Correlation en Adjusted $R^2$ als faithfulness-metrieken, naast Insertion/Deletion curves (Area Between Curves - AID).

• Kwantitatieve Bevindingen:

  • Op korte bijschriften bereikten semantische groeperingsstrategieën (noun_chunks en smart_depth) mediane Adjusted $R^2$-waarden boven de 0,7, wat aanzienlijk beter is dan de ruwe token-baselines.
  • Op lange bijschriften (>30 woorden) leed de ruwe token-baseline onder de vloek van dimensionaliteit, wat resulteerde in negatieve Adjusted $R^2$-waarden voor sommige samples door overfitting op ruisige, hoog-dimensionale tokensets. In contrast hiermee behield smart_depth de statistische robuustheid door inputs te condenseren tot minder dan 15 semantische concepten.
  • Hoewel de ruwe baselines incidenteel iets hogere AID-scores lieten zien op lange teksten (door het volgen van verspreide aandacht naar achtergrondruis), leverde semantische groepering meer klinisch relevante signalen.

• Kwalitatieve Bevindingen:

  • Concept Unificatie: Visualisaties bevestigden dat smart_depth erin slaagde gefragmenteerde termen zoals "saddle embolus" en "left parotiditis" te verenigen tot enkele, belangrijke concepten, terwijl ruwe methoden het belang verdeelden over betekenisloze fragmenten.
  • Robuustheidstesten: Stress-tests onthulden dat BiomedCLIP zelf een gebrek aan robuustheid vertoont tegen ruimtelijke transformaties (bijv. ondersteboven rotatie) en zwaar leunt op expliciete annotaties (pijlen, tekst) in plaats van pathologie. ParseFIxLIP legde deze beperkingen getrouw vast, waarbij het liet zien dat de aandacht van het model verschuift naar transformatie-robuuste artefacten (zoals gedrukte nummers) wanneer de anatomie wordt geroteerd, en disproportioneel veel gewicht toekent aan expliciete markeringen boven de werkelijke ziekte.

Betekenis en Claims
Het artikel beweert dat ParseFIxLIP een cruciale stap biedt naar de verantwoorde inzet van VLM's in de geneeskunde door intuïtieve en klinisch relevante inzichten te bieden. Door complexe medische concepten te verenigen, vervult de methode de behoefte aan coherente verklaringen die clinici kunnen vertrouwen.

Cruciaal is dat het werk niet alleen de kwaliteit van de verklaring verbetert; het dient ook als een diagnostisch instrument dat fundamentele beperkingen in huidige VLM's blootlegt. De auteurs demonstreren dat BiomedCLIP fragiel is voor ruimtelijke transformaties en vatbaar is voor "shortcut learning" via visuele annotaties. Door deze gedragingen te onthullen via coherente, op dependency gebaseerde groepering, benadrukt ParseFIxLIP de noodzaak voor extreme voorzichtigheid bij het interpreteren van BiomedCLIP-outputs in de klinische besluitvorming. De aanpak overbrugt succesvol de kloof tussen wiskundige modelinputs en menselijk begrijpelijke medische concepten zonder dat daarvoor hulpmodellen of door mensen geannoteerde concepten nodig zijn.