An Explainable Vision-Language Model Framework with Adaptive PID-Tversky Loss for Lumbar Spinal Stenosis Diagnosis

Titel: Een Verklaarbaar Vision-Language Model Framework met Adaptieve PID-Tversky Loss voor de Diagnose van Lumbale Spinal Stenose

1. Het Probleem

De diagnose van Lumbale Spinal Stenose (LSS) is een kritieke klinische uitdaging die momenteel sterk afhankelijk is van handmatige interpretatie van complexe, multi-view MRI-scans door radiologen. Dit proces leidt tot aanzienlijke variabiliteit tussen verschillende waarnemers (inter-observer) en binnen dezelfde waarnemer (intra-observer), evenals diagnostische vertragingen. Bestaande dieplerningsmodellen (Deep Learning) hebben twee fundamentele beperkingen:

• Black-box aard: Traditionele modellen leveren alleen classificatiescores of pixelmaskers zonder transparante klinische redenering, wat essentieel is voor medische besluitvorming.
• Class Imbalance en Ruimtelijke Verlies: Medische datasets vertonen extreme onbalans (zeldzame ernstige gevallen vs. veel voorkomende normale gevallen). Standaard verliesfuncties (zoals Cross-Entropy) negeeren deze onbalans, wat leidt tot ondersegmentatie van moeilijke, minderheidscases. Bovendien gebruiken veel Vision-Language Models (VLMs) globale pooling-mechanismen die cruciale ruimtelijke hiërarchieën en anatomische details verliezen.

2. Methodologie

De auteurs stellen een end-to-end multimodaal Vision-Language Framework voor dat bestaat uit vijf hoofdstadia:

• Data Voorbereiding & Pseudo-mask Generatie:

  • Gebruik van een openbaar LSS MRI-dataset (515 patiënten, 48.345 afbeeldingen).
  • Toepassing van Non-Local Means (NLM) voor ruisreductie.
  • Adaptieve Pseudo-mask Generatie: Omdat handmatige pixel-annotaties ontbreken, worden klinische radiologenrapporten gebruikt om "pseudo-ground truth" maskers te genereren. Dit gebeurt via Otsu-thresholding en Canny edge detection, met morfologische verfijning (dilatatie/erosie) die dynamisch wordt aangepast op basis van de ernst van de stenose zoals beschreven in het rapport.

• Multimodale Feature Extractie:

  • Integratie van geavanceerde VLMs: LLaVA-Med, BiomedCLIP en SmolVLM.
  • Tekstkanaal: Klinische prompts worden getokeniseerd en verwerkt tot semantische embeddings.
  • Visueel Kanaal: MRI-scans worden verwerkt via Vision Transformers (ViT). In plaats van het gebruik van het globale [CLS]-token, worden ruimtelijke patch-embeddings (196 patches) direct geëxtraheerd om fijne anatomische details te behouden.

• Spatial Patch Cross-Attention Module:

  • Een aangepaste module die de semantische kloof overbrugt tussen tekst en beeld.
  • Tekst-embeddings fungeren als Queries (Q), terwijl de visuele patch-embeddings dienen als Keys (K) en Values (V).
  • Dit stelt het model in staat om visuele aandacht te richten op specifieke anatomische gebieden die relevant zijn voor de klinische tekst, wat leidt tot nauwkeurige, tekst-gestuurde lokalisatie van afwijkingen.

• Adaptieve PID-Tversky Loss Functie:

  • Een innovatieve verliesfunctie die principes van PID-regeling (Proportioneel-Integraal-Derivatief) combineert met de Tversky-index.
  • De loss past dynamisch de gewichten voor False Positives en False Negatives aan tijdens het trainingsproces, gebaseerd op de huidige fouten (FP/FN) en hun veranderingstempo.
  • Dit dwingt het model om zich te concentreren op moeilijke, ondervertegenwoordigde gevallen (matige tot ernstige stenose) in plaats van zich te richten op de makkelijke meerderheidscases.

• Automatische Radiologie Rapportage (ARRG):

  • Een module die de gesegmenteerde maskers, percentages van het aangetaste gebied en ernstlogits vertaalt naar coherent, radioloog-stijl klinisch taalgebruik.
  • Dit creëert een brug tussen kwantitatieve AI-predicties en kwalitatieve klinische uitleg.

3. Belangrijkste Bijdragen

1. End-to-End Framework: Een geïntegreerd systeem dat classificatie, segmentatie en rapportgeneratie combineert, waarbij visuele pathologie direct wordt gekoppeld aan klinische interpretatie.
2. Adaptieve PID-Tversky Loss: Een nieuwe verliesfunctie die het probleem van class imbalance in medische segmentatie effectief aanpakt door een feedback-gestuurd, dynamisch aanpassend straffingsmechanisme.
3. Spatial Patch Cross-Attention: Een module die globale pooling vervangt door directe interactie tussen tekst en ruimtelijke patch-embeddings, waardoor de ruimtelijke precisie voor lokalisatie van spinale anomalieën wordt verbeterd.
4. Verklaarbaarheid (XAI): Het genereren van menselijk leesbare rapporten die de "black box" van AI doorbreken, waardoor transparantie en vertrouwen in klinische settings worden vergroot.

4. Resultaten

Het framework werd getest op drie VLM-modellen met een gebalanceerd dataset. De beste resultaten werden behaald met LLaVA-Med:

• Diagnostische Classificatie: Een nauwkeurigheid van 90,69% met een macro-averaged F1-score van 0,9072.
• Segmentatie: Een macro-averaged Dice-score van 0,9512 en een IoU van 0,9288.
• Rapportgeneratie: Een CIDEr-score van 92,80%, wat aangeeft dat de gegenereerde rapporten semantisch zeer goed overeenkomen met echte radiologenrapporten.
• Ablatiestudie: Het gebruik van de Adaptieve PID-Tversky Loss verbeterde de Dice-score aanzienlijk ten opzichte van standaard Cross-Entropy loss (bijv. BiomedCLIP steeg van 0,7411 naar 0,9512), wat de effectiviteit van de loss-functie bij het aanpakken van class imbalance bevestigt.

Nuance in prestaties:

• LLaVA-Med: Beste in pixel-niveau nauwkeurigheid en taalfluïditeit.
• BiomedCLIP: Uitstekend in het onderscheiden van ernstgraden (specifiek voor normale en matige gevallen) en diagnostische betrouwbaarheid.
• SmolVLM: Biedt de beste stabiliteit over verschillende ernstgraden heen, hoewel de absolute nauwkeurigheid lager is, wat het een efficiëntere optie maakt voor beperkte rekenkracht.

5. Betekenis en Conclusie

Dit onderzoek markeert een belangrijke stap in de toepassing van AI in de medische beeldvorming. Het framework lost niet alleen het technische probleem van class imbalance en ruimtelijke precisie op, maar adresseert ook de klinische behoefte aan verklaarbaarheid. Door complexe segmentatiegegevens om te zetten in begrijpelijke rapporten, fungeert het systeem als een "human-in-the-loop" hulpmiddel dat radiologen ondersteunt in plaats van vervangt.

De studie benadrukt dat de combinatie van gespecialiseerde Vision-Language modellen met adaptieve optimalisatiestrategieën (zoals de PID-Tversky loss) de weg vrijmaakt voor nauwkeurigere, transparantere en klinisch bruikbare AI-systemen voor de diagnose van lumbale spinal stenose. Dit vormt een nieuwe benchmark voor interpreteerbare AI in de medische sector.