MedSAD-CLIP: Supervised CLIP with Token-Patch Cross-Attention for Medical Anomaly Detection and Segmentation

Probleemstelling

Medische anomaliedetectie (MAD) en segmentatie zijn cruciaal voor klinische diagnoses, maar vormen een grote uitdaging vanwege de ambiguïteit van afwijkingen en de diverse manifestaties van pathologieën.

• Beperkingen van bestaande methoden: Recente benaderingen die gebruikmaken van CLIP (een Vision-Language Model) in zero-shot of few-shot settings, vertrouwen vaak op globale representaties en zwakke supervisie. Dit resulteert in ruwe lokalisatie, slechte segmentatiekwaliteit en een gebrek aan nauwkeurigheid bij het afbakenen van laesies (zoals zichtbaar in Figuur 1 van het paper, waar zero-shot modellen vaak Dice-scores onder de 50% halen).
• De kernuitdaging: De dominante globale representaties in CLIP verzwakken de semantische correspondentie tussen individuele beeldpatches en tekstdescripties. Hoewel er in realistische klinische scenario's vaak een beperkte maar betekenisvolle hoeveelheid gelabelde abnormale data beschikbaar is, wordt deze supervisie in bestaande CLIP-frameworks voor medische doeleinden onvoldoende benut.

Methodologie: MedSAD-CLIP

Het auteurs stellen MedSAD-CLIP voor, een volledig toezicht (supervised) aangepast CLIP-framework dat is ontworpen voor zowel beeldniveau-anomaliedetectie als pixelniveau-segmentatie. De architectuur (zie Figuur 2) bestaat uit twee takken: een classificatietak en een segmentatietak, gebaseerd op de CLIP-structuur met de volgende innovaties:

1. Multi-level Image Adapters en Learnable Prompts:

   • Om de kloof tussen het algemene domein van CLIP en medische beelden te overbruggen, worden lichtgewicht adapters (DetAdapter voor classificatie en SegAdapter voor segmentatie) geïntegreerd.
   • In plaats van handgemaakte prompts, worden leerbare prompt-tokens gebruikt die contextuele informatie en semantische richtlijnen voor "normaal" en "abnormaal" dynamisch aanleren. Dit zorgt voor flexibiliteit over verschillende anatomische regio's en ziektebeelden.

2. Token-Patch Cross-Attention (TPCA):

   • Dit is de kerninnovatie voor segmentatie. In tegenstelling tot eerdere methoden die globale tekst-embeddings gebruiken of dot-product warmtekaarten direct als maskers toepassen, modelleert TPCA fijne, directe interacties tussen individuele tekst-tokens en beeldpatches.
   • Het mechanisme behandelt tekst-tokens als semantische queries om beeldpatches te lokaliseren die potentieel abnormale semantiek bevatten.
   • De resulterende attention-features worden gecomprimeerd en via een residual verbinding samengevoegd met de originele beeldfeatures. Dit behoudt de lage-niveau textuurdetails terwijl fijne semantische aanwijzingen worden toegevoegd, wat leidt tot scherpere laesiegrenzen.

3. Margin-based Image-Text Contrastive Loss (MC-Loss):

   • Om de discriminatie tussen normale en abnormale representaties te verbeteren, wordt een nieuwe verliesfunctie voorgesteld.
   • Deze loss forceert expliciet een vaste marge (margin) in de semantische ruimte: voor normale afbeeldingen moet de gelijkenis met de "normale" tekst groter zijn dan met de "abnormale" tekst (plus een marge $\tau$), en vice versa voor abnormale afbeeldingen.
   • Dit dwingt het model om een duidelijke scheidslijn te leren en verbetert de kalibratie van de beeld-tekst alignering.

Belangrijkste Bijdragen

• Empirisch inzicht: Het paper kwantificeert een aanzienlijke prestatiekloof tussen zero-/few-shot CLIP-modellen en volledig toezicht (supervised) modellen in medische anomaliedetectie, en pleit voor het gebruik van beschikbare gelabelde data.
• Nieuwe Architectuur: Introductie van TPCA voor fijne-granulariteit visueel-tekstuele interactie en MC-Loss voor betere discriminatie in ambigu gevallen.
• Unificatie: Het biedt een schaalbaar paradigma dat zowel classificatie als segmentatie uitvoert via visueel-taal alignering, in plaats van gescheiden modellen.

Resultaten

De methode is getest op vier diverse medische datasets: Brain (MRI), Retina (OCT), Lung (CT) en Breast (Ultrasound).

• Prestaties: MedSAD-CLIP behaalt state-of-the-art resultaten op alle vier de benchmarks.
  • Op de Breast-dataset (bekend om lage contrasten en vage grenzen) behaalt het model een Dice-score van 84,96%, terwijl concurrenten (zoals Aaclip, BGAD) vaak rond de 10% blijven hangen.
  • Op de Brain-dataset wordt een Dice-score van 89,47% bereikt.
  • Over het algemeen overtreft het model zowel zero-/few-shot methoden als andere supervised CLIP-baselines (zoals MVFA, MadCLIP) met een gemiddelde Dice-improvement van +17% ten opzichte van MVFA.
• Vergelijking met U-Nets: Het model presteert concurrerend of superieur ten opzichte van gespecialiseerde segmentatiemodellen zoals nnU-Net en Rolling-Unet, maar doet dit terwijl het tegelijkertijd beeldniveau-classificatie uitvoert.
• Kwalitatieve resultaten: Visuele vergelijkingen tonen aan dat MedSAD-CLIP scherpere, schoner afgebakende maskers produceert zonder ruis in normale gebieden, in tegenstelling tot de "ruisachtige" voorspellingen van few-shot modellen.

Significantie

Dit werk demonstreert dat supervised adaptation van Vision-Language Models een krachtig en verenigd paradigma is voor medische anomaliedetectie. Het weerlegt de aanname dat zero-shot/few-shot benaderingen voldoende zijn voor klinische toepassing, en toont aan dat het benutten van beperkte gelabelde data, gecombineerd met fijne-granulariteit interacties (TPCA) en strikte semantische scheiding (MC-Loss), leidt tot aanzienlijk betere diagnostische precisie. De code wordt openbaar gemaakt, wat de reproduceerbaarheid en verdere adoptie in de medische AI-gemeenschap bevordert.