Technische Samenvatting: Boosting SAM voor Cross-Domain Few-Shot Segmentatie via Conditionele Punt-Sparsificatie

1. Probleemstelling

Het Segment Anything Model (SAM) heeft ongekende segmentatieprestaties getoond op in-domain datasets (bijv. COCO) door middel van promptable segmentatie. Recente training-vrije benaderingen hebben SAM ingezet voor Few-Shot Segmentatie (FSS) door gebruik te maken van dichte punt-matching tussen referentie- en doelafbeeldingen om prompts te genereren. Deze methoden lijden echter aan aanzienlijke prestatievermindering wanneer ze worden toegepast op Cross-Domain Few-Shot Segmentatie (CD-FSS), met name in medische (bijv. huidlaesies) en satellietdomeinen (bijv. waterlichamen).

De auteurs identificeren dat dit falen voortkomt uit grote domeinverschuivingen (domain shifts) die de door SAM tijdens de pre-training geleerde punt-afbeelding-interacties verstoren. Specifiek:

• Feature Homogeniteit: Objecten in cross-domain datasets (bijv. huidnevi, water) vertonen meer uniforme en homogene semantiek vergeleken met de diverse onderdelen van objecten in in-domain datasets (bijv. katten met koppen, poten, staarten).
• Mismatch in Prompt-Dichtheid: SAM werd getraind met dichte punten om complexe vormen aan te kunnen. In cross-domain scenario's introduceren deze dichte punten ambiguïteit en ruis, omdat de homogene semantiek van de doelobjecten minder, maar meer informatieve punten vereist.
• Inconsistentie: Bestaande methoden presteren robuust op in-domain data, maar falen in generalisatie wanneer dichte prompts worden toegepast op cross-domain doelwitten, zelfs wanneer de punten correct binnen de doelgebieden vallen.

2. Methodologie: Conditionele Punt-Sparsificatie (CPS)

Het paper stelt Conditional Point Sparsification (CPS) voor, een training-vrij framework dat ontworpen is om SAM-interacties adaptief te sturen voor cross-domain afbeeldingen. De pipeline bestaat uit vier hoofdfases:

A. Dichte Punt-Matching en Grens-Punt-Pruning

1. Dichte Matching: Met behulp van de Positive-Negative Alignment (PNA) module met een DINOv2-backbone, legt de methode dichte correspondenties vast tussen de referentieafbeelding ($I_r$) en de doelafbeelding ($I_t$). Dit levert een initiële set kandidaat-promptpunten ($P_t$) op de doelafbeelding op.
2. Grens-Punt-Pruning (Boundary Point Pruning): Om ruimtelijke misalignement te beperken die wordt veroorzaakt door resolutieverschillen tussen feature maps en de originele afbeelding, berekent de methode de convexeomhulling van de gematchte punten. Punten die op de grens van de convexeomhulling liggen, worden verwijderd, waardoor alleen de binnenste punten ($\tilde{P}_t$) overblijven. Deze stap filtert potentieel ruisgevoelige prompts nabij de objectgrenzen eruit.

B. Adaptieve Punt-Sparsificatie

In plaats van een vaste dichtheid te gebruiken, sparsifieert CPS de dichte puntenset $\tilde{P}_t$ op basis van een dichtheid die is afgeleid van de referentieafbeelding.

1. Grid-Partitionering: De doelafbeelding wordt verdeeld in een regelmatig grid.
2. Centroid Selectie: Voor elke gridcel die punten bevat, wordt het punt dat het dichtst bij het globale centrum (centroid) van het doelobject ligt, behouden. Dit behoudt structurele kenmerken terwijl de dichtheid wordt verminderd.

C. Conditionele Dichtheid-Lookup

De kerninnovatie is het dynamisch bepalen van de optimale sparsificatie-dichtheid ($D_{ref}$):

1. Referentie Evaluatie: Een set kandidaat-dichtheden wordt getest op de referentieafbeelding ($I_r$) met behulp van de grondwaarheid-masker ($M_r$).
2. Optimalisatie: Voor elke kandidaat-dichtheid worden promptpunten gesampled, in SAM gevoed, en wordt de resulterende masker geëvalueerd tegenover $M_r$ met behulp van Intersection over Union (IoU).
3. Selectie: De dichtheid die de hoogste IoU oplevert, wordt geselecteerd als $D_{ref}$. Deze conditionele dichtheid wordt vervolgens toegepast om de punten van de doelafbeelding te sparsificeren ($\hat{P}_t$).

D. Post-hoc Masker-Refinement

Om discontinuïteiten in de activatie-heatmap (bijv. gaten of abrupte grensveranderingen) aan te pakken die worden veroorzaakt door ijle (sparse) prompts, ondergaat de initiële voorspelde mask ($\hat{M}_t$) morfologische opening- en sluitingsoperaties. Dit dwingt ruimtelijke continuïteit af en vlakt grenzen af om de uiteindelijke mask ($\tilde{M}_t$) te produceren.

3. Belangrijkste Bijdragen

1. Diagnose van Domeinverschuiving: De auteurs onthullen dat de prestatievermindering van bestaande SAM-gebaseerde FSS-methoden op cross-domain afbeeldingen wordt veroorzaakt door domeinverschuivingen die geleerde punt-afbeelding-interacties verbreken, waarbij specifiek wordt opgemerkt dat dichte punten suboptimaal zijn voor homogene cross-domain objecten.
2. Conditionele Punt-Sparsificatie (CPS): Een nieuwe, training-vrije strategie die de geschikte prompt-dichtheid afleidt uit few-shot referentie-exemplaren (met behulp van grondwaarheid-maskers) en deze dichtheid toepast om gematchte punten in doelafbeeldingen te sparsificeren.
3. Uitgebreide Validatie: De methode introduceert specifieke modules (Boundary Point Pruning, Adaptive Sparsification, Post-hoc Refinement) die gezamenlijk de prestaties verbeteren zonder dat extra training of fine-tuning vereist is.

4. Experimentele Resultaten

De auteurs evalueerden CPS op vier cross-domain benchmarks: ISIC (huidlaesies), Chest X-Ray (tuberculose), DeepGlobe (satelliet/terrein) en SUIM (onderwater-scènes).

• Prestaties: CPS presteert consistent beter dan bestaande training-vrije SAM-gebaseerde methoden (bijv. Matcher, GF-SAM) en traditionele training-afhankelijke CD-FSS methoden.
  • Op ISIC behaalde CPS 51,3% (1-shot) en 56,6% (5-shot) mIoU, waarmee het de vorige beste training-vrije methode (GF-SAM) respectievelijk met 2,6% en 1,4% versloeg.
  • Op Chest X-Ray bereikte CPS 70,0% (1-shot) en 70,2% (5-shot), waarmee het Matcher met 3,2% en 3,9% versloeg.
  • Op DeepGlobe en SUIM zette CPS eveneals nieuwe state-of-the-art resultaten neer onder de training-vrije benaderingen.
• Ablatie-studies:
  • Adaptive Sparsification: Leverde de grootste winst op (+7,9% op ISIC), wat bevestigt dat vaste dichtheden suboptimaal zijn.
  • Boundary Point Pruning: Verbeterde de punt-nauwkeurigheid door grensruis te filteren.
  • Post-hoc Refinement: Verbeterde de mIoU verder met 3,6% op ISIC door ruimtelijke discontinuïteiten te corrigeren.
• Generalisatie: CPS werd ook getest op in-domain natuurlijke beeld-datasets (COCO-20i en FSS-1000), waar het concurrerende prestaties leverde, wat aantoont dat de sparsificatie-strategie de prestaties op complexe, in-domain objecten niet negatief beïnvloedt.

5. Betekenis en Claims

Het paper claimt dat Conditionele Punt-Sparsificatie een praktische, training-vrije oplossing biedt om de capaciteiten van SAM uit te breiden naar uitdagende cross-domain segmentatietaken. Door gebruik te maken van de grondwaarheid-maskers van referentie-exemplaren om de prompt-dichtheid adaptief af te stemmen, brengt CPS de punt-afbeelding-interactie in lijn met de specifieke kenmerken van het doeldomein (bijv. homogeniteit in medische/satellietbeelden).

De auteurs benadrukken dat hun aanpak de computationele overhead en privacyzorgen vermijdt die gepaard gaan met het verzamelen van grootschalige gelabelde data voor adaptatie of de zware computationele kosten van training-gebaseerde pipelines. In plaats daarvan biedt het een lichtgewicht, tijdens de inferentie-fase aan te passen modificatie die de generalisatie van foundation modellen aanzienlijk verbetert in scenario's waar domeinverschuivingen ernstig zijn.