Technische Samenvatting: CM-TTA voor SAM3 in Medische Beeldsegmentatie

Probleemstelling

Hoewel visie-taalmodellen zoals het Segment Anything Model 3 (SAM3) een sterke zero-shot generalisatie vertonen op natuurlijke afbeeldingen, degradeert hun prestatie aanzienlijk in medische beeldvorming vanwege substantiële domeinverschillen in beeldvormingsprincipes en stijlen. Bestaande Test-Time Adaptation (TTA) methoden kampen in deze context met twee primaire beperkingen:

1. Inadequate Evaluatiemetrieken: Bestaande visie-taal TTA-benaderingen leunen zwaar op onzekerheidsminimalisatie op beeldniveau (bijv. entropie of variantie). Deze metrieken falen vaak in het reflecteren van semantische correctheid op regelniveau, wat cruciaal is voor precieze medische segmentatie.
2. Instabiliteit in Continue Adaptatie: Bestaande methoden volgen doorgaans alleen instantane bijgewerkte parameters, waardoor ze gevoelig zijn voor de huidige testbatch en vatbaar zijn voor instabiliteit tijdens langdurige, one-pass adaptatie waarbij betrouwbare dichte supervisie (ground truth) niet beschikbaar is.

Methodologie: CM-TTA

De auteurs stellen Concept Alignment Contrast and Long-Short Prompt Memory for Test-Time Adaptation (CM-TTA) voor. Dit framework past SAM3 aan aan ongeziene medische domeinen via prompt tuning, waarbij alleen de leerbare tekstuele prompt token embeddings ($T$) worden bijgewerkt terwijl de visuele encoder, tekst encoder en detector bevroren blijven. De methode werkt onder een one-pass continual TTA-protocol, waarbij elk testmonster exact één keer wordt verwerkt.

Het framework bestaat uit drie kerncomponenten:

1. Concept Alignment Contrast (CAC)

Om het gebrek aan semantische sturing in traditionele onzekerheidsmetrieken aan te pakken, introduceert CAC een tekstgestuurde kwaliteits-score.

• Mechanisme: Voor een testafbeelding met meerdere geaugmenteerde views berekent de methode de cosinus-gelijkenis tussen de tekstuele prompt embedding en de visuele kenmerken van de voorspelde voorgrond- en achtergrondregio's.
• Scoreberekening: De CAC-score ($C_i$) wordt gedefinieerd als het verschil tussen de voorgrond-tekst gelijkenis en de achtergrond-tekst gelijkenis: $C_i = \text{sim}(\bar{z}_{i,fg}, t_i) - \text{sim}(\bar{z}_{i,bg}, t_i)$.
• Functie: Deze metriek maakt expliciet gebruik van tekstgestuurde semantische consistentie om de voorspellingskwaliteit te evalueren. De geaugmenteerde view met de hoogste CAC-score wordt geselecteerd als de optimale view ($X^*_i$) voor de daaropvolgende adaptatiestappen.

2. Long-Short Prompt Memory (LSPM)

Om een balans te vinden tussen snelle lokale adaptatie en langetermijnstabiliteit, ontwerpen de auteurs een dual-memory module:

• Short Prompt Memory (SPM): Houdt een First-In-First-Out (FIFO) bank bij van recente prompts en hun bijbehorende optimale CAC-scores. Deze worden gefuseerd met behulp van CAC-scores als gewichten om een dynamische kortetermijnprompt ($T^{short}_i$) te genereren, wat een snelle adaptatie aan lokale distributieverschuivingen faciliteert.
• Long Prompt Memory (LPM): Houdt een globale prompt ($T^{long}_i$) bij die wordt bijgewerkt via een Exponential Moving Average (EMA) van de kortetermijnprompts. Dit dient als een stabiele semantische anker, wat catastrofale vergetelheid voorkomt en stabiliteit over tijd garandeert.

3. Densely Supervised Prompt Update (DSPU)

Om de prompt embeddings te optimaliseren zonder ground truth, stellen de auteurs een strategie voor voor dichte supervisie:

• Verbeterde Pseudo-labels: De stabiele langetermijnprompt ($T^{long}_i$) wordt toegepast op de door CAC geselecteerde optimale view ($X^*_i$) om een soft pseudo-label ($P'_i$) te generen.
• Verliesfuncties:
  • Dense Supervision Loss ($\mathcal{L}_d$): Een soft Dice loss moedigt voorspellingen van alle geaugmenteerde views (met behulp van de kortetermijnprompt) aan om te aligneren met de verbeterde pseudo-label.
  • Contrast Loss ($\mathcal{L}_c$): Maximaliseert de CAC-score om de tekstuele-visuele semantische alignment te versterken.
  • Entropy Loss ($\mathcal{L}_e$): Minimaliseert pixel-wijze entropie om zelfverzekerde voorspellingen te stimuleren.
• Toepassing: $\mathcal{L}_c$ en $\mathcal{L}_e$ worden alleen toegepast op de door CAC geselecteerde optimale view om te voorkomen dat fouten in kwalitatief minder goede voorspellingen worden versterkt. De totale loss is $\mathcal{L} = \mathcal{L}_d + \alpha\mathcal{L}_c + \beta\mathcal{L}_e$.

Belangrijkste Bijdragen

1. Nieuwe Metriek (CAC): Een tekst-visuele semantische consistentie-metriek die superieur is aan traditionele beeldniveau onzekerheidsmaten (entropie, variantie, KLD) bij het selecteren van betrouwbare geaugmenteerde views voor medische segmentatie.
2. Stabiele Adaptatie Architectuur (LSPM): Een mechanisme dat de plasticiteit-stabiliteit paradox in continue TTA oplost door een dynamisch kortetermijngeheugen te combineren met een momentum-bijgewerkt langetermijngeheugen voor globale stabiliteit.
3. Efficiënte Dichte Supervisie (DSPU): Een strategie die hoogwaardige pseudo-labels genereert vanuit een stabiele langetermijnprompt om de adaptatie van kortetermijnprompts te superviseren, wat effectief leren mogelijk maakt zonder ground truth.
4. Parameter Efficiëntie: De methode werkt slechts de prompt embeddings bij (1.02K parameters), wat orders van grootte minder is dan methoden die normalisatie-lagen (TENT) of low-rank adapters (TTL) bijwerken.

Experimentele Resultaten

Het framework werd geëvalueerd op twee medische datasets: Promise12 (prostaat segmentatie) en ISIC2018 (huidlaesie segmentatie).

• Prestaties: CM-TTA presteerde significant beter dan bestaande TTA-methoden (inclusief TENT, TPT, TTL, en ZERO) en de niet-geadapteerde SAM3 baseline.
  • Promise12: Behaalde een Dice-score van 73,96% (vs. 72,05% voor de beste baseline, TPT) en reduceerde de Average Symmetric Surface Distance (ASSD) tot 10,91 pixels.
  • ISIC2018: Behaalde een Dice-score van 82,34% (vs. 80,10% voor de beste baseline, ZERO) en reduceerde ASSD tot 9,39 pixels.
• Efficiëntie: De methode voegde verwaarloosbare inferentietijd toe (0,57s vs. 0,31s voor niet-geadapteerde SAM3) en vereiste minimale trainbare parameters.
• Ablatie Studies: De resultaten bevestigden dat elke component (CAC, LSPM, DSPU) incrementeel bijdraagt aan de prestaties. CAC bleek superieur aan alternatieve view-selectiemetrieken, en hyperparameters (geheugenlengte $L=16$, contrastgewicht $\alpha=1,0$) bleken generaliseerbaar over datasets.

Betekenis en Claims

Het artikel claimt dat CM-TTA de kritieke problemen van over-confidence (overmatige zelfverzekerdheid) en confirmation bias (bevestigingsvooroordeel) aanpakt die inherent zijn aan conventionele onzekerheidsgebaseerde TTA wanneer deze wordt toegepast op tekstgestuurde segmentatiemodellen in medische domeinen. Door gebruik te maken van multi-modale semantische consistentie (via CAC) en de plasticiteit-stabiliteit afweging te navigeren (via LSPM), vestigt het framework een efficiënte, zelfcorrigerende adaptatielus. De auteurs positioneren dit werk als een belangrijke stap naar de inzet van foundation modellen in echte klinische omgevingen waar datadistributieverschuivingen veelvoorkomend zijn en annotaties niet beschikbaar zijn tijdens het testen. De auteurs merken op dat het uitbreiden van dit framework naar 3D volumetrische medische segmentatie een richting is voor toekomstig werk.