Adapting Medical Vision Foundation Models for Volumetric Medical Image Segmentation via Active Learning and Selective Semi-supervised Fine-tuning

Dit artikel stelt het Active Selective Semi-supervised Fine-tuning (ASSFT)-kader voor, dat de aanpassing van medische visuele fundamentele modellen voor volumetrische segmentatie verbetert door een actieve leermethode die informatieve steekproeven selecteert op basis van kennisdivergentie en anatomische moeilijkheidsgraad te combineren met een semi-supervisie-benadering die betrouwbare niet-gelabelde data benut om de prestaties te maximaliseren onder beperkte annotatiebudgetten.

De kern

Stel je voor dat je een briljante medische student hebt die jarenlang miljoenen generieke anatomiehandboeken heeft bestudeerd (dit is het Medisch Visie Fundamenteel Model, of Med-VFM). Ze kennen het menselijk lichaam van binnen en buiten, maar ze hebben nog nooit een specifiek type MRI-apparaat of de unieke patiëntendata van een bepaald ziekenhuis gezien.

Nu wil je dat deze student aan de slag gaat in een nieuw ziekenhuis (het Doelgebied) om artsen te helpen bij het segmenteren van organen (zoals het tekenen van contouren rond de lever of nieren) op 3D-scans. Het probleem? De scans van het nieuwe ziekenhuis zien er iets anders uit, en de student is er nog niet op getraind. Als je ze gewoon laat raden, zullen ze fouten maken. Als je vraagt om elke enkele nieuwe scan te bestuderen en een menselijk expert ze te labelen, zou het eeuwen duren en een fortuin kosten.

Dit artikel introduceert een slimme, efficiënte manier om deze student te trainen: Actieve Selectieve Semi-supervised Fine-tuning (ASSFT). Denk hierbij aan een "Super-Tutor"-systeem dat de student helpt de specifieke stijl van het nieuwe ziekenhuis te leren met zo min mogelijk voorbeelden.

Hier is hoe het systeem werkt, opgesplitst in eenvoudige stappen:

1. De "Super-Tutor"-strategie (Actief Leren)

In plaats van de student willekeurige scans te laten bestuderen, treedt het systeem op als een slimme tutor die precies weet welke voorbeelden de student het meest zullen leren.

Het systeem gebruikt twee speciale "brillen" om de beste scans te selecteren om aan de student te tonen:

• Bril #1: De "Kennislacune"-lens (DKD)
  Stel je voor dat de student een mentale kaart van het lichaam heeft. Deze lens zoekt naar scans waar de kaart van de student volledig verkeerd is of waar stukken ontbreken. Het vraagt: "Toont deze scan iets dat de student nog nooit heeft gezien?" Als het antwoord ja is, is het een hoog-prioriteit studieonderwerp. Het zorgt er ook voor dat de student niet twee keer hetzelfde type vreemde lever bestudeert; het garandeert dat ze een verscheidenheid aan nieuwe dingen zien.
• Bril #2: De "Moeilijke Anatomie"-lens (ASD)
  Soms is een scan verwarrend, niet omdat hij nieuw is, maar omdat het orgaan vreemd gevormd is of moeilijk te zien. Deze lens kijkt specifiek naar de organen (de voorgrond) en negeert de lege ruimte (de achtergrond). Het vraagt: "Is dit orgaan moeilijk om af te bakenen?" Als de student moeite heeft om te raden waar de nier eindigt en de spier begint, markeert deze lens die scan als een topprioriteit voor studie.

Het Resultaat: Het systeem kiest alleen de meest verwarrende en unieke scans, vraagt een menselijk expert om ze te labelen, en onderwijst vervolgens de student. Dit bespaart een enorme hoeveelheid tijd omdat de student eerst leert van de "moeilijke dingen".

2. De "Zeker Gissen"-strategie (Selectief Semi-supervised Leren)

Zodra de student heeft geleerd van de door experts gelabelde voorbeelden, liggen er nog duizenden ongelabelde scans in de stapel. Het systeem negeert ze niet. In plaats daarvan laat het de student ze zelf proberen te labelen, maar dan met een veiligheidsnet.

• Het Veiligheidsnet: Het systeem laat de student alleen scans "zelfstuderen" waar de student zeer zeker van is en waar de scan zeer vergelijkbaar is met de scans die de expert al heeft gelabeld.
• De Filter: Als de student onzeker is of de scan er totaal anders uitziet dan wat ze hebben geleerd, zegt het systeem: "Nee, raak deze er nog niet aan." Dit voorkomt dat de student slechte gewoonten (verkeerde labels) aanleert door eigen fouten.

3. De Cyclus

Het proces herhaalt zich in een cyclus:

1. Kies de beste nieuwe voorbeelden met behulp van de twee lenzen (Kennislacune + Moeilijke Anatomie).
2. Laat ze labelen door een mens.
3. Laat de student studeren van deze nieuwe labels plus de "veilige" ongelabelde exemplaren die ze correct hebben geraden.
4. Herhaal totdat de student een expert is op de data van het nieuwe ziekenhuis.

Waarom is dit een grote zaak?

Het artikel testte dit op vijf verschillende medische datasets (verschillende lichaamsdelen, verschillende soorten scans zoals CT en MRI). Ze ontdekten dat:

• Het sneller is: Het systeem bereikte prestaties op expertniveau met slechts een klein deel van de gelabelde data die traditionele methoden nodig hebben.
• Het slimmer is: Het sloeg consequent andere methoden die gewoon willekeurige scans selecteerden of alleen keken naar "onzekerheid".
• Het werkt zonder de oude data: Meestal moet je, om een model aan te passen, de oorspronkelijke trainingsdata zien. Dit systeem werkt zelfs als die oorspronkelijke data om privacyredenen vergrendeld is.

Kortom: Dit artikel biedt medische AI een manier om snel een nieuwe baan te leren door alleen de meest interessante en moeilijke voorbeelden te bestuderen, terwijl het zorgvuldig het makkelijke spul en de verwarrende gissingen negeert. Het verandert een "een-maat-voor-alle" AI in een gespecialiseerde expert met zeer weinig menselijke hulp.

Technische samenvatting

Technische Samenvatting: Actieve Selectieve Semi-supervised Fine-tuning voor Medische Vision Foundation Models

1. Probleemstelling

Medische Vision Foundation Models (Med-VFMs), vooraf getraind op grote, ongelabelde medische datasets via zelftoezichtend leren, hebben sterk potentieel getoond voor medische beeldanalyse. Hun prestaties in downstream-taken, met name volumetrische medische beeldsegmentatie, blijven echter beperkt wanneer ze worden toegepast op nieuwe doeldomeinen.

Huidige adaptatiestrategieën ondervinden drie primaire beperkingen:

1. Inefficiënte Steekproefselectie: Bestaande Actief Leren (AL) en Actieve Domeinadaptatie (ADA) methoden vertrouwen vaak op willekeurige steekproeven of eenvoudige onzekerheids-/diversiteitsmetrieken. Deze benaderingen maken geen expliciet gebruik van het vooraf getrainde kennis van Med-VFMs om steekproeven te identificeren die "ongeleerde" patronen van het doeldomein bevatten. Bovendien leiden beeldniveau-metrieken vaak tot een selectiebias ten opzichte van achtergrondonzekerheid, waardoor informatieve voorgrondanatomische structuren worden verwaarloosd.
2. Afhankelijkheid van Brondata: Veel domeinadaptatiemethoden vereisen toegang tot bron-domein data om adaptatie te sturen. In de praktijk is vooraf trainingsdata voor Med-VFMs vaak niet beschikbaar vanwege privacybeperkingen, waardoor deze methoden niet toepasbaar zijn.
3. Ruizige Semi-supervised Training: Hoewel semi-supervised learning (SSL) overvloedige ongelabelde doeldata kan benutten, introduceert het naief gebruiken van alle pseudo-gelabelde steekproeven ruis, vooral in vroege adaptatiefasen wanneer het model nog niet betrouwbaar is. Dit kan de prestaties verslechteren of leiden tot overfitting op ruizige pseudo-labels in plaats van leren van hoogwaardige gelabelde data.

De centrale uitdaging is om Med-VFMs efficiënt aan te passen aan doeldomeinen onder een beperkt annotatiebudget, zonder brondata, terwijl het nut van zowel gelabelde als ongelabelde doelsteekproeven wordt gemaximaliseerd.

2. Methodologie: Actieve Selectieve Semi-supervised Fine-tuning (ASSFT)

De auteurs stellen ASSFT voor, een raamwerk dat een actief leerverstrategie integreert met een selectief semi-supervised fine-tuning mechanisme. Het raamwerk werkt iteratief over $R$ rondes zonder toegang tot bron-domein data.

2.1. Actieve Querystrategie voor Testtijd-Steekproeven

Om de meest informatieve steekproeven voor annotatie te selecteren, introduceren de auteurs een querystrategie gebaseerd op twee complementaire metrieken: Gediversifieerde Kennisdivergentie (DKD) en Anatomische Segmentatie-moeilijkheid (ASD).

• Gediversifieerde Kennisdivergentie (DKD): Deze metriek identificeert steekproeven die nieuwe kennis introduceren ten opzichte van het vooraf getrainde model, terwijl diversiteit binnen het doeldataset wordt gewaarborgd. Het bestaat uit twee componenten:

  • Prior en Adaptieve Kennisdivergentie (PAKD): Meet de cosinusafstand tussen feature-embeddings van de initiële vooraf getrainde encoder $E^{(0)}$ en de aangepaste encoder $E^{(i)}$. Een hoge PAKD geeft aan dat de steekproef domeinspecifieke informatie bevat die nog niet door het model is vastgelegd.
  • Paarwijze Dissimilariteit (PD): Meet de semantische dissimilariteit van een kandidaat-steekproef ten opzichte van eerder gerangschikte hoge-PAKD steekproeven om redundantie te voorkomen en intra-domein diversiteit te bevorderen.
  • DKD-score: Gedefinieerd als het product van PAKD en PD.

• Anatomische Segmentatie-moeilijkheid (ASD): Deze metriek richt zich op de moeilijkheid van het segmenteren van voorgrondanatomische structuren in plaats van het volledige beeldvolume.

  • Om achtergronddominantie te voorkomen, wordt een temperatuurskalingsmechanisme $\tau(r)$ toegepast op de achtergrondklasse-probabiliteit, dat dynamisch afneemt van 3 naar 1,5 over de adaptatierondes.
  • Een binaire voorgrondmasker wordt gegenereerd op basis van de aangepaste probabiliteiten.
  • De ASD-score wordt berekend als de entropie van klassenprobabiliteiten binnen het voorgrondgebied. Een hoge ASD geeft complexe anatomische patronen aan die uitdagend zijn voor het model.

• Gecombineerde Querycriterium: DKD- en ASD-scores worden genormaliseerd en getransformeerd via kwantielmapping om vergelijkbaarheid te waarborgen, waarna ze worden opgeteld om de uiteindelijke queryscore $Q(x)$ te vormen. De top $N_B$ steekproeven worden geselecteerd voor expertannotatie.

2.2. Selectieve Semi-supervised Fine-tuning

Om ongelabelde data te benutten zonder ruis in te brengen, hanteert het raamwerk een drie-staps proces in elke ronde:

1. Supervised Fine-tuning: Het model wordt eerst bijgewerkt met de momenteel beschikbare gelabelde doelsteekproeven.
2. Selectie van Betrouwbare Ongelabelde Steekproeven: Een subset van ongelabelde steekproeven wordt geselecteerd voor pseudo-labeling op basis van:
   • Voorspellende Zekerheid: De marge tussen de twee hoogste voorspelde klassenprobabiliteiten in voorgrondgebieden.
   • Semantische Afstand: De minimale cosinusafstand tussen de feature-embedding van de kandidaat-steekproef en de embeddings van gelabelde steekproeven (ankers).
   • Steekproeven met hoge zekerheid en kleine semantische afstand worden als betrouwbaar beschouwd. Het aantal geselecteerde steekproeven ($N_{SU}$) neemt toe met het iteratienummer ($N_{SU} = N_B \cdot r$).
3. Pseudo-label-gebaseerde Fine-tuning: Pseudo-labels worden gegenereerd voor de geselecteerde betrouwbare steekproeven. Deze worden gecombineerd met de gelabelde set om een uitgebreide trainingsset te vormen voor verdere fine-tuning.

Opmerking: Steekproeven die zijn geselecteerd voor pseudo-labeling worden expliciet uitgesloten van de kandidatenpool voor de volgende actief leerronde om redundante annotatie te voorkomen.

3. Belangrijkste Bijdragen

1. ASSFT-raamwerk: Een unificerend raamwerk voor het aanpassen van Med-VFMs aan volumetrische segmentatietaken dat actief leren en selectief semi-supervised leren integreert, en werkt zonder bron-domein data.
2. Actieve Querystrategie voor Testtijd-Steekproeven: Een nieuwe strategie die gebruikmaakt van DKD en ASD om informatieve steekproeven te selecteren. DKD vangt kennisnoviteit en diversiteit, terwijl ASD prioriteit geeft aan anatomische complexiteit, waarmee de beperkingen van standaard onzekerheidsgebaseerde methoden worden aangepakt.
3. Selectieve Semi-supervised Fine-tuning: Een mechanisme dat selectief betrouwbare ongelabelde steekproeven opneemt op basis van voorspellende zekerheid en semantische nabijheid tot gelabelde data, waarmee de risico's van ruizige pseudo-labels worden beperkt.
4. Uitgebreide Validatie: Omvangrijke experimenten over vijf diverse volumetrische medische beeldsegmentatietaken (verschillende modaliteiten, anatomische structuren en datasetschalen).

4. Experimentele Resultaten

De auteurs hebben ASSFT geëvalueerd op vijf datasets: AMOS2022-CT, FLARE 2021, Abdomen Atlas, AMOS2022-MRI en Abdominal MRI.

• Prestaties: ASSFT presteerde consistent beter dan state-of-the-art AL- en ADA-methoden (waaronder Random, Entropy, Core-set, BADGE, SANN, UGTST en CUP) over alle datasets en querybudgetten.
  • Op AMOS2022-CT behaalde ASSFT met slechts 5% gqueryde steekproeven een Dice-score van 80,51, wat de sterke baseline UGTST met ongeveer 4,7 punten en willekeurige selectie met ongeveer 7,2 punten overtrof.
  • Op AMOS2022-MRI (cross-modale adaptatie) verbeterde ASSFT de Dice-score van een bijna zero-shot baseline van 0,46 naar 52,06 met 5% gqueryde steekproeven, een winst van meer dan 51 punten.
  • Op Abdominal MRI (few-shot instelling) behaalde ASSFT een Dice van 83,98 met slechts 3 gelabelde steekproeven (3-shot), wat andere methoden significant overtrof.
• Efficiëntie: De methode nadert snel de fully supervised bovengrensprestatie (100% gelabelde data) met een fractie van de annotatiekosten. Bijvoorbeeld, op FLARE 2021 liet 25% gqueryde steekproeven het model 97,96% van de fully supervised prestatie bereiken.
• Ablatiestudies:
  • Het verwijderen van het semi-supervised component (alleen DKD+ASD) resulteerde in lagere prestaties, wat de waarde van selectieve pseudo-labeling bevestigt.
  • Het gebruik van alleen PAKD of PD afzonderlijk was inferieur aan de gecombineerde DKD-metriek.
  • De dynamische temperatuurskalering in ASD bleek superieur aan een vaste temperatuur of geen masking.
  • Statistische analyse (Mann-Whitney U-test) bevestigde dat steekproeven die waren geselecteerd voor pseudo-labeling significant hogere Dice-scores hadden dan niet-geselecteerde steekproeven ($p < 0,01$).

5. Betekenis en Claims

Het artikel claimt dat ASSFT een annotatie-efficiënte en generaliseerbare oplossing biedt voor het inzetten van Med-VFMs in klinische omgevingen waar:

• Brondata niet beschikbaar is: De methode werkt in een source-free domeinadaptatie-instelling, wat cruciaal is voor privacy-beperkte medische data.
• Annotaties schaars zijn: Door actief de meest informatieve steekproeven te selecteren en betrouwbare ongelabelde data te benutten, bereikt het raamwerk hoge prestaties met minimale expertannotatie.
• Domeinverschuiving significant is: Het raamwerk toont robuustheid over verschillende beeldvormingsmodaliteiten (CT naar MRI) en variërende anatomische complexiteiten.

De auteurs benadrukken dat hun aanpak de specifieke beperkingen van het toepassen van foundation modellen op medische segmentatie aanpakt, met name de noodzaak om kennisnoviteit, datadiversiteit en taakspecifieke anatomische moeilijkheid in evenwicht te brengen. Zij concluderen dat ASSFT de vertaling van Med-VFMs naar praktische klinische workflows faciliteert door de annotatiebelasting aanzienlijk te verminderen terwijl een hoge segmentatieaccuraatheid wordt behouden.