Mutual Distillation of Dual-Foundation Models for Semi-Supervised PET/CT Segmentation

Technische Samenvatting: Mutual Distillation van Dual-Foundation Modellen voor Semi-Superviserende PET/CT Segmentatie

Probleemstelling
Nauwkeurige orgaansegmentatie in whole-body PET/CT is essentieel voor kwantitatieve metabole analyse, ziektestadiëring en radiotherapieplanning. De ontwikkeling van deep learning-modellen voor deze taak wordt echter gehinderd door twee primaire uitdagingen:

1. Anatomisch-Functionele Mismatch: PET-beeldvorming biedt een hoge metabole sensitiviteit maar lijdt aan vervaagde grenzen en spill-over-artefacten, terwijl CT duidelijke structurele details biedt. Het fuseren van deze modaliteiten om ruimtelijke discrepanties op te lossen is moeilijk.
2. Dataschaarste: Hoofdzakelijk hoogwaardige pixel-niveau 3D-annotaties vereisen gesynchroniseerde expertise van radiologen en specialisten in nucleaire geneeskunde, wat gelabelde data duur en schaars maakt.
   Hoewel Semi-Supervised Learning (SSL) en recente Foundation Models (zoals SAM) oplossingen bieden, zijn bestaande benaderingen vaak beperkt tot single-modality scenario's of falen ze om de diepe semantische interdependentie tussen structurele (CT) en functionele (PET) beeldvorming te benutten. Bovendien lijden standaard SSL-methoden die vertrouwen op pseudo-labeling vaak aan confirmation bias, waarbij foutieve voorspellingen worden versterkt.

Methodologie: Het MuDuo Framework
De auteurs stellen MuDuo voor, een mutual distillation framework ontworpen om structurele en functionele foundation modellen synergetisch te exploiteren om kennis te distilleren naar een lichtgewicht student netwerk zonder handmatige prompting. Het framework werkt op dual-modale inputs ($X_{CT}$ en $X_{PET}$) en bestaat uit drie hoofdcomponenten:

1. Dual Foundation Model Teachers:

   • SAM-Med3D: Een bevroren teacher gespecialiseerd in CT, gebruikmakend van anatomische priors.
   • SegAnyPET: Een bevroren teacher gespecialiseerd in PET, gebruikmakend van metabole priors.
   • Student Network: Een leerbaar 3D U-Net ($S_\theta$) dat dual-modale inputs verwerkt.
   • Prompt Generator: Een lichtgewicht UNet ($G_\phi$) die de student en de PET-teacher overbrugt.

2. Dual-Pathway Pseudo Annotatie Generatie:
   Voor ongelabelde data genereert het framework pseudo-labels via twee verschillende paden aangepast aan de modaliteitskenmerken:

   • CT Pathway: De voorspellingen van de student (via de prompt generator) worden gedownsampled en gebruikt als mask prompts voor SAM-Med3D. De teacher verfijnt deze voorspellingen op basis van CT anatomische priors.
   • PET Pathway: De prompt generator produceert grove logits, die worden omgezet in multi-point prompts (het samplen van de top-K hoog-waarschijnlijkheidslocaties), in plaats van enkele centroids. Dit adresseert de heterogene opname die typerend is voor PET-beeldvorming. Deze punten leiden SegAnyPET om verfijnde maskers te genereren.

3. Mutual Distillation en Consistentie:

   • IoU-Based Consensus Filtering: Om betrouwbaarheid te garanderen, berekent het framework de Intersection-over-Union (IoU) tussen de CT en PET branch voorspellingen. Alleen de top 50% van de samples waar beide modaliteiten overeenstemming vertonen (hoge consensus) worden behouden voor training. Samples met ongeldige prompts worden uitgesloten.
   • Dynamic Pseudo-Label Fusion: Hoogwaardige pseudo-labels worden gegenereerd door de CT en PET expert voorspellingen dynamisch te mengen met behulp van een willekeurige weegfactor ($\alpha$). Dit introduceert perturbatie om te voorkomen dat het model zijn eigen voorspellingen memoriseert.
   • Consistency Loss: Het student netwerk wordt getraind om deze gefuseerde, hoogwaardige pseudo-labels te matchen met behulp van Mean Squared Error (MSE), met een Gaussian ramp-up weight schedule om instabiliteit tijdens de vroege training te voorkomen.

Belangrijkste Bijdragen

• Dual-Modality Foundation Integratie: In tegen tegenover strijd met eerdere single-modality SSL-methoden, integreert MuDuo uniek SAM-Med3D (structureel) en SegAnyPET (functioneel) om kennis wederzijds te distilleren, waarmee de inherente anatomisch-functionele mismatch van PET/CT wordt aangepakt.
• Automatisch Prompting Mechanisme: Het framework elimineert de noodzaak voor handmatige prompts of externe prompt generators door de eigen voorspellingen van het student model te gebruiken om de foundation modellen te leiden, waardoor het nut van ongelabelde data wordt gemaximaliseerd.
• Consensus Filtering: De introductie van een IoU-gebaseerd filtermechanisme zorgt ervoor dat alleen betrouwbare, op consensus gebaseerde pseudo-labels de student superviseren, wat de confirmation bias die gebruikelijk is bij traditionele pseudo-labeling mitigeert.
• Multi-Point Prompting voor PET: Het voorstel van multi-point sampling voor PET-inputs vangt de ruimtelijke omvang van organen met heterogene metabole opname beter op dan single-point prompting.

Experimentele Resultaten
Het framework werd geëvalueerd op de AutoPET dataset (1.038 studies), gebruikmakend van een subset van 100 gevallen met expert annotaties. Experimenten werden uitgevoerd onder extreme dataschaarste settings met 5, 10 en 20 gelabelde gevallen.

• Prestaties: MuDuo behaalde state-of-the-art prestaties in alle settings. In het scenario met 5 gelabelde gevallen bereikte het een Dice score van 46,93%, wat significant beter is dan de op één modaliteit gebaseerde foundation benaderingen (SemiSAM+) en de op één modaliteit gebaseerde methoden (CPS).
• Boundary Accuraatheid: De methode demonstreerde superieure grensprecisie, waarbij de 95e percentiel Hausdorff Distance (HD95) werd verminderd tot 8,50 voxels in de 5-gelabelde setting—een reductie van 41% vergeleken met SemiSAM+.
• Vergelijking met Fully Supervised: Met 10 gelabelde gevallen overtrof de semi-gesuperviseerde MuDuo methode de dual-modality fully-supervised baseline met ongeveer 9% in Dice score, wat de effectiviteit van het minen van ongelabelde data via cross-modality consensus aantoont.
• Ablatie Studies: Experimenten bevestigden dat het gebruik van dual teachers beter presteert dan single-modality varianten, dat adaptieve top-50% IoU filtering betere resultaten oplevert dan vaste drempelwaarden, en dat multi-point prompting (K=3) superieur is aan single-point prompting voor PET-segmentatie.

Betekenis en Claims
Het artikel claimt dat MuDuo succesvol de kloof overbrugt tussen de taakspecifieke precisie van student modellen en de algemene segmentatie priors van foundation modellen. Door structurele en functionele priors synergetisch te benutten, bereikt het framework automatische, hoog-precieze segmentatie zonder de last van dure dual-modality annotaties. De auteurs stellen dat hun benadering effectief de prestatie-bottlenecks van beperkte annotaties doorbreekt, en een praktische oplossing biedt voor kwantitatieve analyse en radiotherapieplanning in de oncologie waar gelabelde data schaars is. De broncode is beschikbaar gesteld om reproduceerbaarheid te faciliteren.