Optimization in Sparse 2D to Dense 3D Weakly Supervised Learning: Application to Multi-Label Segmentation of Large ex vivo MRI Data

Technische Samenvatting: Optimalisatie in Sparse 2D naar Dense 3D Weakly Supervised Learning voor Multi-Label Segmentatie van Grote ex vivo MRI-data

Probleemstelling
Hoge-resolutie ex vivo MRI van het ruggenmerg (typisch 50–100 µm isotroop) biedt een gedetailleerde anatomische karakterisering van multiple sclerose (MS)-pathologie, inclusief grijze stof (GM) en witte stof (WM) laesies. De enorme hoeveelheid data (duizenden slices per monster) maakt echter een dichte, voxel-voor-voxel handmatige annotatie onbetaalbaar duur. Onderzoekers zijn vaak gedwongen zich te baseren op schaarse 2D-annotaties (bijvoorbeeld 428 slices over 104.000+ totale slices). Dit creëert een technische tweedeling: 2D-modellen getraind op schaarse slices missen volumetrische context, wat leidt tot inconsistente voorspellingen langs de Z-as, terwijl 3D-modellen een dichte ground truth vereisen die niet bestaat. Bestaande oplossingen, zoals 2.5D-strategieën of cross-teaching, proberen deze kloof te overbruggen, maar richtlijnen voor het optimaliseren van dergelijke "Sparse-to-Dense" pipelines blijven vaag, met name wat betreft de overdraagbaarheid van 2D-optimalisatiestrategieën naar 3D-contexten.

Methodologie
De auteurs stellen een drie-traps Sparse-to-Dense-framework voor dat gebruikmaakt van een 2D-leraar en een 3D-student-architectuur, beide gebaseerd op nnU-Net v2.

1. Dataset: De studie maakt gebruik van 9,4T ex vivo ruggenmerg-MRI-data van MS-patiënten (12 monsters, 43.719 axiale slices). De ground truth bestaat uit 428 handmatig gesegmenteerde slices over vier klassen: Gezonde WM, Gezonde GM, Laesie WM en Laesie GM.
2. Trap 1 (2D-Leraar): Een 2D nnU-Net wordt getraind op de schaarse annotaties. De auteurs optimaliseerden deze trap systematisch door invoermodaliteiten (Magnitude versus Fase), voorverwerkingstechnieken (CLAHE, contrastverlenging), ruimtelijke augmentatie en soft-label regularisatie te testen.
3. Trap 2 (Generatie van Pseudo-labels): De geoptimaliseerde 2D-leraar genereert dichte volumetrische pseudo-labels voor het volledige dataset met behulp van ensemble-methoden (4-voudige cross-validatie) en Test Time Augmentation (TTA).
4. Trap 3 (3D-Student): Een 3D nnU-Net wordt getraind op de dichte pseudo-labels om volumetrische kenmerken en longitudinale consistentie te leren. De auteurs pasten dezelfde systematische optimalisatie (voorverwerking, augmentatie, soft labels) toe op de 3D-Student om te bepalen of 2D-strategieën effectief overdragen.
5. Evaluatie: De prestaties werden beoordeeld met de Dice-score, de 95e percentiel Hausdorff-afstand (HD95) en een nieuwe Geometrische Consistentie-metriek (Inter-slice Dice, DSCz) om de gladheid langs de Z-as te meten.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

1. De Perceptie-divergentie: Empirisch bewijs dat aantoont dat voorverwerkingstechnieken die zijn geoptimaliseerd voor menselijke visuele perceptie (specifiek CLAHE en contrastverlenging) schadelijk zijn voor de machine learning-prestaties in dit domein. Deze methoden degradeerden de Dice-scores voor grijze stof-laesies met tot wel 25 procentpunten door de globale intensiteitsstatistieken die essentieel zijn voor het model te verstoren.
2. Divergente Regularisatiebehoeften: Identificatie van een kritiek conflict in Sparse-to-Dense-pipelines. Hoewel agressieve ruimtelijke augmentatie en soft-labeling de 2D-leraar aanzienlijk verbeterden (verbetering van de detectie van Laesie WM met >11 Dice-punten), verslechterden dezezelfde technieken de prestaties van de 3D-Student.
3. Open Access Model: De release van een getraind model voor het segmenteren van WM, GM en MS-laesies in ex vivo menselijke ruggenmerg-MRI, beschikbaar via de Spinal Cord Toolbox.

Resultaten

• Invoermodaliteiten: Dubbel-invoermodellen (Magnitude + Fase) presteerden beter dan modellen die alleen gebruikmaakten van magnitude, met name voor de stabiliteit van Laesie GM en precisie van de grenzen (HD95), wat de noodzaak bevestigt van fase-data voor het oplossen van fijne anatomische grenzen.
• Voorverwerking: In tegenstelling tot de hypothese dat visuele verbetering het model helpt, veroorzaakte het toepassen van CLAHE op magnitude-afbeeldingen en contrastverlenging op fase-afbeeldingen ernstige prestatiedalingen. De 2D Laesie GM Dice daalde van 0,665 naar 0,415 met magnitude CLAHE. Het 3D-model vertoonde een vergelijkbare degradatie, hoewel het iets meer veerkracht toonde in grensmetrieken (HD95) voor Laesie GM, wat suggereert dat volumetrische context enige bescherming biedt tegen textuurvervorming.
• Augmentatie:
  • 2D: Agressieve ruimtelijke augmentatie (rotaties, schaling, schuiving) was cruciaal. Zonder dit daalde de Laesie WM Dice naar 0,631; met matige augmentatie (Aug2) bereikte deze 0,743.
  • 3D: Het tegenovergestelde patroon werd waargenomen. De 3D-Student bereikte zijn hoogste prestatie (Totale Gemiddelde Dice 0,772) met geen ruimtelijke augmentatie. Het introduceren van augmentatie verslechterde de prestaties, waarbij de meest agressieve instellingen een instorting van de grenstrouw veroorzaakten.
• Soft Labels:
  • 2D: Soft labeling (Soft Seg 2) verbeterde de prestaties, waardoor de Laesie WM Dice steeg naar 0,744 en de precisie van de grenzen werd verfijnd.
  • 3D: Soft labeling bood geen voordeel en verslechterde de resultaten lichtjes. De auteurs suggereren dat de pseudo-labels gegenereerd door het 2D-ensemble de onzekerheid al gladstrijken, waardoor extra soft-loss regularisatie contraproductief is (over-gladstrijken).
• Volumetrische Consistentie: De overgang van 2D naar 3D leverde een aanzienlijke winst op in geometrische continuïteit. Het naïeve stapelen van 2D-voorspellingen resulteerde in een lage Inter-slice Dice (DSCz) van 0,785, terwijl de 3D-Student 0,900 bereikte. Deze gladheid kwam echter met een trade-off: de 3D-Student had een iets hogere HD95 (1,00 mm) vergeleken met de geoptimaliseerde 2D-leraar (0,72 mm), wat wijst op een verschuiving van strikte in-vlakke contourvolging naar biologische plausibiliteit.

Betekenis en Claims
Het artikel beweert dat de overgang van 2D naar 3D in weakly supervised learning niet slechts een inferentie-truc is, maar een fundamentele verschuiving in leerdynamiek. De auteurs stellen dat 3D-architecturen getraind op dichte pseudo-labels andere optimalisatielandschappen vertonen dan hun 2D-tegenhangers. Specifiek worden de risico's op "shortcut learning" die agressieve augmentatie in schaarse 2D-omgevingen noodzakelijk maken, in 3D gemitigeerd door de dichtheid van de pseudo-labels, waardoor dergelijke augmentatie schadelijk wordt. Evenzo wordt onzekerheidsmodellering, die nuttig is voor het nabootsen van menselijke beoordelaars in 2D, overbodig of destructief wanneer het 3D-model wordt getraind op reeds gemiddelde ensemble-voorspellingen.

De studie concludeert dat standaard computer vision-praktijken (mensgerichte voorverwerking, agressieve augmentatie, soft labeling) niet blindelings kunnen worden overgedragen van 2D naar 3D medische segmentatietaken. In plaats daarvan vereisen 3D-modellen getraind op dichte pseudo-labels een onderscheidende, conservatieve regularisatiestrategie die prioriteit geeft aan volumetrische consistentie boven de specifieke ruisreductietechnieken die nodig zijn voor schaarse 2D-training. Dit werk daagt de aanname uit dat "meer data" (dichte pseudo-labels) simpelweg de directe toepassing van 2D-optimalisatieheuristieken mogelijk maakt, en benadrukt een "dimensionale kloof" in regularisatiebehoeften.