Revisiting 2D Foundation Models for Scalable 3D Medical Image Classification

Probleemstelling

3D-medische beeldclassificatie is cruciaal voor klinische workflows (zoals triage en diagnose), maar de schaalbaarheid van bestaande methoden is beperkt door drie kritieke tekortkomingen in het huidige onderzoek:

1. Bias in data-regimes (P1): Bestaande studies evalueren foundation models (FMs) voornamelijk in "low-data" scenario's (bijv. few-shot learning). Hierbij blijven de prestaties vaak onder het klinisch aanvaardbare niveau. Er ontbreekt een evaluatie met voldoende trainingsdata, wat de werkelijke potentie voor real-world deploy verdoezelt.
2. Suboptimale adaptatie (P2): De strategie om 2D FMs toe te passen op 3D data is vaak inefficiënt. Veel studies gebruiken een bevroren 2D backbone met simpele aggregatiemethoden (zoals gemiddelde of mediaan pooling) van slice-embeddings. Dit leidt tot een aanzienlijk verlies aan potentie; de auteurs tonen aan dat een betere adaptatiestrategie de AUC met 0,11 kan verhogen.
3. Onvoldoende taakdekking (P3): Bestaande benchmarks zijn vaak beperkt tot één beeldvormingsmodaliteit of anatomisch gebied, waardoor de generalisatiekracht van modellen over diverse pathologieën en modaliteiten (CT, MRI) niet volledig wordt getest.

Daarnaast leiden traditionele methoden, waarbij 3D-modellen van nul worden getraind ("from scratch"), vaak tot overfitting op kleine medische datasets en vereisen ze aparte training per taak, wat niet schaalbaar is.

Methodologie: AnyMC3D

De auteurs introduceren AnyMC3D, een schaalbare 3D-classificator die is afgeleid van 2D Foundation Models. Het kernidee is het gebruik van één bevroren 2D FM-backbone voor alle taken, waarbij alleen lichte, taak-specifieke plugins worden toegevoegd.

Belangrijkste componenten:

• In-Plane Reasoning met LoRA: De 3D-volumes worden opgesplitst in 2D-slices. Een 2D FM (zoals DINOv3, MedImageInsight) wordt gebruikt om deze slices te encoderen. In plaats van de hele backbone te finetunen, worden LoRA-adapters (Low-Rank Adaptation) toegepast op de patch-embeddings en self-attention lagen. Dit maakt het mogelijk om nieuwe taken te leren met slechts ~1 miljoen extra parameters per taak.
• Permutatie-invariante Slice Aggregatie: In plaats van complexe sequentiemodellen (zoals RNNs of Transformers) die gevoelig zijn voor variaties in slice-afstand en -volgorde, gebruiken de auteurs query-based attention pooling. Een leerbaar "task query"-vector weegt slice-embeddings af op basis van hun relevantie voor de specifieke taak, wat robuustheid biedt tegen anisotrope ruimtelijke resolutie.
• Veelzijdige Uitbreidingen:
  • Multi-view/Multi-modality: Ondersteuning voor meerdere weergaven (bijv. sagittaal, coronaal) of sequenties (T1, T2 MRI) via late fusion met view-specifieke adapters.
  • Auxiliary Pixel-level Supervision: Mogelijkheid om segmentatielabels (indien beschikbaar) te gebruiken als extra supervisie via een lichtgewicht 3D-decoder, wat de classificatieprestaties verbetert voor subtiele bevindingen.
  • Interpreteerbare Heatmaps: Generatie van 3D-warmtekaarten door slice-attention scores te combineren met in-plane attention maps, wat klinische interpretatie mogelijk maakt.

Belangrijkste Bijdragen

1. Identificatie van Kritieke Valkuilen: De auteurs leggen drie fundamentele fouten in eerdere FM-onderzoeken bloot (data-regime bias, suboptimale adaptatie, beperkte taakdekking).
2. Een Eenvoudige maar Effectieve Methode: AnyMC3D demonstreert voor het eerst dat één schaalbaar framework, gebaseerd op 2D FMs, state-of-the-art prestaties kan leveren voor diverse 3D-taken zonder dat er aparte modellen per taak nodig zijn.
3. Uitgebreide Benchmark: Er is een nieuwe benchmark opgezet met 12 diverse taken die verschillende modaliteiten (CT, MRI), anatomische regio's (hoofd, borst, abdomen, schouder) en pathologieën bestrijken, met realistische datasetgroottes.
4. Kerninzichten: De studie levert nieuwe inzichten op die de huidige consensus uitdagen, zoals het feit dat goed geadapteerde algemene 2D-modellen medische 3D-modellen kunnen overtreffen.

Resultaten

De experimenten omvatten 12 taken en vergelijken AnyMC3D met state-of-the-art 3D-backbones, 3D-medische FMs en andere 2D/2.5D-methoden.

• Superieure Prestaties met Minimale Parameters: AnyMC3D (gebaseerd op MedImageInsight of DINOv3) bereikt een gemiddelde AUC van 0,894 over 10 taken, wat aanzienlijk beter is dan alle 3D-baselines. Dit wordt bereikt met slechts 1,3M trainbare parameters per taak, wat 10-40 keer minder is dan concurrenten zoals MST of 3D-medische FMs (die 20-50M parameters gebruiken).
• Algemene vs. Medische FMs: Een goed geadaptereerde algemene FM (DINOv3) presteert even goed als gespecialiseerde medische FMs (MedImageInsight). Dit suggereert dat de kwaliteit van de adaptatiestrategie belangrijker is dan de oorsprong van de pre-training (natuurlijke beelden vs. medische beelden).
• 2D > 3D Architecturen: 2D-methoden met slice-fusion overtreffen consequent native 3D-architecturen (zoals 3D ResNet of 3D ConvNeXt), zelfs wanneer de 3D-modellen volledig worden gefinetuned.
• Challenge Succes: AnyMC3D behaalde 1e plaats in de VLM3D challenge (chest CT multi-abnormality) onder 118 deelnemers, met slechts ~0,5M trainbare parameters, verslaand methoden die zware pre-training vereisten.
• Data-efficiëntie: In low-data scenario's (20% van de data) presteert AnyMC3D aanzienlijk beter dan 3D DenseNet, wat het ideaal maakt voor nieuwe taken waar weinig data beschikbaar is.

Significantie

Deze paper is een mijlpaal voor de schaalbaarheid van AI in de medische beeldvorming:

• Paradigmaverschuiving: Het bewijst dat het niet nodig is om zware 3D-modellen van nul te trainen of gespecialiseerde 3D-medische foundation models te ontwikkelen voor elke nieuwe taak. Een enkele, goed geadaptere 2D FM kan een universele oplossing bieden.
• Klinische Toepasbaarheid: Door de focus te verleggen van "low-data" evaluatie naar realistische datasetgroottes en door interpreteerbare heatmaps te genereren, maakt het paper de weg vrij voor daadwerkelijke klinische implementatie.
• Efficiëntie: De enorme reductie in trainbare parameters maakt het mogelijk om modellen snel en goedkoop aan te passen aan nieuwe klinische vraagstukken, wat een grote stap is richting schaalbare AI in gezondheidszorgsystemen.

Kortom, de auteurs tonen aan dat de combinatie van hoge kwaliteit pre-training (zelfs op algemene data) en slimme adaptatiestrategieën (LoRA + attention pooling) de sleutel is tot effectieve 3D-medische classificatie, waarbij 2D-modellen de 3D-architecturen overtreffen.