3D Foundation Model for Generalizable Disease Detection in Head Computed Tomography

Probleemstelling

Hoofd-CT (Computertomografie) is de eerste lijn voor diagnose bij neurologische noodsituaties zoals hersenbloedingen, trauma en tumoren. Ondanks de wijdverspreide toepassing, worden geavanceerde AI-modellen voor deze taken beperkt door twee hoofdproblemen:

1. Schaarste aan hoogwaardige labels: Het handmatig annoteren van 3D-CT-scans is tijdrovend, duur en vaak beperkt tot specifieke aandoeningen (zoals bloedingen). Veel minder voorkomende aandoeningen (zoals tumoren of hydrocefalie) hebben onvoldoende gelabelde data voor het trainen van robuuste modellen.
2. Beperkingen van bestaande modellen: Bestaande AI-aanpakken gebruiken vaak 2D-slice-verwerking (laag voor laag), wat de 3D-structuur van de hersenen negeert. Daarnaast zijn veel modellen te specifiek voor één taak en generaliseren ze slecht naar nieuwe datasets of aandoeningen. Bestaande "foundation models" voor CT zijn vaak beperkt tot abdominale scans of gebruiken video-encoders die niet optimaal zijn voor 3D-volumen.

Methodologie: FM-HCT

De auteurs introduceren FM-HCT, een 3D Foundation Model voor hoofd-CT-scans, ontwikkeld met behulp van Zelftoezichtend Leren (Self-Supervised Learning - SSL).

• Data: Het model is vooraf getraind op een enorm, gevarieerd dataset van 361.663 niet-contrast 3D hoofd-CT-scans van het NYU Langone Health-systeem. Geen enkele handmatige annotatie was nodig voor dit pre-training stadium.
• Architectuur: Het model maakt gebruik van een Vision Transformer (ViT) die is aangepast voor 3D-volumes. In plaats van 2D-slices te verwerken, worden de scans opgesplitst in 3D-patches (12x12x12 voxels), wat resulteert in 512 patches per volume. Dit zorgt voor een betere benutting van de ruimtelijke structuur.
• Pre-training Strategieën: Twee SSL-frameworks werden geëvalueerd en aangepast voor 3D:
  1. DINO (Self-Distillation): Een student-teacher framework dat leert robuuste representaties door verschillende augmentaties van hetzelfde volume te vergelijken.
  2. MAE (Masked Autoencoders): Een framework dat leert door willekeurig gemaskerde patches te reconstrueren.
     Resultaat: DINO presteerde consistent beter dan MAE en werd gekozen als de basis voor het uiteindelijke model.
• Data Preprocessing: Scans werden genormaliseerd naar een isotrope resolutie (1.0, 1.0, 1.0 mm) en verwerkt via drie vensterbereiken (zacht weefsel, bot, contrast) om een 3-kanaals 3D-volume te creëren.
• Fine-tuning: Voor downstream taken (ziekte detectie) werd het model fijngefineerd op kleinere, gelabelde datasets (afkomstig van EHR's of publieke datasets zoals RSNA en CQ500) voor 10 verschillende ziekteklassen, waaronder bloedingen (IPH, IVH, SDH, etc.), tumoren, hydrocefalie en dementie (ADRD).

Belangrijkste Bijdragen

1. Eerste gespecialiseerde 3D Foundation Model voor Hoofd-CT: In tegenstelling tot eerdere modellen die zich richtten op abdominale scans of 2D-slices, is FM-HCT specifiek ontworpen voor de 3D-structuur van het hoofd.
2. Generalisatie met minimale data: Het model demonstreert dat een foundation model, getraind op ongelabelde data, kan worden gebruikt voor diverse diagnostische taken met zeer weinig gelabelde voorbeelden (few-shot learning).
3. Uitgebreide Evaluatie: Het model is getest op 10 verschillende ziekte-taken over vier datasets (NYU Langone, NYU Long Island, RSNA, CQ500), inclusief zowel in-distribution als out-of-distribution (OOD) validatie.
4. Label-efficiëntie: Het artikel toont aan dat het model prestaties behaalt die vergelijkbaar zijn met full-data training, zelfs wanneer slechts een fractie van de gelabelde data wordt gebruikt voor fine-tuning.

Resultaten

De resultaten tonen een significante verbetering ten opzichte van modellen die vanaf nul worden getraind ("from scratch") en andere bestaande foundation modellen:

• Prestatieverbetering: Op interne data (NYU Langone) behaalde het gefinetuned model een macro-AUC van 0,852, wat een relatieve verbetering van 16,07% betekent ten opzichte van een model dat vanaf nul is getraind (0,734).
• Externe Validatie: Op externe datasets (NYU Long Island en RSNA) waren de verbeteringen respectievelijk 20,86% en 12,01% in macro-AUC.
• Vergelijking met Concurrenten: FM-HCT presteerde significant beter dan:
  • Merlin (een foundation model voor abdominale CT).
  • Google CT Foundation (een multimodaal model).
  • CT-FM (een model getraind op diverse CT-scans).
  • Op de RSNA-dataset was de verbetering in Average Precision (AP) t.o.v. Merlin bijvoorbeeld 27,50%.
• Few-Shot Learning: Zelfs met slechts 256 voorbeelden per klasse (K=256), bereikte het model prestaties die dicht in de buurt kwamen van training met de volledige dataset. Voor sommige taken (zoals IVH detectie) werd zelfs een AUC > 0,90 behaald met slechts 8 voorbeelden (8-shots).
• Generalisatie: Het model behield sterke prestaties op externe datasets zonder specifieke fine-tuning op die locaties, wat wijst op een sterke robuustheid tegenover variaties in scanners en protocollen.
• Visualisatie: Attention-maps tonen aan dat het model na fine-tuning zich richt op klinisch relevante gebieden (bijv. ventrikelvergroting bij ADRD of bloedingen), terwijl het in de pre-trained fase algemene hersenstructuren herkent.

Betekenis en Impact

Dit werk markeert een doorbraak in de toepassing van AI op neurologische beeldvorming:

• Klinische Toepasbaarheid: Het model maakt het mogelijk om zeldzame of complexe aandoeningen (zoals dementie of hydrocefalie) te detecteren op CT-scans, een modaliteit die sneller, goedkoper en wijdverspreider beschikbaar is dan MRI. Dit is cruciaal voor landen met beperkte middelen.
• Overcoming Data Scarcity: Door zelftoezichtend leren op grote, ongelabelde datasets, omzeilt het model het probleem van het gebrek aan expert-annotaties. Dit opent de deur voor AI-toepassingen in gebieden waar gelabelde data schaars is.
• Schalbaarheid: De resultaten tonen aan dat het verhogen van de pre-training data (scaling laws) leidt tot betere prestaties, wat samenwerking tussen instellingen en federated learning aanmoedigt om nog grotere datasets te verzamelen.
• Toekomstperspectief: Het model biedt een solide basis voor verdere toepassingen zoals het voorspellen van ziekteprogressie (bijv. hematoomuitbreiding) en het ontwikkelen van tools voor acute ischemische beroertes.

Kortom, FM-HCT stelt een nieuwe benchmark voor 3D hoofd-CT-analyse en bewijst dat zelftoezichtend leren een krachtige strategie is om robuuste, generaliseerbare en klinisch bruikbare AI-modellen te ontwikkelen voor de medische beeldvorming.