💻 computer science

Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers

Dit paper introduceert SPECTRE, een schaalbaar, volledig transformer-gebaseerd foundation model voor volumetrische CT-beelden dat via zelftoezichtende en cross-modale pretraining op open datasets hoogwaardige, klinisch betekenisvolle representaties leert die de bestaande methoden overtreffen.

Oorspronkelijke auteurs: Cris Claessens, Christiaan Viviers, Giacomo D'Amicantonio, Egor Bondarev, Fons van der Sommen

Gepubliceerd 2026-03-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Cris Claessens, Christiaan Viviers, Giacomo D'Amicantonio, Egor Bondarev, Fons van der Sommen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met miljoenen foto's van binnenkanten van menselijke lichamen (CT-scan beelden), maar er staat geen enkel bijschrift bij. Niemand heeft verteld wat er op de foto's te zien is: is dat een gezonde long? Is daar een tumor? Is dat een cyste in de lever?

Vroeger moesten artsen of computers elke foto één voor één bekijken en leren wat ze zagen, vaak met weinig voorbeelden. Dit nieuwe onderzoek introduceert SPECTRE, een slimme kunstmatige intelligentie die deze bibliotheek op een heel nieuwe manier heeft gelezen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Uitdaging: Een 3D Puzel van Miljoenen Steentjes

CT-scans zijn geen platte foto's (zoals op je telefoon), maar driedimensionale blokken van duizenden laagjes.

Het probleem: Als je een 3D-blok in kleine stukjes (puzzelstukjes) snijdt om het te analyseren, krijg je ineens miljoenen stukjes. Normale computerprogramma's "dronken" van zoveel informatie en raakten de draad kwijt. Ze zagen de boom niet meer door de bomen.
De oplossing van SPECTRE: SPECTRE is gebouwd als een tweelaags systeem.
- De lokale kijker (ViTℓ): Deze kijkt naar kleine stukjes van de scan, zoals een detective die met een vergrootglas naar één kamer in een huis kijkt. Hij ziet de details: "Hier is een vlekje, hier is een holte."
- De globale kijker (ViTg): Deze kijkt naar het hele huis. Hij pakt de samenvattingen van de lokale kijker en vraagt zich af: "Is dit een gezond huis of is er ergens brand?"
- De analogie: Het is alsof je eerst een team van experts hebt die elk één kamer inspecteren, en vervolgens een hoofdinspecteur die hun rapporten samenvat om het hele gebouw te beoordelen. Dit maakt het rekenen veel sneller en slimmer.

2. De Leerstrategie: Eerst Spelen, Dan Leren

SPECTRE heeft twee fases om te leren, net als een student die eerst de basis oefent en dan gaat studeren voor een examen.

Fase 1: Het "Spel" (Zelflerend)
Stel je voor dat je een boek hebt waarvan je de helft van de pagina's hebt weggeplakt. SPECTRE moet raden wat er op die lege plekken stond, puur op basis van de rest van de tekst.
- Dit noemen ze zelftoezicht (Self-Supervised Learning). De AI leert de structuur van het lichaam: "Longen zitten boven het hart, botten zijn hard, vloeistof is donker." Het leert de geometrie en vorm zonder dat iemand hoeft te zeggen wat het is.
- Analogie: Het is alsof je een legpuzzel maakt zonder de doos met de afbeelding. Je leert hoe de stukjes passen bij elkaar door te voelen en te kijken, zonder dat iemand je vertelt dat het een afbeelding van een kasteel is.
Fase 2: De "Vertaler" (Taal en Beeld)
Nu de AI de vorm van het lichaam kent, koppelen we haar aan echte medische verslagen.
- SPECTRE krijgt een CT-scan én het bijbehorende verslag van de arts (bijvoorbeeld: "Er is een cyste in de lever").
- De AI leert om het beeld en de tekst met elkaar te verbinden. Ze leert dat het woord "cyste" in het verslag overeenkomt met een specifiek donker vlekje op de scan.
- Analogie: Het is alsof je een kind leert lezen door een boek te openen en te zeggen: "Kijk, dit woord hier betekent 'hond', en kijk, daar staat een hond." SPECTRE leert zo dat medische termen direct corresponderen met de 3D-structuren in het lichaam.

3. Waarom is dit zo speciaal?

Alles in één: Veel oude systemen waren gespecialiseerd in alleen longen of alleen de buik. SPECTRE is een universele meester die alles kan. Hij is getraind op openbare data (niet op geheime ziekenhuisgegevens), wat betekent dat hij eerlijk en voor iedereen beschikbaar is.
Geen "Decoder" nodig: Meestal moet een AI na het leren ook nog een ingewikkeld systeem bouwen om een afbeelding te maken of te tekenen. SPECTRE is zo goed in het begrijpen van de basis, dat hij zelfs zonder die ingewikkelde "tekenhulpen" al zeer accurate diagnoses kan stellen. Het is alsof een chef-kok die zo goed is in het proeven van ingrediënten, dat hij een gerecht kan beschrijven zonder zelf te hoeven koken.
Beter dan de rest: In tests bleek SPECTRE beter te zijn dan alle andere bestaande systemen in het vinden van ziektes en het voorspellen van de gezondheidstoestand, zelfs als hij nooit specifiek voor die taak was getraind (zero-shot).

Samenvattend

SPECTRE is als een super-arts-assistent die miljoenen 3D-scanfoto's heeft doorgenomen, eerst door ze zelf te analyseren (zonder hulp), en daarna door te leren wat artsen erover zeggen. Door slimme architectuur (de lokale en globale kijkers) kan hij dit enorme volume aan data verwerken zonder vast te lopen.

Het resultaat? Een open, gratis en krachtig systeem dat artsen kan helpen om sneller en accurater ziektes te zien, gebaseerd op een diep begrip van zowel de vorm van het lichaam als de medische taal. Het is een grote stap naar een toekomst waar AI de basis legt voor betere zorg voor iedereen.

Titel: Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers

Modelnaam: SPECTRE (Self-Supervised & Cross-Modal Pretraining for CT Representation Extraction)

1. Het Probleem

Volumetrische Computertomografie (CT) stelt unieke uitdagingen aan het toepassen van moderne Vision Transformers (ViT) en foundation-modellen, die vaak succesvol zijn op 2D natuurlijke afbeeldingen:

Extreme Token-schaal: Het "naïef" patchen van 3D-volumes leidt tot een kubische toename van het aantal tokens, wat de kwadratische complexiteit van self-attention in Transformers onhandelbaar maakt voor hoge resoluties.
Geometrische Anisotropie: CT-schans hebben vaak ongelijke voxel-afstanden (bijv. dunne slices maar grote afstand tussen slices) en variabele velden van zicht (FOV). Standaard positiële encodingen en attention-mechanismen, die isotropie aannemen, falen hierin.
Zwakke en Ruwe Supervisie: Klinische supervisie bestaat vaak uit vrije tekstverslagen (radiologieverslagen) of onvolledige labels. Dit creëert een spanning tussen objectieven die ruimtelijke precisie vereisen (zoals reconstructie) en die semantische consistentie met taal vereisen (zoals contrastief leren).
Beperkte Negatieve Sets: In medische beeldvorming delen "negatieve" voorbeelden vaak klinische semantiek met positieve voorbeelden (meerdere co-voorkomende aandoeningen), wat de effectiviteit van standaard CLIP-achtige contrastieve losses verzwakt.

2. Methodologie

SPECTRE is een volledig transformer-gebaseerd foundation model dat speciaal is ontworpen voor 3D CT-data. De architectuur en het trainingsproces zijn als volgt opgebouwd:

A. Architectuur: Twee-staps Transformer

Om de computationele last van 3D-attention te beheersen, gebruikt SPECTRE een hiërarchische aanpak:

Lokale Vision Transformer (ViTℓ):
- Verwerkt lokale vensters van het CT-volume.
- Gebruikt anisotrope 3D patch-embeddings (16x16x8 voxels) om rekening te houden met de typische voxel-afstanden.
- Beperkt attention tot lokale vensters om de token-complexiteit te beperken.
- Genereert per venster een compacte [cls]-token die de context samenvat.
Globale Vision Transformer (ViTg):
- Aggregeert de [cls]-tokens van alle lokale vensters om scan-level context en lange-afhang afhankelijkheden te modelleren.
- Omdat het aantal vensters ( $G$ ) veel kleiner is dan het aantal patches ( $m$ ), is de attention-computatie hier computationeel haalbaar.
3D Rotary Positional Encoding (RoPE):
- In plaats van geleerde positiële encodingen, gebruikt het model 3D RoPE. Dit injecteert continue axiale coördinaten door query- en key-vectoren te roteren.
- Dit zorgt voor robuustheid tegen variaties in resolutie en schaal, en behoudt relatieve positie-informatie zonder grote interpolatie-velden.

B. Pretraining Strategie: Twee-staps Pipeline

Het model wordt getraind in twee complementaire fasen op grote schaal openbare datasets (totaal ~230.000 scans):

Fase 1: Self-Supervised Learning (SSL) met DINOv3-aanpassing:
- Doel: Het leren van robuuste, geometrisch consistente visuele kenmerken zonder labels.
- Methode: Een student-leerkracht (student-teacher) setup. De student is een gemaskerde ViT; de leerkracht is een exponentiële voortschrijdende gemiddelde (EMA) van de student.
- Objectieven: Een combinatie van DINO (globale consistentie), iBOT (gemaskerde patch zelf-distillatie) en KoLeo (regularisatie om instorting te voorkomen).
- Data-augmentatie: Omvat willekeurige crops, spiegeling, ruis, en intensiteitsrescaling om variabiliteit in scanprotocollen te simuleren.
Fase 2: Vision-Language Alignment (VLA) met SigLIP:
- Doel: Het injecteren van klinische semantiek door afbeeldingen te aligneren met vrije tekst-radiologieverslagen.
- Methode: Gebruik van SigLIP (Sigmoid Loss for Language Image Pre-training) in plaats van de standaard softmax-based InfoNCE loss.
- Waarom SigLIP? Het is minder gevoelig voor kleine batch-groottes en beter geschikt voor "many-to-many" relaties in medische data (waar één scan meerdere beschrijvingen kan hebben).
- Tekstverwerking: Radiologieverslagen worden verrijkt met paraphrasing via een LLM (Qwen3) en gekoppeld aan ICD-10-codes.

3. Belangrijkste Bijdragen

SPECTRE: Het eerste volledig transformer-gebaseerde foundation model voor volumetrische CT dat schaalbaar is door een hybride lokale/globale attention-architectuur.
Geometrie-bewust Ontwerp: Implementatie van anisotrope patching en 3D RoPE om specifiek de fysieke eigenschappen van CT-scans (voxel-spacing, anisotropie) te modelleren.
Open Source & Data: Het model is uitsluitend getraind op openbaar beschikbare datasets (geen private data), wat de reproduceerbaarheid en toegankelijkheid voor de gemeenschap vergroot.
Twee-staps Pretraining: Een bewezen pipeline die eerst robuuste geometrische priors leert (SSL) en daarna klinische semantiek toevoegt (VLA), wat leidt tot superieure generalisatie.

4. Resultaten

SPECTRE werd geëvalueerd op diverse benchmarks en presteerde consequent beter dan bestaande modellen (zoals CT-CLIP, Merlin, VISTA3D, ModelsGenesis):

Biomarker Predictie (Zero-shot & Fine-tuning):
- Op 6 benchmarks voor kankerbiomarkers (o.a. LUNA16, NSCLC-Radiomics, C4KC-KiTS) behaalde SPECTRE de beste prestaties op 4 van de 6 taken.
- Het model toont sterke transferleerkracht zonder taak-specifieke finetuning (gebruik van kNN-classifiers op bevroren embeddings).
Semantische Segmentatie:
- Geëvalueerd via een "Encoder-only" aanpak (SEoMT) binnen het nnU-Net framework.
- SPECTRE presteerde beter dan andere transformer-based modellen (zoals SwinUNETRv2, UNETR) en was concurrerend met de gouden standaard nnU-Net (ResEnc), ondanks het ontbreken van een zware decoder.
- Resultaten: ~86.6% Dice op KiTS23, ~80.1% op LiTS.
Text-to-Image Retrieval:
- Significant betere prestaties in zero-shot retrieval op de CT-RATE en Merlin datasets vergeleken met CT-CLIP en Merlin.
- Vooral sterk in het begrijpen van de "Impressions"-sectie van verslagen, wat wijst op een dieper semantisch begrip van klinische conclusies.
- Robuustheid getoond tegen variaties in voxel-resolutie en anisotropie.

5. Betekenis en Conclusie

SPECTRE markeert een belangrijke stap in de evolutie van medische AI:

Schaalbaarheid: Het bewijst dat 3D foundation-modellen schaalbaar kunnen worden gemaakt voor volumetrische data door slimme architecturale keuzes (lokale/globale splitsing) in plaats van brute kracht.
Klinische Relevantie: Door het combineren van visuele en tekstuele data, leert het model niet alleen anatomische structuren, maar ook de klinische context, wat essentieel is voor diagnostische ondersteuning.
Open Science: Door het volledig open-source maken van het model, de trainingcode en de pretraining-recepten, democratiseert het onderzoek en stelt het instellingen wereldwijd in staat om geavanceerde 3D-medische beeldanalyse toe te passen zonder de kosten van private data of enorme trainingskosten.

Kortom, SPECTRE biedt een schaalbare, open en volledig transformer-gebaseerde basis voor de toekomst van 3D medische beeldvorming, die zowel ruimtelijke precisie als klinisch semantisch inzicht combineert.