💻 computer science

Toward Training-Free Zero-Shot Anomaly Detection in 3D Medical Images: A Batch-Based Approach Using 2D Foundation Models

Dit artikel introduceert CS3F, een trainingsvrij, batchgebaseerd framework dat 2D-fundamentele modellen en een van grof naar fijn gestructureerde tokenisatiestrategie benut om zero-shot anomaliedetectie in 3D medische beelden mogelijk te maken door subjecten te identificeren met unieke volumetrische kenmerken die geen analogen hebben in een referentcohort.

Oorspronkelijke auteurs: Tai Le-Gia

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tai Le-Gia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een arts bent die probeert een piepkleine, verborgen tumor te vinden in een 3D-scan van de hersenen of longen van een patiënt. Normaal gesproken moet je een computer leren om dit te doen door het duizenden voorbeelden te laten zien van "zieke" hersenen waarbij de tumoren al door experts zijn gemarkeerd. Maar wat als je niet over die gemarkeerde voorbeelden beschikt? Wat als een patiënt een zeldzame ziekte heeft die je nog nooit eerder hebt gezien, of als het ziekenhuis een ander type scanner gebruikt dan waar de computer op is getraind?

Dit is het probleem dat het artikel oplost. De auteurs hebben een nieuwe methode ontwikkeld genaamd CS3F (Cross-Subject Anomaly Scoring for 3D volumes via Foundation models). Het is als een "detective" die afwijkingen in een 3D-medische scan kan opsporen zonder dat hij ooit geleerd hoeft te worden hoe een ziekte eruitziet.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. De "Groepsfoto" Detective (Batch-gebaseerde aanpak)

Stel je voor dat je een groep van 100 mensen in een kamer hebt staan. Je vraagt hen om zichzelf te beschrijven.

De Normale Mensen: De meeste mensen zien er erg veel hetzelfde uit en gedragen zich ook zo. Als je één persoon kiest, kun je gemakkelijk 10 anderen vinden die precies op die persoon lijken.
De Buitenbeentjes: Eén persoon draagt een felrode clownneus en een tutu. Als je probeert iemand anders in de kamer te vinden die er wél zo uitziet als die persoon, lukt dat niet. Die persoon is uniek.

CS3F werkt op dezelfde manier. In plaats van naar één patiënt in isolatie te kijken, kijkt het naar een hele "batch" (groep) patiënten tegelijkertijd. Het gaat ervan uit dat gezonde lichaamsdelen (zoals normaal hersenweefsel) bij verschillende mensen erg veel op elkaar lijken. Als een specifieke plek in de hersenen van een patiënt totaal niet lijkt op de overeenkomstige plek in de andere patiënten in de groep, markeert het systeem dit als "anomaal" (verdacht). Het hoeft niet te weten wat de ziekte is; het weet alleen dat deze plek niet in het patroon van "normaal" past.

2. Het "2D Camera" Probleem

Het artikel maakt gebruik van krachtige AI-modellen die "Foundation Models" worden genoemd (zoals DINOv2). Dit zijn als superintelligente camera's die zijn getraind op miljoenen gewone 2D-foto's (zoals foto's van katten, auto's en landschappen). Ze zijn geweldig in het opmerken van details in platte, 2D-afbeeldingen.

Echter, medische scans zijn 3D (dit zijn dikke blokken data, zoals een brood, niet alleen een plakje brood).

De Uitdaging: Je kunt niet zomaar een hele 3D-brood in een camera voeren die ontworpen is voor 2D-foto's.
De Oplossing: CS3F snijdt de 3D-brood in dunne 2D-plakjes (zoals het snijden van brood). Het voert de 2D-camera op elk plakje uit om de details te begrijpen. Daarna plakt het de informatie van de naburige plakjes weer aan elkaar om de 3D-vorm te begrijpen.

3. De "Wazig vs. Scherp" Afweging (Coarse-to-Fine)

Wanneer het systeem de plakjes weer aan elkaar plakt, staat het voor een dilemma:

Het Grote Plaatje (Coarse): Als je een grote brok plakjes samenvoegt, is het beeld stabiel en duidelijk. Je kunt gemakkelijk zien of een heel gebied er normaal uitziet. Maar als er een kleine tumor is (zoals een klein stofje), kan deze door het samenvoegen van grote brokken worden "gemiddeld" en verdwijnen.
Het Fijne Detail (Fine): Als je naar hele kleine, individuele plakjes kijkt, kun je dat kleine stofje wel zien. Maar het kijken naar minuscule details is rekentechnisch erg zwaar (het kost veel tijd en computerkracht) en kan ruis bevatten (je zou een normale schaduw voor een stofje kunnen aanzien).

De "Coarse-to-Fine" Truc:
CS3F gebruikt een slim routingsysteem.

Eerste ronde (Coarse): Het scant het hele brein snel met "grote ogen" om algemene gebieden te vinden die verdacht lijken.
Tweede ronde (Fine): Het zoomt alleen in met "microscoopogen" op die specifieke verdachte gebieden om de kleine details te vinden.
Dit bespaart een enorme hoeveelheid tijd en computerkracht, terwijl het nog steeds de kleine tumoren kan vangen.

4. De "Drie-Hoeken" View

Om er zeker van te zijn dat het niets mist, bekijkt CS3F het 3D-volume vanuit drie verschillende hoeken:

Axiaal: Kijkend van bovenaf.
Coronaal: Kijkend van voren.
Sagittaal: Kijkend van de zijkant.

Het combineert de aanwijzingen uit alle drie de hoeken. Als een plek er vreemd uitziet van bovenaf, van voren én van de zijkant, dan is het zeker een probleem. Dit maakt de detectie veel betrouwbaarder dan alleen naar één plakje kijken.

Wat hebben ze getest?

De auteurs hebben deze "detective" getest op:

Hersenscans (MRI): Zoekend naar metastasen (kanker die naar de hersenen is uitgezaaid), gliomen (hersentumoren) en beroertes.
Longscans (CT): Zoekend naar longkanker.

De Resultaten:

Het werkte zonder dat er vooraf gelabelde "zieke" data nodig was.
Het vond afwijkingen beter dan andere "zero-shot" methoden die proberen gebruik te maken van tekstprompts (zoals de AI vragen: "Is dit een tumor?").
Het presteerde bijna net zo goed als methoden die wél getraind waren op gezonde data, maar dan zonder de moeite van het verzamelen van die data.
Het werkte op zowel hersen- als longscans, wat bewijst dat het verschillende organen en verschillende soorten scanners aankan.

De Kernboodschap

CS3F is een slimme, "training-vrije" manier om medische afwijkingen te vinden. Het behandelt een groep patiënten als een menigte mensen en zoekt naar degene die niet in de groep past. Door een slimme "inzoomstrategie" te gebruiken en vanuit meerdere hoeken te kijken, kan het verborgen problemen in 3D-medische scans opsporen met krachtige 2D AI-tools, zonder dat er eerst een leraar nodig is om het te leren wat ziekten zijn.

Belangrijke opmerking uit het artikel:
De auteurs benadrukken dat hoewel dit goed werkt voor het vinden van waar het probleem zit, het nog steeds afhankelijk is van het vermogen van de AI om het verschil te "zien" tussen gezond en ziek weefsel. Als een tumor heel vaag is of er exact hetzelfde uitziet als gezond weefsel in de ogen van de AI, kan het systeem deze missen. Het is een hulpmiddel voor screening en selectie, en geen vervanging voor de definitieve diagnose door een arts.

Technische Samenvatting: CS3F – Training-vrije Zero-Shot Anomaly Detection in 3D Medische Beelden

Probleemstelling

Zero-shot anomaliedetectie (ZSAD) is cruciaal voor medische beeldvorming, waarbij klinische systemen moeten omgaan met heterogene acquisitieprotocollen, veranderende patiëntenpopulaties en pathologieën die geen geannoteerde trainingsdata missen. Hoewel bestaande ZSAD-methoden voor 2D-beelden gebruikmaken van foundation-modellen (bijv. CLIP, DINOv2), stuit de directe uitbreiding naar 3D medische volumes op drie primaire obstakels:

Gebrek aan 3D Foundation-modellen: Grootschalige, native 3D medische foundation-modellen zijn minder volwassen dan hun 2D-tegenhangers.
Computationele Onhandelbaarheid: Volumetrische beelden genereren orders van grootte meer tokens dan 2D-beelden, wat de kwadratische complexiteit van cross-subject mutual similarity searches computationeel onhaalbaar maakt.
Contextverlies: Per slice uitgevoerde verwerking verwerpt contextuele informatie door het vlak (through-plane), terwijl aggregatie op een vaste schaal de signalen van focale laesies kan dempen als de laesie slechts een klein deel van het aggregatievenster beslaat.

Huidige ongesuperviseerde methoden vereisen vaak gecureerde normale trainingscohorten, die kostbaar zijn om samen te stellen en mogelijk niet overeenkomen met de operationele distributie door domeinverschuivingen.

Methodologie: CS3F Framework

De auteurs stellen CS3F voor (Cross-Subject Anomaly Scoring voor 3D-volumes via foundation-modellen), een training-vrij, batch-gebaseerd framework dat 2D foundation-modellen aanpast voor 3D anomalielokalisatie.

1. Kernassumptie: De Doppelgänger-assumptie

Het framework steunt op de statistische observatie dat binnen een batch volumes uit hetzelfde anatomische domein, normale anatomische structuren met een consistente verschijning en ruimtelijke organisatie terugkeren, terwijl pathologische structuren heterogeen en zeldzaam zijn. Bijgevolg vinden normale tokens nauwe cross-subject analogen, terwijl anomale tokens dat niet doen.

2. Volumetrische Tokenconstructie

In plaats van een 3D-encoder gebruikt CS3F bevroren 2D vision transformers (bijv. DINOv2):

Multi-Axis Slicing: Elk 3D-volume wordt gedecomposeerd langs de sagittale, coronale en axiale assen.
Slice Encoding: Slices worden hervergroten en gecodeerd door het 2D foundation-model om patch-features te extraheren.
Depth Pooling: Naburige slice-features worden geaggregeerd via average pooling en $L_2$ -normalisatie om gelokaliseerde volumetrische tokens te vormen. Dit vangt diepte-wise anatomische context zonder 3D pre-training.
Random Projection: High-dimensional token-features worden geprojecteerd naar een lager-dimensionale ruimte (bijv. $d=128$ ) met behulp van een random projectiematrix om geheugen- en computationele kosten te reduceren terwijl de lokale buurtgeometrie behouden blijft (Johnson-Lindenstrauss lemma).

3. Cross-Subject Scoring

Anomaliescores worden afgeleid van de mutual similarity binnen de test-batch:

Voor een query-token wordt de afstand tot de dichtstbijzijnde tokens in alle andere volumes in de batch berekend.
De anomaliescore is het gemiddelde van de $K$ kleinste afstanden. Tokens die geen nauwe analogen missen (hoge afstanden), krijgen hogere anomaliescores toegewezen.
As-gewijze Fusie: Scoring wordt onafhankelijk uitgevoerd voor elke anatomische as, en de resulterende anomaly maps worden gemiddeld om complementaire bewijslast uit orthogonale vlakken te fuseren.

4. Coarse-to-Fine (C2F) Tokenisatiestrategie

Om de attenuatie van focale laesies veroorzaakt door grote pooling-kernels en de computationele kosten van exhaustieve fine-scale matching aan te pakken, introduceert CS3F een C2F-routingmechanisme:

Coarse Pass: Een grove pooling-configuratie ( $q_c$ ) genereert grote tokens voor robuuste globale anatomische matching.
Routing: Voor elke query coarse token worden de top- $L$ dichtstbijzijnde coarse tokens in referentie-volumes geïdentificeerd.
Fine Pass: Fine-scale matching ( $q_f$ ) wordt alleen beperkt tot de fine tokens die binnen deze geselecteerde coarse regio's vallen.
Multi-Scale Fusion: De uiteindelijke anomaly map combineert de stabiele coarse map met de hoge-resolutie fine map, wat een balans biedt tussen globale consistentie en de sensitiviteit voor focale laesies.

Belangrijkste Bijdragen

CS3F Framework: Een training-vrij, batch-gebaseerd ZSAD-framework voor 3D medische beelden dat bevroren 2D foundation-modellen gebruikt om volumetrische representaties te genereren zonder laesie-annotaties of gecureerde normale trainingsdata.
As-gewijze Scorefusie: Een herontworpen pipeline die anomaly scores op map-niveau fuseert in plaats van op feature-niveau. Dit vermindert het geheugengebruik, behoudt as-specifieke ruimtelijke bewijslast en ondersteunt niet-kubische volumes (bijv. long CT).
Coarse-to-Fine Multi-Scale Tokenisatie: Een strategie gemotiveerd door de analyse van pooling-geïnduceerde laesie-attenuatie. Het maakt fine-resolutie scoring mogelijk voor focale laesies terwijl de prohibitieve kosten van exhaustieve mutual similarity searches worden vermeden.
Cross-Organ Validatie: Demonstratie van de generaliseerbaarheid van het framework buiten atlas-gealigneerde hersen-MRI naar niet-gestandaardiseerde, niet-kubische long CT-data.

Experimentele Resultaten

Het framework werd geëvalueerd op hersen-MRI (metastasen, glioom, beroerte) en long CT (longkanker).

Anomaliedetectie (Patiëntniveau): CS3F-varianten presteerden consistent beter dan CLIP-gebaseerde zero-shot baselines (WinCLIP, AnomalyCLIP, APRIL-GAN) over alle benchmarks. CS3F-MS (Multi-Scale) bereikte een patiëntniveau AUROC >84% op alle datasets, terwijl CLIP-gebaseerde methoden significante prestatiedalingen vertoonden (bijv. dalend naar ~63% bij beroerte). CS3F bleef ook competitief met reconstructie-gebaseerde ongesuperviseerde methoden (DAE, pDDPM), die hoge detectiescores behaalden maar vaak leden onder slechte segmentatie door domeinverschillen.
Anomaliesegmentatie (Voxel-niveau): CS3F presteerde beter dan CLIP-gebaseerde methoden in Dice en IoU scores. De multi-scale aanpak (CS3F-MS) bood een balans tussen de stabiliteit van coarse tokens en de sensitiviteit van fine tokens.
Lesion-Wise Analyse: Onder een vaste 99% True Negative Rate (TNR), verbeterde fine tokenisatie (CS3F-F) de detectie van kleine en medium laesies aanzienlijk (bijv. verhoging van kleine LTPR van 11,5% naar 34,6% op ATLAS T1w), maar ten koste van een toename in vals-positieven. CS3F-MS bood een gecontroleerde trade-off, waarbij de sensitiviteit werd verbeterd ten opzichte van coarse-only methoden terwijl beheersbare vals-positieve ratio's werden behouden.
Cross-Organ Generalisatie: Op long CT, waar volumes niet atlas-geregistreerd waren en niet-kubisch waren, behield CS3F zijn effectiviteit en presteerde het beter dan CLIP-gebaseerde baselines in zowel detectie als lokalisatie.
Efficiëntie: De C2F-routing verminderde de computationele overhead aanzienlijk vergeleken met exhaustieve fine-scale matching. CS3F-C (coarse-only) verwerkte volumes in ~3,2s op een consumenten-GPU, terwijl CS3F-MS ~5,5s in beslag nam.

Betekenis en Claims

Het artikel claimt dat bevroren 2D foundation-modellen effectief kunnen dienen voor 3D anomalielokalisatie in medische beelden wanneer ze worden gekoppeld aan een geschikte volumetrische tokenisatie en scoring pipeline.

Praktische bruikbaarheid: CS3F biedt een praktisch pad voor cohort-niveau screening, grootschalige datasetcuratie en geautomatiseerde kwaliteitscontrole door de noodzaak van apart gecureerde gezonde-controle datasets en handmatige laesie-annotaties te elimineren.
Beperkingen: De auteurs erkennen dat de methode wordt beperkt door de "Doppelgänger-assumptie", wat een batch van subjecten vereist voor inferentie in plaats van single-subject verwerking. Bovendien wordt de prestatie op kleine, subtiele of laag-contrast laesies beperkt door het vermogen van het foundation-model om deze als scheidbare uitschieters in de feature space te coderen. Het artikel merkt op dat hoewel C2F-tokenisatie de sensitiviteit verbetert, het de afwezigheid van discriminatieve signalen in de onderliggende encoder voor bepaalde modaliteiten (bijv. T1w MRI voor laag-contrast metastasen) niet volledig kan overwinnen.
Toekomstige Richting: De auteurs suggereren dat lichtgewicht adaptatiestrategieën op hulp-medische data en multi-modale fusie de scheidbaarheid van laesie- versus normaal verder kunnen verbeteren, terwijl het zero-shot karakter van de doeltaak behouden blijft.