⚡ electrical engineering

An Open Multi-Center Whole-Body FDG PET/CT Foundation Model for Tumor Segmentation

Dit artikel introduceert een open-source, multicentrisch fundamenteel model voor tumorsegmentatie van FDG PET/CT-beelden van het hele lichaam dat gebruikmaakt van vroege cross-modale fusie en een gespecialiseerd gemaskerd auto-encoderingsdoel om hoge prestaties te bereiken met minimale gelabelde data, waardoor de afhankelijkheid van uitgebreide handmatige annotaties in de klinische oncologie wordt verminderd.

Oorspronkelijke auteurs: Xiaofeng Liu, Qianru Zhang, Thibault Marin, Menghua Xia, Chi Liu, Georges El Fakhri, Jinsong Ouyang

Gepubliceerd 2026-05-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaofeng Liu, Qianru Zhang, Thibault Marin, Menghua Xia, Chi Liu, Georges El Fakhri, Jinsong Ouyang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren tumoren in het lichaam van een patiënt te herkennen met behulp van medische scans. Artsen kijken meestal naar twee soorten afbeeldingen tegelijk: een CT-scan (die de anatomie van het lichaam toont, zoals een gedetailleerde 3D-kaart van botten en organen) en een PET-scan (die metabolisme toont, gebieden waar cellen energie verbranden, vaak indicatief voor kanker, oplichtend).

Lange tijd waren computers slecht in het effectief combineren van deze twee perspectieven. De meeste bestaande AI-modellen waren als studenten die alleen voor één specifieke toets hadden gestudeerd. Ze waren getraind op kleine groepen patiënten uit slechts één ziekenhuis, en ze behandelden CT- en PET-scans vaak als twee aparte vakken, waarbij ze pas op het allerlaatste moment van hun "denkproces" probeerden ze te combineren. Dit maakte ze kwetsbaar; als de computer een scan van een ander ziekenhuis of een ander apparaat zag, raakte hij vaak in de war.

Dit artikel introduceert een nieuwe oplossing: een "Foundation Model" voor PET/CT-scans. Denk hierbij niet aan een student die voor één toets studeert, maar aan een medisch student die duizenden handboeken uit vier verschillende landen heeft gelezen voordat hij ooit een echte patiënt heeft gezien.

Hier is hoe ze het hebben gebouwd en waarom het werkt, eenvoudig uitgelegd:

1. De "Bibliotheek" van Scans

In plaats van een kleine dataset uit één plaats te gebruiken, verzamelden de onderzoekers 4.997 scans uit vier verschillende openbare datasets (uit Duitsland, Australië, de VS en Vietnam).

De Uitdaging: Deze scans hadden allemaal verschillende maten en waren gemaakt met verschillende apparaten. Het is alsof je probeert een puzzel te leggen waarbij sommige stukjes uit een 1000-stukjes-set komen en andere uit een 500-stukjes-set, en de beeldkwaliteit varieert.
De Oplossing: Ze creëerden een "harmonisatiepijplijn". Stel je een hoofdbewerker voor die al deze verschillende puzzelstukjes neemt, de randen bijwerkt en ze herschaalt zodat ze allemaal in hetzelfde fysieke raster passen (2,0 x 2,0 x 3,0 mm per stuk). Cruciaal is dat ze de afbeeldingen niet zomaar rekten om er hetzelfde uit te laten zien; ze behielden de werkelijke fysieke grootte van de tumoren, zodat de computer de echte schaal van dingen leert.

2. Het "Vroege Huwelijk" van CT en PET

De meeste eerdere AI-modellen behandelden CT- en PET-scans als twee mensen die aan tegenovergestelde uiteinden van een tafel zitten, die pas met elkaar praten nadat ze elk hun eigen rapport hebben geschreven.

De Nieuwe Aanpak: Dit model dwingt CT- en PET-scans om vanaf het aller eerste moment "hand in hand" te lopen. Ze worden naast elkaar samengevoegd (kanaalgewijze concatenatie) voordat de computer ze zelfs maar begint te analyseren.
De Analogie: Het is alsof je een kind leert een hond te herkennen door hen tegelijkertijd een foto van een hond en het geluid van een blaf te tonen, in plaats van hen eerst een foto te tonen, te vragen "Wat is dit?", en vervolgens een geluid af te spelen en apart te vragen "Wat is dit?". Door de anatomische (CT) en metabolische (PET) informatie direct te mengen, leert het model hoe de structuur van het lichaam en het energieverbruik ervan vanaf het begin met elkaar samenhangen.

3. Het "Blinddoek"-spel (Masked Autoencoding)

Om dit model te leren zonder dat een mens elke enkele tumor hoeft te omlijnen (wat duur en traag is), gebruikten ze een techniek genaamd Masked Autoencoding.

Het Spel: Stel je voor dat je de computer een afbeelding van een tumor toont, maar je bedekt 50% ervan met een blinddoek. De taak van de computer is om te raden wat er onder verborgen zit, gebaseerd op de zichtbare delen en het andere scan-type (bijvoorbeeld: als de CT verborgen is, kijkt hij naar de PET om de vorm te raden).
De Innovatie: Normaal gesproken vullen computers, wanneer ze delen van een afbeelding bedekken, de lege ruimte op met een generieke "placeholder"-token (zoals een leeg grijs vierkant). De onderzoekers realiseerden zich dat dit "kunstmatige randen" creëert die de computer in de war brengen. In plaats daarvan gebruikten ze Zero-Mean Imputation. Aangezien ze de data al hadden genormaliseerd (de helderheid hadden aangepast zodat het gemiddelde nul is), vulden ze de verborgen plekken simpelweg met nul.
Waarom dit belangrijk is: Het is alsof je een gat in een muur vult met exact dezelfde kleur pleister die er al zat, in plaats van er een grijze lap op te plakken. Dit houdt de "textuur" van de afbeelding glad, waardoor de computer beter kan leren zonder afgeleid te worden door nep-grenzen.

4. De Resultaten: Minder Leren met Meer Effect

De onderzoekers testten dit nieuwe model op een taak genaamd "tumorsegmentatie" (een lijn om de tumor te trekken).

Het "Few-Shot"-Mirakel: Meestal heeft AI duizenden gelabelde voorbeelden nodig om goed te leren. Dit model werd echter eerst getraind op de enorme "bibliotheek" van 4.997 scans. Toen ze het testten met slechts 10% van de gebruikelijke gelabelde data (slechts 70 scans), presteerde het net zo goed als andere modellen die waren getraind op 100% van de data.
De "Extreme" Test: Ze probeerden zelfs een "5-shot"-test, waarbij de computer slechts 5 gelabelde voorbeelden zag. Het nieuwe model werkte nog steeds, terwijl oudere modellen volledig faalden.
De Conclusie: Omdat het model algemene regels had geleerd over hoe tumoren eruitzien in zowel CT als PET, gebaseerd op een enorme, diverse dataset, hoefde het niet voor elk nieuw ziekenhuis opnieuw helemaal vanaf nul te worden geleerd.

Samenvatting

Het artikel presenteert een open-source "hersenen" voor medische beeldvorming die duizenden diverse scans heeft gelezen. Door het te leren om vanaf het allereerste begin naar CT- en PET-scans tegelijk te kijken en door een slimme "invul-de-holtes"-trainingsmethode te gebruiken, hebben ze een systeem gecreëerd dat:

Slimmer is: Het begrijpt de relatie tussen lichaamsstructuur en metabolisme beter.
Efficiënter is: Het kan tumoren leren herkennen met zeer weinig gelabelde voorbeelden, wat artsen tijd bespaart.
Robuuster is: Het werkt goed, zelfs wanneer de scans van verschillende ziekenhuizen of apparaten komen.

De auteurs merken op dat hoewel dit een krachtig hulpmiddel is, het momenteel zowel CT- als PET-scans vereist om aanwezig te zijn (het kan nog geen ontbrekende data verwerken) en dat de grootste versie van het model soms meer gelabelde data nodig heeft om perfect te worden afgestemd dan wat beschikbaar was in hun test. Het biedt echter een sterke, open basis voor toekomstige geautomatiseerde kankerbeeldvorming.

Technische Samenvatting: Een Open Multi-Center Foundation Model voor Heellichaam FDG PET/CT voor Tumorsegmentatie

Probleemstelling
Hoewel de synergetische interpretatie van Computertomografie (CT) en Positronemissietomografie (PET) standaard is in oncologische beeldvorming voor laesiedetectie en stagering, ondervinden bestaande deep learning-benaderingen aanzienlijke beperkingen. De meeste huidige methoden zijn taakspecifiek, getraind op kleine, single-center cohorten, en vertrouwen op dubbel-tak fusieschema's die kruismodale interactie uitstellen. Deze benaderingen falen vaak in generalisatie over verschillende instellingen, scannerfabrikanten en acquisitieprotocollen vanwege een gebrek aan diverse trainingsdata en het onderbenutten van vroege ruimtelijke correspondentie tussen PET en CT. Bovendien kunnen standaardimplementaties van Masked Autoencoder (MAE), die gebruikmaken van leerbare maskertokens, niet-fysische intensiteitsdiscontinuïteiten introduceren die hiërarchische encoder-decoder-architecturen, die gebruikelijk zijn in medische beeldvorming, destabiliseren.

Methodologie
De auteurs stellen een open-source foundation model voor dat is voorgeïmplementeerd op een geharmoniseerd corpus van 4.997 heellichaam FDG PET/CT scans, samengevoegd uit vier publieke datasets (AutoPET IV, DeepPSMA, SPADE en ViMedPET).

Datacuratie en Harmonisatie: In plaats van afbeeldingen te herschalen naar vaste matrixgroottes (wat de anatomie vervormt), hebben de auteurs alle scans opnieuw bemonsterd naar een uniforme fysieke voxelafstand van $2.0 \times 2.0 \times 3.0$ mm $^3$ . Zij hebben volumewijze z-score normalisatie toegepast om CT Hounsfield Units en PET Standardized Uptake Values (SUV's) te standaardiseren. Fouten in registratie in specifieke datasets werden gecorrigeerd via rigide registratie.
Architectuur: Het raamwerk maakt gebruik van hiërarchische UNet-vormige backbones, waarbij specifiek SwinUNETR-v2 (in kleine, basis- en grote configuraties) en nnUNet-v2 worden geëvalueerd. Een belangrijke architecturale innovatie is de vroege kanaalwijze concatenatie van PET- en CT-ingangen in de eerste embeddinglaag. Dit zorgt ervoor dat anatomische en metabole kenmerken onmiddellijk interageren, in plaats van dat ze door afzonderlijke encoders worden verwerkt en later worden gefuseerd.
Voortrainingsdoel (Zero-Mean Imputation MAE): Om de incompatibiliteit van leerbare maskertokens met convolutieve skip-verbindingen aan te pakken, hebben de auteurs deze vervangen door zero-mean imputatie. Aangezien de invoergegevens z-score genormaliseerd zijn, worden gemaskeerde patches gevuld met nullen (de verwachte gemiddelde waarde van de achtergrond).
Verliesfunctie: Het model maakt gebruik van een gewogen globale reconstructieverlies. In tegenstelling tot standaard MAE, die zichtbare gebieden negeert, omvat dit verlies een gewogen term voor zichtbare voxels ( $\lambda = 0.2$ ) om de training van skip-verbindingen te stabiliseren en hoogfrequente structurele informatie te behouden, terwijl de focus primair ligt op het reconstrueren van de gemaskeerde gebieden.

Belangrijkste Bijdragen

Grootschalig Multi-Center Corpus: De creatie en harmonisatie van een pretrainingsdataset van 4.997 scans (3D heellichaam FDG PET/CT), wat de schaal en diversiteit die beschikbaar zijn voor PET/CT-representatieleren aanzienlijk uitbreidt.
Nieuw Voortrainingskader: De introductie van een gemaskerde auto-encoderstrategie die is toegespitst op hiërarchische CNN/Transformer-backbones, met kenmerken zoals onafhankelijke PET/CT-masking, zero-mean imputatie en een gewogen globale reconstructieverliesfunctie.
Gedemonstreerde Label-efficiëntie: Empirisch bewijs dat laat zien dat de resulterende foundation modellen sterke prestaties behalen met minimale gelabelde data, en dat ze beter presteren dan benaderingen met gescheiden-modality voortraining.

Resultaten
De modellen werden geëvalueerd op downstream AutoPET laesiesegmentatietaken onder verschillende data-regimes:

Finetunen met Beperkte Data: Wanneer gefinetuned met slechts 10% van de gelabelde trainingsdata (70 scans), bereikten de MAE-geïnitieerde modellen prestaties die vergelijkbaar waren met modellen die vanaf nul waren getraind op de volledige dataset (700 scans). Bijvoorbeeld, het SwinUNETR-v2-base model behaalde een Dice-score van 0,6132 met 10% data (MAE-geïnitieerd) vergeleken met 0,4889 (vanaf nul), en dit was concurrerend met de full-data scratch-baseline (0,6414).
Few-Shot Lineair Probing: Onder extreme 5-shot-omstandigheden (het bevriezen van de encoder en het grootste deel van de decoder, waarbij alleen de laatste laag wordt getraind), presteerde gezamenlijke PET/CT-voortraining aanzienlijk beter dan gescheiden-modality voortraining. SwinUNETR-v2-base behaalde een Dice-score van 0,3557 met gezamenlijke voortraining versus 0,2163 met gescheiden voortraining, terwijl initialisatie vanaf nul instortte tot ongeveer 0,09.
Modelvergroting: Hoewel de SwinUNETR-v2-large-variant de laagste reconstructieverlies tijdens voortraining en de beste lineaire probing-scores behaalde, toonde de SwinUNETR-v2-base-variant de beste balans voor finetunen met volledige parameters, waardoor overfitting op de beperkte downstream-dataset werd vermeden.

Betekenis en Claims
Het artikel claimt het eerste open-source PET/CT foundation model te presenteren dat is voorgeïmplementeerd op een groot multi-center corpus. De primaire betekenis ligt in het demonstreren van label-efficiëntie en kruismodale representatieleren. De auteurs betogen dat grootschalige multi-center voortraining transfererbare anatomische en metabole priors biedt die de behoefte aan grootschalige handmatige annotaties in de klinische praktijk aanzienlijk verminderen.

Het werk suggereert dat vroege fusie van modaliteiten een nuttigere latente ruimte oplevert dan vertraagde fusie. Bovendien benadrukt de studie dat hoewel modellen met grote capaciteit robuuste representaties leren, modellen met intermediaire capaciteit (zoals SwinUNETR-v2-base) een meer praktische balans kunnen bieden tussen representatieve kracht en de beperkingen van beschikbare gelabelde data voor downstream klinische taken. De auteurs concluderen dat dit foundation model een robuuste, open-source basis biedt voor de doorontwikkeling van geautomatiseerde oncologische beeldvorming, hoewel ze beperkingen erkennen met betrekking tot pixel-niveau-metingen die diagnostische onzekerheid niet volledig vastleggen en de huidige vereiste dat zowel PET- als CT-modaliteiten aanwezig moeten zijn.