💻 computer science

Primus: Enforcing Attention Usage for 3D Medical Image Segmentation

Dit artikel introduceert Primus en PrimusV2, de eerste concurrerende Transformer-gecentreerde architecturen voor 3D-medische beeldsegmentatie die de beperkingen van hybride modellen overwinnen door het gebruik van attention te maximaliseren, waardoor state-of-the-art prestaties worden bereikt die de toonaangevende op CNN gebaseerde methoden op negen publieke datasets overtreffen of evenaren.

Oorspronkelijke auteurs: Tassilo Wald, Saikat Roy, Fabian Isensee, Constantin Ulrich, Sebastian Ziegler, Dasha Trofimova, Raphael Stock, Michael Baumgartner, Gregor Köhler, Klaus Maier-Hein

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tassilo Wald, Saikat Roy, Fabian Isensee, Constantin Ulrich, Sebastian Ziegler, Dasha Trofimova, Raphael Stock, Michael Baumgartner, Gregor Köhler, Klaus Maier-Hein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Impostor" Transformers

Stel je voor dat je een robot probeert te bouwen die naar een 3D-medische scan kan kijken (zoals een CT-scan van een nier) en een perfecte omtrek rond de tumor kan tekenen.

Lange tijd waren de beste robots voor deze baan CNN's (Convolutional Neural Networks). Denk aan een CNN als een zeer bekwame, lokale detective. Het kijkt naar een klein buurteam van pixels, verzamelt aanwijzingen en beweegt naar het volgende buurteam. Het is geweldig in het zien van lokale details, maar mist soms het "grote plaatje" van het hele orgaan.

Toen kwamen de Transformers. Deze zijn als "super-observatoren" die de hele afbeelding tegelijk kunnen bekijken en begrijpen hoe de bovenkant van de nier zich verhoudt tot de onderkant. Ze werden beroemd in taalverwerking (zoals chatbots) en natuurlijke foto's. Iedereen dacht: "Als Transformers een heel boek kunnen lezen of een heel landschap kunnen zien, moeten ze perfect zijn voor medische scans!"

Maar hier zit de addertje onder het gras: Toen onderzoekers probeerden Transformers te gebruiken voor 3D-medische scans, werkten ze niet erg goed. Ze waren vaak trager en minder nauwkeurig dan de oude CNN-detectives.

Het Onderzoek: Wie doet het werk?

De auteurs van dit artikel besloten te onderzoeken waarom deze Transformers faalden. Ze keken naar negen populaire "hybride" modellen (modellen die proberen zowel CNN's als Transformers te gebruiken).

Ze ontdekten een schokkend geheim: De Transformers sliepen meestal.

De Analogie: Stel je een bouwteam voor waarbij je een beroemde, dure architect (de Transformer) hebt ingehuurd om een huis te ontwerpen, maar je hebt ook 100 gewone metselaars (de CNN's) ingehuurd. Toen het huis klaar was, realiseerden de auteurs zich dat de architect de plannen eigenlijk niet had getekend. De metselaars bouwden het hele huis zelf, en de architect stond er alleen maar bij te knikken.
Het Bewijs: Toen de onderzoekers de "architect" (de Transformer-blokken) uit deze modellen verwijderden, presteerden de modellen bijna exact hetzelfde. In sommige gevallen maakte het verwijderen van de Transformer ze zelfs sneller en iets beter, omdat het model stopte met het verspillen van energie aan een nutteloos onderdeel.

Het artikel noemt dit de "UNet Index". De meeste bestaande modellen hadden een hoge index, wat betekende dat ze eigenlijk gewoon CNN's waren in vermomming, met een zware, nutteloze Transformer-rugzak.

De Oplossing: Primus en PrimusV2

De auteurs vroegen zich af: "Wat als we een model bouwen waarbij de Transformer moet werken?" Ze creëerden twee nieuwe architecturen met de namen Primus (Latijn voor "Eerste") en PrimusV2.

Hier is hoe ze de Transformer dwongen wakker te worden en zijn werk te doen:

1. De Details niet Kneuzen (De Tokenizer)

Standaard Transformers hakken de 3D-afbeelding vaak in enorme stukken (zoals het snijden van een taart in gigantische, dikke plakken) om ze om te zetten in data-tokens. Hiermee worden kleine, belangrijke details weggegooid, zoals een kleine tumor of een dun bloedvat.

De Oplossing: Primus gebruikt een "high-resolution tokenizer". In plaats van gigantische plakken, gebruikt het kleinere, fijnere plakken (8x8x8 voxels).
De Analogie: In plaats van te kijken naar een kaart van een stad waar elke straat slechts een wazige lijn is, kijkt Primus naar een kaart waar je individuele huizen kunt zien. Dit geeft de Transformer meer gedetailleerde informatie om mee te werken.

2. De "Iteratieve" Aanpak (PrimusV2)

Zelfs met kleinere plakken had de Transformer soms moeite om direct de complexe 3D-vormen van organen te begrijpen.

De Oplossing: PrimusV2 gebruikt een "Iterative Patch Embedding". In plaats van te proberen het hele stuk in één keer te begrijpen, verwerkt het de afbeelding in fasen, zoals het pellen van een ui of het verfijnen van een schets. Het gebruikt een paar kleine, slimme convolutiestappen om de data voor te bereiden voordat de Transformer het ziet.
De Analogie: Stel je voor dat je een complex puzzel probeert op te lossen. Primus gooit niet zomaar alle stukjes op tafel. Het sorteert ze eerst op kleur en randstukken (de iteratieve stappen), waardoor het voor de "super-observator" (de Transformer) veel makkelijker wordt om het eindbeeld te zien.

3. Een GPS Geven (3D RoPE)

Transformers zijn van nature "blind" voor ruimte; ze weten niet dat "links" anders is dan "rechts" tenzij je het hen vertelt.

De Oplossing: De auteurs voegden een speciale 3D "Rotary Position Embedding" (RoPE) toe.
De Analogie: Het is alsof je de Transformer een GPS-systeem geeft dat diepte, breedte en hoogte tegelijkertijd begrijpt. Het weet precies waar een tumor zich bevindt in de 3D-ruimte ten opzichte van de rest van het orgaan.

De Resultaten: De Transformer Wint Eindelijk

Na deze veranderingen waren de resultaten indrukwekkend:

Primus werd het eerste Transformer-gebaseerde model dat kon concurreren met de standaard "gouden standaard" CNN (nnU-Net).
PrimusV2 deed niet alleen mee; het won van de standaard CNN bij de meeste tests en kwam overeen met de allerbeste, meest complexe CNN's die vandaag de dag beschikbaar zijn.

De Belangrijkste Conclusie:
Het artikel bewijst dat Transformers kunnen de beste tool zijn voor 3D-medische beeldvorming, maar alleen als je stopt met ze te behandelen als een sidekick van een CNN. Je moet het systeem zo ontwerpen dat de Transformer de hoofdrolspeler is, gevoed met data in hoge resolutie en uitgerust met de juiste tools om 3D-ruimte te begrijpen.

Samenvatting in Eén Zin

De auteurs bouwden een nieuw AI-model genaamd Primus dat de "super-observator" Transformer eindelijk dwingt het zware werk te doen in medische beeldvorming, en bewijst dat Transformers, wanneer ze correct zijn ontworpen, de traditionele "lokale detective" CNN's kunnen overtreffen.

1. Probleemstelling

Ondanks het succes van Transformers in natuurlijke taalverwerking en computer vision voor natuurlijke afbeeldingen, is hun impact op 3D-medische beeldsegmentatie beperkt gebleven. Huidige benchmarks worden nog steeds gedomineerd door Convolutional Neural Networks (CNN's), met name het nnU-Net-framework. De auteurs identificeren twee kritieke tekortkomingen in bestaande Transformer-gebaseerde benaderingen voor medische beeldvorming:

Overmatige afhankelijkheid van convoluties: De meeste "Transformer"-architecturen zijn eigenlijk hybride modellen waarbij het merendeel van de parameters en de rekenkracht in convolutieblokken (encoders/decoders) zit, waardoor de Transformer-componenten slechts auxiliair zijn.
Ondoeltreffendheid van attention: In veel hybride modellen leidt het verwijderen van Transformer-blokken tot verwaarloosbare prestatiedalingen, wat suggereert dat de modellen uitsluitend via CNN's representaties leren. Bovendien presteren bestaande pure of bijna-pure Transformer-modellen vaak onder sterke CNN-baselines, waarschijnlijk vanwege de moeilijkheid om Transformers vanaf nul te trainen op kleine, schaars gelabelde medische datasets.

2. Methodologie

De auteurs stellen een tweeledige aanpak voor: eerst een rigoureuze deconstructie van bestaande modellen om hun beperkingen te bewijzen, en vervolgens het ontwerpen van nieuwe, echt Transformer-centric architecturen.

A. Analyse van bestaande architecturen

De auteurs analyseerden negen populaire Transformer-gebaseerde modellen (zoals TransUNet, SwinUNETR, UNETR) met behulp van een metriek genaamd de UNet Index.

Definitie UNet Index: Een verhouding die de hoeveelheid convolutieparameters buiten de Transformer-blokken meet ten opzichte van een standaard U-Net.
bevindingen: De meeste modellen hebben een hoge UNet Index (zware CNN-afhankelijkheid). Toen de Transformer-blokken werden vervangen door identiteitsafbeeldingen, toonde 6 van de 9 modellen minder dan een 3% daling in de Dice Similarity Coefficient (DSC), wat bewijst dat de Transformer niet de primaire drijver van de prestaties was.

B. De Primus en PrimusV2 architecturen

Om deze problemen aan te pakken, ontwierpen de auteurs Primus en PrimusV2, de eerste concurrerende Transformer-centric architecturen voor 3D-medische beeldvorming. Deze modellen minimaliseren convolutieparameters, waardoor het netwerk gedwongen wordt om te vertrouwen op attention-mechanismen.

Belangrijke ontwerpinnovaties:

High-Resolution Tokenization:
- In tegenstelling tot standaard ViT's die grote $16\times16\times16$ patches gebruiken (wat lokale details verliest), gebruikt Primus een $8\times8\times8$ patchgrootte om fijnmazige anatomische structuren te behouden.
- PrimusV2 introduceert een Iterative Patch Embedding. In plaats van een enkele projectie, gebruikt het een keten van residuële convolutieblokken om iteratief te downsamplen en semantische kenmerken te extraheren voordat tokenization plaatsvindt. Dit creëert rijker tokens zonder te vertrouwen op een zware CNN-backbone.
3D Rotary Positional Embeddings (RoPE):
- Standaard absolute positionele embeddings worstelen met de ruimtelijke verschuivingen die gebruikelijk zijn in 3D-medische data. De auteurs hebben Axial Rotary Position Embeddings (RoPE) aangepast aan 3D, waarbij relatieve afstanden en oriëntaties direct worden gecodeerd in het attention-mechanisme om volumetrische ruimtelijke correlaties beter vast te leggen.
Moderne Transformer-componenten:
- MLP-blokken: Toepassing van SwiGLU (Swish-geactiveerde Gated Linear Units) met LayerNorm, bewezen effectief in natuurlijke afbeelding-Transformers (bijv. EVA-02).
- Stabiliteitsmechanismen: Gebruik van LayerScale en Post-Attention Normalization om training op grote modellen (Primus-L) te stabiliseren en divergentie te voorkomen.
- Lightweight Decoder: Een decoder bestaande uit getransponeerde convoluties die tokens onafhankelijk upsamplen, waardoor de convolutie-invloed wordt geminimaliseerd en de UNet Index laag blijft.

3. Belangrijkste bijdragen

Empirische deconstructie: Leverde kwantitatief bewijs (via UNet Index en ablatiestudies) dat huidige "Transformer"-medische modellen effectief CNN's zijn met kleine attention-toevoegingen.
Eerste concurrerende Transformer-centric modellen: Introduceerde Primus en PrimusV2, die state-of-the-art prestaties bereiken terwijl het overgrote deel van de parameters en FLOPs binnen de Transformer-blokken blijft.
Architecturale innovaties: Toonde aan dat het combineren van high-resolution tokenization ( $8\times8\times8$ ), iteratieve patch embedding en 3D RoPE Transformers in staat stelt om de datatekorten en lokale kenmerkvereisten van medische beeldvorming te overwinnen.
Efficiëntie in self-supervised learning: Benadrukte dat Transformer-centric ontwerpen efficiënter zijn voor Masked Image Modeling (MIM) pre-training, waarbij aanzienlijk minder VRAM wordt gebruikt (40% minder) in vergelijking met CNN-zware architecturen bij het maskeren van tokens.

4. Experimentele resultaten

De modellen werden geëvalueerd op negen openbare datasets (waaronder AMOS22, KiTS23, TotalSegmentator-BTCV, SBM, enz.) die verschillende modaliteiten (CT, MRI) en organen bestrijken.

Prestaties versus baselines:
- Primus: Versloeg huidige Transformer-gebaseerde methoden en concurreerde direct met de standaard nnU-Net, waarbij het 4 van de 9 datasets overtrof.
- PrimusV2: Presteerde significant beter dan alle andere Transformer-baselines (inclusief UNETR++, SwinUNETRv2) en bereikte pariteit met state-of-the-art CNN's zoals ResEnc-L en MedNeXt.
- Gap-reductie: PrimusV2 verkleinde de prestatiekloof met de beste CNN's tot binnen 0,05–0,29 DSC-punten, een enorme verbetering ten opzichte van eerdere Transformer-pogingen die 8–11 DSC-punten achterliepen.
Ablatie-inzichten:
- Het verwijderen van de Transformer uit PrimusV2 veroorzaakte een ~5,0 DSC-daling, wat bevestigt dat het model zwaar leunt op zijn attention-mechanismen (in tegenstelling tot eerdere hybriden waar de daling bijna 0 was).
- De Iterative Tokenizer in PrimusV2 leverde een ~2 DSC-winst op ten opzichte van de standaard projectie, met name door de prestaties te verbeteren op kleine laesies (bijv. hersenmetastasen in de SBM-dataset).
Scaling: Hoewel het vergroten van de modelgrootte (S naar L) afnemende meeropbrengsten liet zien op zeer kleine datasets (door overfitting), behaalde PrimusV2-L de hoogste totale scores op grotere datasets.

5. Betekenis

Dit werk markeert een paradigmaverschuiving in 3D-medische beeldsegmentatie:

Leefbaarheid van pure Transformers: Het bewijst dat Transformers de primaire drijver van prestaties in medische beeldvorming kunnen zijn, niet slechts een toevoeging aan CNN's.
Toekomstbestendigheid: Door een sterke Transformer-centric baseline te vestigen, maakt het artikel de adoptie van self-supervised learning (SSL) en multi-modale integratie (bijv. het combineren van afbeeldingen met tekstrapporten) mogelijk in medische AI, gebieden waar Transformers uitblinken maar CNN's worstelen.
Klinische toepasbaarheid: Analyse van de inferentietijd toont aan dat zelfs de grootste PrimusV2-modellen binnen klinische beslissingsvensters passen (bijv. beroerte-opsporing), waardoor ze levensvatbaar zijn voor implementatie in de echte wereld.

Kortom, Primus en PrimusV2 tonen aan dat met de juiste architecturale aanpassingen (high-res tokens, 3D RoPE, iteratieve embedding) Transformers kunnen concurreren met of de beste CNN's kunnen overtreffen in 3D-medische segmentatie, waardoor de deur opent voor next-generation medische AI-pipelines.