💻 computer science

RD-ViT: Recurrent-Depth Vision Transformer for Semantic Segmentation with Reduced Data Dependence Extending the Recurrent-Depth Transformer Architecture to Dense Prediction

Het artikel introduceert RD-ViT, een Recurrent-Depth Vision Transformer die standaard diepe stapels vervangt door een enkele gedeelde blokk om het aantal parameters en de afhankelijkheid van data aanzienlijk te verminderen terwijl state-of-the-art prestaties voor semantische segmentatie op benchmarks voor cardiale MRI worden bereikt via mechanismen zoals Adaptive Computation Time en Mixture-of-Experts.

Oorspronkelijke auteurs: Renjie He

Gepubliceerd 2026-05-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Renjie He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren medische scans te bekijken (zoals hart-MRI's of tandröntgenfoto's) en perfecte omtrekken te trekken rond specifieke delen, zoals de kamers van het hart of individuele tanden. Deze taak heet "segmentatie".

Lange tijd waren de beste robots voor deze baan Vision Transformers (ViTs). Denk aan een standaard ViT als een team van 10 verschillende specialisten die in een rij werken. De eerste specialist kijkt naar de afbeelding, de tweede kijkt naar het resultaat van de eerste, de derde kijkt naar de tweede, en zo verder. Elke specialist heeft zijn eigen unieke brein (parameters) en moet vanaf nul worden getraind. Dit werkt ongelooflijk goed, maar vereist een enorme hoeveelheid trainingsdata (duizenden voorbeelden) omdat elke specialist zijn eigen specifieke taak moet leren.

In de medische wereld is het moeilijk om duizenden gelabelde voorbeelden te krijgen. Artsen zijn druk en het labelen van afbeeldingen kost veel tijd. Dus vroegen de auteurs van dit artikel zich af: Kunnen we een robot maken die net zo goed leert maar veel minder data nodig heeft?

De Oplossing: De "Herhalende Specialist" (RD-ViT)

De auteurs creëerden een nieuwe robot genaamd RD-ViT. In plaats van 10 verschillende specialisten in te huren, huren ze één briljante specialist in en vragen hen om naar de afbeelding te kijken, na te denken, opnieuw te kijken, opnieuw na te denken, en dit proces meerdere keren te herhalen.

Zo hebben ze deze "herhalende specialist" zo goed laten werken:

1. De "Lus" (Recurrente Diepte)
In plaats van een lange rij verschillende mensen, heb je één persoon die naar de afbeelding kijkt, dan naar zijn eigen aantekeningen, en dan opnieuw kijkt.

Het Probleem: Als je dezelfde persoon gewoon 10 keer vraagt om te kijken, kan hij in een lus blijven hangen of in de war raken.
De Oplossing (LTI-Stabiele Injectie): De auteurs gaven deze specialist een speciale "stabiliteitsregel". Het is als een schokdemper op een auto. Hoe vaak de specialist ook naar de afbeelding kijkt, deze regel garandeert dat hij niet gek wordt of vastloopt. Hij zal altijd tot een duidelijk antwoord komen. Dit stelt de robot in staat om zo vaak als nodig na te denken zonder te breken.

2. De "Slimme Stop" (Adaptieve Berekeningstijd)
Niet elk deel van een medische afbeelding is even moeilijk. De lege ruimte rond het hart is makkelijk om te negeren. De dunne, golvende rand van de hartspier is erg moeilijk om te traceren.

De Metafoor: Stel je een student voor die een toets maakt. Voor makkelijke vragen (zoals "Welke kleur is de lucht?") antwoordt hij direct. Voor moeilijke vragen (zoals "Bereken deze complexe integraal") besteedt hij extra tijd aan het nadenken.
Hoe het werkt: RD-ViT heeft een "stopknop" voor elk klein stukje van de afbeelding. Als een stukje makkelijk is (zoals de achtergrond), stopt de robot na 1 of 2 lussen met erover nadenken. Als een stukje moeilijk is (zoals een hartgrens), blijft de robot 3, 4 of 5 keer in de lus draaien om het goed te krijgen. Dit bespaart energie en maakt de robot slimmer waar het er toe doet.

3. Het "Specialistenteam" (Mixture of Experts)
Hoewel de robot steeds dezelfde "lus" gebruikt, hebben de auteurs een draai toegevoegd: Mixture of Experts (MoE).

De Metafoor: Stel je voor dat de enkele specialist een team van 8 onzichtbare assistenten in zijn hoofd heeft. Wanneer de robot een stukje "Rechter Ventrikel" (een deel van het hart) ziet, roept hij automatisch "Assistent #1" aan. Wanneer hij "Myocardium" (hartspier) ziet, roept hij "Assistent #2" aan.
De Verrassing: De auteurs vertelden de robot niet welke assistent hij voor welk deel moest gebruiken. De robot kwam er zelf op uit! De "Rechter Ventrikel"-assistent werd een expert in die vorm, en de "Linker Ventrikel"-assistent werd een expert in de zijne. Dit gebeurt zonder extra instructie, gewoon door de robot te proberen de taak goed te doen.

Wat Vonden Ze?

De auteurs testten deze nieuwe robot op twee zeer verschillende medische taken:

1. Het Hart (ACDC Dataset)

De Uitdaging: Ze hadden zeer weinig trainingsafbeeldingen (slechts 100 patiënten).
Het Resultaat:
- In 2D-slices (naar één platte afbeelding tegelijk kijken) was de RD-ViT eigenlijk beter dan het standaardteam van 10 specialisten, zelfs met zeer weinig data. Het leerde sneller en maakte minder fouten.
- In 3D-volumes (naar het hele hartblok kijken) was het standaardteam iets beter, tenzij ze het "Specialistenteam" (MoE) toevoegden. Met MoE bereikte de RD-ViT 99,4% van de nauwkeurigheid van het standaardteam, maar gebruikte minder dan de helft van het geheugen (parameters).
- Bonus: Ze ontdekten dat als ze de robot trainden om 8 keer te herhalen, ze hem tijdens de daadwerkelijke test konden vragen om 16 keer te herhalen, en hij zou beter worden (of hetzelfde blijven) zonder opnieuw getraind te hoeven worden. Het is als een student die langer kan blijven studeren om een betere cijfer te krijgen zonder zijn leerboek te veranderen.

2. De Tand (ToothFairy2 Dataset)

De Uitdaging: Ze probeerden dezelfde robot op 3D-tandscans om 32 verschillende tanden te identificeren en correct te nummeren (bijvoorbeeld "Tand 15" versus "Tand 25"). Dit is moeilijk omdat je de hele kaak moet zien om te weten welke tand welke is.
Het Resultaat: De robot identificeerde de tanden succesvol en kende de juiste nummers toe met 89,1% nauwkeurigheid.
Waarom het werkte: De "globale aandacht" van de robot stelde hem in staat om de hele kaak in één keer te zien. Hij kon onderscheid maken tussen een tand in de rechterbovenkant en een tand in de linkerbovenkant, iets waar oudere, eenvoudigere robots moeite mee hebben omdat ze alleen naar kleine, lokale stukjes kijken.

De Conclusie

Het artikel toont aan dat je geen enorm leger van verschillende AI-modellen nodig hebt om geweldige medische segmentatie te doen. In plaats daarvan kun je één slim model gebruiken dat in lussen draait, adaptief denkt en interne specialisten heeft.

Het leert sneller wanneer data schaars is (vooral in 2D).
Het bespaart ruimte door zijn "brein" te delen over verschillende lagen.
Het bedenkt zijn eigen strategie (zoals welke expert welk lichaamsdeel behandelt) zonder dat het wordt verteld.
Het kan harder nadenken over moeilijke delen van de afbeelding en minder nadenken over makkelijke delen.

De auteurs hebben al hun code en resultaten vrijgegeven, wat bewijst dat deze "recurrente" aanpak een krachtige en efficiënte manier is om AI het menselijk lichaam te leren zien.

Technische Samenvatting: RD-ViT: Recurrent-Depth Vision Transformer voor Semantische Segmentatie met Verminderde Data-Afhankelijkheid

Probleemstelling

Vision Transformers (ViTs) hebben state-of-the-art prestaties behaald in dichte voorspellingstaken zoals semantische segmentatie. Echter, standaard ViTs lijden onder een hoge data-afhankelijkheid vanwege hun architecturale ontwerp: elke laag in een diepe stapel bezit unieke parameters die onafhankelijk moeten worden geleerd. Dit resulteert in een parameteraantal dat lineair schaalt met de diepte ( $O(L \cdot d^2)$ ), waardoor ViTs vatbaar zijn voor overfitting wanneer trainingsdata schaars is. Deze beperking is bijzonder kritiek in medische beeldvorming, waar gelabelde datasets vaak klein zijn (bijvoorbeeld bevat de ACDC-cardiale MRI-benchmark slechts 100 patiëntvolumes) en labeling duur en tijdrovend is. Het artikel adresseert de behoefte aan architecturen die hoge segmentatie-accuraatheid kunnen bereiken met beperkte trainingsdata, terwijl ze computationele efficiëntie behouden.

Methodologie

De auteurs stellen RD-ViT (Recurrent-Depth Vision Transformer) voor, een architectuur die het concept van Recurrent-Depth Transformer (RDT) uit het OpenMythos-project aanpast aan dichte voorspellingstaken. In plaats van een diepe stapel unieke transformer-blokken, hanteert RD-ViT een enkel gedeeld transformer-blok dat $T$ keer wordt doorlopen. De architectuur bestaat uit vier hoofdcomponenten:

Prelude & Coda: Standaard ViT-blokken voor respectievelijk initiële feature-extractie en finale verfijning.
Recurrente Lus: De kerninnovatie waarbij een enkel ViT-blok iteratief wordt toegepast. Deze lus omvat diverse gespecialiseerde mechanismen:
- LTI-Stabiele Injectie: Om convergentie te garanderen tijdens lange-horizon recurrentie, wordt de toestands-overgangsmatrix $A$ geparametriseerd als $A = \exp(-\exp(\log d_t + \log A))$ . Deze constructie garandeert dat alle eigenwaarden strikt binnen $(0, 1)$ liggen, waardoor de recurrentie een contractie-afbeelding is. Dit maakt stabiele diepte-extrapolatie mogelijk (inference met meer lussen dan tijdens training).
- Adaptive Computation Time (ACT): Een geleerd halteringsmechanisme wijst een halteringskans toe aan elke patch-token bij elke iteratie. Tokens in "makkelijke" regio's (bijvoorbeeld homogene achtergronden) halteren vroeg, terwijl tokens in "moeilijke" regio's (bijvoorbeeld grenzen) meer iteraties ondergaan. Dit creëert een ruimtelijke compute-map die resources dynamisch toewijst.
- Diepte-gewijze LoRA: Om het gedeelde blok op verschillende dieptes anders te laten gedragen zonder volledige rang-gewichten te dupliceren, worden Low-Rank Adaptation (LoRA)-adapters met lus-geïndexeerde schaling toegepast.
- Mixture-of-Experts (MoE): Optionele sparse MoE-lagen vervangen het standaard Feed-Forward Netwerk (FFN). Een router leidt tokens naar specifieke expert-subnetwerken, wat conditionele berekening en class-specifieke specialisatie binnen het gedeelde blok mogelijk maakt.
Segmentatiekop: Upsamplet features op patch-niveau naar pixel- of voxel-niveau voorspellingen met behulp van getransponeerde convoluties.

De architectuur is dimensie-agnostisch en ondersteunt zowel 2D (via Conv2d patch-embedding) als 3D (via Conv3d) invoer.

Belangrijkste Bijdragen

Architectuur-aanpassing: Een volledige 2D/3D segmentatie-architectuur die LTI-stabiele injectie, ACT, diepte-gewijze LoRA en MoE integreert voor dichte voorspelling.
Validatie van data-efficiëntie: Empirische validatie op de ACDC-cardiale MRI-dataset die aantoont dat RD-ViT standaard ViTs kan overtreffen of evenaren met aanzienlijk minder parameters en minder data, met name in 2D-settings.
Emergente specialisatie: Bewijs dat MoE-experts spontaan specialiseren voor verschillende anatomische structuren (bijvoorbeeld Rechter Ventrikel, Myocardium, Linker Ventrikel) zonder expliciete routerings-supervisie, wat een structurele inductieve bias biedt voor multi-class segmentatie.
Diepte-extrapolatie: Demonstratie dat het model veilig kan infereren met meer lus-iteraties ( $T$ ) dan gebruikt tijdens training zonder prestatiedegradatie, dankzij de LTI-stabiliteitsgarantie.
Generalisatie: Succesvolle toepassing van dezelfde architectuur op een fundamenteel andere taak: 3D-tand-instancesegmentatie en nummering vanuit CBCT-volumes, waarbij globale aandacht wordt benut voor ruimtelijke redenering op lange afstand.

Experimentele Resultaten

Cardiale Segmentatie (ACDC Dataset)

3D Volumetrisch:
- RD-ViT Tiny + MoE (3,0M parameters) behaalde een Dice-score van 0,812, wat 99,4% van de standaard ViT-baseline (0,817, 5,7M parameters) bereikte, terwijl slechts 53% van de parameters werd gebruikt.
- Ablatie: MoE leverde de grootste winst op (+0,8 procentpunten boven RD-ViT Tiny). ACT en LoRA leverden kleinere maar consistente verbeteringen op (+0,3 en +0,2 pp respectievelijk).
- Diepte-extrapolatie: De prestaties bleven stabiel bij het verhogen van de inferentielussen van $T=8$ (training) naar $T=16$ , wat de stabiliteit van de LTI-injectie bevestigt.
2D Slice-niveau:
- RD-ViT overtrof de Standaard ViT over alle datafracties heen. Bij 10% trainingsdata behaalde RD-ViT een Dice van 0,774 versus 0,762 voor Standaard ViT. Bij 100% data behaalde het 0,882 versus 0,872.
- De auteurs schrijven dit toe aan de rijkere ruimtelijke context in 2D-slices, waardoor iteratieve verfijning effectiever is dan in de lagere-resolutie 3D-setting.

Tandsegmentatie (ToothFairy2 Dataset)

Toegepast op 3D-tand-instancesegmentatie en FDI-nummering (33 klassen).
Een single-phase RD-ViT Tiny + MoE-model (5,4M parameters) behaalde:
- 0,797 Seed Dice (tand versus achtergrond).
- 89,1% FDI-classificatie-accuraatheid.
De resultaten suggereren dat de globale self-attention van de transformer effectief de lange-afstand kaakkwadrant-context vastlegt die nodig is voor tandnummering, een taak waarbij lokale CNN-receptieve velden vaak moeite hebben.

Computationele Efficiëntie

ACT-dynamiek: De gemiddelde ponder-tijd (effectieve iteraties) daalde van ~2,6 naar ~1,4 tijdens training, wat aangeeft dat het model leerde makkelijke regio's sneller te verwerken.
Compute-toewijzing: ACT-halteringskaarten toonden een hogere compute-toewijzing bij cardiale grenzen en een lagere toewijzing in homogene regio's.

Betekenis en Claims

Het artikel stelt dat RD-ViT een levensvatbare architecturale strategie biedt voor parameter-efficiënte segmentatie in datalimietende medische domeinen. Door gewichtsdeling (recurrentie) te combineren met conditionele berekening (MoE), bereikt het model bijna state-of-the-art prestaties met ongeveer de helft van de parameters van een standaard ViT.

De auteurs benadrukken dat de LTI-stabiele injectie cruciaal is voor het mogelijk maken van diepte-extrapolatie, en fungeert als een "gratis knop voor inferentietijd" om snelheid en nauwkeurigheid af te wegen zonder opnieuw te trainen. Bovendien suggereert de spontane specialisatie van MoE-experts dat recurrente-diepte-architecturen complexe segmentatieproblemen op natuurlijke wijze kunnen decomponeren in class-specifieke subtaken.

Het werk benadrukt een dichotomie tussen 2D- en 3D-prestaties: terwijl RD-ViT uitblinkt in 2D vanwege de rijke ruimtelijke context, wordt de 3D-prestatie momenteel meer beperkt door modelcapaciteit dan door de recurrente architectuur zelf. De succesvolle overdracht naar tandheelkundige beeldvorming demonstreert echter het domein-agnostische potentieel van de architectuur.

Het artikel concludeert dat RD-ViT, hoewel het nog niet alle sterk geoptimaliseerde, data-zware pipelines in alle 3D-scenario's overtreft, wel degelijk de data-afhankelijkheid aanzienlijk vermindert en een nieuw paradigma biedt voor efficiënte, interpreteerbare en aanpasbare medische beeldsegmentatie. Alle code, notebooks en resultaten zijn publiek vrijgegeven.