💻 computer science

Surgical Anatomy Recognition with Context Learning using Foundation Representations

Dit artikel introduceert ATLAS-120k, een grootschalige geannoteerde dataset voor minimaal invasieve chirurgie, en ATLAS, een videomodell voor segmentatie dat gebruikmaakt van fundamentele representaties en contextueel leren om nauwkeurige, temporeel consistente anatomische herkenning te bereiken.

Oorspronkelijke auteurs: Ronald L. P. D. de Jong, Tim J. M. Jaspers, Raf A. H. Vervoort, Aron F. H. A. Bakker, Yiping Li, Jip L. Tolenaar, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Marcel Breeuwer, Daan de Geus

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ronald L. P. D. de Jong, Tim J. M. Jaspers, Raf A. H. Vervoort, Aron F. H. A. Bakker, Yiping Li, Jip L. Tolenaar, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Marcel Breeuwer, Daan de Geus, Fons van der Sommen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een operatie moet uitvoeren. Het grootste probleem is niet alleen de robot leren hoe een lever of een galblaas eruitziet; het is de robot leren om het verhaal van de operatie te begrijpen. In een echte operatiekamer kijkt een chirurg niet alleen naar een statisch plaatje; een chirurg weet welke procedure er plaatsvindt, in welke fase van de operatie hij zich bevindt, en hij herinnert zich wat hij een paar seconden geleden heeft gezien om te begrijpen wat hij nu ziet.

Dit artikel introduceert twee zaken om computers beter te laten worden in dit "chirurgische verhalenvertellen": een enorme nieuwe bibliotheek van chirurgische video's en een slim nieuw AI-model dat deze kan lezen.

1. De Nieuwe Bibliotheek: ATLAS-120k

Beschouw eerdere datasets van chirurgische video's als een kleine collectie fotoalbums die slechts één type operatie laten zien (zoals alleen blindedarmoperaties) of slechts een paar specifieke scènes. Ze waren te klein en te repetitief om een computer te leren hoe hij moet omgaan met de chaotische, gevarieerde realiteit van het echte leven.

De auteurs creëerden ATLAS-120k, wat lijkt op het bouwen van een enorme, uitgebreide encyclopedie van chirurgie.

De Schaal: Het bevat meer dan 120.000 geannoteerde frames (individuele plaatjes) afkomstig van 100 verschillende chirurgische video's.
De Variëteit: In plaats van slechts één type operatie, beslaat het 14 verschillende procedures (zoals het verwijderen van een galblaas, het repareren van een colon of het verwijderen van een nier). Het bevat zowel standaard laparoscopische chirurgie (met lange instrumenten en een camera) als robot-geassisteerde chirurgie.
De Kwaliteit: Om ervoor te zorgen dat de labels perfect waren, gebruikte het team een "human-in-the-loop"-benadering. Stel je een team van deskundige chirurgen en assistenten voor die handmatig het eerste frame van een video labelen, waarna een slimme computer die labels naar de volgende frames kopieert. Als de computer een fout maakte, corrigeerde een mens dit. Daarna controleerde een senior chirurg het werk nogmaals. Dit zorgde ervoor dat het "woordenboek" waar de AI van leert, accuraat is.

2. Het Nieuwe Brein: ATLAS-model

Nu ze de bibliotheek hadden, hadden ze een brein nodig om deze te lezen. De meeste huidige AI-modellen voor video zijn als beveiligers die alleen bewegende objecten volgen (zoals een camera die een persoon volgt die loopt). Ze zijn goed in zeggen: "Dat object bewoog van links naar rechts," maar ze zijn slecht in het begrijpen van de context.

In de chirurgie is context alles. Een stuk weefsel kan op het ene moment lijken op een tumor en op het volgende moment op normaal vet, afhankelijk van of de chirurg op dat moment aan het snijden of aan het hechten is.

De auteurs bouwden een model genaamd ATLAS (Anatomy Recognition with Context Learning using Foundation Representations). Zo werkt het, met behulp van een eenvoudige analogie:

Het Fundament: Het model begint met een "voorgetraind brein" (een foundation model) dat al veel weet over afbeeldingen, vergelijkbaar met hoe een medisch student al veel anatomieboeken heeft gelezen voordat hij aan zijn specialisatie begint.
De "Wat"-queries: Het heeft speciale "queries" (zoals post-its) die vragen: "Wat is dit object?" en "Waar is het?".
De "Verhaal"-queries (Het geheime ingrediënt): Dit is de belangrijkste innovatie van het artikel. Het model voegt twee nieuwe soorten post-its toe:
1. Procedure-queries: Deze vertellen het model: "We zijn een galblaas aan het verwijderen." Dit helpt het model te weten dat het naar een galblaas moet zoeken, en niet naar een hart.
2. Fase-queries: Deze vertellen het model: "We bevinden ons momenteel in de 'snijfase', niet in de 'hechtfase'." Dit helpt het model te begrijpen dat de anatomie er op dit moment anders uit kan zien dan vijf seconden geleden.
Het Geheugen: Het model heeft ook een kortetermijngeheugen. Het geeft informatie door van het ene frame naar het volgende, zodat als het een instrument ziet in frame 1, het onthoudt waar dat instrument was in frame 2, zelfs als het zicht even wazig wordt.

3. De Resultaten

Het team heeft dit nieuwe brein getest tegen andere topmodellen.

Betere Nauwkeurigheid: ATLAS versloeg alle andere modellen in het correct identificeren van anatomische structuren.
Stabiliteit: Het was veel beter in het stabiel houden van zijn voorspellingen over de tijd (niet elke seconde wisselen tussen "dit is een lever" en "dit is een nier").
Snelheid: Ondanks dat het slim is, draait het snel genoeg om in real-time te werken (64 frames per seconde), wat cruciaal is tijdens een operatie.

De Kernboodschap

Het artikel stelt dat door een enorme, diverse dataset (ATLAS-120k) te combineren met een model dat het "verhaal" van de operatie begrijpt (ATLAS), ze een veel sterkere basis hebben gelegd voor computers om chirurgische scènes te begrijpen. Ze betogen dat om chirurgie veiliger en nauwkeuriger te maken, AI moet stoppen met alleen naar plaatjes kijken en moet beginnen met het begrijpen van de context, het type procedure en de flow van de tijd.

Noot: Het artikel richt zich strikt op het creëren van deze dataset en dit model om "chirurgisch scènebegrip" te verbeteren. Het beweert niet dat dit systeem momenteel in live operaties wordt gebruikt om patiënten te begeleiden, maar dat het de noodzakelijke instrumenten biedt om dit in de toekomst te kunnen doen.

Technische Samenvatting: Chirurgische Anatomische Herkenning met Context Learning middels Foundation Representaties

Probleemstelling

Nauwkeurige herkenning van anatomische structuren is cruciaal voor een veilige en effectieve minimaal invasieve chirurgie (MIS). De vooruitgang in de chirurgische computer vision voor deze specifieke taak wordt echter gehinderd door twee primaire factoren:

Datatekort: Een gebrek aan grootschalige, diverse en rijk geannoteerde datasets die de variabiliteit van de echte chirurgische praktijk vastleggen. Bestaande datasets kampen vaak met beperkte procedurele diversiteit, weinig video's en een incomplete dekking van anatomische klassen, wat de generalisatie van modellen beperkt.
Methodologische Beperkingen: Conventionele benaderingen geven vaak de voorkeur aan objecttracking of zijn afgestemd op natuurlijke scènes, waardoor ze er niet in slagen om de specifieke contextuele aanwijzingen (bijv. type procedure, chirurgische fase) te benutten waar chirurgen op vertrouwen om anatomie te identificeren onder beperkte gezichtspunten en zonder tactiele feedback.

Methodologie

1. De ATLAS-120k Dataset

De auteurs introduceren ATLAS-120k, een grootschalige clip-niveau semantische segmentatie-dataset ontworpen om databeperkingen aan te pakken.

Schaal en Diversiteit: Bestaande uit meer dan 120.000 geannoteerde frames uit 100 chirurgische video's, beslaat de dataset 14 verschillende procedures (inclusief laparoscopische en robotgeassisteerde MIS) en dekt 42 anatomische klassen.
Annotatie Pipeline: Er werd een schaalbare workflow toegepast bestaande uit:
- Expert handmatige labeling van initiële frames door chirurgische onderzoekers onder supervisie van chirurgen.
- Geautomatiseerde propagatie met behulp van een lichtgewicht object-tracking model.
- Iteratieve verfijning waarbij de tracker op intervallen (10k, 25k, 50k frames) werd bijgesteld op basis van de geannoteerde data.
- Handmatige correctie van propagatiefouten en onafhankelijke verificatie van het eerste frame van elke clip door ervaren chirurgen.
Standaardisatie: Video's werden gedownsampled naar 15 fps, met ruimtelijke resoluties variërend van 480×640 tot 1080×1920.

2. Het ATLAS Model

De auteurs stellen ATLAS voor (Anatomy Recognition with Context Learning using Foundation Representations), een video semantisch segmentatiemodel dat specifiek is gearchitectureerd voor chirurgische anatomie. In tegen tegenstelling tot standaard video-segmentatie, dat sterk gericht is op tracking, integreert ATLAS foundation-model embeddings met context learning.

Architectuur: Gebouwd op EoMT (een state-of-the-art beeldsegmentatiemodel gebruikmakend van ViT encoders en leerbare queries), breidt ATLAS dit uit naar video door context queries te introduceren naast standaard segmentatie- en tracking queries.
Input Representatie: Voor elk frame $t$ $t$ bevat de transformer input $X_t$ $X_{t}$ :
- Visuele patch tokens ( $P_t$ ).
- Leerbare segmentatie queries ( $Q_{seg}$ ).
- Gepropageerde queries van het vorige frame ( $\hat{Q}_{t-1}$ ).
- Context Queries: Leerbare initiële queries voor procedure ( $Q_{proc}$ ) en chirurgische fase ( $Q_{phase}$ ), die in de loop van de tijd worden verfijnd om globale en temporele context te vangen.
Context Mechanismen:
- Procedure Queries: Gecodeerd via een Multi-Layer Perceptron (MLP) om de procedure-label te voorspellen, gesuperviseerd door cross-entropy loss. Dit vangt stabiele, hoog-niveau context (bijv. aanwezigheid van instrumenten, expositiepatronen).
- Phase Queries: Gecodeerd om fijnere temporele variaties te vangen. Een InfoNCE contrastieve loss wordt toegepast om ervoor te zorgen dat embeddings van tijdelijk aangrenzende frames binnen dezelfde clip dicht bij elkaar liggen, terwijl embeddings van verschillende clips of verre tijdstippen worden afgestoten.
Temporele Propagatie: Queries worden van frame $t-1$ naar $t$ gepropageerd met behulp van een lineaire laag, wat zorgt voor kortetermijngeheugen en temporele consistentie, vergelijkbaar met VidEoMT, maar uitgebreid met de nieuwe context dimensies.

Belangrijkste Bijdragen

ATLAS-120k Dataset: Een nieuwe benchmark-dataset die ongekende procedurele diversiteit (14 procedures) en schaal (120k+ frames) biedt, waarmee de kloof tussen single-procedure datasets en de complexiteit van de echte chirurgische praktijk wordt overbrugd.
ATLAS Model: Een nieuwe architectuur die foundation-model representaties combineert met lichtgewicht temporele redenering en expliciete context queries (procedure en fase). Dit ontwerp stelt het model in staat om procedurele kennis te gebruiken om ambiguïteit in anatomische herkenning op te lossen.
Open Bronnen: De modellen, dataset-annotaties en het annotatieplatform worden publiekelijk vrijgegeven om verder onderzoek te faciliteren.

Experimentele Resultaten

Het model werd geëvalueerd op een patiënt-niveau split (70 train, 10 validatie, 20 test) met 30 geconsolideerde klassen.

Prestaties: De ATLAS ViT-L variant behaalde:
- 0.64 AP (Average Precision)
- 0.49 mDice (Mean Dice coefficient)
- 0.79 mVC24 (Mean Video Consistency over 24 frames)
- 64 FPS inferentie snelheid op een NVIDIA H100, wat de real-time haalbaarheid aantoont.
Vergelijkingen: ATLAS presteerde consequent beter dan natuurlijke beeld foundation-modellen (bijv. DINOv2/3, SAM varianten) en in-domain medische modellen (bijv. EndoViT, SurgeNet).
Ablatie Studies:
- Pretraining: In-domain pretraining (gebruikmakend van DINOv3 op de SurgeNet dataset) leverde een substantiële boost op ten opzichte van de standaard gewichten.
- Componenten: Het toevoegen van temporele query propagatie verbeterde AP en AP50. Het integreren van context queries verbeterde verder de detectie, regio-overlap en de temporele consistentie metrieken.
- Efficiëntie: Deze verbeteringen resulteerden in een >20% toename in AP ten opzichte van de baseline, terwijl het aantal parameters met minder dan 1% toenam.

Betekenis en Claims

Het paper claimt dat de combinatie van de ATLAS-120k dataset en het ATLAS model een praktisch fundament legt voor robuust begrip van chirurgische scènes. De auteurs stellen dat:

Context is Cruciaal: Robuuste anatomische perceptie in MIS vereist meer dan alleen visuele tracking; het vereist de integratie van procedurele en fase-afhankelijke context, wat het voorgestelde model succesvol vastlegt.
Overbruggen van de Kloof: Het werk beoogt de kloof te dichten tussen onderzoeksprototypes en klinisch bruikbare, anatomie-bewuste begeleidingssystemen.
Real-World Toepasbaarheid: Door een hoge nauwkeurigheid en temporele consistentie over diverse procedures in real-time aan te tonen, ondersteunt het framework de ontwikkeling van veiligere en intelligentere assistentiesystemen in de operatiekamer.

De auteurs hanteren een bescheiden toon met betrekking tot de absolute Dice-scores, waarbij zij erkennen dat de dataset uitdagend is (zeer ongebalanceerde klassen, long-tail distributie) en positioneren zij ATLAS-120k als een veeleisende benchmark voor toekomstige modellen in plaats van een opgelost probleem.