AENEAS Project: First real-time intraoperative application of machine vision-based anatomical guidance in neurosurgery

Dit artikel beschrijft voor het eerst de succesvolle implementatie van een real-time machine-vision systeem (AENEAS Project) tijdens endoscopische neurochirurgie, dat met een gemiddelde latentie van 47,81 ms en een AP50-score van 0,56 anatomische structuren automatisch identificeert om de chirurgische oriëntatie en training te verbeteren.

De kern

Stel je voor dat je een heel complexe puzzel moet leggen, maar dan in het donker en met je handen gebonden. Dat is wat een neurochirurg soms doet: hij moet door een heel smal, donker tunnelletje in de hersenen werken, waar elke millimeter telt en waar één verkeerde beweging rampzalig kan zijn.

Het AENEAS-project is als het uitvinden van een magische bril die deze chirurg plotseling op kan zetten. Hier is hoe het werkt, vertaald naar alledaags taal:

1. De "Slimme Camera" (Machine Vision)
Vroeger keken chirurgen alleen naar wat ze met het blote oog zagen op het scherm. Met dit nieuwe systeem krijgen ze een virtuele assistent die meekijkt. Deze assistent is een computerprogramma dat is getraind om anatomische structuren (zoals zenuwen en bloedvaten) direct te herkennen, alsof het een super-scherpe hond is die specifieke geuren in de lucht ruikt.

2. De "Racewagen" (De Technologie)
Om deze assistent snel genoeg te maken voor een live operatie, hebben de wetenschappers de beste tools gebruikt:

• YOLOv8: Dit is het brein van de assistent. Het is zo slim dat het in één oogopslag kan zien wat er gebeurt.
• NVIDIA TensorRT & Holoscan: Stel je voor dat je een racewagen hebt. Je kunt hem niet laten rijden met een fietswiel. Deze technologieën zijn de turbo-laders en aerodynamische carrosserie die ervoor zorgen dat de computer razendsnel denkt.
• De Hardware: Het systeem draait op een krachtige computer (de AGX), die fungeert als het hersenstamcel van de operatiekamer.

3. De "Live Navigatie" (Wat gebeurt er tijdens de operatie?)
Tijdens de operatie (die via de neus wordt gedaan, dus een heel kleine ingreep) kijkt de camera naar het beeld.

• Vroeger: De chirurg moest zelf raden: "Is dat nu een zenuw of een bloedvat?"
• Nu: Het systeem ziet het beeld en plakt direct digitale labels op het scherm. Het is alsof je een GPS hebt die niet alleen de weg aangeeft, maar ook direct op het dashboard zegt: "Pas op, links is een afgrond!"

4. Hoe snel en nauwkeurig is het?

• Snelheid: Het systeem is zo snel dat het bijna onmerkbaar is. Het kost slechts 47 milliseconden om een beeld te zien, te analyseren en het antwoord terug te sturen. Dat is sneller dan het knipperen van een oog. Het voelt voor de chirurg alsof het direct gebeurt.
• Nauwkeurigheid: Het systeem heeft ongeveer 56% van de belangrijke plekken perfect herkend. In de wereld van AI en complexe operaties is dit een enorme stap vooruit. Het is niet nog perfect (100%), maar het is betrouwbaar genoeg om als een veiligheidsnet te fungeren.

Waarom is dit zo belangrijk?
Dit is de eerste keer in de geschiedenis dat zo'n systeem echt live wordt gebruikt in een operatiekamer.

• Minder stress: De chirurg hoeft niet meer alles zelf te onthouden of te raden. Het systeem doet het zware denkwerk.
• Leren: Voor jonge chirurgen is het als een virtuele leraar die direct naast je staat en fluistert: "Kijk hier, dit is een belangrijke structuur."

Kortom: Het AENEAS-project heeft bewezen dat kunstmatige intelligentie niet alleen in theorie werkt, maar ook daadwerkelijk kan helpen om neurochirurgie veiliger, sneller en overzichtelijker te maken. Het is de eerste stap naar een toekomst waarin elke operatie wordt ondersteund door een slimme, onzichtbare partner.

Technische samenvatting

Technische Samenvatting: AENEAS-project

1. Het Probleem
Hoewel er reeds veelbelovende systemen bestaan voor de offline herkenning van anatomische structuren in de neurochirurgie, ontbreekt het tot nu toe aan implementaties die tijdens live operaties (intraoperatief) in real-time functioneren. Chirurgische ingrepen, zoals endoscopische endonasale chirurgie, vereisen een hoge mate van precisie en oriëntatie. Het gebrek aan automatische, real-time hulpmiddelen zorgt voor een hogere cognitieve belasting voor de chirurg en beperkt de mogelijkheden voor geautomatiseerde training en navigatie tijdens de daadwerkelijke procedure.

2. Methodologie
Het AENEAS-project introduceert het eerste systeem dat machine vision in real-time toepast tijdens neurochirurgische ingrepen. De technische aanpak omvat de volgende stappen:

• Modelarchitectuur: Een model voor anatomische detectie is getraind met behulp van de YOLOv8-architectuur (Ultralytics) binnen een PyTorch-omgeving.
• Optimalisatie voor inferentie: Na het trainen is het model geëxporteerd naar ONNX-formaat en vervolgens geoptimaliseerd met de NVIDIA TensorRT-engine. Deze stap is cruciaal voor het behalen van de benodigde snelheid voor real-time toepassingen.
• Implementatie en Hardware: Het systeem is gedeployd met de NVIDIA Holoscan SDK en draait op een NVIDIA Clara AGX developer kit.
• Validatie: Het model werd getest op de real-time herkenning van anatomische structuren tijdens endoscopische endonasale chirurgie. De prestaties werden vergeleken met handmatig gelabelde video als referentiepunt.
• Metingen: De prestaties werden gemeten aan de hand van de Average Precision bij een Intersection-over-Union (IoU) drempel van 0,5 (AP50). Daarnaast werd de end-to-end latency gemeten, gedefinieerd als de vertraging tussen het vastleggen van een frame en het tonen van de geannoteerde output.

3. Belangrijkste Resultaten

• Detectieprecisie: Het systeem bereikte een gemiddelde AP50 van 0,56. Dit toont aan dat het model betrouwbare detecties kan uitvoeren van de meest relevante anatomische landmarks in het transsphenoidale corridor.
• Snelheid (Latentie): De gemiddelde end-to-end latency bedroeg 47,81 ms (met een mediaan van 46,57 ms). Deze lage latentie is essentieel om te voorkomen dat er een merkbare vertraging optreedt ten opzichte van de live chirurgische beelden, wat het systeem geschikt maakt voor real-time gebruik.

4. Kernbijdragen

• Eerste Intraoperatieve Toepassing: Dit paper rapporteert voor het eerst de succesvolle inzet van een real-time machine vision-systeem in de neurochirurgie, een stap voorbij de eerder beperkte offline analyses.
• End-to-End Integratie: Het project demonstreert een volledig werkende pipeline, van het trainen van het AI-model tot de hardware-acceleratie en de live weergave tijdens een operatie.
• Klinische Haalbaarheid: Het bewijst dat klinisch grade, real-time AI-ondersteuning technisch haalbaar is binnen de huidige neurochirurgische workflows.

5. Betekenis en Impact
De resultaten van het AENEAS-project markeren een mijlpaal in de integratie van kunstmatige intelligentie in de chirurgie. De betekenis ligt in de volgende aspecten:

• Verbeterde Oriëntatie: Het systeem kan chirurgische oriëntatie verbeteren door continu automatische anatomische gidsen te bieden.
• Cognitieve Belasting: Door automatische detectie kan de cognitieve belasting van de chirurg worden verlaagd, wat de veiligheid van de ingreep kan vergroten.
• Opleiding: Het biedt een krachtig hulpmiddel voor chirurgische training door real-time feedback te geven.
• Toekomstperspectief: Dit vormt een eerste stap naar het normaliseren van real-time AI-ondersteuning in de routine van neurochirurgische praktijken.