AENEAS Project: First real-time intraoperative application of machine vision-based anatomical guidance in neurosurgery

Das AENEAS-Projekt demonstriert erstmals die Machbarkeit eines klinisch einsatzfähigen, Echtzeit-Maschinen-Vision-Systems auf Basis von YOLOv8 und NVIDIA TensorRT, das während endoskopischer endonasaler Neurochirurgie automatisch anatomische Strukturen erkennt und somit die intraoperative Orientierung sowie das Training unterstützt.

Das Wesentliche

Stellen Sie sich vor, Sie navigieren durch ein riesiges, dunkles Labyrinth aus lebendigem Fleisch – das ist die Welt der Neurochirurgie, speziell wenn Ärzte durch die Nase in Richtung des Gehirns operieren. Ein winziger Fehler kann hier katastrophal sein. Die Ärzte müssen sich auf ihre Erfahrung und ihre Augen verlassen, um die winzigen, lebenswichtigen Strukturen zu erkennen.

Das AENEAS-Projekt ist wie der erste echte „Super-Navi" für diese Operationen, der nicht nur auf einer Karte basiert, sondern die Umgebung in Echtzeit versteht.

Hier ist die Geschichte des Projekts, einfach erklärt:

1. Das Problem: Der Blick in den Nebel

Bisher konnten Computer zwar auf Fotos von Operationen analysieren, was sie sehen (wie ein Schüler, der nach der Prüfung die Lösungen nachschaut). Aber niemand hat es geschafft, einen Computer so schnell und zuverlässig zu machen, dass er während der Operation live mitdenkt. Es war, als würde man versuchen, einen Sportwagen mit einem Fahrradmotor anzutreiben – viel zu langsam für den echten Einsatz.

2. Die Lösung: Ein Gehirn, das nie schläft

Das Team hat eine künstliche Intelligenz (KI) entwickelt, die wie ein extrem aufmerksamer Assistent funktioniert.

• Der Motor (YOLOv8 & TensorRT): Sie haben einen sehr schnellen KI-Motor gebaut. Stellen Sie sich vor, die KI ist wie ein Rennwagen-Fahrer, der nicht nur die Strecke kennt, sondern auch noch die Reifen so optimiert hat, dass er bei jedem Kurvenwechsel sofort reagiert.
• Die Hardware (NVIDIA Clara AGX): Damit dieser Rennwagen auch wirklich schnell fährt, haben sie ihn in einen speziellen, hochleistungsfähigen Computer gepackt, der für medizinische Aufgaben gemacht ist.

3. Der Test: Live im Operationssaal

Während einer echten Operation (Endoskopie durch die Nase) hat das System das Live-Bild der Kamera analysiert.

• Was hat es gemacht? Es hat sofort erkannt: „Achtung, das hier ist ein Nerv, das hier ist ein Blutgefäß, und das ist der Weg zum Ziel."
• Wie schnell war es? Das System brauchte nur 47 Millisekunden von der Aufnahme des Bildes bis zur Anzeige der Warnung. Das ist schneller als ein menschliches Augenzwinkern. Es ist so schnell, dass der Chirurg das Gefühl hat, die KI wäre direkt in seinem Kopf.

4. Das Ergebnis: Ein zuverlässiger Co-Pilot

Die KI hat in 56 % der Fälle die Strukturen perfekt erkannt und markiert. Das klingt vielleicht nicht nach 100 %, aber in der Welt der Chirurgie ist das ein riesiger Fortschritt. Es ist wie ein Navigator, der bei schlechtem Wetter immer noch die wichtigsten Straßenzeichen erkennt und dem Fahrer sagt: „Hier lang, nicht dort!"

Warum ist das so wichtig?

Stellen Sie sich vor, Sie fliegen ein Flugzeug bei starkem Nebel. Ein guter Co-Pilot, der Ihnen sagt, wo die Landebahn ist, nimmt Ihnen eine enorme Menge an Stress und Konzentration ab. Genau das tut AENEAS für Neurochirurgen:

• Es gibt ihnen Sicherheit in der dunklen, komplexen Anatomie.
• Es entlastet ihr Gehirn, damit sie sich auf das Wesentliche konzentrieren können.
• Es ist ein Lehrmeister für junge Ärzte, die lernen müssen, was sie da sehen.

Fazit:
Dies ist der erste Schritt, bei dem künstliche Intelligenz nicht mehr nur im Labor sitzt, sondern tatsächlich im OP-Saal mitarbeitet. Es ist der Beweis, dass wir bald Operationen haben werden, bei denen die KI wie ein unsichtbarer, wachsender Partner die Hände des Chirurgen führt und so Patienten sicherer macht.

Technische Zusammenfassung

1. Problemstellung

Bisherige Systeme zur automatisierten anatomischen Erkennung in der Neurochirurgie zeigten zwar vielversprechende Ergebnisse im Offline-Modus (Verarbeitung von aufgezeichneten Videos), jedoch fehlte bislang eine Implementierung während Live-Operationen. Die Herausforderung bestand darin, ein maschinelles Vision-System zu entwickeln, das in der Lage ist, anatomische Strukturen während einer endoskopischen endonasalen Chirurgie in Echtzeit zu identifizieren, ohne die Operation zu verzögern oder die kognitive Belastung des Chirurgen unnötig zu erhöhen.

2. Methodik

Das Team des AENEAS-Projekts entwickelte einen vollständigen Pipeline für die Echtzeit-Detektion, der folgende technische Komponenten und Schritte umfasste:

• Modellarchitektur: Es wurde ein Detektionsmodell auf Basis der YOLOv8-Architektur (von Ultralytics) trainiert, um intraoperative anatomische Strukturen automatisch zu erkennen.
• Trainingsumgebung: Das Training erfolgte in der PyTorch-Umgebung.
• Optimierung und Export: Nach dem Training wurde das Modell in das ONNX-Format exportiert und anschließend mit der NVIDIA TensorRT-Engine optimiert, um die Inferenzgeschwindigkeit zu maximieren.
• Deployment-Plattform: Die Integration und Ausführung erfolgte über das NVIDIA Holoscan SDK auf einem NVIDIA Clara AGX Developer Kit. Dies ermöglichte eine nahtlose Verarbeitung des Videostreams direkt im Operationssaal.
• Validierung: Die Leistung des Modells wurde durch den Vergleich der Echtzeit-Erkennung mit manuell gelabelten Referenz-Videos bewertet.
• Metriken:
  • Präzision: Gemessen als Average Precision bei einem Intersection-over-Union (IoU)-Schwellenwert von 0,5 (AP50).
  • Latenz: Die End-to-End-Verzögerung (von der Bildaufnahme bis zur Anzeige der annotierten Ausgabe) wurde gemessen.

3. Schlüsselergebnisse

Die Studie lieferte folgende quantitative und qualitative Ergebnisse:

• Erkennungsgenauigkeit: Das System erreichte eine mittlere AP50 von 0,56. Dies belegt eine zuverlässige Detektion der relevantesten anatomischen Landmarken im transsphenoidalen Korridor (dem Zugangsweg bei endonasalen Eingriffen).
• Echtzeit-Performance: Die durchschnittliche End-to-End-Latenz betrug 47,81 ms (Median: 46,57 ms). Diese Latenz liegt deutlich unter der menschlichen Wahrnehmungsschwelle für Verzögerungen und ist für eine Echtzeit-Anwendung während einer Operation geeignet.
• Funktionalität: Das System konnte kontinuierlich anatomische Strukturen während des Eingriffs identifizieren und visualisieren.

4. Hauptbeiträge

• Erstmalige klinische Anwendung: Dies ist der erste Nachweis einer Echtzeit-Implementierung eines maschinellen Vision-Systems zur anatomischen Führung direkt während einer neurochirurgischen Operation.
• Technische Pipeline: Demonstration einer vollständigen, klinisch tauglichen Pipeline von der Modellentwicklung (PyTorch) über die Optimierung (TensorRT) bis zum Deployment (Holoscan/AGX) in einem chirurgischen Umfeld.
• Beweis der Machbarkeit: Der Nachweis, dass KI-gestützte, automatisierte Guidance-Systeme nicht nur theoretisch, sondern praktisch in den chirurgischen Workflow integrierbar sind.

5. Bedeutung und Ausblick

Die Ergebnisse des AENEAS-Projekts markieren einen Meilenstein in der neurochirurgischen Technologie:

• Verbesserung der Orientierung: Das System bietet Chirurgen eine kontinuierliche, automatisierte Orientierungshilfe im Operationsfeld, was besonders in komplexen anatomischen Regionen wie dem transsphenoidalen Korridor wertvoll ist.
• Reduktion der kognitiven Last: Durch die automatische Markierung von Strukturen wird die mentale Belastung des Chirurgen verringert, da er sich weniger auf das mentale Mapping der Anatomie konzentrieren muss.
• Ausbildung: Das Tool stellt ein mächtiges Instrument für die chirurgische Ausbildung dar, indem es Anfängern Echtzeit-Feedback zur Anatomie gibt.
• Zukunftsperspektive: Diese Studie legt den Grundstein für die Integration von Echtzeit-KI-Unterstützung in den Routine-Workflow der Neurochirurgie und ebnet den Weg für zukünftige, noch komplexere Assistenzsysteme.