Sterilizable Scene Graph Generation for Operating Rooms

In einem Operationssaal ist die Luft erfüllt von der stillen Intensität eines lebensrettenden Eingriffs. Jede Bewegung der Hand eines Chirurgen, jede Verschiebung eines chirurgischen Instruments und jede subtile Veränderung des behandelten Gewebes erzählt eine Geschichte. Seit Jahrzehnten haben Computer Schwierigkeiten, diese Geschichte zu lesen. Sie können die Pixel auf einem Bildschirm sehen, aber sie können die Beziehungen zwischen den Objekjekten, die sie sehen, nicht ohne Weiteres verstehen: dass eine Metallfasszange ein Stück Gewebe hält oder dass ein Haken hindurchschneidet. Diese Fähigkeit, die Szene abzubilden – also nicht nur zu verstehen, was vorhanden ist, sondern auch, wie die Dinge miteinander interagieren – wird als Scene Graph Generation bezeichnet. Sie ist der Schlüssel dazu, Maschinen ein ganzheitliches Verständnis der Chirurgie zu vermitteln, was Ärzten eines Tages helfen könnte, indem sie Echtzeit-Anleitungen bereitstellen oder automatische Aufzeichnungen der Operation erstellen. Die leistungsstarken Computer, die derzeit dazu in der Lage sind, benötigen jedoch massive Workstations, die zu groß, zu heiß und zu schwierig steril zu halten sind für die empfindliche Umgebung eines Operationssaals.

Ein Forschungsteam hat nun einen Weg gefunden, diesen komplexen Denkprozess auf eine Größe zu schrumpfen, die auf ein einfaches, lüfterloses Gerät passt. Sie entwickelten eine neue Methode namens SG-Nca, die es einem Computer ermöglicht, ein chirurgisches Video zu beobachten und augenblicklich eine strukturierte Karte der Szene zu erstellen, wobei Werkzeuge und Körperteile identifiziert und deren Beziehung zueinander beschrieben werden. Der Durchbruch liegt darin, wie sie das System aufgebaut haben. Anstatt die enormen, schweren Softwaremodelle zu verwenden, die normalerweise diese Art von künstlicher Intelligenz antreiben, wandten sie sich einem viel leichteren Ansatz zu, der davon inspiriert ist, wie einfache Zellen ihren Zustand basierend auf ihren Nachbarn aktualisieren. Indem sie dieses System in einem schrittweisen Lehrplan trainierten, der mit den häufigsten Objekten begann und nach und nach weitere hinzufügte, brachten sie ihm bei, die spezifischen Instrumente und die Anatomie von Augen- und Gallenblasenoperationen zu erkennen. Das Ergebnis ist ein System, das genauso gut funktioniert wie die riesigen Modelle, die in Forschungslaboren verwendet werden, aber nur ein Fünfundfünfzigstel weniger interne Einstellungen benötigt, um zu laufen.

Die Forscher testeten ihr neues System an Videos von Kataraktoperationen (Grauer Star) und Gallenblasenentfernungen – zwei gängigen Eingriffen, bei denen Präzision alles ist. Sie fanden heraus, dass ihr leichtgewichtiges Modell die chirurgischen Instrumente und Körperteile mit einer Genauigkeit identifizieren konnte, die mit den besten bestehenden Methoden mithielt, obwohl es im Vergleich dazu winzig war. Während die Standardmodelle, die zum Vergleich herangezogen wurden, Millionen von Parametern enthielten – jenen internen Reglern und Stellschrauben, die ein Computer anpasst, um zu lernen –, benötigte ihr neues System nur einen Bruchteil davon. Tatsächlich war das gesamte System so klein, dass es auf einem Standard-Smartphone oder einem kleinen, stromsparenden Computerboard laufen konnte, ohne eine dedizierte Grafikkarte oder einen leistungsstarken Server zu benötigen. Dies ist für den Operationssaal von großer Bedeutung. Die großen Computer, die derzeit für diese Arbeit verwendet werden, besitzen oft Lüfter, die Luft ausblasen können, was Staub und Bakterien verbreiten kann – ein großes Risiko in einer sterilen chirurgischen Umgebung. Sie nehmen zudem wertvollen Platz in einem Raum ein, der ohnehin schon voll mit Geräten ist. Das neue System hingegen kann auf versiegelten, lüfterlosen Geräten laufen, die leicht abwischbar und zu sterilisieren sind, wodurch die Luft sauber bleibt und die Daten innerhalb des Raumes sicher bleiben.

Über die bloße Identifizierung von Objekten hinaus demonstrierte das System seine Fähigkeit, den Fluss der Operation zu verstehen. Es konnte einfache Sätze generieren, die beschrieben, was gerade geschah, wie etwa die Feststellung, dass eine Fasszange eine Gallenblase zurückhält, während ein Haken sie dissekiert. Diese Fähigkeit deutet darauf an, dass das System über die einfache Detektion hinaus zu einem tieferen Verständnis des chirurgischen Narrativs gelangen kann. Das Team zeigte auch, dass diese Technologie am „Edge“ des Netzwerks eingesetzt werden kann, was bedeutet, dass die Verarbeitung direkt am Patientenbett stattfindet, anstatt an einen entfernten Cloud-Server gesendet zu werden. Dies hält die Patientendaten privat und eliminiert die Verzögerung, die entsteht, wenn Informationen über das Internet versendet werden. Indem sie bewiesen haben, dass ein derart kleines System die Komplexität einer echten Operation bewältigen kann, haben die Forscher die Tür zu einer Zukunft geöffnet, in der fortschrittliche chirurgische Intelligenz nicht hinter massiven, sterilisationsunfreundlichen Barrieren verschlossen ist, sondern auf erschwinglicher, hygienischer Hardware zugänglich ist, die sich natürlich in den Ablauf des Operationssaals einfügt.