Sterilizable Scene Graph Generation for Operating Rooms

In een operatiekamer is de lucht dik van de stille intensiteit van een levensreddende procedure. Elke beweging van de hand van een chirurg, elke verschuiving van een chirurgisch instrument en elke subtiele verandering in het te behandelen weefsel vertelt een verhaal. Decennialang hebben computers moeite gehad om dat verhaal te lezen. Ze kunnen de pixels op een scherm zien, maar ze kunnen niet gemakkelijk de relaties tussen de objecten die ze zien begrijpen: dat een metalen grijper een stuk weefsel vasthoudt, of dat een haakje erdoorheen snijdt. Dit vermogen om de scène in kaart te brengen, om niet alleen te begrijpen wat er aanwezig is, maar ook hoe dingen met elkaar interageren, wordt scene graph generation genoemd. Het is de sleutel tot het geven van een holistisch begrip van chirurgie aan machines, wat artsen op een dag zou kunnen helpen door realtime begeleiding te bieden of automatische verslagen van de operatie te maken. Echter, de computers die krachtig genoeg zijn om dit te doen, vereisen momenteel enorme werkstations die te groot, te heet en te moeilijk steriel te houden zijn voor de delicate omgeving van een operatiekamer.

Een team van onderzoekers heeft nu een manier gevonden om dit complexe denkproces te verkleinen tot een omvang die past op een eenvoudig, ventilatorloos apparaat. Ze ontwikkelden een nieuwe methode genaamd SG-NCA, waarmee een computer een chirurgische video kan bekijken en direct een gestructureerde kaart van de scène kan opbouwen, waarbij instrumenten en lichaamsdelen worden geïdentificeerd en hun onderlinge relaties worden beschreven. De doorbraak ligt in de manier waarop ze het systeem hebben gebouwd. In plaats van de enorme, zware softwaremodellen die normaal gesproken dit soort kunstmatige intelligentie aandrijven, kozen ze voor een veel lichtere aanpak, geïnspireerd door de manier waarop eenvoudige cellen hun staat bijwerken op basis van hun buren. Door dit systeem via een stapsgewijs curriculum te trainen, beginnend met de meest voorkomende objecten en langzaam meer toe te voegen, leerden ze het systeem de specifieke instrumenten en anatomie van oog- en galblaasoperaties te herkennen. Het resultaat is een systeem dat net zo goed presteert als de gigantische modellen die in onderzoekslaboratoria worden gebruikt, maar dat slechts een vijfenvijftig keer minder interne instellingen nodig heeft om te draaien.

De onderzoekers testten hun nieuwe systeem op video's van staaroperaties en galblaasverwijderingen, twee veelvoorkomende procedures waarbij precisie alles is. Ze ontdekten dat hun lichtgewicht model de chirurgische instrumenten en lichaamsdelen kon identificeren met een nauwkeurigheid die overeenkwam met de beste bestaande methoden, ondanks dat het in vergelijking daarmee piepklein is. Terwijl de standaardmodellen die voor vergelijking werden gebruikt miljoenen parameters bevatten — de interne knoppen en schuiven waar een computer aan past om te leren — had hun nieuwe systeem slechts een fractie daarvan nodig. Sterker nog, het hele systeem was zo klein dat het kon draaien op een standaard smartphone of een kleine, energiezuinige computerboard zonder een dedicated grafische kaart of een krachtige server nodig te hebben. Dit is van groot belang voor de operatiekamer. De grote computers die momenteel voor dit werk worden gebruikt, hebben vaak ventilatoren die lucht blazen, wat stof en bacteriën kan verspreiden, een groot risico in een steriele chirurgische omgeving. Ze nemen ook waardevolle ruimte in beslag in een kamer die al vol staat met apparatuur. Het nieuwe systeem kan daarententegen draaien op afgesloten, ventilatorloze apparaten die gemakkelijk af te nemen en te steriliseren zijn, waardoor de lucht schoon blijft en de gegevens veilig binnen de kamer zelf blijven.

Naast het simpelweg identificeren van objecten, demonstreerde het systeem zijn vermogen om de flow van de operatie te begrijpen. Het kon eenvoudige zinnen genereren die beschreven wat er gebeurde, zoals het opmerken dat een grijper een galblaas terugtrekt terwijl een haakje deze ontleedt. Dit vermogen suggereont dat het systeem verder kan gaan dan eenvoudige detectie naar een dieper begrip van het chirurgische narratief. Het team toonde ook aan dat deze technologie aan de 'edge' van het netwerk kan worden ingezet, wat betekent dat de verwerking direct aan het bed plaatsvindt in plaats van dat de informatie naar een verre cloudserver wordt gestuurd. Dit houdt patiëntgegevens privé en elimineert de vertraging die gepaard gaat met het verzenden van informatie over het internet. Door te bewijzen dat een systeem dat zo klein is een dergelijke complexiteit van een echte operatie aankan, hebben de onderzoekers de deur geopend naar een toekomst waarin geavanceerde chirurgische intelligentie niet langer achter massieve, steriele-proof barrières verborgen zit, maar toegankelijk is op betaalbare, hygiënische hardware die natuurlijk past in de flow van de operatiekamer.