From Multimodal Observation to Interpretable Suggestions: Counterfactual Time-Expanded Relational Modeling of Surgical Teams

In de hooggespannen omgeving van een operatiekamer hangt het succes van een chirurgische ingreep van veel meer dan alleen de vaste hand van de chirurg. Het rust op de onzichtbare, vloeiende coördinatie van een klein team dat in real time samenwerkt. Wanneer een verpleegkundige een behoefte anticipeert voordat deze wordt uitgesproken, of wanneer een leider zijn toon aanpast om een oplopende spanning te kalmeren, functioneert het team als één efficiënte eenheid. Daarentegen, wanneer de communicatie hapert of rollen vervagen, komt de patiëntveiligheid in gevaar. Jarenlang heeft kunstmatige intelligentie in de geneeskunde zich gericht op de technische aspecten van chirurgie: het analyseren van video om de beweging van een scalpel te volgen of het voorspellen van de duur van een procedure. Deze systemen hebben echter grotendeels het menselijke element van teamwork genegeerd, waarbij de operatiekamer werd behandeld als een podium voor technische uitvoering in plaats van een complex sociaal ecosysteem. De uitdaging was om een computermodel te bouwen dat niet alleen begrijpt wat een team doet, maar ook hoe zij met elkaar interageren, hoe die interacties zich seconde per seconde veranderen, en hoe er nuttig advies kan worden gegeven wanneer zaken beginnen te verlopen, terwijl er gewerkt wordt met zeer beperkte gegevens uit echte chirurgische gevallen.

Een team van onderzoekers van universiteiten in Italië en Noorwegen heeft dit probleem aangepakt door een nieuwe manier te creëren om de dynamiek van chirurgische teams in kaart te brengen. In plaats van te proberen de uitkomst van een operatie te voorspellen op basis van een statische momentopname, bouwden zij een systeem dat het team ziet evolueren, waarbij de groep wordt behandeld als een levend netwerk van verbindingen. Ze namen gesimuleerde knieprothese-operaties op waarbij teams van vier tot zes personen betrokken waren, waarbij alles werd vastgelegd: van de gesproken woorden en de toon van de stem tot de fysieke bewegingen van het personeel en de instrumenten die zij gebruikten. Door deze opnames op te delen in vensters van vijftien seconden, construeerden de onderzoekers een reeks "momentopnamen" die lieten zien met wie er werd gepraat en wat iedereen op dat exacte moment deed. Vervolgens koppelden ze deze momentopnamen aan elkaar om een continue, in de tijd uitgebreide kaart van het gedrag van het team te vormen. Deze structuur stelde de computer in staat om niet alleen de directe relaties tussen teamleden te zien, maar ook hoe die relaties gedurende de procedure uitrekten en verschoven, waardoor het de ritme van een goed functionerend team effectief leerde begrijpen.

De kern van hun ontdekking is een nieuw type neuraal netwerk, een computerprogramma ontworpen om patronen te leren, dat uitblinkt in situaties waarin data schaars is. In de wereld van machine learning hebben modellen vaak enorme hoeveelheden informatie nodig om effectief te leren, maar chirurgische opnames zijn zeldzaam en duur om te produceren. De onderzoekers ontdekten dat hun systeem, door de stroom van de tijd direct in de structuur van hun netwerk in te bedden, robuust kon leren van een kleine set van eenentwintig gesimuleerde procedures. Bij tests presteerde deze aanpak aanzienlijk beter dan bestaande methoden die tijd en relaties apart bekeken. Het was in staat om vijf belangrijke dimensies van teamwork nauwkeurig te voorspellen: hoe goed het team communiceerde, hoe gecoördineerd hun bewegingen waren, hoe coöperatief ze waren, de kwaliteit van het leiderschap en hun gedeelde bewustzijn van de situatie. Het systeem bleek bijzonder effectief in het identificeren van de subtiele signalen dat een team in de problemen raakte, zoals een leider die afgeleid raakt of een verpleegkundige die aarzelen om uit te spreken.

Voorbij het simpelweg voorspellen van wat er gaat gebeuren, ontwikkelden de onderzoekers een methode om actiegerichte suggesties voor verbetering te genereren. Dit is waar het systeem verandert van een passieve waarnemer naar een actieve coach. Door de prestaties van een worstelend team te vergelijken met een bibliotheek van succesvolle voorbeelden, kan het systeem de kleinste, meest specifieke veranderingen identificeren die nodig zijn om een slecht resultaat in een goed resultaat te veranderen. Deze suggesties zijn geen vage aanbevelingen, maar concrete, interpreteerbare instructies. Als het systeem bijvoorbeeld detecteert dat het situationeel bewustzijn van een team daalt door te veel irrelevante gespreksstof, kan het suggereren om die specifieke, zijdelings relevante interacties te verwijderen. In een ander scenario, als de toon van een leider als agressief wordt ervaren en ervoor zorgt dat het team dichtklapt, kan het systeem een verschuiving suggereren naar een kalmere, meer coöperatieve spreekstijl. Deze inzichten worden verkregen door een vergelijkbaar moment in een succesvolle operatie te vinden en precies te tonen wat er anders was, waardoor een duidelijk pad wordt geboden dat het team kan volgen.

De onderzoekers valideerden deze bevindingen door middel van rigoureuze tests, waarbij zij hun nieuwe methode vergeleken met een breed scala aan bestaande modellen, van eenvoudige statistische instrumenten tot complexe deep learning-systemen. Hun aanpak behaalde consequent een hogere nauwkeurigheid in het voorspellen van de kwaliteit van teamwork, waarbij de prestaties met ongeveer zeven procent werden verbeterd ten opzichte van de op één na beste methode. Belangrijker nog, toen menselijke experts de door het systeem gegenereerde suggesties evalueerden, vonden zij deze realistischer en nuttiger dan die van andere geavanceerde technieken. De suggesties waren tijdig en verschenen op het moment dat een interventie het meest nuttig zou zijn, en ze richtten zich op de grondoorzaken van de problemen in plaats van alleen op de symptomen. Hoewel de studie werd uitgevoerd met gesimuleerde operaties op hoogwaardige dummy's in plaats van op levende patiënten, demonstreren de resultaten een krachtige nieuwe capaciteit: het vermogen om kunstmatige intelligentie te gebruiken om het sociale weefsel van medische teams te begrijpen en te ondersteunen. Dit werk suggereert een toekomst waarin technologie niet alleen de handen van de chirurg assisteert, maar ook helpt om het gehele team effectiever samen te laten werken, wat de operatiekamer potentieel een veiligere plek maakt voor iedereen die erbij betrokken is.