Actionable Real-Time Modeling of Surgical Team Dynamics via Time-Expanded Interaction Graphs

Ce papier propose un système d'IA chirurgicale en temps réel qui modélise la dynamique d'équipe à l'aide de graphes d'interaction étendus dans le temps pour prédire l'efficacité procédurale et générer des insights contrefactuels et exploitables afin d'améliorer la communication et la coordination peropératoires.

L'essentiel

Imaginez le bloc opératoire (BO) non pas uniquement comme un lieu où l'on pratique des chirurgies, mais comme un orchestre à hauts enjeux. Les chirurgiens, les infirmiers et les anesthésistes sont les musiciens. Pour que la chirurgie se déroule sans accroc, ils doivent jouer en parfaite harmonie. Si le violoniste (le chirurgien) commence à se disputer avec le batteur (l'infirmier) au sujet du tempo, ou si l'ensemble du groupe cesse d'écouter le chef d'orchestre, la musique s'effondre et le spectacle traîne en longueur.

Ce papier présente un nouveau système de « chef d'orchestre intelligent » conçu pour écouter cet orchestre en temps réel et suggérer comment retrouver le cap.

Le Problème : L'IA « Silencieuse »

Les systèmes d'IA actuels en chirurgie sont comme des caméras qui ne regardent que les mains. Ils peuvent voir si un chirurgien coupe correctement ou si un instrument est utilisé, mais ils sont « sourds » à la conversation et à la coordination de l'équipe. Ils manquent le fait qu'une chirurgie puisse prendre du retard parce que l'équipe est confuse, se dispute, ou ne communique pas efficacement entre ses membres.

Les auteurs soutiennent que le temps est le tableau de score ultime. Si une chirurgie prend plus de temps que prévu, cela signifie généralement que l'« orchestre » de l'équipe est désynchronisé. Des chirurgies plus longues signifient des risques plus élevés pour le patient et des coûts beaucoup plus élevés pour l'hôpital.

La Solution : La Carte « Temporellement Étendue »

Pour résoudre ce problème, les chercheurs ont construit un nouveau type de modèle d'IA appelé TE-ReNN. Voici comment cela fonctionne, en utilisant une analogie simple :

Imaginez que vous essayez de comprendre un embouteillage.

• L'ancienne IA : Prend une seule photo du trafic. Elle voit que les voitures sont à l'arrêt, mais elle ne sait pas pourquoi ni comment le flux de circulation a changé au cours des 10 dernières minutes.
• Cette nouvelle IA : Construit une carte-movie 3D du trafic. Elle ne regarde pas seulement les voitures ; elle relie chaque voiture à toutes les autres voitures et relie chaque voiture à sa propre position d'il y a une minute, d'il y a deux minutes, et ainsi de suite.

Dans le papier, cela s'appelle un Graphe d'Interaction Temporellement Étendu.

1. Les Nœuds (Les Personnes) : Chaque membre de l'équipe est un point sur la carte.
2. Les Arêtes (La Parole) : Lorsqu'une personne parle, l'IA dessine une ligne la reliant à toutes les autres personnes dans la pièce (car dans un BO, tout le monde entend tout le monde).
3. Les Lignes Temporelles : L'IA relie le « point » d'une personne à la minute 1 à son « point » à la minute 2. Cela permet à l'IA de voir comment le comportement d'une personne évolue. Le chirurgien est-il devenu plus silencieux ? L'infirmier a-t-il commencé à crier ?

En examinant cette carte 3D, l'IA peut prédire si la chirurgie va prendre du retard, même avant que le retard ne devienne évident pour l'œil humain.

La Magie du « Et Si » : Conseils Actionnables

La partie la plus cool de ce papier est que l'IA ne dit pas simplement : « Vous allez être en retard ». Elle agit comme un simulateur de vol pour le comportement.

Les chercheurs ont demandé à l'IA : « Quel est le plus petit changement que nous pourrions apporter au comportement de l'équipe pour rendre la chirurgie plus rapide ? » Cela s'appelle une Analyse Contrefactuelle.

L'IA exécute des milliers de scénarios « Et si » :

• Et si le chirurgien arrêtait de parler à l'infirmier qui n'est pas impliqué dans cette étape ?
• Et si le chef d'équipe devenait plus « calme et coopératif » au lieu d'être « agité » ?

L'IA a découvert que de petits ajustements comptent beaucoup. Par exemple, si un leader passe d'un état « agité » à « calme », ou s'il arrête d'avoir des conversations parallèles avec des personnes ne travaillant pas sur la tâche actuelle, le temps de chirurgie prédit chute considérablement. Le papier affirme que modifier seulement 10 % des schémas de comportement de l'équipe pourrait améliorer l'efficacité prédite de 50 %.

Comment Ils L'Ont Testé

Ils ont testé cela sur un ensemble de données de chirurgies du genou simulées (comme un jeu vidéo de formation pour les chirurgiens). Ils disposaient de 27 procédures simulées avec des équipes de 4 à 6 personnes.

Ils ont comparé leur nouvelle IA de « Carte Temporellement Étendue » à des méthodes plus anciennes :

• Ancienne IA : Regardait simplement des caractéristiques (comme le volume de la voix) sans relier les personnes.
• Ancienne IA : Regardait le temps mais ignorait qui parlait à qui.
• Ancienne IA : Regardait les connexions mais ignorait comment les choses changeaient au fil du temps.

Le Résultat : La nouvelle IA de « Carte Temporellement Étendue » était le gagnant clair. Elle était la meilleure pour prédire si une chirurgie serait lente, moyenne ou rapide.

La Conclusion

Ce papier présente un outil qui écoute la « musique » du bloc opératoire. Au lieu de simplement regarder la chirurgie, il cartographie comment l'équipe parle et bouge au fil du temps. Il peut prédire les retards tôt et, surtout, dire à l'équipe exactement quels petits changements de comportement (comme parler moins ou changer de ton) pourraient les aider à terminer la chirurgie plus vite et plus en sécurité.

Note : Le papier indique explicitement que ces résultats sont basés sur des procédures simulées et que le « temps opératoire » est un indicateur de performance. Les auteurs soulignent que ces suggestions contrefactuelles doivent être validées par de vrais experts médicaux avant d'être utilisées dans les hôpitaux réels.

Résumé technique

Résumé technique : Modélisation en temps réel et actionnable des dynamiques d'équipe chirurgicale via des graphes d'interaction étendus dans le temps

Énoncé du problème
La performance des équipes chirurgicales est pilotée par des interactions complexes entre l'exécution technique et les compétences non techniques, telles que la communication et la coordination. Bien que la science des données chirurgicales (SDS) ait fait progresser la modélisation des flux de travail visuels et l'évaluation des compétences techniques, les dynamiques d'équipe peropératoires restent sous-exploitées. Les approches existantes manquent souvent de représentations structurées des interactions d'équipe dans le temps ou ne parviennent pas à fournir des orientations actionnables pour l'amélioration de la performance. De plus, les ruptures de communication et l'allocation désalignée des tâches peuvent entraîner des inefficacités temporelles, qui se corrèlent avec des risques postopératoires accrus et des coûts opérationnels significatifs. Les modèles prédictifs actuels éprouvent souvent des difficultés dans les régimes de petites données typiques des équipes chirurgicales, où les réseaux de neurones à graphes temporels standards peuvent surajuster en raison de données limitées et de la taille réduite des équipes.

Méthodologie
Les auteurs proposent un cadre qui modélise la collaboration des équipes chirurgicales comme une séquence de graphes d'interaction multimodaux construits sur des fenêtres temporelles fixes de 15 secondes. Le cœur de l'approche est le Réseau de Neurones Relationnels Étendu dans le Temps (TE-ReNN), qui intègre les dynamiques temporelles directement dans la topologie du graphe plutôt que de s'appuyer sur des architectures récurrentes.

1. Modélisation des interactions :

   • Entrée : Données de séries temporelles multimodales (paralinguistiques, mouvement, interaction humain-objet) extraites d'enregistrements audio-vidéo.
   • Construction du graphe : Pour chaque fenêtre temporelle $t$, un graphe instantané $G_t$ est créé où les nœuds représentent les membres de l'équipe et les arêtes représentent la communication verbale. Une « hypothèse de diffusion » est utilisée : lorsqu'un membre parle, des arêtes dirigées sont ajoutées vers tous les autres membres présents, reflétant l'environnement acoustique partagé de la salle d'opération (OR).
   • Caractéristiques des nœuds : Chaque nœud intègre des caractéristiques paralinguistiques (volume, rapport alpha, rapport harmoniques/bruit issues de eGeMAPS 2.0), des caractéristiques de mouvement (position, déplacement), des triplets d'interaction humain-outil et des rôles fonctionnels.

2. Graphe étendu dans le temps ($G_{TE}$) :

   • Le cadre construit un graphe unifié $G_{TE}$ en reliant les graphes instantanés à travers le temps.
   • Arêtes intra-instantanées : Capturent la communication au sein d'une fenêtre temporelle spécifique.
   • Arêtes d'identité inter-instantanées : Relient les instances temporelles consécutives d'un même membre de l'équipe ($v^t_i \to v^{t+1}_i$) pour préserver la continuité de l'identité et modéliser les dynamiques individuelles longitudinales.
   • Cette structure permet à l'information de se propager à la fois entre les membres de l'équipe au sein d'une fenêtre et le long des trajectoires individuelles au fil du temps.

3. Analyse contrefactuelle actionnable :

   • Pour aller au-delà de la prédiction, le système génère des explications contrefactuelles identifiant les changements minimaux requis pour améliorer les résultats prédits (spécifiquement, réduire le temps opératoire).
   • Contrefactuels topologiques : Une procédure d'optimisation combinatoire détermine quelles interactions (arêtes) doivent être ajoutées ou supprimées pour faire passer une procédure de « lente » à « moyenne » ou « rapide ».
   • Contrefactuels au niveau des caractéristiques : Un algorithme glouton identifie les changements minimaux dans les caractéristiques paralinguistiques. Ces caractéristiques sont mappées à huit classes comportementales discrètes (par exemple, « Leader calme », « Dominant–Agressif », « Retiré »). Le système simule le changement de classe comportementale d'un membre de l'équipe pour observer l'impact sur l'efficacité prédite.

Contributions clés

• Architecture TE-ReNN : Une architecture de réseau de neurones novatrice qui modélise simultanément les interactions relationnelles et l'évolution temporelle en intégrant le temps directement dans la structure du graphe, répondant ainsi aux risques de surajustement dans les contextes chirurgicaux à petites données.
• Cadre contrefactuel à deux niveaux : Une méthode pour générer des suggestions comportementales interprétables, opérant à la fois au niveau topologique (structure d'interaction) et au niveau des caractéristiques (classes comportementales).
• Validation expérimentale : Évaluation sur l'ensemble de données MM-OR (procédures simulées de remplacement du genou) démontrant la capacité du modèle à améliorer l'identification précoce des interventions prolongées et à fournir des explications cohérentes.

Résultats
Des expériences ont été menées en utilisant un protocole de type « leave-one-team-out » sur 27 procédures chirurgicales simulées (14 chirurgies complètes).

• Performance prédictive : Le modèle TE-ReNN a obtenu le score macro-F1 le plus élevé (70,1 %) par rapport aux références incluant les Réseaux de Neurones Statiques (SNN), les Réseaux de Neurones Temporels (TNN), les Réseaux de Neurones Relationnels (ReNN) et les réseaux Temporels-Relationnels combinés (TReNN). Cela confirme que la modélisation conjointe des caractéristiques comportementales, des dépendances temporelles et des structures de graphes relationnels produit des performances supérieures par rapport au traitement séparé de ces composantes.
• Insights contrefactuels :
  • Topologiques : L'analyse a suggéré que les ralentissements surviennent souvent lorsque les chirurgiens agissant en tant que « leaders démocratiques » s'engagent dans des conversations avec des membres non directement impliqués dans la tâche actuelle, tandis qu'un focus « autocratique » sur les tâches se corrèle avec des procédures plus rapides.
  • Niveau des caractéristiques : Le modèle a identifié que modifier seulement 10 % de la classe comportementale d'un membre de l'équipe sur une fenêtre temporelle pourrait entraîner une augmentation d'environ 50 % de la performance prédite. Le comportement de « Leader calme » était notablement associé à des ralentissements dans des contextes spécifiques, tandis que d'autres changements comportementaux montraient un potentiel de gains d'efficacité.

Signification et revendications
L'article revendique faire progresser l'IA chirurgicale vers un soutien à la décision en temps réel, conscient de l'équipe et actionnable. En traitant le temps opératoire comme un proxy de la performance de l'équipe, ce travail fournit un système qui ne se contente pas de prédire les résultats, mais offre des recommandations spécifiques et interprétables sur la manière dont la communication et le comportement de l'équipe peuvent être modifiés pour atteindre les résultats souhaités. Les auteurs soulignent que cette approche comble le fossé entre la précision prédictive et le feedback actionnable dans des environnements à haut risque.

Limites
Les auteurs reconnaissent que le temps opératoire est une approximation de la performance de l'équipe plutôt qu'une mesure directe de la qualité des soins. De plus, l'utilité pratique des explications contrefactuelles générées nécessite une validation supplémentaire par des experts du domaine, et la portée actuelle est limitée à des modalités spécifiques et à des procédures simulées.