Sterilizable Scene Graph Generation for Operating Rooms

À l'intérieur d'une salle d'opération, l'air est chargé de l'intensité silencieuse d'une procédure de sauvetage. Chaque mouvement de la main d'un chirurgien, chaque déplacement d'un instrument chirurgical et chaque changement subtil dans le tissu traité raconte une histoire. Pendant des décennies, les ordinateurs ont eu du mal à lire cette histoire. Ils peuvent voir les pixels sur un écran, mais ils ne parviennent pas facilement à comprendre les relations entre les objets qu'ils voient : qu'une pince métallique tient un morceau de tissu, ou qu'un crochet est en train de le sectionner. Cette capacité à cartographier la scène, à comprendre non seulement ce qui est présent, mais aussi comment les choses interagissent, est appelée la génération de graphes de scène. C'est la clé pour donner aux machines une compréhension holistique de la chirurgie, ce qui pourrait un jour aider les médecins en fournissant des conseils en temps réel ou en créant des comptes rendus automatiques de l'opération. Cependant, les ordinateurs capables de réaliser cela actuellement nécessitent des stations de travail massives qui sont trop volumineuses, trop chaudes et trop difficiles à maintenir stériles pour l'environnement délicat d'une salle d'opération.

Une équipe de chercheurs a maintenant trouvé un moyen de réduire ce processus de pensée complexe à une taille qui s'adapte à un simple appareil sans ventilateur. Ils ont développé une nouvelle méthode appelée SG-NCA, qui permet à un ordinateur de regarder une vidéo chirurgicale et de construire instantanément une carte structurée de la scène, identifiant les outils et les parties du corps, et décrivant comment ils sont liés les uns aux autres. La percée réside dans la manière dont ils ont construit le système. Au lieu d'utiliser les modèles logiciels énormes et lourds qui alimentent habituellement ce type d'intelligence artificielle, ils se sont tournés vers une approche beaucoup plus légère, inspirée de la façon dont des cellules simples mettent à jour leur état en fonction de leurs voisines. En entraînant ce système selon un programme par étapes, en commençant par les objets les plus courants et en en ajoutant progressivement d'autres, ils lui ont appris à reconnaître les outils spécifiques et l'anatomie des chirurgies de l'œil et de la vésicule biliaire. Le résultat est un système qui est aussi performant que les modèles géants utilisés dans les laboratoires de recherche, mais qui nécessite cinquante-cinq fois moins de paramètres internes pour fonctionner.

Les chercheurs ont testé leur nouveau système sur des vidéos de chirurgie de la cataracte et d'ablation de la vésicule biliaire, deux procédures courantes où la précision est primordiale. Ils ont constaté que leur modèle léger pouvait identifier les outils chirurgicaux et les parties du corps avec une précision qui égalait les meilleures méthodes existantes, malgré sa petite taille en comparaison. En fait, alors que les modèles standards utilisés pour la comparaison contenaient des millions de paramètres — les boutons et curseurs internes qu'un ordinateur ajuste pour apprendre — leur nouveau système n'en nécessitait qu'une fraction. En réalité, l'ensemble du système était si petit qu'il pouvait fonctionner sur un smartphone standard ou sur une petite carte informatique à faible consommation, sans avoir besoin d'une carte graphique dédiée ou d'un serveur puissant. Cela importe profondément pour la salle d'opération. Les gros ordinateurs actuellement utilisés pour ce travail possèdent souvent des ventilateurs qui expulsent de l'air, ce qui peut propager de la poussière et des bactéries, un risque majeur dans un environnement chirurgical stérile. Ils occupent également un espace précieux dans une pièce déjà encombrée d'équipements. Le nouveau système, en revanche, peut fonctionner sur des appareils scellés et sans ventilateur, faciles à essuyer et à stériliser, maintenant ainsi l'air propre et les données sécurisées au sein même de la pièce.

Au-delà de la simple identification d'objets, le système a démontré sa capacité à comprendre le déroulement de la chirurgie. Il pouvait générer des phrases simples décrivant ce qui se passait, comme noter qu'une pince rétractait la vésicule biliaire pendant qu'un crochet la disséquait. Cette capacité suggère que le système peut dépasser la simple détection pour atteindre une compréhension plus profonde du récit chirurgical. L'équipe a également montré que cette technologie pouvait être déployée en périphérie du réseau (edge computing), ce qui signifie que le traitement se fait directement au chevet du patient plutôt que d'être envoyé vers un serveur cloud distant. Cela préserve la confidentialité des données des patients et élimine le délai causé par l'envoi d'informations via Internet. En prouvant qu'un système aussi petit peut gérer la complexité d'une véritable chirurgie, les chercheurs ont ouvert la porte à un avenir où l'intelligence chirurgicale avancée n'est plus verrouillée derrière de massives barrières stériles, mais est accessible sur un matériel abordable et hygiénique qui s'intègre naturellement dans le flux de la salle d'opération.