Action-grounded tissue affordance enables anticipatory auto-framing that lowers surgeon cognitive workload during laparoscopic surgery
Le document présente DiffeoAfford, un cadre fondé sur l'action qui génère automatiquement des étiquettes d'attention visuelle à partir de procédures chirurgicales pour alimenter AffordView, un système de cadrage automatique qui s'aligne sur le regard de l'expert et réduit considérablement la charge cognitive du chirurgien lors de la chirurgie laparoscopique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de suivre une scène de course-poursuite à haute vitesse dans un film, mais que le caméraman est un peu lent. Il continue de pointer l'objectif vers la rue déserte juste avant que la voiture ne tourne, ou il se laisse distraire par un arbre et rate l'explosion. Dans le monde réel de la chirurgie, plus précisément d'un type appelé laparoscopie, les chirurgiens sont confrontés à une version, plus dangereuse, de ce problème. Ils opèrent à l'intérieur du corps d'un patient en utilisant des outils longs et en regardant un écran vidéo, mais ils ne peuvent pas voir tout le panorama à la fois. Pour voir le bon endroit, ils ont besoin d'une caméra qui suive parfaitement leurs mains et leurs yeux.
Le grand défi ici est que le « caméraman » est généralement un assistant humain. Cet assistant doit deviner ce que le chirurgien veut voir ensuite, ce qui revient souvent faux et force le chirurgien à crier : « Déplacez vers la gauche ! » ou « Zoomez ! » Ce shouting et ces corrections constantes sont comme essayer de résoudre un problème de mathématiques pendant que quelqu'un vous tapote l'épaule ; cela consomme beaucoup d'énergie mentale, connue sous le nom de « charge cognitive ». Les scientifiques ont essayé de construire des ordinateurs pour faire ce travail, mais ils se sont heurtés à un mur : pour apprendre à un ordinateur ce qu'il doit regarder, il faut généralement qu'un humain dessine un cadre autour de l'endroit important dans chaque image d'une vidéo. Mais en chirurgie, l'« endroit important » n'est pas un objet statique comme une voiture ; c'est un morceau de tissu mou et changeant qui se déforme chaque seconde. Les experts savent où regarder, mais ils ne peuvent pas expliquer les règles qu'ils utilisent pour y parvenir. C'est comme un chef cuisinier expert qui peut goûter une soupe et savoir exactement ce qui manque, mais qui ne peut pas écrire la recette.
Cet article présente une manière ingénieuse d'apprendre à un ordinateur à être ce chef cuisinier sans avoir besoin d'une recette écrite. Les chercheurs, dirigés par une équipe de l'Université de science et technologie de Huazhong et d'autres, ont développé un système appelé DiffeoAfford. Au lieu de demander aux humains de deviner où l'action va se produire, ils laissent l'ordinateur regarder la chirurgie après qu'elle soit terminée. L'ordinateur observe les outils du chirurgien et se dit : « Ah, le chirurgien a touché ce morceau spécifique de tissu ici, puis s'est déplacé là. Cela signifie que cet endroit était l'endroit important. » En utilisant un tour mathématique spécial appelé « difféomorphisme » (qui est comme une carte de déformation de feuille de caoutchouc qui empêche le tissu de se déchirer ou de se replier de manière impossible), le système peut retracer les actions du chirurgien en remontant le temps pour comprendre exactement quelles parties du tissu mou étaient les cibles.
Une fois que l'ordinateur a appris cette carte « basée sur l'action », il peut prédire où le chirurgien regardera ensuite, même avant que le chirurgien ne bouge sa main. Ils ont construit une application appelée AffordView qui utilise cette prédiction pour centrer automatiquement la caméra sur le bon endroit. Lorsqu'ils ont testé cela lors de véritables chirurgies, les résultats ont été impressionnants. Le système ne s'est pas contenté de deviner ; il s'est aligné sur le regard réel du chirurgien mieux qu'un assistant caméra humain ne l'a fait. En fait, l'ordinateur était si bon pour anticiper le mouvement suivant qu'il a réduit le stress mental du chirurgien. Les ondes cérébrales des chirurgiens montraient qu'ils étaient moins fatigués, leurs pupilles (qui s'élargissent lorsque vous êtes stressé ou très concentré) restaient plus calmes, et ils ont dû donner moins de commandes verbales à leurs assistants. L'étude suggère qu'en laissant l'ordinateur apprendre des propres actions du chirurgien plutôt que d'étiquettes manuelles, nous pouvons créer une « caméra intelligente » qui agit comme un partenaire parfait et silencieux, permettant au chirurgien de se concentrer entièrement sur le sauvetage de vies plutôt que sur le fait de crier après une caméra.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.