🤖 machine learning

Towards Real-Time Autonomous Navigation: Transformer-Based Catheter Tip Tracking in Fluoroscopy

Ce papier présente un pipeline de suivi en temps réel et multi-thread de l'extrémité d'un cathéter utilisant des modèles de segmentation par apprentissage profond, démontrant spécifiquement qu'une architecture SegFormer à deux classes surpasse les méthodes existantes en précision et en robustesse pour fournir une base fiable à la navigation autonome de thrombectomie mécanique basée sur l'apprentissage par renforcement.

Auteurs originaux : Harry Robertshaw, Yanghe Hao, Weiyuan Deng, Benjamin Jackson, S. M. Hadi Sadati, Nikola Fischer, Tom Vercauteren, Alejandro Granados, Thomas C. Booth

Publié 2026-05-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Harry Robertshaw, Yanghe Hao, Weiyuan Deng, Benjamin Jackson, S. M. Hadi Sadati, Nikola Fischer, Tom Vercauteren, Alejandro Granados, Thomas C. Booth

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Enseigner à un Robot à « Conduire » un Cathéter

Imaginez qu'un AVC soit comme un embouteillage dans une ville minuscule et sinueuse à l'intérieur de votre cerveau. Pour le résoudre, les médecins utilisent un long tube flexible (un cathéter) pour naviguer à travers les vaisseaux sanguins et dégager l'obstruction. Cela s'appelle une Thrombectomie Mécanique (TM).

Actuellement, un médecin humain doit piloter manuellement ce tube tout en regardant des films de rayons X (fluoroscopie). C'est un travail difficile, qui expose le médecin aux radiations et prend beaucoup de temps. L'objectif de cette recherche est de construire un robot capable de piloter le cathéter autonomement (par lui-même) en utilisant l'Intelligence Artificielle.

Cependant, pour qu'un robot conduise, il doit savoir exactement où se trouve le bout du volant. Dans ce cas, le « volant » est l'extrémité du cathéter. Le problème est que, dans les films de rayons X, le cathéter apparaît souvent pâle, devient flou ou se cache derrière d'autres instruments.

Cet article se demande : Pouvons-nous construire un système informatique capable de trouver instantanément et avec précision l'extrémité du cathéter dans ces vidéos de rayons X désordonnées, même lorsqu'il est difficile à voir ?

La Solution : Une Chaîne de Traitement de « Caméra Intelligente »

Les chercheurs ont construit une chaîne de montage en quatre étapes (un pipeline) pour résoudre ce problème. Imaginez cela comme une usine à grande vitesse qui traite chaque image individuelle d'une vidéo de rayons X :

Le Lecteur : Saisit l'image de la vidéo.
Le Préparateur : Nettoie l'image et la prépare pour l'ordinateur.
Le Cerveau (Inférence) : Un modèle d'IA spécial examine l'image et tente de dessiner un masque autour du cathéter et du fil à l'intérieur.
Le Raffineur : C'est la partie ingénieuse. L'IA ne se contente pas de deviner un seul point. Elle :
- Fusionne les morceaux brisés de l'image.
- Transforme la forme épaisse du cathéter en une ligne fine d'un seul pixel de large (comme tracer un chemin avec un crayon).
- Trouve l'extrémité même de cette ligne (l'embout).
- Crucialement : Pour éviter de se tromper à cause du flou de mouvement, elle ne regarde pas seulement l'embout. Elle regarde l'embout plus deux points juste derrière (comme regarder le nez et deux points sur le front pour savoir dans quelle direction un visage tourne). Cela aide le système à deviner la direction même si l'embout est flou.

Les « Cerveaux » Testés : Trois Modèles d'IA Différents

L'équipe a testé trois types différents de « cerveaux » d'IA pour voir lequel était le meilleur pour dessiner le cathéter :

U-Net : Un modèle classique, fiable et solide.
U-Net + Transformer : Le modèle classique avec une mise à niveau de « super-vision » qui l'aide à comprendre la vue d'ensemble.
SegFormer : Un modèle moderne qui utilise des « Transformers » (la même technologie derrière les chatbots avancés) pour comprendre le contexte et les détails simultanément.

Ils ont testé ces modèles de deux manières :

Mode Deux Classes : Trouver simplement « L'Outil » par rapport au « Fond ».
Mode Trois Classes : Trouver « Le Cathéter », « Le Fil » et « Le Fond » séparément.

Les Résultats : Qui a Gagné la Course ?

Les chercheurs ont testé les modèles sur trois types de « pistes » :

La Piste d'Entraînement (Phantom) : Une artère en plastique factice dans un laboratoire.
La Piste du Labo en Direct (Caméra Live) : Une vidéo en temps réel d'un cathéter se déplaçant dans un modèle en plastique.
La Vraie Route (Patients Humains) : De véritables vidéos de rayons X provenant de chirurgies humaines.

Le Vainqueur :
Le modèle SegFormer (le modèle moderne basé sur les Transformers) était le champion.

Précision : Il a fait le moins d'erreurs pour trouver l'emplacement exact de l'embout. Dans les vidéos humaines de « difficulté modérée », il était en erreur d'une moyenne de 4,44 millimètres.
Robustesse : Il a mieux géré les parties désordonnées, à faible contraste et floues des rayons X que les modèles plus anciens.
Vitesse : Il était assez rapide pour fonctionner en temps réel (environ 30 images par seconde), ce qui est assez rapide pour qu'un robot réagisse instantanément.

Une Surprise :
Bien que trouver à la fois le cathéter et le fil séparément (Trois Classes) semble plus utile pour un robot, cela a en fait rendu le suivi moins précis dans certains cas. L'IA s'est trompée à cause des détails supplémentaires, ce qui a fait que la « ligne » qu'elle dessinait se ramifiait incorrectement. L'approche plus simple « Deux Classes » (trouver simplement « l'outil ») était souvent plus stable et précise pour localiser l'embout.

La Conclusion

Cet article prouve que nous pouvons construire un système qui regarde les vidéos de rayons X et indique instantanément à un robot où se trouve l'embout du cathéter, même lorsque l'image est bruitée ou que l'instrument se cache.

Ce qu'ils ont accompli : Un système de suivi stable et en temps réel qui surpasse les méthodes précédentes sur des benchmarks standards.
Ce qu'ils n'ont pas encore accompli : Ils n'ont pas atteint une précision « parfaite » sub-millimétrique sur de vrais patients humains (l'erreur était de quelques millimètres, et non inférieure à 1). Ils ont noté que cela est dû au fait que l'IA a été entraînée sur des modèles en plastique et a dû deviner sur de vrais humains sans entraînement supplémentaire.
L'Objectif : Ce système fournit les « yeux » nécessaires pour qu'un robot puisse éventuellement piloter le cathéter par lui-même, rendant potentiellement le traitement des AVC plus rapide et plus sûr pour les médecins et les patients.

En bref : Ils ont construit une paire de lunettes très nettes pour un robot, lui permettant de voir clairement le volant d'un cathéter, même dans une salle de rayons X brumeuse.

Résumé Technique : Vers une Navigation Autonome en Temps Réel : Suivi de l'Extrémité du Cathéter par Transformer en Fluoroscopie

Énoncé du Problème
La thrombectomie mécanique (MT) est une intervention critique pour les accidents vasculaires cérébraux par occlusion des gros vaisseaux, mais son efficacité est sensible au temps et limitée par un manque d'accès aux traitements locaux. Bien que les plateformes robotiques endovasculaires et la navigation autonome basée sur l'apprentissage par renforcement (RL) offrent des solutions potentielles, les approches RL actuelles nécessitent un suivi précis et en temps réel des coordonnées de l'extrémité des dispositifs (cathéter et guide) pour fonctionner. Les méthodes existantes de suivi des dispositifs peinent dans des conditions cliniquement réalistes caractérisées par un faible contraste d'image, du bruit, un flou de mouvement et une occlusion des dispositifs. De plus, il reste incertain de savoir si les modèles d'apprentissage profond entraînés sur des données synthétiques ou de fantôme peuvent se généraliser à la fluoroscopie clinique in vivo, en particulier lorsque les dispositifs sont partiellement cachés. L'absence de pipelines de suivi robustes et en temps réel capables de fonctionner sur diverses modalités d'imagerie entrave le passage de la navigation autonome des simulations in silico à l'application clinique.

Méthodologie
Les auteurs proposent un pipeline de suivi d'extrémité de cathéter et de guide en temps réel, multi-threadé, conçu pour fonctionner dans des conditions fluoroscopiques difficiles. Le système intègre quatre étapes asynchrones :

Lecteur : Capture les images brutes de fluoroscopie ou les trames vidéo indépendamment de la vitesse d'inférence pour éviter la perte de trames.
Préprocesseur : Redimensionne, normalise et convertit les trames au format tenseur.
Inférence : Fait passer les trames à travers des modèles de segmentation entraînés. Pour les grandes images, une approche par fenêtre glissante avec des patches chevauchants est utilisée pour équilibrer la qualité et la mémoire.
Post-processeur : Affine les masques de segmentation par fusion de composantes, suppression des artefacts et squelettisation. Crucialement, il emploie un filtrage de composantes en deux étapes et une squelettisation médiane d'un pixel pour identifier les points extrêmes. Pour stabiliser le suivi contre le flou de mouvement et l'occlusion, le système échantillonne trois points le long du squelette : l'extrémité principale ( $T_0$ ) et deux points en aval ( $T_1, T_2$ ) à 5 et 10 pixels, respectivement.

Architectures de Modèles
Trois architectures de segmentation d'apprentissage profond ont été entraînées et évaluées en utilisant l'ensemble de données CathAction (25 000 masques au niveau des pixels provenant de fantômes in vitro et de sujets porcins in vivo) :

U-Net Standard : Un U-Net de base modifié à 16 canaux optimisé avec AdamW pour répondre aux contraintes de mémoire en temps réel, se distinguant de l'implémentation originale à 64 canaux avec SGD dans la littérature antérieure.
U-Net + Transformer : Remplace le goulot d'étranglement du U-Net par un module de transformer d'auto-attention à 16 couches et 16 têtes pour capturer un contexte plus large.
SegFormer : Utilise un encodeur Mix Transformer B5 avec un décodeur U-Net symétrique, incorporant des modules d'attention spatial et canal squeeze & excitation (scSE).

L'étude a évalué les formulations à deux classes (instrument contre arrière-plan) et à trois classes (cathéter contre guide contre arrière-plan) pour déterminer leur impact sur la précision du suivi en aval.

Contributions Clés

Pipeline de Suivi Novel : Introduction d'un pipeline de squelettisation et d'échantillonnage multi-points qui améliore la stabilité de la localisation en présence de faible contraste, d'occlusion partielle et d'instruments superposés.
Évaluation Intégrée : Démonstration que les architectures de segmentation modernes, lorsqu'elles sont intégrées dans un cadre de suivi, surpassent les références existantes sur l'ensemble de données CathAction, étendant l'évaluation au-delà des métriques de segmentation autonomes pour inclure l'erreur de localisation de l'extrémité.
Validation Transversale : Validation de la méthode sur des données fluoroscopiques in vitro de fantôme, in vivo animales et in vivo cliniques sans affinage in vivo, évaluant la généralisation à travers les modalités d'imagerie.

Résultats

Référence CathAction : Le SegFormer à deux classes a obtenu les meilleures performances (Dice : 0,809, IoU : 0,722), surpassant U-Net et U-Net+Transformer. En segmentation à trois classes, SegFormer a également mené avec un score Dice de 0,667, dépassant les références antérieures (par exemple, U-Net à 0,517).
RGB Hors Ligne In Vitro : SegFormer a obtenu l'erreur absolue moyenne (MAE) la plus faible en suivi à deux classes (0,47 mm). Cependant, en suivi à trois classes, U-Net a été le meilleur (0,60 mm), tandis que SegFormer a souffert d'erreurs plus élevées (1,21 mm) dues à des branches de squelette induites par une mauvaise classification.
Fluoroscopie In Vivo : Sur des données cliniques stratifiées par complexité, SegFormer (deux classes) a démontré de manière constante la localisation d'extrémité la plus stable et la plus précise. Dans le groupe "Complexité Modérée" (G2), il a atteint une erreur absolue moyenne de 4,44 mm, surpassant U-Net (4,60 mm) et U-Net+Transformer (6,20 mm). Les modèles à trois classes ont généralement présenté des erreurs plus élevées et plus d'artefacts dans des arrière-plans anatomiques complexes.
Vitesse : Le système a maintenu des performances en temps réel, avec des vitesses d'inférence allant d'environ 21 à 30 images par seconde selon le modèle et l'ensemble de données.

Signification et Revendications
L'article affirme que le cadre de suivi multi-threadé proposé maintient des performances stables dans des conditions d'imagerie difficiles, fournissant une base fiable pour la navigation MT autonome basée sur RL. Les auteurs soulignent que, bien que le système surpasse les références antérieures et démontre la faisabilité d'un suivi en temps réel, il n'atteint pas encore une précision submillimétrique de qualité clinique (<1 mm) dans des environnements in vivo. Les erreurs observées (4–7 mm) sont attribuées à des décalages de domaine (contraste, bruit, mouvement), à l'occlusion et au manque de données d'entraînement in vivo.

L'étude conclut que la segmentation à deux classes offre le compromis le plus fiable entre vitesse, stabilité et précision de localisation de l'extrémité pour les besoins actuels de suivi. Cependant, la segmentation à trois classes reste précieuse pour la navigation RL autonome, car elle permet le suivi simultané du cathéter et du guide, fournissant des entrées plus riches pour les agents de prise de décision. Le travail se positionne comme une étape vers des systèmes déployables cliniquement, soulignant que des améliorations futures en adaptation de domaine et l'inclusion de données d'entraînement in vivo diversifiées sont nécessaires pour combler l'écart entre la performance des fantômes et la réalité clinique.