Image transmission through a multimode fibre in reflection mode with physics-guided deep learning towards ultrathin endoscopy
Cet article présente un cadre d'apprentissage profond guidé par la physique qui combine une matrice de transmission d'intensité réelle réfléchie avec des réseaux de restauration d'images afin de permettre une récupération d'image à prise unique et sans récupération de phase à travers des fibres multimodes en mode réflexion, améliorant considérablement la qualité d'image et la généralisabilité pour l'endoscopie ultra-fine.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Imaginez essayer de voir à l'intérieur du corps humain sans pratiquer une large incision. Les médecins comptent depuis longtemps sur les endoscopes — des tubes flexibles dotés de caméras — pour scruter des passages étroits comme les voies respiratoires ou les vaisseaux sanguins. Cependant, obtenir une image claire à travers un tube qui est à la fois incroyablement fin et flexible est un défi d'ingénierie majeur. Les endoscopes fins traditionnels utilisent souvent des faisceaux de milliers de minuscules fibres de verre, mais ceux-ci ne peuvent produire que des images avec une texture en nid d'abeille et une netteté limitée. Une alternative plus prometteuse est un fil unique et ultra-fin de verre appelé fibre multimode. Bien que cette fibre soit assez flexible pour se tordre et tourner dans les coins les plus difficiles du corps, elle brouille tellement la lumière que si vous projetez une image à travers elle, la lumière qui ressort de l'autre côté ressemble à un amas aléatoire de points scintillants. Pendant des années, les scientifiques ont lutté pour déchiffrer ce désordre afin de récupérer l'image originale, surtout lorsque la fibre est utilisée en mode « réflexion », où le même brin envoie la lumière et capte la lumière renvoyée par les tissus.
Une équipe de chercheurs du King's College London a maintenant développé une nouvelle façon de résoudre ce casse-tête, transformant un grain de lumière chaotique en une image claire en un instant. Leur approche, détaillée dans une étude récente, combine un calcul astucieux basé sur la physique avec un type d'intelligence artificielle conçu pour nettoyer les images. Au lieu d'essayer d'inverser l'ingénierie du brouillage complexe de la lumière d'un seul coup, ils utilisent d'abord une carte mathématique pour créer un croquis grossier et flou de l'objet. Ensuite, un réseau informatique spécialisé prend ce croquis et l'affine, en remplissant les détails manquants et en supprimant le bruit. Ce processus en deux étapes leur permet de voir à travers la fibre sans avoir besoin d'équipements complexes pour mesurer la phase des ondes lumineuses, une exigence qui a rendu les méthodes précédentes difficiles à utiliser dans des contextes médicaux réels.
Les chercheurs ont construit un système où un faisceau laser est envoyé dans une fibre multimode de 2 mètres de long avec un diamètre de cœur de 600 micromètres. À l'extrémité opposée, la lumière frappe un objet et rebondit vers le haut par la même fibre. Parce que la lumière descend et remonte, elle est brouillée deux fois, créant un motif complexe de points brillants et sombres sur une caméra située à l'extrémité proche. Pour donner un sens à cela, l'équipe a d'abord effectué un processus de calibration. Ils ont projeté une série de motifs connus sur un miroir numérique à l'extrémité de la fibre et ont enregistré comment la lumière se brouillait lors de son trajet de retour. À partir de ces mesures, ils ont construit une « matrice de transmission d'intensité réelle réfléchie ». En termes simples, il s'agit d'une immense table de correspondance qui prédit à quoi devrait ressembler un motif flou et brouillé pour n'importe quel objet donné, en se basant uniquement sur la luminosité de la lumière, sans avoir besoin de connaître la phase invisible des ondes lumineuses.
En utilisant cette table de correspondance, le système peut générer instantanément une première estimation de l'image à partir d'un seul cliché du la lumière brouillée. Cette image initiale n'est pas parfaite ; elle est souvent granuleuse et présente un faible contraste, mais elle capture la forme et la disposition de base de l'objet. Les chercheurs ont ensuite injecté cette image brute dans quatre types différents de réseaux d'apprentissage profond (deep learning), qui sont des programmes informatiques entraînés pour reconnaître et restaurer les détails visuels. Ces réseaux agissent comme un éditeur numérique, prenant le point de départ granuleux et affinant les bords, augmentant le contraste et supprimant les grains aléatoires pour révéler une image nette. L'équipe a testé cette méthode sur trois ensembles d'images différents : des chiffres écrits à la main, des photos de vêtements et des scènes naturelles. Dans chaque cas, la combinaison de la table de correspondance basée sur la physique et du nettoyeur par IA a produit des résultats nettement supérieurs à une tentative de deviner l'image à partir de la lumière brute par l'IA seule.
Le véritable test de cette méthode a été de savoir si elle pouvait gérer des images qu'elle n'avait jamais vues auparavant. Ils ont entraîné leurs réseaux d'IA uniquement avec des photos de vêtements, puis leur ont demandé de reconstruire des images de scènes naturelles, comme des animaux et des paysages, qui sont très différents des vêtements. Lorsque l'IA essayait de le faire seule, sans l'aide de la table de correspondance basée sur la physique, les résultats étaient médiocres ; le système ne parvenait pas à reconnaître les nouvelles formes et produisait des taches floues et méconnaissables. Cependant, lorsque l'IA recevait d'abord le croquis grossier de la table de correspondance, elle performait remarquablement bien. Elle a réussi à reconstruire les scènes naturelles, préservant la structure des objets même si elle n'avait jamais été entraînée sur eux. Cela suggère que l'étape basée sur la physique fournit une base solide qui aide l'IA à se généraliser à de nouvelles situations, plutôt que de simplement mémoriser des exemples spécifiques.
Pour prouver que le système fonctionne dans le monde réel, les chercheurs ont placé de véritables objets physiques à l'extrémité de la fibre, notamment une grille de ventilation métallique, une aigule à coudre et une lettre imprimée. Ces objets ne faisaient partie d'aucune donnée d'entraînement. Le système a capturé la lumière rebondissant sur ces articles et, en utilisant le même processus de calibration et d'IA, a reconstruit des images claires des trous de la grille, de la tige de l'aiguille et des traits de la lettre. Les résultats étaient assez nets pour distinguer des détails fins, démontrant que la méthode peut dépasser les simulations informatiques et gérer la nature imprévisible de la diffusion de la lumière dans le monde réel. Les chercheurs ont noté que, bien que le système soit actuellement limité par la nécessité de se recalibrer si la fibre se courbe de manière significative ou si la température change, la capacité de générer une image claire à partir d'un seul cliché sans mesures de phase est une étape majeure.
Ce travail offre une voie prometteuse vers l'endoscopie ultra-fine, où une sonde aussi fine qu'un cheveu pourrait être guidée dans les parties les plus profondes et les plus étroites du corps pour fournir des images haute résolution en temps réel. En séparant le problème en une première étape guidée par la physique et une seconde étape de nettoyage basée sur les données, les chercheurs ont créé un système qui est à la fois robuste et adaptable. Il ne nécessite pas les installations d'interférométrie complexes qui ont entravé les tentatives précédentes d'imagerie en mode réflexion, ce qui le rend plus pratique pour l'usage clinique. Les conclusions suggèrent qu'en combinant la prévisibilité de la physique et l'adaptabilité de l'intelligence artificielle, les scientifiques peuvent libérer le potentiel des endoscopes à fibre unique, permettant potentiellement aux médecins de voir à l'intérieur du corps avec un niveau de détail et de flexibilité qui était auparavant impossible.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.