Boosting Generalizable Depth Estimation in Endoscopy by Mixture of Lightweight Experts and Intrinsic Image Alignment

Imaginez que vous essayez de naviguer dans une grotte sombre et humide en utilisant uniquement une lampe de poche. Si la lumière rebondit sur les parois humides de manière étrange, ou si la grotte semble différente chaque fois que vous tournez un coin, il devient incroyablement difficile de déterminer à quelle distance se trouvent les parois. C'est exactement le défi auquel sont confrontés les médecins lors de chirurgies peu invasives, où des caméras minuscules (endoscopes) sont utilisées à l'intérieur du corps humain. L'intérieur du corps est un environnement complexe : les tissus sont brillants, les lumières peuvent se réfléchir de manière sauvage, et l'anatomie de chaque patient est légèrement différente. Pour aider les robots et les chirurgiens à « voir » en 3D, les scientifiques utilisent une technique appelée estimation de la profondeur, qui consiste essentiellement pour un ordinateur à deviner la distance de chaque chose en regardant simplement une image plate. Bien que les ordinateurs deviennent performants pour cela dans le monde extérieur (comme pour les voitures autonomes), ils sont souvent confus à l'intérieur du corps car l'éclairage est si incohérent et les textures si uniques.

Ce document présente un nouveau système ingénieux appelé EndoMINI, conçu pour aider ces caméras à mieux comprendre la profondeur, même lorsque l'éclairage est désordonné ou que la scène change. Les chercheurs ont construit ce système en utilisant deux astuces principales. Premièrement, ils ont créé une « équipe de spécialistes » au lieu de s'appuyer sur un seul cerveau généraliste. Imaginez une école où, au lieu d'un seul professeur essayant d'enseigner toutes les matières à tous les élèves, vous avez un interrupteur intelligent qui choisit le meilleur professeur pour la leçon spécifique — qu'il s'agisse de mathématiques, d'art ou d'histoire. Dans le cerveau de l'ordinateur, cela signifie qu'il peut instantanément passer au mode « expert » approprié selon qu'il regarde un foie brillant ou un intestin terne. Deuxièmement, ils ont appris à l'ordinateur à ignorer l'éblouissement. Tout comme vous pourriez plisser les yeux pour voir au-delà d'un reflet sur une fenêtre, ce système apprend à séparer la « couleur » du tissu de la « brillance » de la lumière, permettant de mesurer la distance avec précision même lorsque la lumière rebondit partout.

L'équipe a testé son nouveau système EndoMINI sur plusieurs ensembles de données, dont un appelé SCARED, et a constaté qu'il était meilleur pour deviner les distances que les méthodes précédentes, tant lorsqu'il avait été entraîné sur des images similaires que lorsqu'il devait deviner sur des vidéos totalement nouvelles (un test appelé « zero-shot »). Ils ont également montré qu'il pouvait comprendre comment la caméra se déplaçait et même prédire les propres réglages de la caméra sans qu'on lui dise au préalable. Les résultats suggèrent qu'en utilisant ce mélange d'experts spécialisés et en ignorant l'éblouissement déroutant, le système peut fournir une vue 3D beaucoup plus claire aux chirurgiens, rendant potentiellement la chirurgie robotique plus sûre et plus précise.

Le Problème : Pourquoi la profondeur endoscopique est difficile

L'estimation de la profondeur est l'art de déterminer la distance entre un objet et une caméra. Dans le monde extérieur, les ordinateurs sont devenus très doués pour cela, mais à l'intérieur du corps humain, c'est un cauchemar. Le document souligne deux principaux méchants :

1. Le problème de la « brillance » : Les tissus à l'intérieur du corps sont humides et réfléchissants. La lumière rebondit sur eux de manières imprévisibles, faisant passer une surface plane pour une bosse ou un trou.
2. Le problème du « différent à chaque fois » : Chaque patient est différent, et même les différentes parties d'un même patient ont des aspects uniques. Un modèle entraîné pour reconnaître un certain type de tissu pourrait être complètement confus par un autre.

Les méthodes existantes ont tenté de corriger cela, mais elles ont souvent eu du mal à s'adapter à ces nouveaux scénarios ou à ignorer l'éblouissement aveuglant des lumières.

La Solution : Une équipe d'experts et un filtre anti-éblouissement

Les auteurs proposent EndoMINI, un nouveau cadre qui aborde ces problèmes avec deux approches innovantes.

1. Le Mélange d'Experts de Bas Rang (MiLoRE)
Imaginez une bibliothèque où vous devez habituellement demander l'aide d'un seul bibliothécaire. Si vous posez une question sur un livre rare, il pourrait ne pas connaître la réponse. Maintenant, imaginez une bibliothèque dotée d'un robot intelligent qui sait exactement quel spécialiste appeler. Si vous posez une question sur l'histoire, il appelle l'expert en histoire ; si vous posez une question sur les sciences, il appelle l'expert en sciences.

Dans EndoMINI, l'ordinateur utilise un « Mélange d'Experts de Bas Rang » (MiLoRE). Au lieu d'avoir un cerveau géant et rigide qui essaie de tout apprendre, le système possède un « routeur » qui examine l'image et décide quels petits modules d'experts spécialisés activer.

• Comment ça marche : Le système utilise une technique appelée LoRA (Low-Rank Adaptation), qui revient à ajouter une petite couche de « roues de entrenamiento » ajustable à un cerveau intelligent préexistant. Le système MiLoRE possède plusieurs de ces petits experts. Lorsque la caméra voit un type de tissu spécifique, le routeur choisit le meilleur expert (ou un mélange d'entre eux) pour gérer cette scène spécifique.
• Le Résultat : Cela permet au modèle de s'adapter rapidement à différents scénarios endoscopiques sans avoir besoin d'être entièrement réentraîné à partir de zéro. C'est efficace et flexible.

2. Alignement d'Images Intrinsèques (IIA)
Parlons maintenant de l'éblouissement. Lorsque vous prenez une photo d'un objet brillant, le point lumineux rend difficile la perception de la forme réelle de l'objet. Le document introduit une façon de séparer la « vraie couleur » de l'objet de la « brillance » de la lumière.

• L'analogie : Pensez à une peinture. La peinture elle-même est la « réflectance » (la vraie couleur du tissu), et la lumière qui l'atteint est l'« ombrage ». Le système du document apprend à séparer ces deux éléments. Il utilise un réseau spécial pour décomposer l'image en une « carte de réflectance » (ce que le tissu est réellement) et une « carte d'ombrage » (où la lumière frappe).
• La Magie : En alignant les cartes de « réflectance » entre les différentes images vidéo, le système peut calculer la profondeur sans être perturbé par les changements de lumière. Il dit essentiellement : « Ignorez le point brillant ; regardez la couleur réelle en dessous. »

Ce qu'ils ont trouvé

Les chercheurs ont testé EndoMINI sur trois ensembles de données différents : SCARED, Hamlyn et SERV-CT. Ces ensembles contiennent des vidéos réelles de chirurgies robotiques.

• Performance Supervisée : Sur l'ensemble de données SCARED, où le modèle a été entraîné avec des réponses connues, EndoMINI a surpassé toutes les autres méthodes de pointe. Par exemple, il a atteint une Erreur Relative Absolue (RelAbs) de 0,047, ce qui est inférieur (donc meilleur) à la méthode suivante, EndoDAC, qui affichait 0,052.
• Performance Zero-Shot : C'est le véritable test. Le modèle a été entraîné sur SCARED, puis a dû deviner les profondeurs sur les ensembles de données Hamlyn et SERV-CT sans entraînement supplémentaire. EndoMINI arrive toujours en tête, montrant qu'il se généralise bien à de nouveaux environnements. Sur l'ensemble de données Hamlyn, il a atteint une RelAbs de 0,140, dépassant la meilleure performance précédente de 0,143 (DVSMono).
• Égo-mouvement et Réglages de la Caméra : Le système n'a pas seulement deviné la profondeur ; il a également compris comment la caméra se déplaçait (égo-mouvement) et a même prédit les réglages internes de la caméra (intrinsèques) avec une grande précision, surpassant les méthodes qui reposaient sur des réglages fournis au préalable.

Pourquoi c'est important

Le document conclut qu'en combinant une équipe d'experts flexible (MiLoRE) avec une méthode intelligente pour ignorer l'éblouissement (Alignement d'Images Intrinsèques), EndoMINI crée une vue 3D beaucoup plus fiable pour la chirurgie endoscopique. Ce n'est pas seulement un petit ajustement ; c'est une étape significative vers une chirurgie robotique plus sûre et plus précise, car le robot peut enfin « voir » le monde à l'intérieur du corps aussi clairement qu'un chirurgien humain l'espérerait. Les auteurs suggèrent que cette perception 3D de haute qualité pourrait changer la donne pour les procédures de chirurgie mini-invasive, aidant les chirurgiens à naviguer dans une anatomie complexe avec confiance.