Exploiting Intermediate Reconstructions in Optical Coherence Tomography for Test-Time Adaption of Medical Image Segmentation

Cet article présente IRTTA, une méthode d'adaptation au test qui améliore la segmentation d'images médicales en exploitant les reconstructions intermédiaires de la tomographie par cohérence optique pour ajuster dynamiquement les paramètres d'un réseau de segmentation figé sans modifier le processus de reconstruction ni le modèle initial.

L'essentiel

🏥 Le Problème : La Photo Floue et le Médecin Expert

Imaginez que vous allez chez le médecin pour un examen des yeux (un scanner appelé OCT).

• Le cas idéal : Vous utilisez un appareil de pointe, très cher, qui prend des photos ultra-nettes. Le médecin (une intelligence artificielle entraînée) regarde la photo et voit parfaitement les maladies.
• La réalité : Dans les cabinets de santé ou les pays en développement, on utilise souvent des appareils moins chers. Les photos qu'ils produisent sont parfois floues, bruitées ou de moins bonne qualité.
• Le problème : L'intelligence artificielle (le "médecin expert") a été entraînée uniquement sur des photos parfaites. Quand elle regarde une photo floue, elle se trompe souvent, car elle ne reconnaît pas les structures malades dans ce nouveau contexte.

🛠️ La Solution Habituelle (et ses limites)

Habituellement, pour améliorer la photo floue, on utilise un logiciel de "restauration" (comme un filtre photo très puissant). Ce logiciel essaie de reconstruire l'image, étape par étape, pour la rendre nette.

• Le problème de l'ancienne méthode : On ne regarde que le résultat final. Une fois l'image "nettoyée", on l'envoie au médecin IA. Si le nettoyage n'est pas parfait, le médecin IA se trompe encore. On jette toutes les étapes intermédiaires du processus de nettoyage.

💡 L'Idée Géniale de ce Papier : "IRTTA"

Les auteurs de ce papier ont eu une idée brillante : Et si on utilisait tout le processus de nettoyage, pas juste le résultat final ?

Imaginez que la reconstruction de l'image est comme un sculpteur qui taille une statue dans un bloc de pierre.

1. Au début, le bloc est très grossier (l'image floue).
2. Le sculpteur donne quelques coups de marteau (étape 1) : on devine à peine la forme.
3. Il continue (étape 2, 3, 4...) : les contours se précisent, les détails apparaissent.
4. À la fin, la statue est parfaite.

L'approche classique : Le médecin IA ne regarde que la statue finie.
L'approche IRTTA (de ce papier) : Le médecin IA observe chaque étape de la sculpture.

⚙️ Comment ça marche ? (L'analogie du "Café" et du "Barista")

Voici comment leur méthode fonctionne, étape par étape :

1. Le Médecin IA (Le Client) : C'est un expert qui sait très bien reconnaître les maladies sur une image parfaite. Mais il est "figé" : on ne peut pas le rééduquer (pas de temps, pas de nouvelles données).
2. Le Sculpteur (Le Reconstruction) : Il transforme l'image floue en image nette, étape par étape.
3. Le Barista Adaptatif (Le Modulateur) : C'est la grande innovation. Imaginez que le médecin IA a un petit assistant (le "Barista") qui ajuste ses lunettes à chaque étape de la sculpture.
   • Quand l'image est très floue (début de la sculpture), le Barista dit au médecin : "Chut, ne regarde pas les détails, concentre-toi sur les grandes formes !"
   • Quand l'image devient nette (fin de la sculpture), le Barista dit : "Maintenant, regarde les petits détails, c'est le moment de voir les taches !"

Comment le Barista apprend-il ?
Il n'a pas de corrigé (pas de réponse juste). Il utilise une astuce intelligente : le principe de l'incertitude.

• Si le médecin IA est très confus et hésite entre plusieurs réponses, le Barista ajuste les lunettes pour réduire cette confusion.
• Il essaie de trouver le réglage qui rend le médecin IA le plus "sûr de lui" possible à travers toutes les étapes de la reconstruction.

🎁 Le Bonus Gratuit : La "Carte de Confiance"

Puisque le système regarde l'image à 10 ou 20 étapes différentes, il obtient 10 ou 20 versions de la réponse.

• Si le médecin IA donne la même réponse à chaque étape, c'est qu'il est très sûr.
• Si à l'étape 5 il dit "c'est une tache" et à l'étape 10 il dit "ce n'est pas une tache", alors il est incertain.

Le système génère donc automatiquement une carte de chaleur pour le médecin humain. Les zones brillantes sur la carte indiquent : "Attention, ici, l'image est ambiguë, vérifiez bien !". C'est gratuit, car le système le fait en même temps qu'il analyse l'image.

🏆 Les Résultats

Les chercheurs ont testé cela sur des images réelles d'yeux provenant de trois appareils différents (un très bon, deux moins bons).

• Résultat : Leur méthode a permis au médecin IA de voir beaucoup mieux sur les appareils moins chers, presque aussi bien que s'il avait été réentraîné spécifiquement pour eux.
• Avantage : Ils n'ont pas eu besoin de nouvelles données étiquetées (ce qui est très cher et long à obtenir). Ils ont juste utilisé l'image brute et le processus de reconstruction.

En Résumé

Ce papier nous dit : Ne jetez pas les étapes intermédiaires !
Lorsqu'on nettoie une image médicale, le chemin vers la netteté contient des indices précieux. En adaptant légèrement l'intelligence artificielle à chaque pas de ce chemin, on obtient un diagnostic plus précis et on sait exactement où le système a des doutes. C'est comme donner des lunettes ajustables à un expert pour qu'il puisse lire n'importe quel texte, quelle que soit la qualité du papier.

Résumé technique

1. Contexte et Problématique

Le problème :
La segmentation d'images médicales, essentielle au diagnostic, repose souvent sur des modèles d'apprentissage profond entraînés sur des ensembles de données de haute qualité provenant d'hôpitaux universitaires. Cependant, en pratique clinique, ces modèles sont déployés sur des dispositifs d'imagerie à faible coût (comme les scanners OCT pour la rétine) qui produisent des images de qualité inférieure (bruitées, avec des histogrammes d'intensité différents). Cela entraîne une baisse significative des performances lors de la généralisation vers ces nouveaux domaines (problème de domain shift).

La limite des approches actuelles :
Les algorithmes de reconstruction d'images modernes (notamment basés sur des modèles génératifs comme les modèles de diffusion) fonctionnent de manière itérative. Ils génèrent une séquence d'images intermédiaires ($x_0, \dots, x_{S-1}$) avant d'arriver à l'image finale reconstruite ($x_{final}$).

• Les protocoles d'évaluation standards ignorent ces représentations intermédiaires riches et ne se concentrent que sur l'image finale.
• Les méthodes d'adaptation de domaine existantes nécessitent souvent l'accès aux données source lors de l'entraînement ou des ajustements complexes.
• L'estimation d'incertitude sémantique fiable reste un défi sans données d'étiquetage supplémentaires.

Hypothèse de travail :
Les auteurs postulent que les représentations intermédiaires de la trajectoire de reconstruction contiennent des informations sémantiques exploitables. Bien que la structure visuelle évolue au cours de la reconstruction, une cohérence structurelle forte existe entre les sujets à un instant donné. Il serait donc possible d'adapter un réseau de segmentation pré-entraîné (gelé) en temps réel (Test-Time Adaptation ou TTA) en utilisant ces étapes intermédiaires, sans étiquettes ni modification du processus de reconstruction.

---

2. Méthodologie : IRTTA

L'approche proposée, nommée IRTTA (Intermediate Reconstruction for Test-Time Adaption), repose sur trois piliers techniques :

A. Modulation Temporelle du Réseau

Au lieu de modifier les poids du réseau de segmentation principal $f_\theta$ (qui reste gelé pour préserver les connaissances pré-entraînées), IRTTA introduit un réseau de modulation $g_\Psi$.

• Fonctionnement : Ce réseau prend en entrée l'étape de temps actuelle $t_i$ de la reconstruction (encodée par des embeddings sinusoïdaux) et prédit des paramètres de modulation $(\gamma, \beta)$.
• Application : Ces paramètres sont injectés dans les couches de normalisation (BatchNorm ou LayerNorm) du réseau de segmentation sous forme de transformation affine résiduelle : $\bar{z} = e^\gamma \odot \bar{x} + \beta$.
• Initialisation Zero-Shot : Pour garantir que le réseau ne dégrade pas les performances initiales, les poids de la dernière couche de $g_\Psi$ sont initialisés à zéro (dans l'espace logarithmique pour la stabilité du signe), assurant que $\bar{z} = \bar{x}$ au début de l'adaptation.

B. Optimisation par Minimisation de l'Entropie

Puisqu'aucune étiquette de vérité terrain n'est disponible lors du test (TTA), l'optimisation se fait de manière non supervisée :

• Le réseau de modulation $g_\Psi$ est optimisé pour minimiser l'entropie des prédictions de segmentation sur l'ensemble de la trajectoire de reconstruction.
• La fonction de perte est la somme des entropies spatiales des prédictions douces ($\hat{y}_i$) à chaque étape $i$ :
  $$L(\Psi) = -\sum_{i=1}^{S} \sum_{p,c} \hat{y}_{i,p,c} \log(\hat{y}_{i,p,c})$$
• Cela force le modèle à devenir plus confiant et cohérent tout au long du processus de reconstruction.

C. Estimation d'Incertitude Sémantique

L'approche génère naturellement une estimation d'incertitude sans coût supplémentaire :

• Moyenne d'ensemble : La prédiction finale est la moyenne des prédictions sur toutes les étapes de la trajectoire : $\hat{y}_\mu = \frac{1}{S} \sum \hat{y}_i$.
• Carte d'incertitude : L'entropie pixel par pixel de cette moyenne ($H(\hat{y}_\mu)$) sert de carte d'incertitude. Les zones à haute entropie correspondent à des structures anatomiques ambiguës ou dégradées.

---

3. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark RETOUCH, utilisant des volumes OCT rétiniens provenant de trois fabricants (Cirrus, Topcon, Spectralis). Le Spectralis (haute qualité) sert de domaine cible, tandis que Cirrus et Topcon (bruités) sont les domaines sources.

Performance de Segmentation (Dice Score)

• Adaptation Cirrus $\to$ Spectralis : IRTTA atteint un score Dice moyen de 0.603, surpassant toutes les méthodes de base, y compris les méthodes d'adaptation de domaine non supervisées (UDA) comme SVDNA et SegClr, et les approches TTA existantes (TENT, CoTTA).
• Adaptation Topcon $\to$ Spectralis : Le modèle démontre une forte généralisation avec un score de 0.444, restant le meilleur parmi les méthodes TTA.
• Comparaison : IRTTA surpasse même le modèle de reconstruction de base (GARD) utilisé seul, prouvant que l'exploitation de la trajectoire améliore la tâche en aval.

Estimation d'Incertitude

• Calibration : L'erreur de calibration attendue (ECE) est réduite de ~0.013 (GARD) à ~0.007 (IRTTA), indiquant une meilleure corrélation entre la confiance du modèle et sa précision réelle.
• Qualité Sémantique : Contrairement aux cartes d'incertitude classiques qui se concentrent sur les contours, les cartes d'IRTTA identifient correctement les régions anatomiques ambiguës (ex: petites lésions perdues lors de la reconstruction mais présentes dans la vérité terrain), offrant une interprétabilité clinique pertinente.

Études d'ablation

• Trajectoire complète : Utiliser l'ensemble de la trajectoire est supérieur à l'adaptation sur la seule image finale.
• Paramètres : La performance sature après 100 itérations d'optimisation et avec 10 étapes de reconstruction ($S=10$). Une taille d'embedding modérée (16-32) est optimale.

---

4. Contributions Clés

1. Nouveau Cadre de Modulation : Une méthode innovante pour exploiter la trajectoire complète de reconstruction itérative afin d'améliorer les modèles de segmentation en aval, sans modifier les poids du réseau principal.
2. Estimation d'Incertitude Zero-Shot : Un mécanisme permettant d'obtenir des estimations d'incertitude sémantiquement significatives sur des modèles pré-entraînés, sans réentraînement ni modification architecturale majeure.
3. Performance State-of-the-Art en TTA : Démonstration d'une supériorité par rapport aux méthodes d'adaptation de domaine existantes (y compris celles ayant accès aux données source) sur des tâches de segmentation médicale réelles, en utilisant uniquement des données non étiquetées du domaine cible.

---

5. Signification et Perspectives

Signification :
Ce travail remet en question la pratique consistant à ne considérer que l'image finale des algorithmes de reconstruction. Il démontre que le processus itératif lui-même est une source d'information précieuse pour l'adaptation de domaine. IRTTA offre une solution pragmatique pour le déploiement clinique de l'IA sur des équipements à faible coût, où la ré-entraînement n'est pas possible et où la fiabilité (incertitude) est critique.

Limites et Futur :

• Bien que performant, un écart subsiste par rapport aux modèles supervisés (entraînés avec des étiquettes du domaine cible).
• Les auteurs suggèrent que des stratégies de fine-tuning plus sophistiquées pourraient combler cet écart plutôt que de se focaliser uniquement sur la fonction de perte.
• Les travaux futurs visent à étendre cette approche à d'autres modalités (IRM, CT) et à explorer des mécanismes de fusion plus avancés que la simple moyenne d'ensemble pour combiner les représentations intermédiaires.

En résumé, IRTTA transforme le processus de reconstruction itérative d'une simple étape de prétraitement en un levier dynamique pour l'adaptation et la fiabilité des modèles de segmentation médicale.