Résumé Technique : BBR-Net : Boundary-Balanced Replay pour la segmentation continue d'images médicales

1. Énoncé du problème

L'apprentissage continu (CL - Continual Learning) pour la segmentation d'images médicales est confronté à des défis importants sous l'effet du décalage de domaine (domain shift), particulièrement le phénomène d'oubli catastrophique. Les méthodes de rejeu (replay) existantes privilégient généralement la préservation des informations au niveau de l'apparence (distributions de pixels ou plongements de caractéristiques) ou reposent sur une sélection d'échantillons aléatoire ou heuristique. Cependant, dans l'imagerie médicale, l'apparence de l'image varie considérablement selon les dispositifs et les protocoles, tandis que la structure anatomique sous-jacente reste relativement stable.

Les auteurs soutiennent que les approches actuelles de CL souffrent d'une inadéquation fondamentale : elles privilégient les indices d'apparence variables au détriment des structures anatomiques invariantes. Par conséquent, les modèles peuvent conserver des mesures de performance numériques tout en échouant à préserver des représentations anatomiquement cohérentes, ce qui conduit à des prédictions fragmentées et des contours incohérents dans les applications cliniques. De plus, l'efficacité des mécanismes de rejeu dans le CL médical n'a pas été systématiquement analysée en ce qui concerne la fiabilité structurelle des échantillons stockés ou l'ordre des tâches (par exemple, apprendre à partir de données propres d'abord vs données bruitées d'abord).

2. Méthodologie : BBR-Net

Le papier propose le Boundary-Balanced Replay Network (BBR-Net), un cadre conçu pour intégrer l'information structurelle dans le processus de sélection de la mémoire pour la segmentation continue d'échocardiographies.

Architecture de base

Le cadre utilise une architecture U-Net à double tête :

• Tête de segmentation ($f_{seg}$) : Prédit le masque de segmentation.
• Tête de bordure ($f_{bnd}$) : Prédit les cartes de bordures anatomiques comme contrainte auxiliaire pour renforcer la cohérence de la forme.

Stratégie de rejeu sensible aux bordures (Boundary-Aware Replay)

Contra-irement au rejeu standard qui traite tous les échantillons de manière égale, BBR-Net construit un tampon de rejeu basé sur un score de priorité combiné qui quantifie la complexité structurelle et l'équilibre des classes :

1. Priorité sensible aux bordures ($S_b$) : Pour un masque $y$ donné, une carte de bordure $B(y)$ est générée. Le score d'importance structurelle est la densité des pixels de bordure :
   $$S_b(y) = \frac{1}{HW} \sum_{i,j} B(y)_{ij}$$
   Les échantillons présentant une plus grande complexité de bordure (contours anatomiques plus riches) sont jugés plus informatifs pour la rétention des connaissances structurelles.

2. Priorité équilibrée par classe ($S_c$) : Pour traiter le déséquilibre des classes, un poids d'inverse fréquence est appliqué à la présence de chaque classe anatomique. Les structures rares sont prioritaires pour garantir qu'elles ne soient pas oubliées.
   $$S_c(y) = \sum_{c=1}^{C} w_c \cdot c_c(y), \quad \text{où } w_c = \frac{1}{n_c}$$

3. Gestion du tampon basée sur la priorité : Le score de priorité final $P(x, y)$ combine ces deux facteurs :
   $$P(x, y) = \alpha S_c(y) + \beta S_b(y)$$
   Le tampon de rejeu ($\mathcal{M}$) stocke les échantillons en fonction de ce score. Lors de l'entraînement de la tâche cible, les échantillons sont prélevés dans le tampon avec une probabilité proportionnelle à leur priorité, garantissant que les classes structurellement informatives et sous-représentées sont rejouées plus fréquemment.

Objectif d'entraînement

Le modèle est entraîné à l'aide d'une fonction de perte multi-tâche qui combine la perte de segmentation (Cross-Entropy + Dice), la perte de bordure (Binary Cross-Entropy) et la perte de rejeu :
$$\mathcal{L} = \mathcal{L}_{seg} + \lambda_b \mathcal{L}_{bnd} + \lambda_r \mathcal{L}_{replay}$$
où $\lambda_b$ et $\lambda_r$ contrôlent respectivement les contributions de la supervision de bordure et du rejeu.

3. Configuration expérimentale

La méthode a été évaluée sur deux ensembles de données d'échocardiographie dans un contexte d'apprentissage séquentiel :

• Tâche source : CAMUS (annotations propres et bien définies).
• Tâche cible : CardiacNet (bruité, haute variabilité, conditions cliniques diverses).

Deux ordres de tâches ont été testés :

1. Forward (Direct) : CAMUS $\to$ CardiacNet.
2. Reverse (Inversé) : CardiacNet $\to$ CAMUS.

De plus, une Analyse de perturbation structurelle contrôlée a été menée où la fiabilité structurelle des masques de la tâche source dans le tampon de rejeu était progressivement dégradée (par érosion/dilatation des bordures) tout en maintenant toutes les autres variables fixes, afin d'isoler l'effet de la qualité structurelle sur l'oubli.

4. Résultats clés

Ordre de tâche direct (CAMUS $\to$ CardiacNet)

• Performance : BBR-Net a atteint un score Dice de 0,893 sur la tâche source (CAMUS) après l'apprentissage de la tâche cible, avec un score d'oubli de 0,009. C'est presque identique à la référence d'entraînement conjoint hors ligne (0,902) et surpasse significativement le fine-tuning standard (0,320) et le rejeu simple (0,882).
• Ablation : La combinaison de la priorisation sensible aux bordures et à la classe a produit le meilleur équilibre entre la rétention de la tâche source et l'adaptation à la tâche cible. La priorisation basée uniquement sur les bordures a légèrement mieux performé que la priorisation basée uniquement sur les classes, suggérant que les indices structurels sont critiques.
• Qualitatif : BBR-Net a maintenu des bordures anatomiques lisses et continues ainsi que des relations topologiques correctes, tandis que les modèles de base présentaient des prédictions fragmentées et un effondrement structurel dans les cas difficiles.

Ordre de tâche inversé (CardiacNet $\to$ CAMUS)

• Performance : Une asymétrie frappante a été observée. Lorsque le modèle a appris en premier à partir de l'ensemble de données bruité CardiacNet, BBR-Net a échoué, présentant un oubli catastrophique (Oubli $\approx$ 0,595) comparable au fine-tuning.
• Comparaison : Dans ce cadre inversé, le "Weighted Sampler Replay" (qui ne repose pas sur des priors structurels) a surpassé BBR-Net, conservant les connaissances de CardiacNet avec un score d'oubli de 0,015.
• Implication : Le rejeu sensible à la structure n'est pas universellement supérieur ; il échoue lorsque les priors structurels appris lors de la première tâche sont peu fiables ou bruités.

Perturbation structurelle contrôlée

• Résultats : À mesure que la fiabilité structurelle des masques de rejeu était dégradée (sévérité de la corruption 0 $\to$ 5), la rétention de la tâche source diminuait de manière monotone (0,890 $\to$ 0,848) et l'oubli augmentait (0,011 $\to$ 0,052).
• Conclusion : L'efficacité du rejeu est fortement dépendante de la qualité des informations structurelles stockées, et non seulement de la capacité de la mémoire ou de la fréquence d'échantillonnage.

5. Signification et affirmations

Les auteurs affirment que ce travail déplace le paradigme de la segmentation d'images médicales continue de la préservation de l'apparence vers la préservation de la structure.

• La cohérence structurelle comme moteur : L'étude démontre que la cohérence anatomique, plutôt que la similitude d'apparence, est le facteur clé régissant la rétention des connaissances dans le CL médical.
• Efficacité conditionnelle du rejeu : Le papier remet en question l'hypothologie selon laquelle le rejeu est une solution universelle. Il révèle que l'efficacité du rejeu sensible à la structure est conditionnelle : elle réussit lorsque des priors anatomiques stables sont appris tôt (ordre direct), mais échoue lorsque les représentations initiales sont bruitées (ordre inversé).
• Rôle de la fiabilité structurelle : À travers la perturbation contrôlée, les auteurs fournissent une preuve empirique que la dégradation des performances de rejeu est directement liée à la corruption des informations structurelles dans le tampon de mémoire, indépendamment de la difficulté de la tâche ou de l'ordre des tâches.
• Implication pratique : Pour un déploiement robuste dans des environnements cliniques hétérogènes, les mécanismes de rejeu doivent tenir compte de la fiabilité structurelle des échantillons stockés. Si les données initiales sont bruitées, s'appuyer sur une priorisation basée sur les bordures peut amplifier les erreurs plutôt que de les corriger.

Le papier conclut que les futurs cadres de CL devraient explicitement modéliser les contraintes géométriques et anatomiques plutôt que de compter uniquement sur l'alignement des caractéristiques, et que la compréhension de l'interaction entre l'ordre des tâches et la fiabilité structurelle est essentielle pour développer des systèmes d'IA médicale robustes.