Résumé Technique : DINO-MVR

Énoncé du Problème

La segmentation d'images médicales est cruciale pour des tâches cliniques telles que la quantification des lésions et la planification thérapeutique, mais elle se heurte à un goulot d'étranglement majeur : le coût élevé et la rareté des annotations au niveau des pixels et des voxels. Bien que les modèles supervisés comme U-Net et nnU-Net excellent avec des labels abondants, ils peinent face aux décalages de domaine et nécessitent un réentraînement pour de nouvelles modalités.

Les modèles fondateurs récents, en particulier les transformers de vision auto-supervisés (ViT) comme la famille DINO, offrent des représentations de caractéristiques denses sans labels spécifiques à la tâche. Cependant, une question centrale demeure : Si le backbone est maintenu complètement gelé, quelle performance de segmentation peut être récupérée uniquement en améliorant le mécanisme de « lecture » (readout) ? Les approches existantes reposent souvent sur des modèles promptables (par exemple, SAM) ou une adaptation efficace en paramètres (par exemple, des adaptateurs), mais elles peuvent encore nécessiter des prompts ou un pré-entraînement spécifique au domaine. Cet article examine si un backbone DINOv3 pré-entraîné sur des images naturelles et gelé peut soutenir une segmentation médicale précise si le goulot d'étranglement est résolu par une stratégie de lecture multi-vues spécialisée plutôt que par un ajustement fin du backbone.

Méthodologie : DINO-MVR

Les auteurs proposent DINO-MVR (Multi-View Readout), un cadre qui traite la segmentation médicale comme un problème de lecture sur des caractéristiques DINOv3 gelées. La méthode évite toute mise à jour du backbone, se concentrant plutôt sur des sondes légères et une agrégation au moment de l'inférence.

1. Empilement de Caractéristiques Gelées

• Backbone : Un encodeur ViT-B/16 DINOv3 pré-entraîné est utilisé avec tous ses paramètres gelés.
• Extraction de Caractéristiques : Pour une image d'entrée redimensionnée à la résolution $r$, le modèle extrait les caractéristiques des tokens de patch depuis les trois derniers blocs transformeurs ($L-2, L-1, L$). Ceux-ci sont concaténés pour former un tenseur de caractéristiques $Z^{(r)} \in \mathbb{R}^{h_r \times w_r \times 3d}$, exploitant l'intuition que les couches finales adjacentes encodent des informations locales et sémantiques complémentaires.
• Traitement de l'Entrée : Les images médicales à un seul canal (IRM, CT) sont répliquées sur trois canaux pour correspondre aux exigences d'entrée du backbone.

2. Lecture Légère Spécifique à l'Échelle

• Sondes : Au lieu d'un décodeur lourd, DINO-MVR entraîne de petites sondes Multi-Layer Perceptron (MLP) spécifiques à l'échelle.
• Architecture : Chaque sonde mappe les caractéristiques de patch concaténées vers des logits de premier plan via un réseau à deux couches ($2304 \to 256 \to 1$ avec ReLU), contenant environ 0,59 million de paramètres entraînables par échelle.
• Entraînement : Les sondes sont optimisées à l'aide d'une combinaison de la perte d'entropie croisée binaire (BCE) et de la perte Dice soft. Seuls les paramètres de la sonde $\theta_r$ sont mis à jour ; le backbone reste statique.

3. Inférence Multi-Vues

Pour maximiser l'utilité de la représentation gelée, le cadre interroge les caractéristiques à travers plusieurs vues complémentaires lors de l'inférence :

• Vues de Résolution : L'entrée est traitée à deux résolutions ($512$ et $1024$). La résolution inférieure fournit de la stabilité dans les régions homogènes, tandis que la résolution supérieure préserve les détails des contours.
• Augmentation au Moment du Test (TTA) : Des prédictions sont générées pour l'image originale et ses flips horizontal/vertical. Ces prédictions sont moyennées au sein de chaque résolution pour réduire la variance spécifique à l'orientation.
• Fusion Guidée par l'Entropie : Les cartes de probabilité des deux résolutions sont fusionnées à l'aide d'une règle de pondération dure basée sur l'entropie binaire. Si la branche grossière (512) est confiante (entropie $\le \tau=0,3$), sa prédiction est utilisée ; sinon, la branche fine (1024) est sélectionnée. Cela ne nécessite aucun paramètre entraînable supplémentaire.
• Raffinement Spatial : Un DenseCRF non paramétrique est appliqué après fusion pour imposer la cohérence spatiale et d'apparence.

4. Extension Volumétrique

Pour les volumes 3D (par exemple, IRM), le pipeline 2D est appliqué tranche par tranche. Pour assurer la cohérence inter-tranche sans apprendre un décodeur 3D, une priorité de lissage gaussien est appliquée le long de l'axe z ($\sigma_z = 4$). Cela supprime les erreurs isolées par tranche et améliore la cohérence volumétrique.

Contributions Clés

1. Formulation Centrée sur la Lecture : Les auteurs isolent la contribution du mécanisme de lecture en gelant le backbone DINOv3, démontrant qu'une performance de segmentation significative peut être extraite sans adaptation du backbone.
2. Cadre de Lecture Multi-Vues : DINO-MVR introduit une stratégie combinant la profondeur des caractéristiques (les 3 derniers blocs), la résolution d'entrée (multi-échelle) et les transformations au moment du test, les fusionnant via une sélection guidée par l'entropie et une régularisation spatiale.
3. Efficacité des Annotations : Le cadre atteint de fortes performances avec un minimum de données étiquetées. Dans des contextes volumétriques, il récupère presque toute la performance d'une exécution de référence sur 40 patients en n'utilisant que cinq patients annotés.

Résultats Expérimentaux

La méthode a été évaluée sur trois benchmarks selon des protocoles fixes : Kvasir-SEG (endoscopie), ISIC 2018 (dermoscopie) et BraTS 2021 FLAIR (IRM).

• Performance 2D :

  • Kvasir-SEG : A atteint un coefficient de Dice (DSC) de 0,895 et un IoU de 0,838, surpassant la baseline SegDINO (0,877 DSC) et les variantes traditionnelles d'U-Net.
  • ISIC 2018 : A atteint un DSC de 0,897 et un IoU de 0,827, dépassant la baseline SegDINO (0,858 DSC).
  • Des études d'ablation ont confirmé que l'utilisation des trois derniers blocs transformeurs, des sondes MLP non linéaires (par rapport aux linéaires) et de la TTA multi-résolution sont critiques pour la performance.

• Efficacité des Annotations (BraTS) :

  • Dans un contexte limité en patients, l'entraînement sur seulement 5 patients annotés a permis à DINO-MVR de récupérer 98,4 % de la performance obtenue par une exécution de référence utilisant 40 patients (0,8937 DSC contre 0,9082 DSC).
  • Cette adaptation n'a requis que 92,3 secondes de temps d'entraînement contre 675,6 secondes pour la référence à 40 patients.

• Cohérence Volumétrique :

  • L'application du lissage gaussien sur l'axe z a amélioré le DSC d'environ 0,01 et réduit significativement la distance de Hausdorff au 95e percentile (HD95) par rapport au traitement tranche par tranche sans lissage.

Importance et Revendications

L'article revendique que les backbones de vision auto-supervisés gelés peuvent soutenir une segmentation médicale précise lorsqu'ils sont associés à une lecture multi-vues efficace. L'importance réside dans le déplacement de la charge d'adaptation du réglage fin coûteux du backbone ou de l'ingénierie de prompts vers des sondes de lecture légères et efficaces.

Les auteurs positionnent DINO-MVR comme une alternative structurée aux modèles fondateurs promptables (comme SAM) et aux méthodes d'adaptation efficaces en paramètres. Il démontre que les « indices structurels et de contours » nécessaires à la segmentation médicale sont déjà présents dans les caractéristiques gelées de DINOv3 ; le défi réside dans la manière dont ces caractéristiques sont interrogées et fusionnées. Les résultats suggèrent que pour de nombreuses tâches médicales, une approche « lecture seule » peut atteindre des performances de pointe avec des exigences d'annotation drastiquement réduites et une surcharge computationnelle minimale durant la phase d'adaptation.