💻 computer science

ENSAM: an efficient foundation model for interactive segmentation of 3D medical images

ENSAM est un modèle de fondation léger pour la segmentation interactive d'images médicales 3D qui atteint des performances de pointe sous des budgets de données et de calcul limités en combinant une architecture basée sur SegResNet avec des techniques d'entraînement avancées telles que l'attention normalisée et l'optimiseur Muon, surpassant plusieurs bases préentraînées lors du défi CVPR 2025 Foundation Models for Interactive 3D Biomedical Image Segmentation.

Auteurs originaux : Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un ordinateur à trouver des organes spécifiques dans un scanner 3D (comme un scanner CT ou une IRM). Habituellement, cela nécessite un supercalculateur massif et coûteux ainsi que des milliers d'heures d'entraînement.

Les auteurs de cet article, Elias, Agnar et Arian, ont construit un nouvel outil appelé ENSAM. Voyez l'ENSAM comme un « assistant intelligent et léger » capable d'apprendre à segmenter (détourer) n'importe quelle partie d'une image médicale 3D en observant simplement quelques exemples et en recevant quelques indices d'un humain.

Voici l'histoire de la façon dont ils ont construit l'ENSAM, expliquée simplement :

1. L'objectif : Une « armée d'un seul homme »

L'équipe voulait créer un modèle capable de faire le travail d'un modèle de fondation géant et lourd, mais capable de fonctionner sur une seule carte graphique standard (un GPU de 32 Go). Ils voulaient prouver qu'on n'a pas besoin d'un supercalculateur pour obtenir d'excellents résultats.

Le nom : Ils l'ont nommé ENSAM (Equivariant, Normalized, Segment Anything Model). Le nom est une plaisanterie subtile : en suédois et dans les langues germaniques, « ensam » signifie « seul » ou « solitaire ». Cela reflète leur objectif d'entraîner un modèle puissant tout seul, sans l'aide de géants pré-entraînés.

2. La recette : Comment ils l'ont construit

Ils n'ont pas simplement copié des modèles existants ; ils ont concocté une nouvelle recette avec trois ingrédients spéciaux :

Le cerveau (Encodeur d'image) : Au lieu d'utiliser le cerveau « Transformer » le plus récent et le plus complexe (qui est comme un moteur lourd et gourmand en carburant), ils ont utilisé un SegResNet. Considérez cela comme un moteur de travail fiable et efficace, dont il est prouvé qu'il gère très bien les données médicales 3D.
Le GPS (Encodage de position relative) : Quand vous dites à un ordinateur « cliquez ici », il doit savoir où se trouve ce « ici ». Les anciens modèles utilisent la « Position Absolue » (comme donner une adresse postale : « 123 rue Main »). Si vous déplacez la maison, l'adresse est fausse. L'ENSAM utilise la Position Relative (comme dire « deux pâtés de maisons au nord du parc »). C'est comme donner à l'ordinateur une carte flexible qui fonctionne peu importe où se trouve l'organe dans le corps. Cela a permis au modèle d'apprendre beaucoup plus vite.
Le coach (Optimiseur Muon) : Entraîner une IA, c'est comme enseigner à un étudiant. Habituellement, vous utilisez un professeur standard (un optimiseur appelé Adam). Les auteurs l'ont remplacé par un nouveau coach plus rapide appelé Muon. Imaginez un coach qui ne se contente pas de dire à l'étudiant « fais plus d'efforts », mais qui réorganise instantanément tout le plan de leçon pour trouver le meilleur chemin à suivre. Cela a aidé le modèle à apprendre en un temps record.

3. Le défi : Le test du « Coreset »

L'article décrit une compétition (le défi CVPR 2025) où les équipes devaient construire ces modèles.

Le rebondissement : Il y avait une piste spéciale appelée la « Piste Coreset ». Les équipes n'avaient le droit d'utiliser que 10 % des données d'entraînement disponibles. C'était comme si on vous demandait d'apprendre une langue entière en utilisant seulement un dictionnaire de poche au lieu d'une bibliothèque.
La contrainte : Elles devaient également s'entraîner sur un seul GPU en seulement 6 heures.

4. Les résultats : Être plus fort que sa catégorie

Malgré l'utilisation d'une fraction des données et d'un seul ordinateur, l'ENSAM a obtenu des résultats incroyables :

Le score : Il a terminé 5ème sur 10 équipes dans la piste Coreset.
La grande victoire : Il était la meilleure équipe n'ayant utilisé aucun poids pré-entraînés (beaucoup d'autres équipes ont commencé avec un modèle qui avait déjà été entraîné sur de gigantesques ensembles de données ; l'ENSAM est parti de zéro, comme une page blanche).
Comparaison : Il a battu deux modèles célèbres (VISTA3D et SAM-Med3D) et s'est approché très près du troisième (SegVol), même si l'ENSAM a été entraîné avec beaucoup moins de puissance de calcul.

5. Comment cela fonctionne en pratique (La partie « interactive »)

Imaginez un médecin regardant un scanner 3D d'un foie.

Le médecin dessine un cadre autour du foie.
Le modèle devine le contour.
Le médecin clique sur « Oui » pour le foie et sur « Non » pour un rein voisin pour corriger le modèle.
Le modèle met instantanément à jour le contour.
L'ENSAM est conçu pour gérer cette conversation de va-et-vient très rapidement, affinant sa réponse à chaque clic.

6. Là où il trébuche (Limites)

Les auteurs sont honnêtes sur le fait que leur modèle n'est pas encore parfait :

Détails minuscules : Dans des images très denses et petites (comme la microscopie), le modèle manque parfois de petits détails ou se laisse confondre par le bruit.
L'écart de « simulation » : Le modèle a été testé en simulant des clics par ordinateur. Les auteurs admettent que de vrais médecins humains pourraient cliquer différemment, et ils ne l'ont pas encore testé avec de vraies personnes.
Un par un : Actuellement, le modèle gère un objet à la fois (comme un seul rein). Il ne comprend pas naturellement que si vous cliquez sur « rein », vous ne voulez certainement pas dire « foie ».

Résumé

En bref, l'ENSAM est une preuve de concept démontrant que vous pouvez construire un outil de segmentation médicale 3D interactif et hautement efficace sans avoir besoin d'un budget massif ou d'un supercalculateur. En utilisant un système de « carte relative » et un « coach de formation rapide », ils ont créé un modèle qui apprend rapidement, fonctionne sur un seul ordinateur et rivalise avec des systèmes beaucoup plus grands et coûteux.

Résumé Technique : ENSAM – Un modèle de fondation efficace pour la segmentation d'images médicales 3D interactive

Énoncé du Problème

La segmentation précise des images médicales 3D est cruciale pour les tâches cliniques telles que le diagnostic et la planification du traitement. Bien que les modèles d'apprentissage profond aient automatisé ces tâches, les modèles de fondation récents comme SAM (Segment Anything Model) et SAM2, conçus pour les images naturelles, peinent à se généraliser aux modalités médicales sans une adaptation significative. Les modèles existants spécifiques au domaine médical font souvent face à des compromis : certains manquent de support pour le raffinement itératif (ex. : MedSAM), d'autres nécessitent des ressources computationnelles massives et des poids pré-entraînés, et beaucoup ne parviennent pas à se généraliser à travers diverses modalités (CT, IRM, TEP, Ultrasons, Microscopie). De plus, un benchmark unifié pour comparer ces modèles sur un ensemble de test standardisé et caché faisait auparavant défaut.

Le défi spécifique abordé dans ce travail est le CVPR 2025 Foundation Models for Interactive 3D Biomedical Image Segmentation Challenge. L'objectif est de développer un modèle universel et promptable capable de segmenter toute structure anatomique ou pathologique à partir d'un prompt utilisateur (boîte englobante ou clics) dans un cadre interactif simulé. Une contrainte critique de la « piste coreset » est la limitation à 10 % des données d'entraînement totales et l'exigence d'un entraînement à partir de zéro sans exploiter de poids pré-entraînés externes, le tout en opérant sous des budgets de calcul stricts (un seul GPU de 32 Go).

Méthodologie : Architecture ENSAM

Les auteurs proposent ENSAM (Equivariant, Normalized, Segment Anything Model), un modèle léger et promptable basé sur une architecture de type U-Net. Il se compose de trois composants principaux : un encodeur d'image, un encodeur de prompt et un décodeur de masque.

1. Encodeur d'Image

Au lieu des Vision Transformers, qui sous-performent souvent les CNN dans certains benchmarks de segmentation, ENSAM utilise un encodeur basé sur SegResNet. Cette architecture comprend une cascade de blocs résiduels entrelacés avec des couches de sous-échantillonnage (StridedConv3D). Elle transforme les entrées monocanaux en cartes de caractéristiques multicanaux, maintenant la cohérence volumétrique.

2. Encodeur de Prompt et Mécanisme d'Interaction

L'encodeur de prompt gère les boîtes englobantes 3D, les clics de premier plan et les clics d'arrière-plan. Les innovations clés incluent :

Codage Positionnel de Rotation de Lie (LieRE) : Pour préserver l'équivariance et améliorer l'efficacité, le modèle remplace le codage positionnel absolu par un codage positionnel relatif. Cela est réalisé en appliquant des matrices de rotation dépendantes de la position aux vecteurs clés et requêtes. La matrice de rotation $R(p)$ est dérivée de l'algèbre de Lie $so(n)$, garantissant que les scores d'attention dépendent uniquement de la position relative $p_j - p_i$ .
Attention Normalisée : Inspiré par des travaux récents sur les transformers normalisés, ENSAM remplace la LayerNorm standard et la décroissance de poids par une normalisation $\ell_2$ appliquée à toutes les matrices de poids et activations après chaque étape d'optimisation. Cela contraint les sorties à une hypersphère unité, utilisant une stratégie de mise à jour résiduelle modifiée :
$x \leftarrow \text{Norm}(\text{Norm}(x) + \lambda(\text{Norm}(\text{nBlock}(x)) - \text{Norm}(x)))$
où $\lambda$ est un taux d'apprentissage propre apprenable. Cela vise à accélérer la convergence et à améliorer la stabilité numérique.
Flux d'Interaction : Les prompts utilisateurs et les logits de segmentation précédents (sous-échantillonnés via des convolutions stridées) interagissent avec les embeddings d'image à travers un processus en quatre étapes : (1) auto-attention normalisée sur les prompts, (2) attention prompt-vers-image, (3) traitement par MLP, et (4) attention image-vers-prompt. Ce cycle se répète deux fois.

3. Décodeur de Masque

Le décodeur reflète la structure de l'encodeur mais utilise des blocs résiduels simples par couche de suréchantillonnage. Il concatène les connexions de saut (skip connections), les traite à travers un ResBlock3D, et applique un suréchantillonnage trilinéaire pour produire les logits de segmentation.

4. Stratégie d'Entraînement

Optimiseur : Les auteurs emploient l'optimiseur Muon, qui opère sur des matrices de poids 2D en utilisant une approximation efficace de la Décomposition en Valeurs Singulières (SVD) pour les mises à jour, plutôt que la descente de gradient standard. Pour les paramètres 1D, AdamW est utilisé.
Gestion des Données : L'entraînement implique des interactions simulées où les boîtes englobantes initiales sont générées à partir de la vérité terrain avec des décalages aléatoires, suivies de cinq clics itératifs placés dans les régions d'erreur les plus importantes (premier plan pour la sous-segmentation, arrière-plan pour la sur-segmentation).
Fonction de Perte : Une perte composée de la perte de Dice généralisée et de l'entropie croisée (pondération 1:2) est utilisée.
Sélection du Coreset : Pour la piste coreset, l'ensemble d'entraînement a été limité à environ 4 471 échantillons (10 % du total), sélectionnés pour assurer une représentation uniforme à travers les modalités, en excluant les jeux de données présentant des problèmes de normalisation ou d'annotation.

Contributions Clés

Modèle de Fondation Efficace : ENSAM atteint des performances compétitives dans la segmentation médicale 3D universelle tout en étant entraîné à partir de zéro sur un seul GPU de 32 Go en seulement 6 heures, en utilisant moins de 5 000 volumes.
Innovations Architecturales : L'intégration du codage positionnel de rotation de Lie et de l'attention normalisée au sein d'un backbone SegResNet accélère considérablement la convergence et améliore la qualité de la segmentation par rapport au codage absolu et à l'attention standard.
Application de l'Optimiseur : Le papier démontre l'efficacité de l'optimiseur Muon pour les tâches de segmentation médicale 3D, montrant qu'il surpasse AdamW en termes de vitesse d'entraînement et de perte finale.
Benchmarking : Ce travail fournit une évaluation rigoureuse sur un ensemble de test multimodal et caché, offrant une comparaison équitable contre les modèles de pointe (VISTA3D, SAM-Med3D, SegVol) sous des conditions de données et de calcul contraintes.

Résultats

Performance Quantitative

Sur l'ensemble de test caché (piste coreset), ENSAM a obtenu :

DSC AUC : 2.404
NSD AUC : 2.266
DSC Final : 0.627
NSD Final : 0.597

Comparaisons :

ENSAM a surpassé VISTA3D et SAM-Med3D sur les quatre métriques.
Il égale SegVol en DSC AUC et NSD AUC, mais surpasse SegVol en DSC Final (0.627 contre 0.622), bien qu'il soit légèrement en retrait en NSD Final.
Dans le classement global du challenge, ENSAM s'est classé 5ème sur 10 équipes et était le meilleur modèle n'utilisant pas de poids pré-entraînés.

Études d'Ablation

Les expériences ont confirmé que le passage du codage positionnel absolu au relatif (LieRE) améliore l'efficacité de l'entraînement. De plus, la combinaison de LieRE avec l'optimiseur Muon a produit la convergence la plus rapide et la meilleure perte finale, surpassant la configuration de base (Absolute PE + Adam).

Analyse Qualitative

Succès : ENSAM a démontré une délimitation précise des structures larges (ex. : foie, rate, reins en CT ; corps vertébraux en IRM) et a géré efficacement les séquences 2D+t d'ultrasons.
Échecs : Le modèle a eu des difficultés avec les détails fins en microscopie (vaisseaux fins) et a parfois présenté une sur-segmentation dans les images TEP, probablement due au écrêtage d'intensité lors du prétraitement. Il a également montré des bords dentelés en échographie en raison des artefacts de mouvement.

Signification et Revendications

Les auteurs affirment que ENSAM démontre que des modèles de fondation de haute performance pour l'imagerie médicale peuvent être entraînés efficacement à partir de zéro sans dépendre de ressources de calcul massives ou de poids pré-entraînés externes. Le papier souligne que la combinaison du codage positionnel relatif et de l'optimiseur Muon est un moteur clé de cette efficacité.

Le travail met en évidence que, bien que le modèle ne soit pas encore supérieur à tous les modèles de référence sur chaque métrique (particulièrement lorsque ces derniers utilisent nettement plus de données et de calcul), il atteint un équilibre solide entre performance et efficacité des ressources. Les auteurs notent modestement que l'architecture actuelle n'est probablement pas optimale et que les travaux futurs pourraient bénéficier de l'exploration de réseaux plus profonds, de la gestion de l'espacement anisotrope via des coordonnées physiques, et de l'intégration de types de prompts plus diversifiés (ex. : scribbles, lassos).

Le papier conclut qu'ENSAM représente une étape significative vers la démocratisation de l'accès aux modèles de fondation pour l'imagerie médicale, prouvant qu'une segmentation interactive efficace est réalisable sous des contraintes strictes de données et de matériel.