⚡ electrical engineering

Mamba Goes HoME: Hierarchical Soft Mixture-of-Experts for 3D Medical Image Segmentation

Cet article présente HoME, un cadre hiérarchique de mélange d'experts souple basé sur l'architecture Mamba qui utilise un mécanisme de routage de jetons à deux niveaux pour améliorer la modélisation de contexte long et atteindre des performances de pointe dans la segmentation d'images médicales 3D à travers diverses modalités et qualités de données.

Auteurs originaux : Szymon Płotka, Gizem Mert, Maciej Chrabaszcz, Ewa Szczurek, Arkadiusz Sitek

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Szymon Płotka, Gizem Mert, Maciej Chrabaszcz, Ewa Szczurek, Arkadiusz Sitek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'organiser une bibliothèque massive contenant des millions de livres (qui représentent un scanner médical 3D d'un corps humain). Votre objectif est de trouver des détails minuscules et spécifiques — comme une petite tumeur ou la limite d'un organe spécifique — tout en comprenant la vue d'ensemble de la façon dont toute la bibliothèque est organisée.

Ce document présente un nouveau système d'IA appelé Mamba-HoME pour résoudre ce problème. Voici comment il fonctionne, expliqué à travers des analogies simples :

Le Problème : Trop grand pour un seul cerveau

Les modèles d'IA précédents essayaient de regarder toute la bibliothèque à la fois.

Ancienne Méthode A (CNNs) : Comme un bibliothécaire qui ne regarde qu'une étagère à la fois. Ils sont rapides et bons pour voir les détails locaux, mais ils ne peuvent pas voir comment les étagères se connectent à travers toute la pièce. Ils passent à côté de la « vue d'ensemble ».
Ancienne Méthode B (Transformers) : Comme un bibliothécaire qui essaie de lire chaque livre de la bibliothèque simultanément pour comprendre les connexions. C'est excellent pour avoir une vision globale, mais cela prend un temps infini et nécessite un supercalculateur pour gérer la mémoire. Cela devient trop lent pour les scanners 3D à haute résolution.

La Solution : L'équipe « Mamba-HoME »

Les auteurs ont créé une nouvelle équipe de travailleurs d'IA qui combine la vitesse de la Méthode A avec la vision globale de la Méthode B, mais avec une astuce ingénieuse appelée HoME (Hierarchical Soft Mixture-of-Experts).

Considérez HoME comme un système de gestion à deux niveaux pour une équipe de construction massive :

Niveau 1 : Les Contremaîtres Locaux (Les experts « locaux »)

Lorsqu'ils reçoivent un énorme scan 3D, ils n'envoient pas chaque pixel au grand patron. Au lieu de cela, ils découpent le scan en petits quartiers gérables (groupes).

Dans chaque quartier, un Contremaître Local (un « expert ») est assigné pour gérer les détails spécifiques de cette zone.
Si un quartier possède beaucoup de texture osseuse, un « expert en os » s'en occupe. S'il y a du liquide, un « expert en fluide » prend le relais.
C'est efficace car les experts ne communiquent d'abord qu'avec les personnes de leur propre quartier. Ils ne perdent pas de temps à crier à travers toute la ville.

Niveau 2 : Les Urbanistes (Les experts « globaux »)

Une fois que les Contremaîtres Locaux ont terminé leur travail, ils envoient un résumé au niveau supérieur aux Urbanistes (les experts « globaux »).

Ces planificateurs examinent les résumés de tous les quartiers.
Ils déterminent comment les quartiers s'emboîtent. Par exemple : « Le foie (quartier A) est juste à côté de l'estomac (quartier B) ».
Ils affinent la carte finale, en veillant à ce que les détails locaux soient cohérents avec le contexte global.

Pourquoi « Mamba » ?

Le papier utilise une technologie de base appelée Mamba. Considérez Mamba comme un tapis roulant hautement efficace.

Contrairement aux anciens systèmes qui devaient s'arrêter pour examiner chaque article sur le tapis afin de comprendre toute la ligne (ce qui est lent), Mamba se déplace le long du tapis de manière linéaire. Il se souvient de ce qu'il a vu précédemment et utilise cette mémoire pour comprendre ce qu'il voit maintenant, sans pour autant s'enliser.
Cela permet au système de gérer des scans 3D massifs (comme un corps humain entier) beaucoup plus rapidement et avec moins de mémoire informatique que les méthodes précédentes.

Les Résultats : De meilleures cartes, moins de mémoire

Les auteurs ont testé ce système sur trois types différents de « caméras » médicales :

Scanners CT (comme des rayons X qui montrent les os et les organes en 3D).
Scanners IRM (qui montrent les tissus mous comme le cerveau et le foie avec précision).
Échographie (qui est souvent bruyante et granuleuse).

Ce qu'ils ont découvert :

Précision : Mamba-HoME a tracé les contours des organes et des tumeurs plus précisément que toute autre méthode actuelle. Il était meilleur pour trouver les « bords » des choses.
Efficacité : Même s'il est très intelligent, il n'a pas eu besoin d'une quantité massive de mémoire informatique (RAM) pour fonctionner, ce qui est un problème majeur pour les images médicales 3D.
Polyvalence : Le système a appris à partir de scanners CT et IRM et était si bon pour comprendre la « forme » des organes qu'il a également bien fonctionné sur les échographies, même s'il n'avait pas été explicitement entraîné sur celles-ci au préalable.

En bref

Le papier affirme que Mamba-HoME est une nouvelle façon d'apprendre aux ordinateurs à « voir » à l'intérieur du corps humain. Il y parvient en utilisant une équipe de spécialistes à deux niveaux : des experts locaux qui gèrent les petits détails rapidement, et des experts globaux qui s'assurent que ces détails s'assemblent parfaitement. Cette approche est plus rapide, utilise moins de puissance informatique et crée des cartes médicales plus précises que les meilleurs outils actuels.

Note : Le papier se concentre entièrement sur la performance technique du modèle d'IA dans les tâches de segmentation (dessiner des lignes autour des organes). Il ne prétend pas que le modèle est actuellement utilisé dans les hôpitaux pour le diagnostic des patients ou la planification des traitements, ni ne discute des futures applications cliniques au-delà des références techniques présentées.

Résumé Technique : Mamba Goes HoME

Problématique

La segmentation d'images médicales en trois dimensions (3D) est cruciale pour le diagnostic et la planification des traitements à travers diverses modalités telles que la tomographie par ordinateur (CT), l'imagerie par résonance magnétique (IRM) et l'échographie (US). Cependant, les architectures existantes font face à des compromis importants :

Les réseaux de neurones convolutifs (CNN) offrent une complexité computationnelle linéaire mais souffrent de champs récepteurs limités, ce qui entrave la capture des motifs spatiaux globaux essentiels pour comprendre la relation hiérarchique entre les lésions locales et les structures anatomiques globales.
Les Vision Transformers (ViT) utilisent l'attention globale pour modéliser les dépendances à longue portée mais entraînent une complexité computationnelle quadratique par rapport au nombre de tokens. Cela les rend prohibitifs pour les données volumétriques 3D à haute résolution.
Les modèles d'espace d'état (SSM) sélectifs, tels que Mamba, offrent une complexité linéaire pour la modélisation de séquences longues, proposant une alternative efficace aux ViT. Cependant, les SSM standards ne sont pas intrinsèquement conçus pour gérer de manière adaptative les divers motifs locaux présents dans les données médicales complexes et multi-échelles.
Les cadres de mélange d'experts (MoE) peuvent router dynamiquement les caractéristiques vers des sous-réseaux spécialisés pour gérer les motifs locaux, mais la combinaison de l'efficacité globale des SSM avec l'adaptabilité localisée des MoE dans l'imagerie médicale 3D reste largement inexplorée.

Méthodologie : Mamba-HoME

Les auteurs proposent Mamba-HoME, une nouvelle architecture qui intègre l'ossature du modèle d'espace d'état (SSM) sélectif Mamba avec une couche de Mélange d'Experts Hiérarchique Doux (HoME). La conception vise à modéliser efficacement les hiérarchies de motifs du local au global avec une complexité computationnelle linéaire.

1. Mélange d'Experts Hiérarchique Doux (HoME)

L'innovation centrale est une couche de routage de tokens à deux niveaux conçue pour équilibrer la spécialisation locale et l'intégration du contexte global :

Niveau 1 : Groupement et Routage Locaux. Les séquences d'entrée sont partitionnées en groupes locaux. Une couche de Soft Mixture-of-Experts (SMoE) route les tokens au sein de ces groupes vers des experts locaux spécialisés. Cela permet l'extraction de caractéristiques localisées tout en préservant la localité spatiale et en réduisant la surcharge mémoire par rapport au routage global.
Niveau 2 : Agrégation Globale. Les sorties du premier niveau sont agrégées et transmises à une seconde couche SMoE globale. Cela facilite la fusion d'informations inter-groupes et le raffinement du contexte global.
Scalabilité : En effectuant le routage au sein de groupes avant l'agrégation globale, la méthode évite les coûts de mémoire prohibitifs du routage global sur des données 3D à haute résolution (où le nombre de tokens peut atteindre des millions), maintenant une complexité computationnelle de $O(Nd)$.

2. Bloc Mamba-HoME

L'architecture intègre la couche HoME dans un réseau encodeur-décodeur en forme de U (inspiré de SegMamba) :

Ossature (Backbone) : Utilise des couches Mamba pour une modélisation efficace des dépendances à longue portée avec une complexité temporelle linéaire.
Convolution Spatiale à Porte (GSC) : Intégrée pour capturer les priors spatiaux locaux avant l'aplatissement des données en séquences 1D pour le traitement par Mamba.
Tanh Dynamique (DyT) : Remplace la normalisation standard par couche (Layer Normalization) par une non-linéarité point par point ( $f(x) = w \cdot \tanh(\alpha \cdot x) + b$ ). Cela stabilise les gradients et réduit la surcharge computationnelle en évitant les calculs de moyenne et de variance, accélérant ainsi l'entraînement et l'inférence.
Progression Hiérarchique : Le nombre d'experts augmente de manière monotone avec la profondeur ( $E_1 < E_2 < \dots$ ), tandis que les tailles de groupes diminuent ( $K_1 > K_2 > \dots$ ), permettant un traitement de plus en plus fin à mesure que le réseau s'approfondit.

Contributions Clés

Couche HoME : Introduction d'une couche de routage de tokens MoE à deux niveaux qui capture efficacement les hiérarchies de motifs du local au global en groupant les tokens pour un routage d'expert local suivi d'un raffinement d'expert global.
Architecture Unifiée : Conception du bloc Mamba-HoME, qui intègre les SSM de Mamba avec HoME, combinant le traitement de séquences longues économique en mémoire avec le routage d'experts hiérarchique.
Réseau de Segmentation Multi-étapes : Intégration de ces composants dans une architecture en U spécifiquement adaptée à la segmentation d'images médicales 3D, améliorant la représentation contextuelle à travers les dimensions spatiales et de profondeur.

Résultats Expérimentaux

Les auteurs ont évalué Mamba-HoME sur quatre jeux de données publics (PANORAMA, AMOS, FeTA 2022, MVSeg) et un jeu de données CT interne, couvrant les modalités CT, IRM et US.

Performance : Mamba-HoME a atteint des résultats de pointe (SOTA) en termes de précision de segmentation (Coefficient de similitude de Dice - DSC) et de précision des contours (Distance de Hausdorff 95% - HD95) sur toutes les modalités testées.
- Sur le jeu de données PANORAMA, il a atteint un DSC de 56,7 % (pré-entraîné) et 54,8 % (partant de zéro), surpassant les modèles de référence comme SegMamba et Swin UNETR.
- Sur le jeu de données d'IRM fœtale FeTA 2022, il a atteint un DSC de 87,7 % (pré-entraîné).
- Sur le jeu de données US 3D MVSeg, il a atteint un DSC de 85,0 % (pré-entraîné).
Efficacité : Malgré un nombre de paramètres plus élevé (170,1M) par rapport à certains concurrents, le modèle a démontré une faible utilisation de la mémoire GPU lors de l'inférence, un avantage critique pour les données 3D à haute résolution. Bien que l'inférence soit environ 30 % plus lente que certains modèles de référence, les auteurs notent que c'est un compromis convaincant pour les gains significatifs en précision.
Généralisabilité : Le modèle a démontré une forte généralisation inter-modale. Un modèle pré-entraîné sur des données CT et IRM s'est adapté avec succès aux tâches d'échographie 3D avec un ajustement fin minimal, surpassant les méthodes SOTA en termes de DSC et de HD95.
Études d'Ablation :
- Les performances optimales ont été trouvées avec des nombres d'experts spécifiques ( $E_1 \in \{4, 8, 12, 16\}$ , $E_2 \in \{8, 16, 24, 32\}$ ) et des tailles de groupes ( $K \in \{2048, 1024, 512, 256\}$ ).
- La normalisation Tanh Dynamique (DyT) a amélioré la vitesse d'entraînement et d'inférence d'environ 6 % par rapport à la normalisation par couche sans sacrifier la précision.
- Le pré-entraînement supervisé sur de grands ensembles de données CT et IRM a considérablement amélioré la performance et la robustesse à travers diverses régions anatomiques et modalités.

Signification et Revendications

L'article affirme que Mamba-HoME représente une avancée significative dans la segmentation d'images médicales 3D en comblant efficacement l'écart entre l'efficacité des SSM et l'adaptabilité des cadres MoE. Les auteurs soutiennent que leur conception hiérarchique permet aux modèles de capturer plus efficacement les hiérarchies spatiales locales-globales inhérentes aux données médicales que les approches précédentes basées sur les CNN ou les Transformers.

Le travail met en évidence le potentiel des représentations de caractéristiques agnostiques de la modalité, démontant qu'un modèle pré-entraîné sur CT et IRM peut se généraliser efficacement à l'échographie 3D, répondant ainsi au défi de la variabilité des données entre les différentes modalités d'imagerie. Les auteurs positionnent Mamba-HoME comme une solution évolutive pour les données 3D à haute résolution qui maintient une efficacité compétitive en termes de mémoire et de calcul tout en délivrant une précision de segmentation supérieure.

Limites Reconnues : Les auteurs notent que la scalabilité vers des ensembles de données extrêmement vastes (par exemple, >10 000 scanners) et le comportement sous un apprentissage auto-supervisé à grande échelle (>200 000 scanners) restent inexplorés, identifiant ces points comme des directions pour des travaux futurs.