💻 computer science

USEMA: a Scalable Efficient Mamba Like Attention for Medical Image Segmentation

Ce papier présente USEMA, une architecture UNet hybride intégrant un mécanisme d'attention de type Mamba évolutif et efficace (SEMA) novateur pour atteindre des performances supérieures en segmentation d'images médicales et une efficacité computationnelle en combinant efficacement l'extraction de caractéristiques locales avec la modélisation du contexte global.

Auteurs originaux : Elisha Dayag, Nhat Thanh Tran, Jack Xin

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Elisha Dayag, Nhat Thanh Tran, Jack Xin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un gigantesque puzzle représentant le corps humain, mais que les pièces sont minuscules, floues et qu'il y en a des milliers. C'est ce que les médecins affrontent lorsqu'ils examinent des images médicales comme des IRM ou des lames de microscope pour repérer des tumeurs ou des organes. Pour les aider, les informaticiens construisent des « détectives à intelligence artificielle » capables de tracer automatiquement des contours autour de ces parties du corps. Ce processus s'appelle la segmentation d'images médicales.

L'article que vous avez partagé présente un nouveau détective à IA appelé USEMA. Voici comment il fonctionne, expliqué simplement :

Le Problème : Le Dilemme « Trop de Voisins »

Pour comprendre une image, une IA doit examiner deux choses :

Les Détails : Que se passe-t-il juste à côté d'un pixel spécifique ? (Est-ce une cellule du foie ou une cellule du rein ?)
La Vue d'Ensemble : Comment ce pixel se rapporte-t-il au reste de l'image ? (Est-ce une tumeur située sur le côté gauche du corps ?)

Les anciens modèles d'IA (appelés Transformers) étaient excellents pour observer la « Vue d'Ensemble ». Ils pouvaient connecter instantanément n'importe quel pixel à un autre dans l'image. Cependant, ils présentaient un défaut majeur : ils étaient incroyablement lents et coûteux à exécuter. C'était comme essayer de présenter individuellement chaque personne d'un stade de 100 000 spectateurs à toutes les autres personnes. Les mathématiques deviennent si lourdes (complexité quadratique) qu'il devient impossible de les traiter rapidement sur de grandes scans médicaux.

Les modèles plus récents (appelés Mamba) sont plus rapides car ils examinent l'image ligne par ligne, comme on lit un livre. Mais parfois, ils deviennent un peu « myopes », se concentrant trop sur les voisins immédiats et manquant le contexte global.

La Solution : USEMA (L'« Hybride Intelligent »)

Les auteurs ont créé USEMA (un hybride d'une forme classique de « U-Net » et d'un nouveau mécanisme d'attention appelé SEMA). Ils ont résolu le problème de la vitesse contre la précision grâce à une stratégie astucieuse en deux étapes, en utilisant une analogie de Fenêtre et de Sifflet :

La Fenêtre (Focus Local) :
Imaginez que vous êtes dans une pièce bondée. Pour comprendre votre environnement immédiat, vous ne regardez que les personnes se tenant dans un cercle de 1,5 mètre autour de vous. C'est l'Attention par Fenêtre. Elle est rapide et efficace car vous n'essayez pas de parler à tout le monde dans le stade, seulement à vos voisins. Cela gère les détails fins.
Le Sifflet (Focus Global) :
Mais que faire si vous devez savoir si quelqu'un crie de l'autre côté de la pièce ? L'article a remarqué que lorsque les modèles d'IA regardent trop de choses à la fois, l'importance de n'importe quel élément individuel s'estompe (comme un murmure dans un ouragan). Pour corriger cela, ils ont ajouté un tour de passe-passe simple et mathématiquement prouvé : la Moyenne Arithmétique.

Considérez cela comme l'IA qui prend un rapide « aperçu moyen » de tout ce qu'elle voit. Ce n'est pas une conversation profonde et complexe avec chaque pixel ; c'est un résumé rapide. L'article soutient que cette simple moyenne suffit en réalité à capturer la « sensation » globale de l'image sans le coût mathématique lourd.

USEMA combine ces deux éléments : Il utilise la « Fenêtre » pour voir les détails et la « Moyenne » pour saisir l'ambiance générale de l'image entière.

Comment Ils L'Ont Testé

L'équipe n'a pas seulement deviné ; ils ont soumis USEMA à l'épreuve dans trois « salles de puzzle » très différentes :

L'IRM Abdominale : Un scan 3D des organes internes (foie, reins, etc.).
L'Endoscopie : Une caméra vidéo à l'intérieur du corps observant des instruments chirurgicaux.
Le Microscope : De minuscules images de cellules individuelles.

Les Résultats

Dans chaque test, USEMA a gagné :

Meilleure Précision : Il a tracé les contours des organes et des cellules plus correctement que les meilleurs modèles précédents (à la fois les Transformers lents et les modèles Mamba rapides).
Taille Réduite : Il a obtenu ces résultats avec moins de « cellules cérébrales » (paramètres) que les lourds modèles Transformers, le rendant plus léger et plus rapide à exécuter.
Efficacité : Il a prouvé que vous n'avez pas besoin d'effectuer les lourds calculs consistant à connecter chaque pixel à tous les autres pixels pour obtenir d'excellents résultats. Un mélange intelligent de « fenêtres locales » et d'une « simple moyenne » fonctionne mieux.

La Conclusion

L'article affirme que USEMA est une nouvelle méthode, plus rapide et plus précise, pour que les ordinateurs comprennent les images médicales. En mélangeant le « focus local » de l'observation des voisins avec une « moyenne globale » de toute la scène, il évite le goulot d'étranglement computationnel qui a freiné l'IA en médecine pendant des années. C'est comme trouver un moyen de comprendre une ville entière en connaissant votre rue et en ayant une carte rapide de toute la zone, plutôt que d'essayer de mémoriser chaque bâtiment de la ville en une seule fois.

Résumé Technique : USEMA – Une Attention de Type Mamba Évolutive et Efficace pour la Segmentation d'Images Médicales

Énoncé du Problème
La segmentation précise d'images médicales est cruciale pour les pipelines de diagnostic, mais elle fait face à des défis uniques, notamment des données d'entraînement limitées et des géométries d'objets complexes et superposées. Bien que les Transformers de Vision (ViT) offrent la capacité de capturer des dépendances globales via l'attention auto, leur application en imagerie médicale est entravée par deux problèmes principaux :

Complexité Computatoire Quadratique : L'attention auto classique engendre un coût de $O(n^2)$ par rapport à la longueur de la séquence, la rendant computationnellement prohibitif pour les images médicales haute résolution.
Dispersion de l'Attention : À mesure que la longueur de la séquence augmente, les scores dans la matrice d'attention (sortie softmax) tendent à se disperser uniformément vers zéro. Ce phénomène, théoriquement ancré dans la loi faible des grands nombres, entrave la capacité du modèle à sélectionner les clés et les valeurs importantes, réduisant efficacement le mécanisme d'attention à un processus de moyennage uniforme.

Méthodologie
Les auteurs proposent USEMA, une architecture hybride UNet intégrant un nouveau mécanisme d'attention appelé Scalable Efficient Mamba-like Attention (SEMA). La méthodologie adresse les limitations des Transformers purs et des modèles basés sur Mamba existants à travers les composants suivants :

Mécanisme SEMA : SEMA combine des approximations locales et globales pour imiter le comportement de l'attention auto complète tout en maintenant une complexité linéaire.
- Composante Locale : Elle utilise l'attention par fenêtre pour maintenir la localisation et la focalisation des tokens, évitant ainsi le problème de dispersion inhérent aux longues séquences.
- Composante Globale : Pour capturer le contexte global sans coût quadratique, SEMA emploie une moyenne arithmétique théoriquement cohérente. Ce terme approxime l'aspect global de l'attention, reflétant les bornes $O(1/n)$ observées dans l'inégalité de dispersion. Le terme global est défini comme la moyenne de tous les vecteurs de valeurs, diffusée sur toute la séquence.
- Intégration : Le bloc SEMA est inséré dans une structure macro de type Mamba, utilisant des embeddings de position conditionnels, une normalisation de couche et des mécanismes de contrôle similaires à Mamba (par exemple, activation SiLU et convolutions par profondeur).
Architecture USEMA : Le modèle adopte une structure symétrique en forme de U (UNet).
- Encodeur : Composé de blocs résiduels suivis de blocs SEMA. Les caractéristiques sont remodelées de $(B, C, H, W)$ à $(B, C, HW)$ avant d'entrer dans le mécanisme d'attention. Des embeddings de position rotationnels et des encodages de position localement enrichis sont utilisés pour augmenter la conscience spatiale.
- Goulot d'étranglement : En raison de la compression spatiale, le goulot d'étranglement utilise l'attention auto complète plutôt que l'attention par fenêtre, car la longueur de la séquence est suffisamment petite pour être gérable computationnellement.
- Décodeur : Composé de blocs résiduels et de convolutions transposées, utilisant des connexions de saut pour fusionner les caractéristiques hiérarchiques de l'encodeur.

Contributions Clés

Conception d'Attention Hybride : L'article introduit SEMA, qui justifie théoriquement l'utilisation de la moyenne arithmétique comme approximation globale pour l'attention auto, complétant l'attention par fenêtre locale pour prévenir la dispersion des scores.
Intégration Architecturale : USEMA fusionne avec succès l'efficacité d'extraction de caractéristiques locales des CNN avec les capacités de modélisation globale de l'attention de type Mamba au sein d'un cadre UNet.
Évaluation Complète : Le modèle est évalué sur trois modalités d'imagerie médicale diverses (IRM abdominale, Endoscopie et Microscopie) avec des résolutions et des cibles de segmentation variables (segmentation d'organes, d'instruments et de cellules).

Résultats Expérimentaux
USEMA a été comparé à des modèles de pointe basés sur les Transformers (UNETR, Swin-UNETR, nnFormer) et à des modèles basés sur Mamba ou inspirés par Mamba (U-Mamba, Swin-UMamba, Mamba UNet, MLLA-UNet) sur trois jeux de données :

IRM Abdominale (MICCAI 2022 AMOS) : USEMA a obtenu un Coefficient de Similarité Dice (DSC) de 0,7704 et une Distance de Surface Normalisée (NSD) de 0,8345. Cela surpasse la meilleure référence Transformer (nnFormer) de 5,83 % en DSC et la meilleure référence Mamba (U-Mamba Enc) de 10,53 % en DSC. Notamment, USEMA a obtenu ces résultats avec 52M de paramètres, soit 13 % de moins que le modèle Transformer le plus performant.
Endoscopie (MICCAI 2017) : USEMA a obtenu un DSC de 0,6463 et une NSD de 0,6621, surpassant les références Transformer d'environ 5,6 % et les références Mamba d'environ 13,5 % en DSC.
Microscopie (NeurIPS 2022) : Dans cette tâche de segmentation d'instances, USEMA a obtenu un score F1 de 0,5791, dépassant la meilleure référence Transformer de 8,61 % et le MLLA-UNet inspiré de Mamba de 19,23 %. Il a également utilisé 43 % de paramètres en moins que U-Mamba Enc.

Étude d'Ablation
Une étude d'ablation a confirmé la nécessité de l'approximation de l'attention globale. Le retrait du terme de moyenne arithmétique (en utilisant uniquement l'attention par fenêtre) a entraîné une baisse des performances sur tous les jeux de données (par exemple, une baisse de 0,013 en DSC sur le jeu de données IRM abdominale), validant ainsi la contribution du terme global.

Signification et Revendications
Les auteurs affirment que USEMA équilibre efficacement l'efficacité computationnelle et la précision de la segmentation. En exploitant la propriété de dispersion de l'attention auto classique et la complexité linéaire de Mamba, USEMA fournit une solution évolutive qui :

Surpasse les modèles purement convolutionnels, basés sur les Transformers et basés sur Mamba sur divers benchmarks d'imagerie médicale 2D.
Réduit les coûts computationnels par rapport aux Transformers à attention auto complète.
Démontre qu'une approximation globale efficace et théoriquement fondée (moyenne arithmétique) peut compléter avec succès les mécanismes d'attention locale dans l'analyse d'images médicales.

L'article se termine par des plans pour étendre le mécanisme de moyenne à une moyenne apprise ou pondérée et pour appliquer USEMA à des images de pathologie à grande échelle, mais ne revendique aucun succès actuel dans ces domaines futurs spécifiques.