FermatSyn: SAM2-Enhanced Bidirectional Mamba with Isotropic Spiral Scanning for Multi-Modal Medical Image Synthesis

FermatSyn est une nouvelle architecture de synthèse d'images médicales multimodales qui combine un encodeur prioritaire basé sur SAM2, un module de downsampling résiduel hiérarchique et une stratégie de balayage en spirale de Fermat bidirectionnelle pour surmonter les limites de cohérence anatomique et de détail local, surpassant ainsi les méthodes actuelles tout en démontrant une utilité clinique équivalente à l'entraînement sur des images réelles.

L'essentiel

🏥 Le Problème : Le "Trou Noir" des Données Médicales

Imaginez que vous êtes un architecte (le médecin) qui doit construire une maison parfaite (un plan de traitement pour un patient). Pour cela, vous avez besoin de plusieurs plans : les fondations, la structure, l'électricité, la plomberie. En médecine, ce sont les différentes images (IRM, CT, etc.).

Le problème ? Parfois, le patient ne peut pas subir tous les examens.

• Soit c'est trop long.
• Soit c'est dangereux (trop de rayons X).
• Soit l'appareil est en panne.

Résultat : Vous avez les fondations, mais pas le plan d'électricité. Vous devez inventer ce qui manque. C'est là qu'intervient l'intelligence artificielle. Mais les anciens "dessinateurs" (les anciennes IA) avaient deux gros défauts :

1. Ils faisaient des dessins globaux bizarres (le cerveau ressemblait à une pomme de terre).
2. Ils ratissaient les détails fins (les petits vaisseaux sanguins ou les tumeurs minuscules disparaissaient).

🚀 La Solution : FermatSyn, le "Super-Dessinateur"

Les chercheurs de l'USTC ont créé FermatSyn. Pour comprendre comment ça marche, imaginons que c'est une équipe de trois experts qui travaillent ensemble pour dessiner le plan manquant.

1. L'Expert "Géométrie" (Le Moteur SAM2)

• L'analogie : Imaginez un sculpteur de génie qui a passé sa vie à étudier l'anatomie humaine. Il ne dessine pas encore, mais il a une mémoire parfaite de la forme des organes.
• Ce que fait FermatSyn : Il utilise un modèle appelé SAM2 (comme un cerveau pré-entraîné) qui connaît déjà parfaitement la forme du corps humain. Au lieu de le réapprendre de zéro, ils lui donnent juste un petit "coup de pouce" (une technique appelée LoRA+) pour qu'il se souvienne spécifiquement des tumeurs et des tissus malades.
• Le résultat : L'IA sait exactement où placer les organes. Plus de cerveau qui flotte dans le vide !

2. L'Expert "Détails" (Le Module HRDM)

• L'analogie : Imaginez un photographe qui prend une photo floue et qui essaie de la rendre nette. Les anciennes IA, en réduisant l'image pour aller plus vite, jetaient souvent les détails importants (comme les bords nets d'une tumeur).
• Ce que fait FermatSyn : Il utilise une technique spéciale (HRDM) qui agit comme un filtre à café inversé. Au lieu de jeter les grains fins (les détails), il les garde précieusement et les combine avec l'image globale.
• Le résultat : Les bords des tumeurs sont tranchants et réalistes, pas flous.

3. L'Expert "Trajet" (Le Scannage Fermat) - Le plus cool !

C'est ici que la magie opère. C'est la grande innovation du papier.

• Le problème des anciennes IA : Pour lire une image, les IA passaient souvent comme un tracteur dans un champ : ligne par ligne (de gauche à droite, puis en bas).
  • L'analogie : C'est comme lire un livre en suivant une ligne droite. Si vous devez comprendre une histoire complexe, vous manquez les liens entre ce qui est en haut à gauche et ce qui est en bas à droite. Cela crée des "artefacts" (des erreurs) dans les coins.
• La solution Fermat : Au lieu de lignes droites, ils utilisent une Spirale de Fermat.
  • L'analogie : Imaginez les pétales d'un tournesol ou les graines dans un pissenlit. La nature utilise ce motif (l'angle d'or) pour remplir l'espace de manière parfaitement uniforme, sans jamais faire de coins ou de lignes droites.
  • Ce que ça change : L'IA "lit" l'image en suivant cette spirale naturelle. Elle ne privilégie aucune direction (gauche/droite ou haut/bas). Elle voit tout l'image de manière égale, comme si elle tournait autour du sujet.
• Le résultat : L'image générée est plus cohérente, sans ces "zones mortes" ou déformées qu'on voyait avant.

🧪 Les Résultats : Est-ce que ça marche vraiment ?

Les chercheurs ont testé leur invention sur des milliers d'images de cerveaux (tumeurs, méningiomes, etc.) et ont comparé le résultat avec des images réelles.

1. Qualité visuelle : Les images générées sont si belles que les experts ne peuvent presque plus faire la différence avec les vraies photos. Les scores mathématiques (PSNR, SSIM) sont les meilleurs du monde actuel.
2. Utilité clinique (Le test ultime) : C'est le plus important. Ils ont pris un logiciel de diagnostic (un chirurgien virtuel) entraîné sur de vraies images, et ils l'ont fait travailler sur les images fabriquées par FermatSyn.
   • Résultat : Le chirurgien virtuel n'a pas fait d'erreur ! Il a détecté les tumeurs aussi bien sur les images fausses que sur les vraies.
   • En clair : On peut utiliser ces images générées pour entraîner d'autres médecins ou IA sans risquer de se tromper.

🎯 En Résumé

FermatSyn, c'est comme si on donnait à une IA :

1. La mémoire d'un anatomiste expert (SAM2).
2. Le pinceau d'un photographe macro (HRDM).
3. Et une façon de lire l'image inspirée de la nature, comme les graines d'un tournesol (Spirale de Fermat).

Le tout permet de combler les trous dans les dossiers médicaux des patients, rendant les traitements plus sûrs et plus précis, sans avoir besoin de faire subir des examens supplémentaires aux patients. C'est de la science-fiction devenue réalité médicale !

Résumé technique

1. Problématique

La synthèse d'images médicales multi-modales (génération d'une modalité manquante à partir d'une modalité disponible) est cruciale pour pallier la pénurie de données cliniques, causée par des temps d'acquisition longs, des contre-indications ou des risques de radiation. Cependant, les méthodes existantes peinent à concilier deux exigences contradictoires :

• Cohérence anatomique globale : La capacité à préserver la structure globale de l'organe.
• Fidélité des détails locaux : La capacité à reconstruire les textures haute fréquence et les contours précis des lésions.

Les approches actuelles présentent des limites spécifiques :

• Les GAN génèrent de bons détails locaux mais manquent de dépendances à long terme, entraînant des distorsions anatomiques globales.
• Les modèles de diffusion améliorent la cohérence structurelle mais sont trop coûteux en temps d'inférence.
• Les modèles basés sur ViT (Transformers) souffrent d'une complexité quadratique $O(N^2)$ et d'artefacts de type "damier".
• Les modèles basés sur Mamba (états sélectifs) offrent une complexité linéaire mais souffrent d'un biais directionnel inhérent aux stratégies de balayage classiques (raster ou spirale rectangulaire), ce qui corrompt la cohérence spatiale et la reconnaissance des limites des lésions.

2. Méthodologie : FermatSyn

FermatSyn propose une architecture hybride innovante pour surmonter ces trois lacunes simultanément.

A. Encodeur Hybride avec Prior SAM2

• Encodeur de Prior basé sur SAM2 : L'auteur utilise le modèle Segment Anything 2 (SAM2) comme encodeur global. Bien que conçu pour la segmentation, son backbone (Vision Transformer) encode des représentations structurelles riches (contours d'organes, interfaces tissulaires).
  • Le modèle SAM2 est gelé (frozen).
  • Un mécanisme d'ajustement fin LoRA+ (Low-Rank Adaptation) est injecté dans les couches MLP et MHSA pour adapter le modèle au domaine médical sans réentraînement complet, permettant d'injecter des connaissances anatomiques de domaine.
• Encodeur de Détails HRDM (Hierarchical Residual Downsampling Module) : Pour contrer la perte de détails haute fréquence due au sous-échantillonnage agressif, ce module utilise trois voies parallèles :
  1. Contexte multi-échelle (convolutions dilatées).
  2. Compensation haute fréquence (convolution profonde séparée).
  3. Connexions résiduelles adaptatives.
  • Les sorties sont fusionnées et affinées par un filtre passe-haut et une attention spatiale.
• Réseau d'Intégration Multi-échelle (CIN) : Ce module comble le fossé sémantique entre les caractéristiques globales (SAM2) et locales (HRDM). Il sépare les canaux pairs et impairs pour traiter le contexte sémantique et les détails structurels avec des noyaux de convolution de tailles différentes (5x5 et 3x3), puis les réintègre.

B. Balayage en Spirale de Fermat Isotrope

C'est la contribution centrale de l'article pour résoudre le biais directionnel des modèles Mamba.

• Limitation des spirales rectangulaires : Les spirales rectangulaires (utilisées dans I2I-Mamba) créent des "points chauds" aux coins et un espacement inégal des voisins, induisant un biais directionnel fort.
• Solution Fermat : L'article propose un balayage basé sur la spirale de Fermat avec un angle d'or ($\phi_g \approx 137.508^\circ$).
  • Cette géométrie garantit un remplissage spatial uniforme et dense.
  • Elle élimine l'alignement des points selon des angles rationnels, réduisant considérablement la variance de l'activation de l'opérateur SSM (State Space Model).
  • Une contrainte de continuité ($\lambda_c$) est appliquée pour mapper les points continus de la spirale sur la grille discrète de l'image, préservant la continuité locale tout en assurant une couverture isotrope globale.

C. Mamba à Balayage Fermat Bidirectionnel (BFS-Mamba)

• Les cartes de caractéristiques sont sérialisées via la spirale de Fermat.
• Le modèle utilise deux chemins Mamba indépendants : avant et arrière (bidirectionnel).
• Les sorties sont fusionnées pour modéliser les dépendances à long terme de manière invariante à la direction, éliminant ainsi les artefacts liés à la direction de balayage.

3. Contributions Clés

1. Intégration de SAM2 via LoRA+ : Première utilisation d'un encodeur SAM2 gelé, ajusté efficacement, pour injecter des priors anatomiques de domaine dans la synthèse d'images.
2. Stratégie de Balayage Isotrope : Introduction d'une stratégie de balayage en spirale de Fermat (inspirée de la phyllotaxie) pour les modèles Mamba, prouvée théoriquement et empiriquement pour réduire le biais directionnel de 29 % par rapport aux spirales rectangulaires.
3. Architecture Hybride HRDM-CIN : Un mécanisme robuste pour préserver les détails des petites lésions tout en fusionnant adaptativement les représentations globales et locales.
4. Validation Clinique Rigoureuse : Démonstration que les images synthétisées sont indiscernables des images réelles pour des tâches de segmentation en aval (p > 0.05).

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre jeux de données : SynthRAD2023 (IRM $\leftrightarrow$ CT), BraTS2019, BraTS-MEN et BraTS-MET.

• Performance Quantitative (2D et 3D) :
  • FermatSyn surpasse l'état de l'art (y compris I2I-Mamba, ResViT, SA-LDM) sur toutes les métriques : PSNR, SSIM, FID et la cohérence structurelle 3D (Hausdorff Distance).
  • Exemple (MRI $\to$ CT) : SSIM de 0.931 contre 0.917 pour I2I-Mamba.
  • Gain de 0.75 dB en PSNR par rapport aux spirales rectangulaires, attribué uniquement à la stratégie de balayage.
• Validation en Aval (Segmentation) :
  • Un réseau de segmentation (U-Net) entraîné sur des images réelles et testé sur des images synthétisées par FermatSyn montre aucune différence statistiquement significative (p > 0.05) par rapport à l'entraînement sur des images réelles.
  • Cela confirme que les images synthétiques préservent les caractéristiques pathologiques critiques (noyaux tumoraux, œdème) nécessaires au diagnostic.
• Efficacité :
  • Temps d'inférence : 31 ms par tranche (256x256), comparable aux méthodes Mamba existantes et bien plus rapide que les modèles de diffusion (148 ms).

5. Signification et Impact

FermatSyn représente une avancée majeure dans la synthèse d'images médicales en résolvant le compromis historique entre la cohérence globale et la fidélité locale.

• Impact Clinique : En prouvant que les images synthétiques peuvent remplacer les données réelles pour l'entraînement de modèles de segmentation, la méthode offre une solution viable à la pénurie de données annotées, réduisant les coûts et les risques pour les patients.
• Innovation Algorithmique : L'introduction du balayage en spirale de Fermat dans les architectures Mamba ouvre une nouvelle voie pour le traitement d'images 2D/3D, éliminant les artefacts directionnels qui limitaient l'adoption des modèles à base d'états sélectifs dans des tâches exigeant une haute précision spatiale.

En conclusion, FermatSyn établit un nouvel état de l'art en combinant des priors de vision par ordinateur avancés (SAM2), une extraction de détails hiérarchique et une géométrie de balayage mathématiquement optimisée pour la cohérence spatiale.