FermatSyn: SAM2-Enhanced Bidirectional Mamba with Isotropic Spiral Scanning for Multi-Modal Medical Image Synthesis

Each language version is independently generated for its own context, not a direct translation.

FermatSyn: De "Fermat-Spiraal" die Medische Beelden Volmaakt Nabootst

Stel je voor dat artsen een compleet medisch beeld van een patiënt nodig hebben, bijvoorbeeld een MRI-scan van het hoofd, maar ze hebben alleen een CT-scan of een andere soort scan. Het maken van de ontbrekende scan is vaak lastig: het kost te veel tijd, is gevaarlijk door straling, of de patiënt kan er gewoon niet tegen.

Hier komt FermatSyn in beeld. Het is een slim computerprogramma dat de ontbrekende medische beelden "uit het niets" kan genereren, maar dan zo realistisch dat artsen er zelfs hun diagnose op kunnen baseren.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De "Super-Visie" (SAM2)

Stel je voor dat je een schilderij moet maken van een menselijk lichaam, maar je hebt geen ervaring met anatomie. Je zou waarschijnlijk de botten en organen verkeerd neerzetten.
FermatSyn gebruikt een SAM2, een kunstmatige intelligentie die al eerder is getraind om precies te weten waar organen en weefsels zitten (alsof het een ervaren arts is die alleen naar de contouren kijkt).

De truc: Het programma "leest" eerst de bestaande scan met deze super-geest, zodat het precies weet hoe het lichaam er moet uitzien. Het gebruikt dit als een onzichtbare blauwdruk.

2. De "Detail-Versterker" (HRDM & CIN)

Vaak maken computerschetsen die wel de grote lijnen goed hebben, maar missen de fijne details. Denk aan een foto die wazig is: je ziet een tumor, maar de randen zijn vaag.
FermatSyn heeft een speciale module die als een vergrotingsglas werkt. Het pakt de hoge frequenties (de scherpe randjes en fijne textuur) uit de originele scan en plakt die precies op de juiste plek.

De analogie: Het is alsof je een ruwe schets maakt en die daarna met een fijne pen uitwerkt, zodat elke kleine onregelmatigheid in het weefsel perfect zichtbaar is.

3. Het Grote Geheim: De "Fermat-Spiraal" (De Kerninnovatie)

Dit is het meest creatieve deel. Om een beeld te begrijpen, moeten computers de pixels in een bepaalde volgorde "lezen".

Het oude probleem: De meeste computers lezen een plaatje als een raster (regel van links naar rechts, zoals je een boek leest) of in een vierkante spiraal. Dit is als een mieren die een pad lopen: ze komen steeds in dezelfde hoeken en lijnen. Hierdoor ontstaat er een "bias" (vooringenomenheid). De computer ziet de horizontale lijnen anders dan de verticale, wat leidt tot rare artefacten (zoals strepen of hoekjes) in het beeld.
De Fermat-oplossing: FermatSyn gebruikt een Fermat-spiraal. Dit is gebaseerd op de natuur! Denk aan de zaadjes in een zonnebloem of de schelp van een nautilus. In de natuur groeien dingen in een gouden hoek (ongeveer 137,5 graden) zodat er overal evenveel ruimte is en er geen "hoeken" ontstaan.
Het resultaat: Door het beeld in deze natuurlijke spiraal te lezen, kijkt de computer naar het beeld vanuit elke hoek tegelijkertijd. Er zijn geen favoriete richtingen meer. Het resultaat is een beeld dat er perfect rond en natuurlijk uitziet, zonder die rare "computer-lijnen".

4. De "Twee-Wegs Straat" (Bidirectional Mamba)

Om het plaatje compleet te maken, gebruikt het programma een Mamba-netwerk. Stel je dit voor als een tweewegs snelweg.

De computer rijdt het beeld eerst van begin tot einde door (voorwaarts) om de grote structuur te begrijpen.
Daarna rijdt het exact hetzelfde pad terug (achterwaarts) om te controleren of alles klopt.
Door deze twee richtingen te combineren, begrijpt het programma de langeafstandsrelaties in het lichaam (bijvoorbeeld: "dit orgaan zit hier, dus dat andere moet daar zitten") veel beter dan eerdere methoden.

Waarom is dit belangrijk?

In het verleden waren deze gegenereerde beelden soms mooi, maar niet betrouwbaar genoeg voor echte artsen. FermatSyn is zo goed dat:

Het eruitziet als echt: De statistieken (zoals helderheid en structuur) zijn beter dan alle andere methoden.
Het werkt in de praktijk: Als artsen een AI-trainingsprogramma laten werken op deze gegenereerde beelden, maakt het geen verschil of ze met echte of gegenereerde beelden trainen. De diagnose is even goed.

Kortom: FermatSyn is als een kunstenaar die de anatomie van een arts kent, de details van een fotograaf gebruikt, en de natuurlijke perfectie van een zonnebloem toepast om een compleet nieuw medisch beeld te creëren dat voor niemand te onderscheiden is van een echte scan.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Het verkrijgen van volledige multi-modale medische beeldvormingsdatasets (bijv. MRI en CT samen) is vaak onpraktisch vanwege lange scan tijden, patiëntcontra-indicaties en stralingsrisico's. Medische beeldsynthese (het computergenereren van ontbrekende modaliteiten) lost dit op, maar bestaande methoden kampen met drie fundamentele beperkingen:

Onderbenutte structurele priors: Bestaande frameworks injecteren geen domein-specifieke anatomische kennis, wat leidt tot onwaarschijnlijke cross-modale resultaten.
Gebrek aan lokale fideliteit: Agresieve downsampling gooit hoogfrequente details (cruciaal voor kleine laesies) weg, en kruis-schaal feature fusie is ontoereikend.
Directionele bias in 2D serialisatie: Traditionele raster- of rechthoekige spiraal-scans introduceren pad-afhankelijke artefacten die de ruimtelijke coherentie en laesiegrenzen verstoren. Bestaande Mamba-modellen (zoals I2I-Mamba) gebruiken rechthoekige spiralen die nog steeds hoek-achtige "hotspots" vertonen door ongelijke afstand tussen buren.

Methodologie: FermatSyn

FermatSyn is een architectuur die drie kerncomponenten combineert om bovenstaande problemen op te lossen:

1. Hybrid Encoder (SAM2 + HRDM + CIN)

SAM2-based Prior Encoder: Een ingevroren SAM2 Vision Transformer (ViT) wordt gebruikt als globale backbone. Via LoRA+ (Low-Rank Adaptation) worden de gewichten van de MLP en MHSA-lagen efficiënt fijn afgestemd. Dit injecteert rijke anatomische priors (organgrenzen, weefselinterfaces) in het synthese-proces zonder de volledige ViT te hertrainen.
HRDM (Hierarchical Residual Downsampling Module): Dit module lost het probleem van verlies van hoogfrequente details op. Het gebruikt drie complementaire paden:
1. Multi-schaal context (dilated convoluties).
2. Hoogfrequente compensatie (diepte-separabele convolutie voor fijne texturen).
3. Adaptieve skip-verbinding.
  De output wordt versterkt door een hoogdoorlaatfilter en een ruimtelijke attention-gate.
CIN (Cross-scale Integration Network): Dit bridgeert de semantische kloof tussen de globale SAM2-features en de lokale HRDM-features. Het splitst kanalen in even en oneven indices, verwerkt ze met verschillende kernelgroottes (5x5 voor context, 3x3 voor detail) en fuseert ze adaptief.

2. Bidirectional Fermat-Scan Mamba (BFS-Mamba)

Dit is het hart van de innovatie, ontworpen om de directionele bias van Mamba-modellen te elimineren.

Isotrope Fermat Spiraal Scanning: In plaats van een rechthoekige spiraal, gebruikt FermatSyn een Fermat-spiraal met een gouden hoek-stap ( $\phi_g \approx 137.508^\circ$ $ϕ_{g} \approx 137.50 8^{\circ}$ ).
- Waarom Fermat? Deze strategie garandeert een uniforme ruimtelijke dekking waarbij opeenvolgende punten nooit langs een rationele hoek uitlijnen. Dit reduceert de variatie in de nabijheid van buren met 60% ten opzichte van rechthoekige spiralen, wat resulteert in een bijna isotroop receptief veld.
Continuïteits-beperkte Grid Matching: Een algoritme minimaliseert een scorefunctie die de globale isotropie en lokale pad-continuïteit in balans brengt ( $\lambda_c=0.7$ ), zodat de geserialiseerde feature-map zowel wiskundig uniform als lokaal samenhangend is.
Bidirectionele State Space Modelling: De geserialiseerde features worden door zowel een voorwaartse als een achterwaartse Mamba-module verwerkt. De output wordt gefuseerd via een convolutie en een residual blok. Dit zorgt voor direction-invariante lange-afhang afhankelijkheidsmodellering.

3. Training Objectief

Het model wordt getraind onder het LSGAN-framework met een samengestelde verliesfunctie die bestaat uit:

L1-verlies (pixel-nauwkeurigheid).
SSIM-verlies (structurele gelijkenis).
GAN-verlies (discriminator-gebaseerde realisme).

Kernbijdragen

SAM2-Versterkte Encoder: Eerste toepassing van een SAM2-ViT met LoRA+ fine-tuning als anatomische prior voor beeldsynthese, wat de globale structuurconsistentie verbetert.
Fermat Spiral Scanning: Een principieel, door phyllotaxis (plantenstand) geïnspireerd scanpatroon dat de directionele bias van bestaande Mamba-serialisaties (raster/rechthoekig) volledig elimineert en een isotroop receptief veld creëert.
Bidirectionele Architectuur: Een nieuwe BFS-Mamba die symmetrische paden gebruikt om directionele artefacten te minimaliseren, wat essentieel is voor complexe anatomische structuren.
Klinische Validatie: Bewijs dat gesynthetiseerde beelden klinisch bruikbaar zijn voor downstream taken (segmentatie) zonder significant verlies in prestaties ten opzichte van training op echte data.

Resultaten

FermatSyn is getest op vier benchmarks: SynthRAD2023 (MRI-CT), BraTS2019, BraTS-MEN en BraTS-MET.

Kwantitatieve Prestaties:
- FermatSyn overtreft state-of-the-art methoden (inclusief I2I-Mamba, ResViT, en Diffusion-modellen) consistent in PSNR, SSIM en FID.
- Voor de taak T2w $\to$ T1c werd een PSNR van 29.78 dB bereikt (2.46 dB beter dan I2I-Mamba).
- Bij cross-modale synthese (MRI $\to$ CT) werd een SSIM van 0.931 behaald.
- 3D Structuurconsistentie: De Hausdorff Afstand (HD) en Average HD (AHD) waren significant lager dan bij concurrenten, wat aantoont dat de isotrope scanning de volumetrische fideliteit verbetert.
Downstream Klinische Validatie:
- Een U-Net getraind op gesynthetiseerde beelden presteerde statistisch niet significant anders dan een U-Net getraind op echte beelden (p > 0.05) voor tumorsegmentatie (WT, ET, TC).
- Dit bevestigt dat de gesynthetiseerde beelden de klinisch relevante pathologische kenmerken behouden.
Efficiëntie:
- Inference tijd: 31 ms per slice (256x256), wat vergelijkbaar is met I2I-Mamba (24 ms) en aanzienlijk sneller dan Diffusion-modellen (148 ms).

Betekenis

FermatSyn markeert een doorbraak in medische beeldsynthese door de balans te vinden tussen globale anatomische consistentie en lokale textuur-fideliteit. De introductie van de Fermat-spiraal scanning lost een fundamenteel probleem op in de toepassing van Mamba-modellen op 2D-beelden: de directionele bias. Dit resulteert niet alleen in betere beeldkwaliteit, maar ook in data die direct bruikbaar is voor kritieke klinische taken zoals radiotherapieplanning en chirurgische navigatie. De code zal na publicatie openbaar worden gemaakt.