Model-based Dynamic 3D MRI Reconstructions using Neural Fields and Tensor Product Expansions

Technische Samenvatting: Modelgebaseerde Dynamische 3D MRI-reconstructies met behulp van Neuronale Velden en Tensorproduct-expansies

Probleemstelling
Conventionele MRI-reconstructiemethoden behandelen afbeeldingen en spoelgevoeligheden als discrete arrays. Hoewel dit geschikt is voor digitale data, brengt deze aanpak hoge geheugeneisen met zich mee en ontbreekt het aan structureel bewustzijn, wat sterke regularisatie (bijvoorbeeld Total Variation) vereist om consistentie af te dwingen. Deze beperkingen worden kritiek in sterk onderbemonsterde scenario's, zoals dynamische 2D- en 3D-cardiale magnetische resonantie (CMR), waar hoge versnellingsfactoren nodig zijn om cardiale beweging op te lossen. Bestaande deep learning-aanpakken bieden alternatieven, maar vertrouwen doorgaans op grote toezichtstelsels voor training, wat de aanpasbaarheid tussen scanners en protocollen vermindert, en blijven gebonden aan vaste resoluties. Bovendien, terwijl Implicit Neuronale Velden (INF's) continue representaties bieden, is het toepassen van volledig multivariate neurale netwerken op hoogdimensionale (dynamische 3D) problemen computatief onhaalbaar vanwege de exponentiële groei in evaluatiepunten die nodig zijn voor dichte roosters.

Methodologie
De auteurs stellen een discretisatievrij, modelgebaseerd kader voor dat magnetisatie en spoelgevoeligheden voorstelt als continue, differentieerbare functies met behulp van Neuronale Veld-expansies (NFE's) gebaseerd op tensorproducten van univariate neuronale velden.

• Tensorproduct-architectuur: In plaats van één enkel multivariaat netwerk, decomponeert de methode de representatie in een tensorproduct van univariate Multi-Layer Perceptrons (MLP's) voor elke coördinaterichting (ruimte en tijd). Als een rooster afmetingen $P_1 \times \dots \times P_d$ heeft, vereist een multivariaat netwerk het evalueren van $\prod P_j$ punten, terwijl de tensorproduct-aanpak slechts $\sum P_j$ punten evalueert over $d$ univariate netwerken. Dit reduceert de computationele complexiteit van exponentieel naar lineair met betrekking tot de dimensionaliteit.
• Continue Representatie: Zowel de magnetisatie $m(t, x)$ als de spoelgevoeligheden $S(x)$ worden gemodelleerd als NFE's. De magnetisatie is gedefinieerd over spatiotemporale domeinen, terwijl spoelgevoeligheden zijn gedefinieerd over ruimtelijke domeinen. De auteurs maken gebruik van SIREN-netwerken (sinusvormige activatiefuncties) om hoogfrequente signalen en hun afgeleiden nauwkeurig vast te leggen.
• Gecombineerde Optimalisatie: Het kader reconstrueert gezamenlijk magnetisatie en spoelgevoeligheden uit onderbemonsterde k-ruimte-data zonder externe trainingsdatasets of aparte spoel-calibratiescans te vereisen.
• Doelfunctie: De reconstructie minimaliseert een verliesfunctie bestaande uit:
  • Data-consistentie: Een gewogen $L_2$-norm die k-ruimte-afwijkingen straft, ontworpen om modelmismatch en zwaarstaartresiduen te hanteren.
  • Regularisatie: Ruimtelijke en temporale Total Variation (TV) op magnetisatie, een $L_1$-boete op de temporale afgeleide, en een gekwadrateerde $L_2$-boete op afgeleiden van spoelgevoeligheden om gladheid te bevorderen.
• Stochastische Optimalisatie: Om het geheugen te beheren en dynamische 3D-reconstructie mogelijk te maken, wordt de doelfunctie geoptimaliseerd met Stochastische Gradient Descent (SGD). De regularisatietermen worden geëvalueerd op een gemengde set van willekeurig gesamplede continue punten en discrete Cartesiaanse roosterpunten die overeenkomen met meetlocaties. Deze stochastische formulering zorgt voor efficiënt geheugengebruik en fijne controle over het optimalisatieproces.

Belangrijkste Bijdragen

1. Tensorproduct-formulering: De primaire bijdrage is de introductie van een tensorproduct-architectuur van univariate neuronale velden. Deze structuur vervangt enkele multivariate netwerken, waardoor geheugen- en flop-efficiënte evaluatie en differentiatie mogelijk worden, wat cruciaal is voor dynamische 3D-MRI.
2. Gecombineerde Reconstructie: De methode representeert en reconstrueert zowel magnetisatie als spoelgevoeligheden gezamenlijk als neuronale velden, waarbij de slecht gesteldheid van gezamenlijke schatting wordt aangepakt door middel van principiële regularisatie.
3. Stochastische Modelgebaseerde Optimalisatie: De integratie van stochastische sampling met modellering in continue domeinen maakt reconstructie mogelijk bij hoge versnellingsfactoren (bijvoorbeeld factor 16) op standaard GPU-hardware, een taak die voorheen onhaalbaar was voor dynamische 3D-data vanwege geheugenbeperkingen.

Resultaten
De methode werd geëvalueerd op drie datasets: retrospectief onderbemonsterde dynamische 2D-CMR, prospectief onderbemonsterde dynamische 3D-dijbeenderen-MRI, en prospectief onderbemonsterde dynamische 3D-CMR.

• Geheugenefficiëntie: Het tensorproduct-ontwerp resulteerde in een 31-voudige reductie in GPU-geheugen voor een dynamisch 2D-voorbeeld (verlaging van het gebruik van ~23 GB naar ~750 MB). Voor dynamische 3D-gevallen verlaagde het de geheugeneisen van >48 GB (onhaalbaar op een 48 GB GPU) naar 9–12 GB.
• Prestaties Dynamisch 2D: Bij versnellingsfactoren (AF) van 8, 12 en 16 behielden NFE-gebaseerde reconstructies hoge visuele kwaliteit en temporale consistentie. In tegenstelling hiermee vertoonden Compressed Sensing (CS)-baselines uitgesproken flikkering, streepartefacten en vervaging, vooral bij AF 12 en 16. Kwantitatieve metrics (SSIM en PSNR) bevoordeelden NFE's consequent over alle slices en tijdsframes.
• Prestaties Dynamisch 3D: De methode reconstrueerde succesvol tijdsopgeloste afbeeldingen direct uit ruwe, niet-binned k-ruimte-uitlezingen (temporale resolutie $\delta t = 5,4$ ms), een taak die computationeel onhaalbaar was voor standaard CS-pijplijnen. Hoewel enige ruis en lokale grensintensiteitsverschillen werden waargenomen (waarschijnlijk door sterke ruimtelijke TV-regularisatie), bleven de reconstructies anatomisch consistent en temporaal coherent over proefpersonen.
• Dynamische 3D-CMR: In kwalitatieve vergelijkingen behielden NFE-reconstructies anatomische details en bleven ze vrij van de flikkeringartefacten die werden gezien in CS-reconstructies bij AF 16.

Betekenis en Beweringen
Het artikel beweert dat het voorgestelde kader computationeel haalbare en hoogwaardige dynamische 3D MRI-reconstructie mogelijk maakt op standaardhardware door gebruik te maken van de structurele efficiëntie van tensorproduct-expansies. De methode toont robuustheid over verschillende versnellingsfactoren en scanner-types (1,5T en 3T) zonder toezichtstelsels voor training te vereisen.

De auteurs merken bescheiden op dat hoewel NFE's state-of-the-art CS-methoden overtreffen in het behoud van structuur en beweging onder agressieve onderbemonstering, het kader nog steeds uitdagingen kent:

• Gevoeligheid voor Hyperparameters: De methode omvat een significant aantal hyperparameters (modi, netwerkarchitectuur, regularisatieweegs). Hoewel heuristische richtlijnen zijn ontwikkeld om afstemming hanteerbaar te maken, blijft dit een beperking ten opzichte van volledig geautomatiseerde benaderingen.
• Interpreteerbaarheid: De analogie met gegeneraliseerde Fourier-reeksen is formeel; de geleerde modi zijn niet orthonormaal of lineair onafhankelijk, wat betekent dat de grootte van de coëfficiënten niet direct kan worden geïnterpreteerd als modusbelang.
• Data-beperkingen: De evaluatie op dynamische 3D-CMR was beperkt tot één scan van gemiddelde kwaliteit vanwege het ontbreken van publiek beschikbare ground-truth datasets voor niet-binned dynamische 3D-acquisities.

Het werk stelt vast dat modellering in continue domeinen, wanneer gecombineerd met tensorproduct-decomposities en stochastische optimalisatie, een levensvatbare weg voorwaarts biedt voor scan-specifieke MRI-reconstructie met hoge versnelling.