Technische Samenvatting: ProgFormer

Probleemstelling

Het voorspellen van toekomstige structurele MRI (sMRI) van de hersenen is een cruciale taak voor het analyseren en voorspellen van neurodegeneratieve ziekten zoals Alzheimer. Dit brengt echter een unieke uitdaging met zich mee: longitudinale veranderingen zijn vaak subtiel en beperkt tot specifieke anatomische regio's (bijv. de hippocampus, de laterale ventrikels), terwijl het grootste deel van de hersenstructuur van het subject stabiel blijft over tijd.

Bestaande methoden vallen over het algemeen in twee categorieën, die beide beperkingen kennen:

1. Latente ruimte-gebaseerde methoden: Deze coderen scans naar laagdimensionale representaties voordat ze worden voorspeld. Hoewel computationeel efficiënt, vertrouwen ze op een apart geleerde autoencoder, wat informatieverlies kan introduceren tijdens compressie en reconstructie, wat de getrouwheid van fijnmazige structurele details kan verslechteren.
2. Directe voxel-ruimte methoden: Deze voorspellen outputs direct in de voxel-ruimte om latente reconstructie te vermijden. Ze maken echter doorgaans gebruik van een verenigd voorspellingspad om zowel de stabiele globale hersenstructuur als de subtiele, progressie-gerelateerde lokale veranderingen te modelleren. Bijgevolg overschaduwt de dominante stabiele inhoud vaak de subtiele lokale variaties, waardoor het moeilijk wordt om fijnmazige ziekteprogressie te resolveren.

Methodologie: ProgFormer

De auteurs stellen ProgFormer voor, een hiërarchische voxel-ruimte Diffusion Transformer die deze uitdagingen aanpakt zonder afhankelijk te zijn van een apart getrainde beeld-autoencoder. Het model werkt binnen het Conditional Flow Matching kader, waarbij een snelheidveld wordt geleerd om Gaussische ruis te transporteren naar de doelverdeling van de toekomstige MRI.

Kernarchitectuur

ProgFormer structureert de voorspelling in twee afzonderlijke maar gekoppelde paden:

1. Coarse Pad (Patch-niveau Redeneren):

   • Input: Verwerkt geobserveerde scans en de huidige flow-toestand als niet-overlappende 3D patch-tokens ($p \times p \times p$).
   • Mechanisme: Maakt gebruik van Spatial Multi-Head Self-Attention (MHSA) binnen elke scan en Causal Temporal MHSA over geobserveerde scans heen. Dit stelt het model in staat om de globale hersenstructuur en longitudinale context te vangen.
   • Output: Genereert een primaire volumetrische snelheid ($\nu_{coarse}$) en grove representaties ($C$) die de gehele hersenstructuur en temporele context coderen.

2. Fine Pad (Voxel-niveau Verfijning):

   • Input: Werkt op individuele voxel-tokens binnen elke 3D patch.
   • Mechanisme: Past Voxel MHSA toe binnen patches en, cruciaal, een Coarse-to-Fine Multi-Head Cross-Attention (MHCA). In deze cross-attention fungeren voxel-tokens als queries, terwijl de grove representaties ($C$) van de corresponderende patch dienen als keys en values.
   • Functie: Dit mechanisme gebruikt de output van het grove pad als "spatio-temporele gronding" om de verfijning van lokale structurele details en intensiteitsvariaties te sturen.
   • Output: Genereert een verfijnde snelheid ($\nu_{fine}$).

Integratie en Inferentie

• Snelheidsschatting: Het uiteindelijke voorspelde snelheidveld is de som van de grove en fijne snelheden: $\nu_\theta = \nu_{coarse} + \nu_{fine}$.
• Generatie: Tijdens de inferentie start het model vanuit Gaussische ruis en integreert de geschatte snelheid over een reeks Euler-stappen om de voorspelde toekomstige MRI te generen.
• Varianten: De auteurs evalueren twee composities:
  • Sequential (ProgFormer-S): Alle grove blokken worden voltooid voordat welke fijne blokken dan ook beginnen.
  • Interleaved (ProgFormer-I): Grove en fijne blokken zijn in stadia geïnterleaved, waardoor fijne blokken progressief verfijnde grove kenmerken kunnen ontvangen.

Conditionering en Training

• Conditionering: Het model is geconditioneerd op flow-tijd, doelleeftijd en covariaten (diagnose, geslacht) via AdaLN-Zero (Adaptive Layer Normalization met zero-initialisatie), die schaal-, verschuivings- en gate-parameters moduleert voor attention- en MLP-modules.
• Loss Functie: Er wordt een gewogen flow-matching objectief gebruikt. Een anatomische labelkaart (afgeleid van SynthSeg) wijst hogere gewichten toe aan progressie-relevante regio's (bijv. hippocampus, ventrikels) en lagere gewichten aan stabiel weefsel/achtergrond, waardoor het model prioriteit geeft aan ziekte-gerelateerde veranderingen.

Belangrijkste Bijdragen

1. End-to-End Hiërarchische Architectuur: ProgFormer is de eerste verenigde architectuur die gezamenlijk globale patch-niveau spatio-temporele redenering en fijnmazige intra-patch voxel modellering uitvoert voor longitudinale MRI-voorspelling zonder een aparte autoencoder.
2. Coarse-to-Fine Gronding: Het ontwerp ontkoppelt expliciet het modelleren van globale stabiliteit (grove pad) van lokale progressie (fijne pad), waarbij de eerste dient om de tweede te gronden, waardoor wordt voorkomen dat subtiele veranderingen worden overschaduwd door stabiele structuren.
3. State-of-the-Art Prestaties: Uitgebreide experimenten op drie benchmarks (ADNI, AIBL, OASIS) tonen superieure prestaties aan in zowel pairwise als traject-voorspellingsinstellingen vergeleken met bestaande latent-ruimte en directe volumetrische methoden.

Experimentele Resultaten

Het model werd geëvalueerd op de ADNI, AIBL en OASIS datasets met behulp van PSNR, SSIM en Region-level Mean Absolute Error (R-MAE).

• Pairwise Voorspelling: ProgFormer-S behaalde de hoogste PSNR over alle drie de cohorten (bijv. 26,39 op ADNI, waarmee het de eerstvolgende beste met 0,20 versloeg). Progformer-I behaalde de beste regionale nauwkeurigheid (laagste R-MAE) en de hoogste SSIM op ADNI.
• Traject-voorspelling: Het gebruik van de geobserveerde historie (meerdere scans) verbeterde de prestaties aanzienlijk ten opzicht van single-input baselines. ProgFormer-S met historie behaalde de hoogste PSNR over alle cohorten.
• Ablatie Studies:
  • Het verwijderen van het grove pad zorgde ervoor dat de voorspelling instortte (PSNR daalde naar ~7), wat de noodzaak ervan bevestigt voor het vestigen van de globale structuur.
  • Het verwijderen van het fijne pad of de cross-attention verslechterde zowel de beeldkwaliteit als de regionale nauwkeurigheid aanzienlijk, wat het belang benadrukt van voxel-niveau verfijning geleid door grove context.
  • Regionale weging bleek cruciaal; het verwijderen hiervan leidde tot significante prestatieverminderingen, wat bewijst dat het benadrukken van progressie-relevante regio's de algehele getrouwheid verbetert.
• Visuele Analyse: Kwalitatieve resultaten laten zien dat ProgFormer ventrikelconfiguraties en corticale contouren consistenter behoudt dan de baselines, waarbij fouten geconcentreerd zijn in progressie-relevante regio's in plaats van globaal te accumuleren.

Betekenis en Claims

Het artikel claimt dat ProgFormer de effectiviteit van hiërarchische voxel-ruimte modellering aantoont voor longitudinale volumetrische voorspelling. Door het modelleren van de stabiele globale structuur te scheiden van subtiele lokale veranderingen, bereikt de methode een anatomisch getrouwe en progressie-gevoelige forecasting. De auteurs positioneren dit als een belangrijke stap voorwaarts ten opcente van latent-ruimte methoden (die lijden onder reconstructieverlies) en verenigde directe methoden (die moeite hebben om subtiele veranderingen tegen stabiele achtergronden te resolveren). Het werk vestigt dat directe Transformer-gebaseerde modellering, wanneer deze hiërarchisch gestructureerd is met spatio-temporele gronding, een levensvatbare en superieure benadering is voor het genereren van toekomstige hersen-MRI's.