FusionNet: a frame interpolation network for 4D heart models

Dit paper introduceert FusionNet, een neuraal netwerk dat hoge-temporale-resolutie 4D-hartbewegingen reconstrueert uit kortdurende CMR-beelden door tussenliggende 3D-vormen te schatten, waarbij een Dice-score van meer dan 0,897 wordt bereikt.

De kern

Stel je voor dat je een hartkwaal wilt diagnosticeren. Artsen gebruiken daarvoor een MRI-scan, een soort superkrachtige camera die naar binnen kijkt. Het probleem is echter dat deze camera een "traag" hart heeft: het duurt 40 tot 60 minuten om een volledige video van het kloppende hart te maken.

Tijdens die lange tijd moet de patiënt perfect stil liggen in een kleine, luidruchtige buis. Dat is oncomfortabel, en als de patiënt beweegt, is de video wazig. Om de scan sneller te maken, nemen artsen vaak minder beelden op. Maar dat is als het bekijken van een film die stopt en start in plaats van vloeiend beweegt; je mist belangrijke details van hoe het hart zich precies beweegt.

Hier komt FusionNet om de hoek kijken. Het is een slim computerprogramma dat als een "tijdmachine" of een "slimme regisseur" werkt.

Wat doet FusionNet eigenlijk?

Stel je voor dat je een film hebt met slechts 5 beelden per seconde. Dat ziet eruit als een strobe-lichteffect: flikker, flikker, flikker. FusionNet kijkt naar die 5 beelden en zegt: "Ik weet precies wat er tussen die flitsen gebeurt." Het vult de gaten in en maakt er een vloeiende film van met 10 beelden per seconde.

In de medische wereld noemen ze dit frame-interpolatie. FusionNet neemt een "traag" 3D-model van een hart (met weinig beelden) en berekent de ontbrekende tussenstappen, zodat artsen een "snel" en vloeiend 4D-model krijgen (3D ruimte + tijd).

Hoe werkt het? (De creatieve analogie)

Om dit te doen, heeft FusionNet een heel speciaal brein, dat we FusionNet noemen. Het werkt als een team van drie verschillende chefs die samen een perfecte maaltijd bereiden:

1. De Ruimte-Chef (Spatial Encoder): Deze chef kijkt naar de vorm van het hart op één moment. Hij ziet of de spier dik of dun is, en waar de kamers zitten.
2. De Tijd-Chefs (Spatiotemporal Encoders): Deze zijn uniek. Normale programma's kijken alleen naar de vorm. Deze chefs kijken ook naar hoe de vorm verandert terwijl de tijd verstrijkt. Ze kijken naar het hart alsof het een dansende balletdanser is, niet als een statig standbeeld. Ze analyseren de beweging vanuit drie verschillende hoeken (links-rechts, voor-achter, boven-onder) om niets te missen.
3. De Smeuigheer (Fusion Block): Dit is de magische plek waar alles samenkomen. De chefs geven hun ideeën door aan deze heer. Hij zegt: "Oké, de Ruimte-chef zegt dat het hart hier dun is, en de Tijd-chefs zeggen dat het hier net een knal heeft gegeven. Laten we die informatie samenvoegen om het perfecte tussenbeeld te maken."

Het programma gebruikt ook springveren (skip connections) en veerkrachtige blokken (residual blocks). Denk hierbij aan een trampoline: als je een foutje maakt in de berekening, springt de informatie terug naar een eerder stadium om het te corrigeren, zodat het eindresultaat niet "vervormt".

Waarom is dit zo belangrijk?

In het onderzoek hebben ze FusionNet getest tegen andere methoden (zoals oude RNN's of simpele U-Net modellen). Het resultaat was indrukwekkend:

• FusionNet kon de ontbrekende beelden veel scherper en nauwkeuriger voorspellen dan de concurrenten.
• Zelfs als het hart heel snel beweegt (zoals vlak voor het samentrekken), bleef FusionNet stabiel.
• Het programma was zelfs robuust: als je de input nog "traag" maakte (minder beelden), bleef het nog steeds beter werken dan de oude methoden.

De conclusie voor de patiënt

Dankzij FusionNet hoeven artsen in de toekomst misschien niet meer 60 minuten te wachten voor een perfecte scan. Ze kunnen een snellere scan maken (waardoor de patiënt minder lang stil hoeft te liggen) en FusionNet vult daarna de ontbrekende details in.

Het is alsof je een ruwe schets van een schilderij krijgt, en een AI-kunstenaar die de schets omtovert tot een meesterwerk met alle details en vloeiende bewegingen. Dit betekent dat artsen hartziektes sneller en nauwkeuriger kunnen diagnosticeren, zonder dat de patiënt onnodig ongemak hoeft te ervaren.

Kort samengevat: FusionNet is de slimme tolk die een gebroken, trage hartvideo vertaalt naar een vloeiend, hoogwaardig filmpje, zodat artsen het hart beter kunnen begrijpen en behandelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "FusionNet: a frame interpolation network for 4D heart models" in het Nederlands.

Probleemstelling

Cardiologische magnetische resonantie (CMR)-beeldvorming is een cruciale techniek voor het visualiseren van hartbeweging en het diagnosticeren van hartziektes. Echter, standaard CMR-scans zijn tijdrovend (40-60 minuten) en vereisen dat patiënten stil liggen in een luidruchtige, krappe ruimte, wat ongemak veroorzaakt. Het verkorten van de scantijd leidt vaak tot een verlies in temporele of ruimtelijke resolutie. Een lagere temporele resolutie (minder frames per hartslag) maakt het voor artsen moeilijker om hartbewegingen nauwkeurig te analyseren en ziektes te diagnosticeren. Bestaande methoden voor frame-interpolatie zijn vaak beperkt tot 3D-beelden (2D ruimte + tijd) of behandelen slices onafhankelijk van elkaar, wat zorgt voor onnatuurlijke overgangen in 4D-modellen. Er is dus behoefte aan een methode die lage-temporele-resolutie (LFR) 4D-hartmodellen kan omzetten naar hoge-temporele-resolutie (HFR) modellen, waarbij de continuïteit van de 3D-vorm behouden blijft.

Methodologie: FusionNet

De auteurs stellen FusionNet voor, een nieuw neuraal netwerk dat is ontworpen voor frame-interpolatie in 4D-hartmodellen (3D ruimte + tijd).

1. Dataset en Voorverwerking:

• Bron: UK Biobank (CMR-cine-afbeeldingen).
• Representatie: Een hartslagcyclus wordt gemodelleerd als een reeks 3D-voxelmodellen (80×80×80 voxels).
• Ground Truth (HFR): Een set van 10 frames (gebaseerd op de oorspronkelijke 50 frames, gesubsampled).
• Input (LFR): Een set van 5 frames (on-even genummerde frames: 1, 3, 5, 7, 9), verkregen door sub-sampling van de HFR-set.
• Doel: Het voorspellen van de ontbrekende even genummerde frames (2, 4, 6, 8, 10) om een volledige HFR-set te reconstrueren.

2. Netwerkarchitectuur:
FusionNet is gebaseerd op een generatief model (bestaande uit een ruimtelijke convolutie-autoencoder en een ladder-variational autoencoder of LVAE), maar is aanzienlijk uitgebreid met drie nieuwe componenten:

• Skip-connections: Toegevoegd aan de encoder- en decoderlagen om het verlies van pixel-details te voorkomen.
• Residublokken (Residual Blocks): Geïntegreerd in de ruimtelijke encoder om het degradatieprobleem in diepe netwerken op te lossen.
• Spatiotemporele Encoders: Dit is het kerninnovatiepunt. In plaats van alleen 3D-ruimtelijke convolutie, voert het netwerk convoluties uit in 2D-ruimte gecombineerd met de tijdsdimensie. Omdat het hartmodel 3D-ruimtelijke informatie bevat, worden drie soorten spatiotemporele encoders getraind door de assen van de input ($X_l$) te transponeren:
  • $X_{xy}$ (80×80×5×80)
  • $X_{yz}$ (5×80×80×80)
  • $X_{zx}$ (80×5×80×80)
    Hierdoor worden kenmerken van tijdsafhankelijke vormveranderingen in verschillende vlakken geëxtraheerd.

3. Fusion Block (Gated Information Fusion):
De output van de vier encoders (één ruimtelijke + drie spatiotemporele) wordt samengevoegd in een "Fusion Block". Dit blok gebruikt een Gated Information Fusion (GIF) mechanisme:

• De feature maps van de vier encoders worden geconcateneerd.
• Een convolutieblok met een $3 \times 3 \times 3$ kernel en een sigmoid-functie genereert een gewichtskarte (attention map).
• Deze gewichtskarte wordt vermenigvuldigd met de geconcateneerde feature map om adaptief de belangrijkste kenmerken te selecteren.
• Een laatste convolutie ($3 \times 3 \times 1$) verwerkt het resultaat voordat het de decoder ingaat.

4. Verliesfunctie:
De trainingsfunctie ($L_{system}$) bestaat uit:

• Dice Loss ($D_L$): Meet de gelijkenis tussen het gegenereerde model en de ground truth.
• Kullback-Leibler Divergentie ($KL_i$): Drie termen die de afwijkingen tussen prior- en posterior-verdelingen in de drie lagen van de LVAE straffen.

Belangrijkste Bijdragen

1. Eerste 4D Frame Interpolatie: FusionNet is specifiek ontworpen voor 4D-media (3D ruimte + tijd), in tegenstelling tot bestaande methoden die vaak 2D+tijd behandelen of slices onafhankelijk interpoleren.
2. Spatiotemporele Convolutie: Het introduceren van meerdere spatiotemporele encoders die verschillende ruimtelijke vlakken in de tijd analyseren, zorgt voor een betere modellering van de complexe hartbeweging.
3. Adaptieve Fusie: Het gebruik van een gated mechanisme om spatiotemporele kenmerken intelligent te combineren, wat leidt tot robuustere resultaten.

Resultaten

De prestaties van FusionNet werden geëvalueerd via 7-voudige kruisvalidatie op een dataset van 210 onderwerpen (100 patiënten met ischemische hartziekte, 110 gezonde proefpersonen).

• Vergelijking met Bestaande Methoden: FusionNet werd vergeleken met ConvLSTM, U-Net en bilineaire interpolatie.

  • Dice Coëfficiënt: FusionNet behaalde een gemiddelde Dice-score van 0,897, wat significant hoger is dan ConvLSTM (0,881), U-Net (0,892) en bilineaire interpolatie (0,854).
  • Nauwkeurigheid per Frame: FusionNet presteerde beter in alle geëvalueerde frames (2, 4, 6, 8, 10), zelfs in frames met drastische volumeveranderingen rond de end-systole (waar de nauwkeurigheid van andere methoden daalt).
  • Visuele Kwaliteit: De verschilbeelden (difference images) toonden minder witte pixels (fouten) voor FusionNet dan voor de andere methoden.

• Ablatiestudie:

  • Het verwijderen van skip-connections liet de score dalen naar 0,810.
  • Het verwijderen van spatiotemporele encoders liet de score dalen naar 0,892.
  • Dit bevestigt dat elke component bijdraagt aan de algehele prestatie.

• Robuustheid: FusionNet toonde een langzamere daling in nauwkeurigheid bij het vergroten van het frame-interval (van 1 naar 3 frames tussen inputframes) in vergelijking met RNN- en U-Net-methoden.

Betekenis en Conclusie

FusionNet biedt een krachtige oplossing voor het probleem van lage temporele resolutie in CMR-scans. Door het netwerk te trainen op gesubsamplede data, kan het hoge-resolutie 4D-hartbewegingen reconstrueren zonder dat de patiënt langer in de scanner hoeft te liggen. Dit kan de patiëntcomfort verbeteren en de diagnostische nauwkeurigheid verhogen, zelfs bij snellere scans. De methode is niet alleen nauwkeuriger dan bestaande technieken, maar ook robuuster tegen variaties in de input-frequentie. Toekomstig werk richt zich op het integreren van de originele CMR-afbeeldingen als input en het ontwikkelen van een volledig diagnostisch supportsysteem voor hartziektes.