NOIR: Neural Operator mapping for Implicit Representations

Probleemstelling

Traditionele methoden voor medische beeldverwerking (zoals segmentatie, registratie en beeldsynthese) baseren zich grotendeels op discrete, roostergebaseerde deep learning-architecturen (bijv. U-Net, Vision Transformers). In deze paradigma's worden medische afbeeldingen behandeld als pixels of voxels op een vast rooster.

Dit benadering heeft fundamentele beperkingen:

1. Resolutie-afhankelijkheid: Medische beelden ontstaan uit continue fysieke domeinen, maar worden tijdens klinische workflows vaak hersampled, geïnterpoleerd en getransformeerd. Roostergebaseerde modellen zijn gevoelig voor variaties in voxelafstand en interpolatie-artefacten.
2. Generalisatie: Modellen getraind op een specifieke resolutie presteren vaak slecht op onbekende resoluties of discretisaties.
3. Vooronderstelling: De aanname dat het discrete rooster de meest geschikte representatie is voor medische data wordt betwist, gezien de onderliggende continue natuur van de signalen.

Het paper introduceert NOIR (Neural Operator mapping for Implicit Representations) om deze beperkingen te overwinnen door medische beeldtaken te herformuleren als het leren van operatoren tussen continue functieruimtes, in plaats van tussen discrete roosters.

---

Methodologie

NOIR combineert Implicit Neural Representations (INR) met Neural Operators (NO). Het framework bestaat uit twee hoofdcomponenten:

1. Continue Functierepresentatie (INR)

In plaats van direct op pixels te werken, worden discrete medische signalen ($f^d$) ingebed in continue functies ($f$) via INR's.

• Architectuur: Een INR wordt gemodelleerd als een neurale netwerk $\phi(x; \theta, \gamma_i)$ dat ruimtelijke coördinaten $x$ mapt naar signaalwaarden.
• Hypernetwerk en Latente Codes: Om generalisatie te bereiken zonder per-instance training, gebruikt NOIR een auto-decoder aanpak.
  • $\theta$: Gedeelde parameters op dataset-niveau (leren de algemene structuur, bijv. anatomie).
  • $\gamma_i$: Signaal-specifieke parameters, voorspeld door een hypernetwerk $M_\psi$ op basis van een latente vector $z_i$.
• Training: Een meta-learning schema wordt gebruikt. De gedeelde parameters worden geoptimaliseerd in een buitenlus, terwijl de latente vector $z_i$ voor elk nieuw signaal in een binnenlus (met gradient steps) wordt geoptimaliseerd om de discrete data te reconstrueren. Dit resulteert in een continue benadering die resolutie-onafhankelijk is.

2. Neural Operator Mapping (NO)

De kern van NOIR is het leren van een operator $T$ die de mapping tussen de functieruimtes van input en output uitvoert.

• Mapping in Latente Ruimte: In plaats van een operator te leren die direct op beelden werkt, leert NOIR een mapping tussen de latente modulaties ($z_{in}$ en $z_{out}$) van de respectievelijke INR's.
  • Formule: $\hat{z}_{out} = T(z_{in})$.
• Implementatie: De operator $T$ wordt in de experimenten geïmplementeerd als een Multi-Layer Perceptron (MLP) met residual connections.
• Voordeel: Omdat de operator werkt op de continue functierepresentatie (de latente codes), is de mapping inherent resolutie-onafhankelijk. De output-INR kan vervolgens op elke gewenste resolutie worden geëvalueerd.

Theoretische Eigenschap: $\epsilon$-ReNO

Het paper bewijst empirisch dat NOIR voldoet aan de criteria van een Representation equivalent Neural Operator ($\epsilon$-ReNO) zoals gedefinieerd door Bartolucci et al. Dit betekent dat de operator consistent blijft tussen continue functieruimtes en hun discrete representaties, waardoor aliasing-fouten (die vaak optreden bij resolutiewisselingen) worden geminimaliseerd.

---

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Uitdaging van het dominante roostergebaseerde deep learning-paradigma in de medische beeldanalyse ten gunste van continue functieruimtes.
2. Framework: Introductie van NOIR, een algemeen framework dat downstream taken (segmentatie, vormcompletie, beeldsynthese, translatie) formuleert als operator-leringsproblemen tussen INR's.
3. Resolutie-robustheid: Empirisch bewijs dat NOIR presteert op native resoluties en sterk robuust is tegen onzichtbare discretisaties (onbekende resoluties), in tegenstelling tot traditionele methoden.
4. Theoretische Validatie: Demontratie dat NOIR voldoet aan de theoretische eigenschappen van neural operators, specifiek als een $\epsilon$-ReNO, wat aliasing-vrij leren garandeert.
5. Brede Toepasbaarheid: Succesvolle toepassing op zowel 2D als 3D taken op diverse publieke datasets (Shenzhen, OASIS-4, SkullBreak, fastMRI) en een klinische ultrasound-dataset.

---

Resultaten

NOIR werd geëvalueerd tegen state-of-the-art baselines (U-Net, ViT, AttU-Net, FNO, DDPM) op vier hoofdtaken:

1. Segmentatie (Shenzhen & OASIS-4):

   • NOIR bereikte vergelijkbare prestaties met de beste baselines op native resolutie (bijv. DSC ~0.94 op Shenzhen).
   • Cruciaal: Bij lagere resoluties (10% en 25% van de training resolutie) degradeerden roostergebaseerde modellen (U-Net, ViT) sterk. NOIR behield zijn prestaties, terwijl FNO (Fourier Neural Operator) last had van aliasing-fouten.

2. Vormcompletie (SkullBreak - 3D):

   • NOIR slaagde erin ontbrekende anatomische structuren in schedels te reconstrueren. Hoewel fijne details soms minder perfect waren dan bij FNO/ViT op native resolutie, overtrof NOIR alle methoden bij lage resoluties.

3. Beeldtranslatie en Synthese (fastMRI & Ultrasound):

   • Bij ultrasound-synthese overtrof NOIR alle baselines in PSNR (31.83 vs ~28.55 voor AttU-Net) en behield consistentie over alle resoluties.
   • De punt-voor-punt aard van INR's vermijdt de over-verzachting die vaak voorkomt bij convolutie- of attention-mechanismen, wat resulteert in realistischere gegenereerde beelden.

4. Resolutie-robustheid:

   • Experimenten met verschillende input-resoluties (van 32x32 tot 200x200) toonden aan dat de Dice-score van NOIR stabiel bleef (gemiddeld 0.93–0.94), terwijl andere methoden fluctueerden of daalden.

---

Betekenis en Conclusie

NOIR biedt een conceptueel en empirisch sterk alternatief voor conventionele medische beeldverwerking. Door te werken in continue functieruimtes, lost het het probleem van resolutie-afhankelijkheid op, wat essentieel is voor klinische toepassingen waar data uit verschillende bronnen met verschillende resoluties en protocollen kan komen.

Voordelen:

• Resolutie-onafhankelijkheid: Inference op elke gewenste resolutie zonder retraining.
• Modulariteit: De INR's en de Operator kunnen apart worden getraind en hergebruikt voor verschillende taken.
• Stabiliteit: Minder gevoelig voor aliasing en interpolatie-artefacten.

Beperkingen en Toekomst:

• De prestaties zijn afhankelijk van de kwaliteit van de INR-benadering en de dimensie van de latente ruimte.
• Huidige implementatie vereist supervised learning (gepaarde data), wat een beperking is voor taken zoals registratie waar geen ground-truth displacement velden beschikbaar zijn.
• Toekomstig werk richt zich op het uitbreiden naar ongesuperviseerde settings en het optimaliseren van de trade-off tussen latent-dimensie en trainingsstabiliteit.

Samenvattend positioneert NOIR zich als een veelbelovende richting voor de volgende generatie medische beeldanalyse-systemen die robuuster en flexibeler zijn dan huidige roostergebaseerde modellen.