Don't Mind the Gaps: Implicit Neural Representations for Resolution-Agnostic Retinal OCT Analysis

Probleemstelling

Optische coherentietomografie (OCT) is een standaard beeldvormende techniek in de oftalmologie, maar klinische scans hebben vaak een grote afstand tussen de B-scans (dwarsdoorsneden). Dit resulteert in hoge anisotropie: de beeldkwaliteit is hoog in de laterale richting, maar zeer laag in de diepte (langzame scanrichting).
Dit creëert twee hoofdproblemen voor machine learning:

1. Inconsistentie in 3D: Bestaande methoden gebruiken vaak 2D-convolutionele neurale netwerken (CNN's) per slice. Omdat deze geen informatie uit aangrenzende slices gebruiken, ontstaan er onregelmatige 3D-oppervlakken en inconsistente segmentaties.
2. Resolutie-afhankelijkheid: CNN's zijn gebonden aan de resolutie van de trainingsdata. Ze kunnen niet direct worden toegepast op data met een andere scanprotocol of resolutie.
3. Verlies van details: Door de grote afstand tussen de scans worden kleine anatomische of pathologische structuren gemist, wat de diagnostische precisie verlaagt.

Methodologie

De auteurs stellen twee frameworks voor die gebruikmaken van Implicit Neural Representations (INR's). INR's modelleren data als continue functies (in plaats van discrete voxelroosters) waarbij coördinaten als input dienen. Dit maakt ze van nature resolutie-onafhankelijk.

1. Anisotrope Interpolatie (GenINR)

Om de gaten tussen de B-scans op te vullen, wordt een generaliseerbaar INR gebruikt dat is getraind op een populatie van proefpersonen.

• Input: Het model neemt 3D-coördinaten $(x, y, z)$, de intensiteit van een bijbehorende "en-face" modality (zoals SLO of FAF) op die laterale positie, en een subject-specifiek latent prior (een vector die de unieke kenmerken van de patiënt encodeert).
• Architectuur: Een gedeelde Multi-Layer Perceptron (MLP) met Gabor-wavelet activaties, gekoppeld aan twee output-koppen: één voor intensiteit-reconstructie en één voor segmentatie.
• Training: Het model wordt getraind op een populatie om een generieke representatie van het netvlies te leren. Voor een nieuwe, onbekende patiënt worden de gewichten van het netwerk bevroren en wordt alleen de latent prior geoptimaliseerd om de specifieke scan te reconstrueren.
• Doel: Het interpoleren van ontbrekende B-scans en het voorspellen van segmentaties (retinale lagen of pathologieën zoals vocht) op willekeurige dieptes, zelfs waar geen scan is gedaan.

2. Resolutie-onafhankelijk Atlas en Registratie

Om een populatie-atlas te creëren die niet afhankelijk is van de resolutie van de inputdata:

• Leren Atlas: Een INR fungeert als het atlasself (intensiteit + segmentatie labels). Dit is een continue representatie die direct kan worden bemonsterd op elke coördinaat.
• Deformatiemodel: Een tweede generaliseerbaar INR (met een hypernetwerk) voorspelt het vervormingsveld (deformatie) dat nodig is om de atlas aan een specifieke patiënt aan te passen.
• Optimalisatie: Het systeem optimaliseert simultaan de atlas en de deformatievelden voor de hele populatie, zonder meta-learning. Dit maakt het mogelijk om een scherpe, artefactvrije atlas te genereren die werkt met willekeurig aantal B-scans.

Belangrijkste Bijdragen

1. Resolutie-agnostische analyse: Het bewijzen dat INR's effectief kunnen worden ingezet voor sterk anisotrope data zoals retinale OCT, waarbij ze de beperkingen van CNN's (gebonden aan trainingsresolutie) overwinnen.
2. Multi-modale interpolatie: Het introduceren van een methode die dense 2D "en-face" beelden (SLO/FAF) gebruikt als contextinformatie om de interpolatie tussen de B-scans te verbeteren. Dit helpt bij het lokaliseren van structuren (zoals bloedvaten) die tussen de scans liggen.
3. Generaliseerbaar framework: Het ontwikkelen van een populatie-getraind model dat kan worden toegepast op ongezette gevallen (unseen cases) door alleen de latent prior aan te passen, in plaats van het hele model opnieuw te trainen.
4. Atlastechniek: Het creëren van een scherp, resolutie-onafhankelijk retina-atlas dat zowel intensiteit als segmentatie bevat, wat een verbetering is ten opzichte van eerdere methoden die vaak wazig waren of afhankelijk waren van discrete roosters.

Resultaten

De methoden zijn getest op een dataset van gezonde vrijwilligers en patiënten met centrale serous chorioretinopathie (CSCR).

• Interpolatie:

  • De voorgestelde GenINR (met of zonder SLO/FAF input) presteerde significant beter dan lineaire interpolatie, registratie-gebaseerde methoden en instance-specifieke INR's (SingleINR).
  • Segmentatie: GenINR bereikte een Dice-score van 91,9% voor retinale lagen (gezonde data) en 98,98% voor het netvlies (CSCR data), wat aanzienlijk hoger was dan de baselines.
  • Kwaliteit: In tegenstelling tot andere methoden die artefacten vertonen (zoals verkeerd geplaatste schaduwen van bloedvaten), slaagde GenINR erin om de vorm van het netvlies en de locatie van bloedvaten correct te reconstrueren, zelfs in gebieden zonder directe scan.
  • Testdata: Het model kon succesvol worden toegepast op ongezette patiënten, hoewel de prestaties iets lager waren dan bij training, wat aantoont dat het model generaliseert.

• Atlas en Registratie:

  • De GenINR-atlas leverde scherpere randen en betere scheidingslijnen tussen lagen op vergeleken met een voxel-mediane atlas of de SINA-methode (B-spline gebaseerd).
  • De registratieprestaties waren superieur: een Dice-score van 86,4% en een ASSD (Average Symmetric Surface Distance) van 11,3 µm.
  • Snelheid: De inferentie-tijd was aanzienlijk korter dan bij vergelijkbare methoden (ca. 23 seconden per onderwerp vs. 279 seconden voor SINA).
  • Resolutie-onafhankelijkheid: Het model presteerde consistent bij het testen met verschillende aantallen B-scans (van 16 tot 512), wat aantoont dat het echt resolutie-agnostisch is.

Betekenis en Conclusie

Dit werk markeert een belangrijke stap in de automatische analyse van retinale OCT-beelden. Door de overgang van discrete voxel-benaderingen naar continue Implicit Neural Representations, kunnen onderzoekers en clinici:

• Volumetrische analyses uitvoeren op data met grote scanafstanden, wat vaak het geval is in de klinische routine.
• Verschillende modaliteiten (zoals SLO, FAF en OCT) naadloos combineren om de diagnostische nauwkeurigheid te verhogen.
• Een universeel atlas creëren dat niet gebonden is aan specifieke apparatuur of scaninstellingen.

De studie toont aan dat generaliseerbare INR's een krachtig hulpmiddel zijn voor medische beeldanalyse, vooral in situaties met beperkte of anisotrope data, en opent de deur voor betere 3D-reconstructies, longitudinale analyses en geavanceerde diagnostiek.