Towards Comprehensive Real-Time Scene Understanding in Ophthalmic Surgery through Multimodal Image Fusion

Probleemstelling

Oogchirurgie, en met name vitreoretinale ingrepen, vereist uiterst precieze manipulatie van delicate weefsels. Traditioneel vertrouwen chirurgen uitsluitend op het beeld van de operatiemicroscoop (OPMI). Hoewel de OPMI een breed overzicht biedt, mist deze de mogelijkheid tot microscopische resolutie van onderliggende lagen en een nauwkeurige schatting van de afstand tussen het instrument en het netvlies.
De integratie van intraoperatieve optische coherentietomografie (iOCT) biedt weliswaar real-time dwarsdoorsneden met micrometer-resolutie, maar de meeste bestaande methoden verwerken deze datastromen nog steeds gescheiden (single-modality). Er ontbreekt een unified architectuur die de complementaire sterktes van beide modaliteiten (de visuele context van de OPMI en de dieptestructuur van de iOCT) combineert om een holistisch begrip van de chirurgische scène te verkrijgen. Dit beperkt de robuustheid en precisie van AI-gestuurde hulpmiddelen, vooral bij het schatten van afstanden tot het netvlies, wat cruciaal is voor patiëntveiligheid.

Methodologie

De auteurs stellen een nieuw, multimodaal en tijdsbewust (temporal) netwerkarchitectuur voor dat drie taken gelijktijdig uitvoert: instrumentdetectie, sleutelpuntdetectie (keypoint localization) en schatting van de afstand tussen instrument en weefsel. De architectuur bestaat uit drie hoofdblokken:

1. Dual-Stream Encoder:

   • OPMI-stroom: Verwerkt operatiemicroscoopbeelden met een Yolo-NAS-m backbone om hiërarchische ruimtelijke context te extraheren.
   • iOCT-stroom: Verwerkt de dwarsdoorsnede-scans (B-scans) met een aangepaste ResNet-18 encoder. Deze gebruikt een adaptieve poolinglaag om de laterale resolutie te behouden en genereert kolomdescriptoren die corresponderen met de diepteprofielen.

2. Cross-Attention Fusie Module:

   • Dit is het kernpunt van de integratie. Omdat OPMI (oppervlaktebeeld) en iOCT (dwarsdoorsnede) geometrisch niet direct pixel-voor-pixel aligneren, wordt een cross-attention mechanisme gebruikt.
   • De OPMI-pixelfuncties fungeren als queries, terwijl de iOCT-descriptoren fungeren als keys en values.
   • Dit stelt het netwerk in staat om semantisch relevante iOCT-gegevens (diepe structuren) selectief te "vragen" op basis van de positie in het microscoopbeeld, zonder globale feature-mixing. Positieve coderingen zorgen voor ruimtelijke consistentie.

3. Recurrente Module (RMM):

   • Voor tijdscontinuïteit en robuustheid tegen tijdelijke data-corruptie (bijv. artefacten in de iOCT) wordt een recurrente eenheid (GRU of LSTM) toegevoegd na de fusie.
   • Deze module verwerkt een sequentie van frames en wordt getraind met een contrastieve verliesfunctie om consistentie te bevorderen, zelfs wanneer iOCT-data tijdelijk ontbreekt of corrupt is.

4. Voorspellende Hoofden (Prediction Heads):

   • Het systeem gebruikt de bestaande Yolo-NAS hoofden voor detectie en sleutelpunten.
   • Voor de afstandsschatting wordt een nieuwe "distributional regression head" ontwikkeld. In plaats van één scalar te voorspellen, leert het model een discrete waarschijnlijkheidsverdeling over afstands-bins. Dit maakt het mogelijk om een zekerheidsscore (certainty) af te leiden uit de scherpte van de verdeling.

Belangrijkste Bijdragen

• Eerste Temporele Fusie: Dit is het eerste werk dat een multimodale en recurrente framework presenteert voor de tijdsgebonden fusie van OPMI en iOCT-features in oogchirurgie.
• Cross-Attention Architectuur: Een innovatieve fusiemodule die de geometrische discrepantie tussen oppervlakte- en dieptebestellingen oplost door semantische query's te gebruiken in plaats van vaste ruimtelijke alignering.
• Verdeling-gedreven Afstandsschatting: Introductie van een verdelingsgebaseerde regressie voor afstandsvoorspelling, wat niet alleen de afstand schat, maar ook een calibratie van de voorspellingzekerheid biedt.
• Synthetische Dataset: De creatie van een fotorealistisch, volledig geannoteerd synthetisch dataset met gesynchroniseerde OPMI en iOCT data (20 video's, 69k frames), aangezien dergelijke klinische datasets momenteel niet beschikbaar zijn.

Resultaten

De experimenten zijn uitgevoerd op een synthetische dataset en vergelijken Single-Modality (SM, alleen OPMI), Multimodality (MM, OPMI + iOCT zonder recurrentie) en Recurrent Multimodality (RMM).

• Detectie en Sleutelpunten: Het multimodale model (MM) bereikte een mAP50 van 95,79%, een statistisch significante verbetering ten opzichte van het SM-baseline (94,27%). De sleutelpuntprecisie verbeterde licht maar niet significant.
• Afstandsschatting (Kernresultaat):
  • De toevoeging van iOCT verlaagde de totale gemiddelde absolute fout (dMAE) van 480,93 µm (SM) naar 128,32 µm (MM).
  • Cruciaal voor veiligheid: Bij zeer kleine afstanden tot het netvlies (< 1 mm) verbeterde de nauwkeurigheid drastisch van 284 µm (SM) naar slechts 33 µm (MM). Dit is een reductie van 88% in de fout.
• Real-time Prestaties: Het systeem behaalt een verwerkingssnelheid van 22,5 ms per frame, wat voldoende is voor real-time intraoperatieve integratie.
• Robuustheid: De recurrente variant (RMM) toonde goede detectieprestaties, maar de prestaties bij afstandsschatting daalden aanzienlijk wanneer de iOCT-data langdurig corrupt was. Dit wijst op een vorm van "modality collapse", waarbij het netwerk te afhankelijk wordt van de iOCT-stroom voor dieptebewustzijn.
• Zekerheid: De verdelingsgebaseerde aanpak leverde een betrouwbare zekerheidsmeting op; voorspellingen met hoge zekerheid (>90%) correleerden sterk met lage fouten.

Betekenis en Conclusie

Dit onderzoek bewijst het potentieel van multimodale beeldfusie voor veilige, dieptebewuste oogchirurgie. Door de visuele context van de microscoop te combineren met de dieptestructuur van de iOCT, kan het systeem instrumenten veel nauwkeuriger positioneren dan met één modaliteit alleen.

De studie benadrukt echter ook uitdagingen:

1. Afhankelijkheid van datakwaliteit: Het systeem is momenteel kwetsbaar als de iOCT-stroom langdurig onbetrouwbaar is, wat wijst op de noodzaak van adaptieve fusiemechanismen in de toekomst.
2. Sim2Real Gap: De resultaten zijn gebaseerd op synthetische data. Hoewel dit een gecontroleerde evaluatie mogelijk maakt, blijft de overdracht naar complexe klinische situaties met pathologieën en zware artefacten een uitdaging.

Samenvattend legt dit werk de basis voor een nieuw paradigma in beeldgeleide chirurgie, waarbij multimodale fusie essentieel is voor het bereiken van een volledig begrip van de chirurgische scène en het verhogen van de patiëntveiligheid.