HyKey: Hyperspectral Keypoint Detection and Matching in Minimally Invasive Surgery

Probleemstelling

Binnen de minimaal invasieve chirurgie (MIS) is 3D-reconstructie cruciaal voor verbeterde chirurgische begeleiding, hulpmiddeltracking en augmented reality (AR). Echter, traditionele pipelines voor het detecteren en matchen van keypoints, gebaseerd op RGB-beelden, kampen met ernstige beperkingen in de chirurgische omgeving:

• Gebrek aan textuur: Organen hebben vaak een glad, uniform uiterlijk.
• Complexe verlichting: Reflecties (speculaire highlights) en variabele belichting verstoren visuele kenmerken.
• Weefseldeformatie: Niet-rigide bewegingen van weefsel maken stabiele matching moeilijk.

Deze factoren leiden tot instabiele keypoints en driftende descriptors, wat de nauwkeurigheid van 3D-reconstructie (zoals Structure-from-Motion of SLAM) aanzienlijk vermindert. Hyperspectrale beeldvorming (HSI) biedt een oplossing door zowel ruimtelijke als biochemische informatie (zoals weefselcompositie en hemoglobineverzadiging) te combineren, maar bestaande deep-learningmodellen zijn vaak beperkt tot 2D-convoluties die de spectrale dimensie niet optimaal benutten.

Methodologie: Het HyKey-model

De auteurs stellen HyKey voor, een model voor hyperspectrale keypoint-detectie en -beschrijving dat specifiek is ontworpen voor MIS.

1. Architectuur (Hybride 3D-2D CNN)
In plaats van HSI-banden als onafhankelijke kanalen te behandelen (zoals bij 2D-CNN's), gebruikt HyKey een hybride architectuur:

• 3D Spectraal-Ruimtelijke Encoder: Drie blokken met 3D-convoluties (kernel 3x3x3) extraheren early features die zowel ruimtelijke als spectrale correlaties tussen de golflengtebanden (16 banden van 460-600 nm) modelleren.
• Feature Aggregatie: De output van de encoder wordt samengevoegd via gemiddelde pooling over de spectrale dimensie en vervolgens geupsampled naar de originele resolutie.
• 2D Convolutionele Head: Een lichtgewicht 2D-head genereert een scorekaart (voor keypoint-locaties) en een dicht descriptor-map.
• Differentieerbare Detectie (DKD): Om end-to-end training mogelijk te maken, wordt een Differentiable Keypoint Detection (DKD) module gebruikt. Dit vermijdt het niet-differentieerbare Non-Maximum Suppression (NMS) en zorgt voor een soepele gradiëntstroom door het netwerk.

2. Trainingsstrategie en Supervisie
Het model wordt getraind op een dual-modale dataset (HSI + RGB) met twee soorten supervisie:

• Synthetische Homografie: Voor vlakke bewegingen worden frames wiskundig vervormd om pseudo-ground-truth corresponderende punten te genereren.
• Epipolaire Geometrie: Voor niet-vlakke bewegingen (robotische data) wordt gebruikgemaakt van bekende camera-pose en intrinsieke parameters om epipolaire lijnen te construeren.
• Verliesfunctie: Een gecombineerde loss-functie ($L_{total}$) omvat termen voor dispersiepieken, reprojectie-error, descriptor-consistentie en een epipolaire regularisator (Sampson-error) om geometrische consistentie te waarborgen zonder differentieerbaarheid te verliezen.

Dataset

De auteurs hebben twee unieke datasets verzameld met een aangepaste Dual-Modality Laparoscope (DML) die een HSI-camera (16 banden) en een RGB-camera combineert:

1. Ex-vivo Robotische Dataset: Opgenomen met een robotarm op schapenorganen (nieren en lever) onder gecontroleerde belichting en bewegingsscenaria. Deze dataset bevat 52 video's en wordt openbaar gemaakt.
2. In-vivo Colorectale Dataset: Opgenomen tijdens laparoscopische colorectale kankerresecties bij 12 patiënten. Vanwege privacy is deze dataset niet publiek beschikbaar, maar dient als testset voor realistische chirurgische omstandigheden.

Belangrijkste Resultaten

HyKey werd geëvalueerd tegen gevestigde RGB-methoden (SuperPoint, ALIKE, SIFT) en eerdere HSI-methoden (HSSPN, HS-ALIKE).

• Prestatie op Homografie (Synthetisch):
  • HyKey (zonder epipolaire regularisatie, "HyKey-noPE") behaalde de hoogste scores op herhaalbaarheid (Rep AUC: 79,17% in vivo) en matching score (MS AUC: 77,67%).
  • Het model presteerde consistent beter dan RGB-baselines, zelfs in gebieden met weinig textuur.
• Relatieve Pose Schatting (Real Video):
  • De volledige HyKey-modellen (met epipolaire supervisie) behaalde een Mean Average Accuracy (mAA) van 67,18% bij een foutmarge van 10° op de robotische dataset.
  • Dit is een significante verbetering ten opzichte van RGB-ALIKE (61,56%) en SuperPoint (49,98%).
  • De epipolaire supervisie bleek cruciaal voor het verbeteren van de 3D-bewegingsschatting, hoewel het de pure homografie-metrics iets verlaagde (een trade-off tussen vlakke matching en 3D-geometrie).
• Robuustheid:
  • In visueel homogene weefsels waar RGB-methoden faalden door reflecties en gebrek aan textuur, bleven de hyperspectrale descriptors van HyKey discriminatief dankzij de subtiele spectrale verschillen.
  • De inferentiesnelheid bedraagt gemiddeld 23,53 fps, wat aantoont dat het model geschikt is voor real-time toepassing.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Spectraal-Ruimtelijke Kenmerken: Het introduceren van een compacte 3D-2D CNN die inter-band spectrale cues leert, wat leidt tot robuustere descriptors dan 2D-only modellen.
2. Geometrie-bewuste Supervisie: Een trainingsframework dat synthetische homografie combineert met epipolaire regularisatie voor betere 3D-reconstructie.
3. Dual-Modale Dataset: De publicatie van een robuuste ex-vivo dataset met gelijktijdige RGB- en HSI-opnames, essentieel voor het trainen en evalueren van toekomstige MIS-modellen.
4. Validatie van HSI in MIS: Het bewijst dat het integreren van spectrale informatie de beperkingen van textuur-arme chirurgische omgevingen overbrugt.

Conclusie:
HyKey demonstreert dat hyperspectrale beeldvorming een veelbelovende richting is voor betrouwbare monokulaire 3D-reconstructie in de chirurgie. Door de spectrale "vingerafdrukken" van weefsel te benutten, kan het model stabiele keypoints detecteren waar traditionele RGB-camera's falen. Dit opent de weg voor verbeterde augmented reality overlays, precisiechirurgie en betere weefselsegmentatie tijdens operaties.