XPoint: A Self-Supervised Visual-State-Space based Architecture for Multispectral Image Registration

Probleemstelling

Het nauwkeurig matchen en registreren van multispectrale beelden (bijv. zichtbaar licht, infrarood, thermisch, SAR) vormt een aanzienlijke uitdaging voor het computerzicht. De belangrijkste obstakels zijn:

• Niet-lineaire intensiteitsvariaties: Beelden van dezelfde scène, opgenomen door verschillende sensoren, vertonen vaak extreme verschillen in helderheid en textuur.
• Extreme gezichtspuntveranderingen: Grote verschillen in camerahoek en perspectief.
• Schaarste aan gelabelde data: Bestaande state-of-the-art methoden zijn vaak afhankelijk van dure supervisie (zoals dieptekaarten of precieze cameraposities) die in multispectrale contexten zeldzaam of onbeschikbaar zijn.
• Gebrek aan generalisatie: Veel huidige modellen zijn gespecialiseerd in één specifiek modaaliteit (bijv. zichtbaar-infrarood) en falen bij het aanpassen aan andere combinaties.

Methodologie: XPoint Architectuur

XPoint is een modulair, zelftoezicht (self-supervised) framework dat is ontworpen om snel aan te passen aan nieuwe datasets en modaliiteiten zonder uitgebreide handmatige annotatie. De architectuur bestaat uit drie hoofdfasen:

1. Verbeterde Multispectrale Homografische Adaptatie (Pseudo-ground truth generatie)
In plaats van handmatige labels te gebruiken, genereert XPoint "pseudo-ground truth" sleutelpunten (keypoints).

• Basisdetector: Er wordt gebruikgemaakt van de RIFT2-detector, die bekend staat om zijn robuustheid tegen niet-lineaire stralingsvervormingen (NRD).
• Windowing-techniek: In plaats van een strikte pixel-overlap (zoals bij eerdere methoden), wordt een "windowing"-techniek toegepast. Sleutelpunten in het ene spectrum worden geaccepteerd als ze binnen een gedefinieerd venster vallen rondom corresponderende punten in het andere spectrum.
• Probabilistische aggregatie: De methode telt waarnemingen over meerdere homografieën op en behandelt deze als kansen in plaats van binaire acceptatie. Dit resulteert in een robuuste set van sleutelpunten die invariant zijn voor zowel gezichtspunt als spectrale variaties.

2. Encoder: VMamba met Visual State-Space (VSS)

• XPoint gebruikt de VMamba-encoder (specifiek de VMamba-T variant), die is voorgetraind op segmentatietaken (ADE20K).
• SS2D Mechanisme: De encoder maakt gebruik van een 2D-Selective-Scan (SS2D) mechanisme. Dit zorgt voor een efficiëntere verwerking van lange-afstandsafhankelijkheden in vergelijking met traditionele CNN's en is computatie-efficiënter dan Vision Transformers (ViT).
• De encoder extrahert semantische features die helpen bij het overbruggen van de domeinkloof tussen verschillende spectrale banden.

3. Decoders en Homografie Regressie
Het model heeft drie gezamenlijke decoders:

• Interest Point Decoder: Genereert heatmaps voor sleutelpuntdetectie.
• Descriptor Decoder: Genereert dichte descriptors voor het matchen van punten.
• Homografie Regressie Head: Een taakspecifieke head die de homografie (geometrische transformatie) direct schat. Deze head fungeert als een geometrische beperking tijdens het trainen, wat de modelprestaties verbetert door multitask learning (samenwerking tussen detectie, beschrijving en geometrie).

Verliesfuncties:
Om onbalans in datasets (zoals VIS-SAR waar één spectrum vaak geen punten heeft) aan te pakken, wordt een gewogen cross-entropy loss gebruikt. Dit straft oververtegenwoordigde klassen (zoals de "dustbin" klasse voor gebieden zonder punten) minder zwaar, waardoor het model beter leert in moeilijke spectrale verschillen.

Belangrijkste Bijdragen

1. Modulair Zelftoezicht Framework: XPoint elimineert de afhankelijkheid van dure gelabelde data (zoals dieptekaarten) door gebruik te maken van uitgelijnde beeldparen en zelf gegenereerde pseudo-ground truth.
2. Verbeterde Pseudo-ground Truth: De introductie van een spectrale-bewuste "windowing"-techniek in combinatie met RIFT2 voor het genereren van robuuste sleutelpunten over verschillende spectra.
3. VMamba Integratie: Het eerste gebruik van een Visual State-Space (VSS) model (VMamba) als encoder voor multispectrale beeldregistratie, wat een betere balans biedt tussen nauwkeurigheid en rekenefficiëntie dan CNN's of Transformers.
4. Geometrische Beperking: De toevoeging van een homografie regressie head die de feature-extractie stuurt via geometrische consistentie, wat leidt tot betere registratie.
5. Brede Toepasbaarheid: Het framework is getest en getuned op diverse combinaties: VIS-NIR, VIS-IR, VIS-LWIR en VIS-SAR.

Resultaten

XPoint is geëvalueerd op vijf verschillende multispectrale datasets en vergeleken met state-of-the-art methoden (zowel detector-gebaseerd als detector-vrij, zoals RoMa, LoFTR, RedFeaT).

• Feature Matching: XPoint (variant 001) presteert consistent beter dan of gelijk aan de beste bestaande methoden op het gebied van Repeatability (herhaalbaarheid van punten) en Matching Score (kwaliteit van de matches), met name in uitdagende scenario's zoals Optisch-Thermisch en VIS-SAR.
• Homografie Schatting: Het model behaalt superieure resultaten bij het schatten van de homografiematrix, wat essentieel is voor beeldregistratie. In de VIS-NIR setting presteert het vergelijkbaar met detector-vrije methoden, maar in andere modaliiteiten (zoals VIS-SAR) overtreft het deze duidelijk.
• Efficiëntie: XPoint biedt een goede balans tussen snelheid en nauwkeurigheid. De varianten kunnen worden aangepast voor snelheid (minder punten, sneller) of precisie (meer punten, iets trager), wat het geschikt maakt voor real-time toepassingen.
• Ablatie Studies: Experimenten bevestigen dat elke component bijdraagt aan de prestaties: de verbeterde windowing-techniek, de RIFT2 detector, de VMamba encoder en de homografie head werken synergetisch samen.

Betekenis en Conclusie

XPoint vertegenwoordigt een belangrijke doorbraak in multispectrale beeldregistratie door de afhankelijkheid van gelabelde data te doorbreken en een schaalbare, zelftoezicht-oplossing te bieden. Door de combinatie van geavanceerde zelftoezicht-strategieën, een moderne VSS-encoder (VMamba) en geometrische beperkingen, overwint het de uitdagingen van niet-lineaire intensiteitsvariaties en extreme gezichtspuntveranderingen.

De betekenis ligt in de flexibiliteit: onderzoekers en ingenieurs kunnen XPoint snel aanpassen aan nieuwe sensorkoppelingen zonder dat ze duizenden gelabelde datasets nodig hebben. Dit maakt het een krachtig hulpmiddel voor toepassingen zoals remote sensing, visuele lokalisatie en structure-from-motion in complexe, multimodale omgevingen.