Who Handles Orientation? Investigating Invariance in Feature Matching

Probleemstelling

Het vinden van overeenkomstige sleutelpunten (keypoints) tussen afbeeldingen is een fundamenteel probleem in 3D-computer vision, essentieel voor taken zoals visuele lokalisatie en Structure-from-Motion (SfM). Moderne, op leren gebaseerde matchers (zoals SuperGlue en LightGlue) presteren uitstekend op standaard benchmarks met "rechtopstaande" (upright) afbeeldingen.

Echter, deze state-of-the-art (SotA) systemen worstelen aanzienlijk met in-vlakke rotaties (rotaties binnen het beeldvlak). Veel downstream-toepassingen, zoals luchtfotografie, handheld mapping en medische beeldvorming, missen een canonieke oriëntatie. Bestaande pipelines incorporeren rotatie-invariantie vaak niet in hun training, wat leidt tot significante prestatiedalingen bij rotaties. De centrale vraag van dit paper is: Op welk stadium van de matching-pipeline moet rotatie-invariantie worden geïntegreerd? Moet dit gebeuren in de descriptor (het extraheren van lokale kenmerken) of in de matcher (het vergelijken van kenmerken)?

Methodologie

De auteurs onderzoeken dit probleem binnen de context van een moderne, sparse matching-pipeline (detector -> descriptor -> matcher). Ze volgen de architectuur van LoMa [35], waarbij ze een descriptor (DeDoDe-G) en een matcher (LightGlue) trainen.

Ze trainen en evalueren drie verschillende modelvarianten om de impact van rotatie-invariantie te isoleren:

1. NoRot (Baseline): Zowel descriptor als matcher getraind op rechtopstaande afbeeldingen (zonder rotatie-augmentatie). Dit dient als referentie voor de huidige SotA-prestaties.
2. RotMatch: De matcher wordt getraind met rotatie-augmentatie, terwijl de descriptor ongewijzigd blijft (geen rotatie-augmentatie).
3. RotDesc&Match: Zowel de descriptor als de matcher worden getraind met rotatie-augmentatie.

Rotatie-Augmentatie:
Tijdens het trainingstraject worden onafhankelijke in-vlakke rotaties ($\alpha_A, \alpha_B$) toegepast op afbeeldingsparen. De rotatiehoeken worden gesampled uit $\{0^\circ, 90^\circ, 180^\circ, 270^\circ\}$. De dieptekaarten en camera-intrinsieke parameters worden hierbij aangepast om consistent te blijven.

Data:
De modellen worden getraind op een enorme mix van 17 verschillende 3D-datasets (zowel real-world als synthetisch), waaronder MegaDepth, ScanNet++, en TartanAir. Dit omvat een totaal van duizenden miljoenen afbeeldingsparen.

Belangrijkste Bijdragen en Bevindingen

1. Waar moet invariantie worden geïntegreerd?
De auteurs vinden verrassend dat het bereiken van rotatie-invariantie in de descriptor (RotDesc&Match) vergelijkbare prestaties oplevert als het alleen in de matcher doen (RotMatch).

• Snelheid: Het cruciale voordeel van het integreren in de descriptor is dat de matcher eerder kan stoppen met het verwerken van lagen. Omdat de invariantie al in de kenmerken zit, hoeft de matcher niet zo diep te gaan om rotatieonafhankelijkheid te bereiken. Dit resulteert in een snellere rotatie-invariante matcher.

2. Impact op "Rechtopstaande" (Upright) Prestaties:
Een veelgehoorde zorg is dat het trainen voor rotatie-invariantie de prestaties op standaard, niet-geroteerde taken zou kunnen verslechteren.

• De resultaten tonen aan dat er slechts een marginale daling is op standaard benchmarks.
• Opvallend genoeg verbeteren de rotatie-invariante modellen de generalisatie op uit-distributie taken (zoals WxBS en HardMatch) zelfs op de niet-geroteerde versies. Dit suggereert dat rotatie-invariantie de robuustheid van het model verhoogt.

3. Emergentie van Robuustheid door Data:
De studie toont aan dat robuustheid tegen rotaties deels natuurlijk ontstaat door het trainen op zeer diverse data, zelfs zonder expliciete rotatie-augmentatie.

• Een model getraind op de volledige dataset (inclusief veel luchtfoto's en andere rotaties) presteert aanzienlijk beter op geroteerde testsets dan een model dat alleen op MegaDepth is getraind.
• De AUC@20 op de geroteerde MegaDepth-evaluatie steeg met 52 punten wanneer het model op de volledige dataset werd getraind, vergeleken met alleen MegaDepth.

4. Generalisatie naar willekeurige hoeken:
Hoewel de training voornamelijk gebeurde met hoeken van veelvouden van 90°, generaliseren de modellen goed naar willekeurige rotatiehoeken (bijv. 15°, 45°, 210°). De prestaties tonen slechts kleine sprongen bij de trainingshoeken, wat aangeeft dat het model de onderliggende symmetrie heeft geleerd.

Resultaten

De auteurs evalueren hun modellen op diverse benchmarks, waaronder:

• MegaDepth-1500 & ScanNet-1500: Voor relatieve pose-schatting. De rotatie-invariante modellen behouden hoge prestaties op geroteerde data, terwijl traditionele matchers (zoals SuperGlue) hierin volledig falen.
• WxBS (Multi-modale matching): De rotatie-invariante modellen behalen SotA-resultaten, zelfs op de niet-geroteerde versie, wat wijst op superieure generalisatie.
• SatAst (Ruimtevaart naar satelliet): Een dataset met extreme rotaties. Traditionele matchers scoren hier laag (~18.8), terwijl de rotatie-invariante modellen scores boven de 40 halen.
• HardMatch: Een uitdagende benchmark met categorieën zonder canonieke oriëntatie (bijv. sterrenbeelden). De rotatie-invariante modellen behalen significante winsten, vooral op de "celestial" categorie.

De auteurs release twee nieuwe matchers die robuust zijn voor in-vlakke rotaties en state-of-the-art presteren op zowel upright als geroteerde benchmarks.

Significantie

Dit paper biedt een empirisch onderbouwd antwoord op een open vraag in de computer vision-gemeenschap: het is niet nodig om complexe equivariante netwerken te gebruiken of rotatie-invariantie alleen in de matcher te forceren.

• Efficiëntie: Het integreren van invariantie in de descriptor maakt de matching sneller.
• Robuustheid: Het trainen op diverse data en het gebruik van augmentatie creëert modellen die niet alleen goed zijn voor rotaties, maar ook beter generaliseren op complexe, niet-ideale scenario's.
• Praktische Toepassing: De vrijgegeven code en modellen maken het mogelijk om robuuste 3D-vision systemen te bouwen voor toepassingen zoals drone-navigatie, satellietbeeldanalyse en medische imaging, waar de camera-oriëntatie vaak onvoorspelbaar is.

Samenvattend bewijst het paper dat rotatie-invariantie een fundamentele eigenschap moet zijn van de feature-extractie (descriptor) in moderne pipelines, wat leidt tot snellere, robuustere en generaliserendere systemen.