Scalable and Generalizable Correspondence Pruning via Geometry-Consistent Pre-training

Probleemstelling

Het vinden van betrouwbare geometrische correspondenties tussen twee beelden is de hoeksteen van veel 3D-vision taken, zoals camera-pose schatting, 3D-reconstructie en visuele lokalisatie. Bestaande methoden genereren echter vaak veel valse correspondenties (outliers), vooral onder uitdagende omstandigheden zoals grote perspectiefveranderingen, weinig textuur of herhalende patronen.

De huidige aanpak voor het verwijderen van deze outliers (correspondence pruning) leunt zwaar op geometrische consistentie. Echter, in het bestaande leerparadigma verstoren de talrijke outliers het representatieleren van de echte correspondenties (inliers). Dit leidt tot modellen die niet robuust zijn en slecht generaliseren naar nieuwe scènes of domeinen. Traditionele methoden zoals RANSAC hebben beperkte robuustheid bij een hoog percentage outliers, terwijl diepe netwerken vaak worstelen met generalisatie omdat ze tijdens het trainen worden beïnvloed door deze ruis.

Methodologie

De auteurs stellen GeneralPruner voor, een nieuw framework dat een geometrie-consistent pre-training paradigma introduceert om robuuste en generaliseerbare representaties te leren zonder interferentie van outliers. De methode bestaat uit drie kerncomponenten:

1. CorrMAE (Correspondence Masked Autoencoder):

   • Dit is een pre-training framework gebaseerd op het Masked Autoencoder (MAE) concept, maar aangepast voor correspondenties.
   • Pretext Taak: In plaats van het reconstrueren van beelden, voert het gecamoufleerde inlier-reconstructie (masked inlier reconstruction) uit. Het model probeert gemaskerde (verwijderde) echte correspondenties te reconstrueren op basis van de zichtbare correspondenties.
   • Dual-Branch Structuur: Omdat correspondenties geen vaste posities hebben (ze zijn ongeordend en onregelmatig), kan een standaard MAE niet direct worden toegepast. CorrMAE gebruikt een dubbel-branch structuur die de sleutelpunten van twee afzonderlijke afbeeldingen (A en B) apart reconstrueert.
   • Positieve Prompts: De sleutelpunten van de andere afbeelding worden gebruikt als positionele prompts om de reconstructie van de gemaskerde punten te sturen. Dit omzeilt het probleem van het ontbreken van expliciete positie-informatie.
   • Voordelen: Deze taak vereist geen dure geometrische labels (zoals Structure-from-Motion) en kan worden getraind op schaalbare datasets (zoals internetvideo's), waarbij het model zich uitsluitend richt op geometrisch consistente patronen.

2. CorrFormer (Universele Encoder):

   • Om de pre-training effectief te koppelen aan downstream taken, stellen de auteurs een nieuwe encoder voor: CorrFormer.
   • Dit is een dual-stream architectuur die lokale en globale consensus apart modelleert.
   • Consensus Interactie: De twee streams ondergaan een impliciete interactie via gewogen gedeelde lineaire transformers. Dit zorgt voor een betere uitwisseling van informatie dan bestaande methoden die vaak alleen lokaal-naar-globaal of bilaterale leerstrategieën gebruiken.
   • De architectuur is eenvoudig, uitbreidbaar en werkt naadloos samen met CorrMAE.

3. Finetuning:

   • Na pre-training wordt het model gefinetuned voor specifieke taken zoals binaire classificatie (inlier vs. outlier) en regressie van de essentiële matrix (voor camera-pose).
   • Het framework is "encoder-agnostisch", wat betekent dat CorrMAE kan worden gebruikt om bestaande state-of-the-art pruners (zoals OANet, CLNet, NCMNet) te verbeteren, maar werkt het beste in combinatie met de eigen CorrFormer.

Belangrijkste Bijdragen

• Eerste Pre-training voor Pruning: Dit is het eerste werk dat een pre-training framework introduceert specifiek voor correspondentie-pruning, wat een doorbraak is in generalisatie.
• Geometrie-Consistent Pre-training: Door masked inlier reconstructie te gebruiken, elimineert de methode de negatieve invloed van outliers tijdens het leren van representaties.
• CorrMAE Framework: Een effectieve implementatie van MAE voor ongeordende correspondenties via een dual-branch reconstructie met positionele prompts.
• CorrFormer Encoder: Een nieuwe, krachtige encoder die lokale en globale consensus combineert met een ingebouwde interactiemechanisme.
• Schaalbaarheid: Het pre-training proces is niet afhankelijk van dure geometrische annotaties en kan gebruikmaken van grote, schaalbare datasets.

Resultaten

Uitgebreide experimenten tonen aan dat GeneralPruner de state-of-the-art (SoTA) presteert op vijf verschillende downstream taken:

1. Camera Pose Schatting: Een verbetering van 10,76% in AUC@5° op de outdoor benchmark (YFCC100M) ten opzichte van de beste bestaande methode (BCLNet).
2. Visuele Lokalisatie: Een verbetering van 11,84% op de Aachen Day-Night benchmark, met name sterk in nachtelijke scenario's met grote lichtverschillen.
3. 3D Registratie: Een verbetering van 8,65% in Registration Recall (RR) op de 3DMatch benchmark.
4. 3D Reconstructie: GeneralPruner produceert dichter en completer 3D-puntenwolken in vergelijking met andere pruners en end-to-end SfM-systemen.
5. Generalisatie: Het model toont uitstekende zero-shot generalisatie over verschillende domeinen (bijv. van dag naar nacht, van realistisch naar gesimuleerd) en scènes, zelfs zonder extra data te gebruiken tijdens de pre-training. Met extra data (DiverseCorr dataset) wordt de generalisatie nog verder verbeterd.

Daarnaast is het model computatie-efficiënter dan vergelijkbare methoden met vergelijkbare prestaties (bijv. 16% sneller dan BCLNet).

Significantie

Deze paper is significant omdat het een fundamenteel probleem in 3D-vision aanpakt: de kwetsbaarheid van correspondentie-pruning voor outliers en gebrek aan generalisatie. Door een pre-training paradigma te introduceren dat puur focust op geometrische consistentie zonder ruis, biedt GeneralPruner een schaalbare oplossing die niet afhankelijk is van dure annotaties. Het bewijst dat pre-training met masked modeling ook effectief is voor discrete, ongeordende data zoals correspondenties. Dit leidt tot modellen die veel robuuster zijn in real-world toepassingen zoals autonome voertuigen, robotica en augmented reality, waar omstandigheden vaak sterk variëren.