MV-RoMa: From Pairwise Matching into Multi-View Track Reconstruction

Probleemstelling

In de 3D-vision, en specifiek bij taken zoals Structure-from-Motion (SfM), is het cruciaal om consistente correspondenties (koppelingen tussen pixels) over meerdere afbeeldingen te vinden. Bestaande methoden werken echter voornamelijk paarsgewijs (één-op-één beeldmatching). Wanneer deze paarvoor-paar-resultaten worden "gekoppeld" (chained) om multi-view tracks te vormen, ontstaan er vaak:

1. Gefragmenteerde tracks: De koppelingen breken af tussen opeenvolgende beelden.
2. Geometrische inconsistentie: De geprojecteerde punten komen niet overeen met de werkelijke 3D-structuur, wat leidt tot slechte reconstructies.
3. Cumulatieve fouten: Fouten in vroege paar-koppelingen versterken zich in latere stappen.

Bestaande oplossingen proberen dit na te repareren via post-processing op individuele tracks, maar dit is computatief zwaar en afhankelijk van de kwaliteit van de initiële paar-koppelingen.

Methodologie: MV-RoMa

De auteurs stellen MV-RoMa (Multi-View Robust dense feature Matching) voor. Dit is een model dat gelijktijdig dichte correspondenties schat van een bronafbeelding naar meerdere zichtbare doelafbeeldingen, in plaats van ze sequentieel te verwerken. De architectuur bestaat uit drie hoofdcomponenten:

1. Constructie van Geometrische Priors (Track Tokens)

In plaats van te beginnen met een lege staat, gebruikt het model een "geometrisch prior" gebaseerd op initiële paar-koppelingen (verkregen via een bestaande matcher zoals UFM).

• Clustering: Initieel gevonden matches worden gegroepeerd via $k$-means clustering op basis van hun zichtbaarheidsmasks.
• Track Tokens: Deze groepen worden omgezet in "track tokens". Elke token vertegenwoordigt een spoor dat bestaat uit 2D-coördinaten over alle beelden (met een 'sentinel' waarde voor onzichtbare beelden) en een zichtbaarheidsmasker. Dit zorgt voor een compacte, betrouwbare set van geometrische priors.

2. Track-Guided Multi-View Encoder

Om informatie tussen beelden uit te wisselen zonder de enorme rekentijd van volledige cross-attention, introduceert het model een efficiënte encoder:

• Attentional Sampling: Features van de afbeeldingsroosters worden geprojecteerd op de track tokens.
• Track Transformer: Een lichtgewicht transformer wendt self-attention toe langs de as van de verschillende beelden voor elke track. Hierbij worden alleen zichtbare beelden meegenomen (via het masker).
• Attentional Splatting: De bijgewerkte, multi-view-bewuste features worden teruggeprojecteerd op de afbeeldingsroosters.
• Resultaat: Het model genereert dichte feature maps die geometrisch consistent zijn over alle beelden.

3. Multi-View Matching Refiner

Na het schatten van ruwe correspondenties, wordt een verfijningssysteem gebruikt (gebaseerd op RoMa, maar uitgebreid):

• Pixel-aligned Attention: In plaats van globale cross-attention (wat $O(N^2)$ kost), worden de features van de doelbeelden eerst geometrisch uitgelijnd met het bronbeeld op basis van de huidige warping-schatting.
• Efficiënte Fusie: Vervolgens wordt pixel-voor-pixel attention toegepast over deze uitgelijnde beelden. Dit vermijdt de hoge rekentijd van volledige cross-attention terwijl het toch multi-view context behoudt.

4. Post-Processing voor SfM

De voorspellingen worden direct omgezet in 2D-tracks voor SfM:

• Match Selectie: Voor elke pixel wordt de koppeling met de hoogste betrouwbaarheid geselecteerd uit alle groepen.
• Bidirectionele Consistentie: Alleen matches die voldoen aan een forward-backward cyclusfout-threshold worden behouden.
• Track Sampling: Een subset van hoge-kwaliteit matches wordt geselecteerd (via Non-Maximum Suppression op een scorekaart) om robuuste tracks te vormen voor bundeladjustment.

Belangrijkste Bijdragen

1. Multi-View Dichte Matching: Het eerste framework dat dichte correspondenties direct schat over meerdere beelden tegelijk, waardoor de beperkingen van sequentiële paar-koppelingen worden overwonnen.
2. Efficiënte Architectuur: Een nieuwe encoder en refiner die multi-view informatie uitwisselen via "track tokens" en pixel-aligned attention, wat veel goedkoper is dan volledige cross-attention.
3. Geometrische Priors: Het gebruik van initiële paar-matches als geometrische priors (via clustering) om het netwerk te sturen, wat de convergentie en nauwkeurigheid verbetert.
4. Integratie in SfM: Een strategie om de voorspellende tracks direct en robuust te integreren in bestaande SfM-pipelines.

Resultaten

MV-RoMa is getest op diverse benchmarks en presteert superieur aan bestaande methoden (zoals RoMa, LoFTR, UFM, Mast3R):

• Homografie Schatting (HPatches): MV-RoMa behaalt de beste AUC-scores (Area Under Curve) voor zowel DLT als RANSAC, met name bij strenge foutmarges (1px).
• 3D Triangulatie (ETH3D): Het model produceert de meest accurate en complete 3D-puntenwolken, zelfs vergeleken met volledige SfM-pipelines die op paar-koppelingen zijn gebaseerd.
• Camera Pose Schatting: Op uitdagende datasets met weinig textuur (Texture-Poor SfM) en grote baselines (IMC PhotoTourism) overtreft MV-RoMa zowel traditionele detector-gebaseerde methoden als andere diepe leer-methoden.
• Efficiëntie: Hoewel het meerdere beelden tegelijk verwerkt, is de inferentie-tijd per groep lager dan het sequentieel verwerken van dezelfde hoeveelheid paar-koppelingen.

Betekenis en Impact

MV-RoMa markeert een verschuiving in de 3D-vision gemeenschap van sequentiële paar-verwerking naar gelijktijdige multi-view redenering.

• Het lost het fundamentele probleem van foutaccumulatie en fragmentatie in lange tracks op.
• Het maakt dichte 3D-reconstructies mogelijk in moeilijke scenario's (zoals gebieden zonder textuur of met herhalende patronen) waar traditionele sleutelpunt-methoden falen.
• De methode biedt een schaalbare en efficiënte oplossing die direct bruikbaar is voor toepassingen zoals augmented reality, robotica en fotogrammetrie, waarbij nauwkeurige en dichte 3D-modellen essentieel zijn.

Kortom, MV-RoMa bewijst dat het gezamenlijk modelleren van correspondenties over meerdere beelden leidt tot aanzienlijk betere geometrische consistentie en reconstructiekwaliteit dan de huidige state-of-the-art paar-methoden.