Technische Samenvatting: G2G – Het exploiteren van intra-groep geometrie voor inter-groep pose-estimatie

1. Probleemdefinitie

Het artikel behandelt Group-to-Group (G2G) pose-estimatie, een fundamentele taak in robotische perceptie die het herstel van de relatieve zes vrijheidsgraden (6-DoF) rigide transformatie tussen twee verschillende groepen afbeeldingen behelst. Deze taak vormt de basis voor twee kritieke toepassingen:

1. Cross-sequence visuele relokalisatie: Het uitlijnen van monoculaire sequentiefragmenten die zijn vastgelegd tijdens verschillende traversaties van dezelfde omgeving (temporele groepen).
2. Multi-camera rig odometrie: Het bepalen van de relatieve pose tussen simultane observaties van een multi-camera rig (spatiële groepen).

In beide scenario's bestaat de input uit twee beeldgroepen ($G_A$ en $G_B$) waarbij de intra-groep geometrie (relatieve poses binnen elke groep) bekend is maar potentieel ruis bevat (afgeleid van Visual Odometry, SLAM of kalibratie). Het doel is om de onbekende inter-groep transformatie te herstellen. Bestaande methoden falen vaak in deze setting omdat ze ofwel alle input-views behandelen als een ongestructureerde set (waarbij de bekende intra-groep geometrie wordt genegeerd), of vertrouwen op iteratieve paarwijze matching die kwetsbaar is voor dynamische objecten, seizoensveranderingen en scènevariaties.

2. Methodologie: De G2G Architectuur

De auteurs stellen G2G voor, een "freeze-and-bridge" architectuur die een vooraf getraind multi-view foundation model benut zonder de kerngewichten ervan te hertrainen. Het systeem bestaat uit een bevroren backbone en drie lichtgewicht, trainbare modules.

2.1 Bevroren Foundation Backbone

De methode adopteert MapAnything [10] als een per-groep feature extractor. Deze backbone wordt volledig bevroren gehouden (ongeveer 539M parameters).

• Input: Voor elk frame ontvangt het de RGB-afbeelding, camera-extrinsics (gedecomposeerd in een quaternion en translatie), en per-pixel straalrichtingen afgeleid van intrinsics.
• Functie: Het fuseert de bekende intra-groep geometrie in visuele features, waardoor voor elke groep onafhankelijk geometry-enhanced patch features ($F_g$) worden geproduceerd. Dit stelt het model in staat om te profiteren van de "moeilijke taak" om visuele tokens te funderen in camerageometrie, wat het foundation model al heeft geleerd.

2.2 Trainbare Modules (Totaal ~32M Parameters)

Drie modules zijn toegevoegd bovenop de bevroren backbone om de twee groepen te overbruggen:

1. Perceiver Resampler: Comprimeert de $P$ patch tokens per frame naar een kleinere set van $L$ latente tokens ($Z_g$). Dit vermindert de sequentielengte om de computationele kosten in de daaropvolgende bridge te beheersen.
2. Cross-Group Bridge: Verbindt de twee groepen via merged self-attention.
   • Het concateneert latente tokens van beide groepen.
   • Het vergroot de tokens met drie leerbare embeddings:
     • Frame Embedding: Encodeert de positie van een frame binnen zijn groep (gedeelde semantiek voor temporele en spatiële groepen).
     • Group Embedding: Onderscheidt tokens die behoren tot Groep A versus Groep B.
     • Anchor Embedding: Markeert het ankerframe ($A_0$) als het globale referentiepunt.
   • Twee self-attention lagen verfijnen deze tokens, wat cross-groep uitwisseling en intra-groep contextdeling op een uniforme wijze mogelijk maakt.
3. Multi-Frame Pose Head: Voorspelt de pose van elk target frame relatief aan het gedeelde anker $A_0$ in één enkele forward pass.
   • Het gebruikt een gedeelde cross-attention laag met leerbare pose queries (rotatie en translatie).
   • Het decodeert features naar een 6D continue rotatie en 3D translatie, en geeft de volledige set poses $\{T_{A_0 \leftarrow A_i}\} \cup \{T_{A_0 \leftarrow B_j}\}$ uit.

2.3 Trainingsstrategie

• Supervisie: Het model wordt alleen getraind met behulp van relatieve poses als het supervisiesignaal. Dieptekaarten worden alleen gebruikt tijdens de datasetconstructie om visuele overlap te scoren en trainingsparen te selecteren, niet als een loss-signaal.
• Curriculum Learning: Een driefasig schema introduceert geleidelijk moeilijkere trainingsparen (lagere visuele overlap) om convergentie te stabiliseren.
• Noise Augmentation: Input-extrinsics worden tijdens de training verstoord met SE(3)-ruis om de robuustheid tegen odometrie-drift en kalibratiefouten te verbeteren, waardoor het model wordt geleerd de inputs te denoisen in plaats van ze simpelweg te kopiëren.

3. Belangrijkste Bijdragen

1. Verenigde Probleemformulering: Het artikel presenteert cross-sequence relokalisatie en multi-camera rig odometrie als een enkele G2G-taak met een gedeelde input-output interface, waardoor één enkel model diverse downstream-toepassingen kan dienen.
2. Freeze-and-Bridge Architectuur: Door de foundation model bevroren te houden en slechts ~32M trainbare parameters toe te voegen (minder dan 6% van het volledige model), bereikt de methode een dataefficiënte training en behoudt het de generalisatiecapaciteiten van grootschalige pretraining.
3. State-of-the-Art Prestaties: De aanpak bereikt superieure nauwkeurigheid op vier datasets (HM3D, TartanGround, NCLT, ZJH) die indoor/outdoor simulatie, real-world cross-season opnames en zero-shot sim-to-real transfer beslaan, waarbij het baselines overtreft die met hun volledige originele supervisie (inclusief dense depth) worden hertraind.

4. Experimentele Resultaten

Het artikel evalueert G2G tegenover klassieke pipelines (LoMa), geleerde lokale feature matchers (CoViS-Net) en feed-forward multi-view modellen (VGGT, Reloc3R, Rig3R, MapAnything varianten).

• Cross-Sequence Lokalisatie: G2G bereikt de beste non-oracle translatie- en rotatiefouten over alle datasets. Met name op de NCLT dataset (cross-season) behoudt G2G een rotatiefout van $2.47^\circ$ en een translatierichtingfout (RTA) van $5.43^\circ$, terwijl baselines zoals VGGT en Reloc3R aanzienlijk degraderen (RTA > $40^\circ$) door hun afhankelijkheid van visuele correspondentie die faalt onder seizoensveranderingen.
• Multi-Camera Rig Odometrie: G2G presteert beter dan rig-bewuste baselines (Rig3R) en multi-view modellen. Op de TartanGround dataset lijdt Rig3R aan overfitting (rotatiefout $37.9^\circ$ op held-out scènes) omdat de volledig trainbare decoder een bevroren anker mist om gepreïnteerde geometrische priors te bewaren. G2G behoudt een fout van $1.63^\circ$.
• Sim-to-Real Transfer: Op de ZJH dataset bereikt een model dat volledig op gesimuleerde data is getraind een zero-shot transfer naar real-world humanoïde robotopnames, waarbij een hoge nauwkeurigheid wordt behouden ($1.206$ m translatie, $3.46^\circ$ rotatie) zonder fine-tuning.
• Efficiëntie: G2G produceert alle target poses in een enkele forward pass (<50 ms), terwijl paarwijze methoden $N_A \times N_B$ inferenties vereisen (bijv. 25 passes voor 5-frame groepen), wat resulteert in aanzienlijk hogere latentie.

5. Betekenis en Claims

Het artikel claimt dat de primaire bottleneck in huidige multi-view pose-estimatie het gebrek is aan cross-groep redeneren dat de bekende intra-groep geometrie respecteert.

• Geometrie als Prior: De auteurs argumenteren dat foundation modellen al hebben geleerd om intrinsics en extrinsics binnen een groep te fuseren. Het ontbrekende deel is het vermogen om over groepen heen te redeneren. Door de backbone bevroren te houden, behoudt G2G dit geometrische begrip, terwijl de lichtgewicht bridge-modules de ontbrekende cross-groep logica leveren.
• Robuustheid tegen Verschijningsveranderingen: De afhankelijkheid van de methode van geometrie-geconditioneerde features in plaats van pure visuele matching maakt het robuust tegen seizoensveranderingen, variaties in verlichting en dynamische objecten, waar methoden die afhankelijk zijn van visuele correspondentie (zoals VGGT of Reloc3R) falen.
• Data-efficiëntie: Het freeze-and-bridge ontwerp stelt het model in staat om te generaliseren naar nieuwe domeinen (sim-to-real) en kleine trainingssets (TartanGround) te verwerken zonder overfitting, een faalmodus die wordt waargenomen bij volledig trainbare baselines zoals Rig3R.

Het artikel concludeert dat G2G een verenigde, efficiënte en robuuste oplossing biedt voor inter-groep pose-estimatie, waarmee het de kloof tussen de mogelijkheden van foundation modellen en specifieke robotische perceptietaken effectief overbrugt.