Sintesi Tecnica: G2G – Sfruttare la Geometria Intra-gruppo per la Stima della Pose Inter-gruppo

1. Definizione del Problema

Il paper affronta la stima della pose Group-to-Group (G2G), un compito primitvo nella percezione robotica che consiste nel recuperare la trasformazione rigida relativa a sei gradi di libertà (6-DoF) tra due distinti gruppi di immagini. Questo compito sostiene due applicazioni critiche:

1. Relocalizzazione visiva cross-sequence: Allineamento di segmenti di sequenze monoculari catturati durante diverse traversate dello stesso ambiente (gruppi temporali).
2. Odometria di rig multi-camera: Determinazione della pose relativa tra osservazioni simultanee da un rig multi-camera (gruppi spaziali).

In entrambi gli scenari, l'input consiste in due gruppi di immagini ($G_A$ e $G_B$) dove la geometria intra-gruppo (pose relative all'interno di ogni gruppo) è nota ma potenzialmente rumorosa (derivata da Visual Odometry, SLAM o calibrazione). L'obiettivo è recuperare la trasformazione inter-gruppo ignota. I metodi esistenti spesso falliscono in questo contesto perché trattano tutti gli input come un insieme non strutturato (ignorando la geometria intra-gruppo nota) o si affidano a un matching pairwise iterativo che è fragile rispetto a oggetti dinamici, cambiamenti stagionali e variazioni della scena.

2. Metodologia: L'Architettura G2G

Gli autori propongono G2G, un'architettura "freeze-and-bridge" che sfrutta un modello foundation multi-view pre-addestrato senza riaddestrare i suoi pesi principali. Il sistema consiste in un backbone congelato e tre moduli leggeri e addestrabili.

2.1 Foundation Backbone Congelato

Il metodo adotta MapAnything [10] come estrattore di feature per gruppo. Questo backbone viene mantenuto interamente congelato (circa 539M di parametri).

• Input: Per ogni frame, riceve l'immagine RGB, le estrinseche della camera (decomposte in quaternione e traslazione) e le direzioni dei raggi per pixel derivate dalle intrinseche.
• Funzione: Fonde la geometria intra-gruppo nota nelle feature visive, producendo feature di patch potenziate dalla geometria ($F_g$) per ogni gruppo indipendentemente. Ciò consente al modello di sfruttare il "compito difficile" di ancorare i token visivi alla geometria della camera, che il modello foundation ha già appreso.

2.2 Moduli Addestrabili (Totale ~32M di Parametri)

Tre moduli sono aggiunti sopra il backbone congelato per collegare i due gruppi:

1. Perceiver Resampler: Comprime i $P$ token di patch per frame in un set più piccolo di $L$ token latenti ($Z_g$). Ciò riduce la lunghezza della sequenza per gestire il costo computazionale nel bridge successivo.
2. Cross-Group Bridge: Connette i due gruppi tramite merged self-attention.
   • Concatena i token latenti di entrambi i gruppi.
   • Augmenta i token con tre embedding apprendibili:
     • Frame Embedding: Codifica la posizione di un frame all'interno del suo gruppo (semantica condivisa per gruppi temporali e spaziali).
     • Group Embedding: Distingue i token appartenenti al Gruppo A dal Gruppo B.
     • Anchor Embedding: Marca il frame ancora ($A_0$) come riferimento globale.
   • Due strati di self-attention raffinano questi token, consentendo lo scambio cross-gruppo e la condivisione del contesto intra-gruppo in modo unificato.
3. Multi-Frame Pose Head: Predice la pose di ogni target frame rispetto all'ancora condivisa $A_0$ in un singolo forward pass.
   • Utilizza uno strato di cross-attention condiviso con pose query apprendibili (rotazione e traslazione).
   • Decodifica le feature in una rotazione continua 6D e una traslazione 3D, restituendo l'intero set di pose $\{T_{A_0 \leftarrow A_i}\} \cup \{T_{A_0 \leftarrow B_j}\}$.

2.3 Strategia di Addestramento

• Supervisione: Il modello è addestrato solo utilizzando le pose relative come segnale di supervisione. Le mappe di profondità sono utilizzate solo durante la costruzione del dataset per valutare la sovrapposizione visiva e selezionare le coppie di addestramento, non come segnale di loss.
• Apprendimento Curriculum: Uno schema in tre fasi introduce gradualmente coppie di addestramento più difficili (minore sovrapposenza visiva) per stabilizzare la convergenza.
• Augmentation del Rumore: Le estrinseche in input sono perturbate con rumore SE(3) durante l'addestramento per migliorare la robustezza contro il drift dell'odometria e gli errori di calibrazione, insegnando al modello di denoisare gli input piuttosto che copiarli.

3. Contributi Chiave

1. Formulazione Unificata del Problema: Il paper inquadra la relocalizzazione cross-sequence e l'odometria di rig multi-camera come un unico compito G2G con un'interfaccia di input-output condivisa, consentendo a un singolo modello di servire diverse applicazioni downstream.
2. Architettura Freeze-and-Bridge: Mantenendo il modello foundation congelato e aggiungendo solo ~32M di parametri addestrabili (meno del 6% del modello completo), il metodo ottiene un addestramento efficiente nei dati e preserva le capacità di generalizzazione del pre-addestramento su larga scala.
3. Prestazioni State-of-the-Art: L'approccio raggiunge un'accuratezza superiore su quattro dataset (HM3D, TartanGround, NCLT, ZJH) che coprono simulazioni indoor/outdoor, catture reali cross-season e trasferimento zero-shot sim-to-real, superando i baseline che vengono ri-addestrati con la loro supervisione originale completa (inclusa la profondità densa).

4. Risultati Sperimentali

Il paper valuta G2G contro pipeline classiche (LoMa), matcher di feature locali appresi (CoViS-Net) e modelli multi-view feed-forward (VGGT, Reloc3R, Rig3R, varianti di MapAnything).

• Localizzazione Cross-Sequence: G2G raggiunge i migliori errori di traslazione e rotazione non-oracle su tutti i dataset. In particolare, sul dataset NCLT (cross-season), G2G mantiene un errore di rotazione di $2.47^\circ$ e un errore di direzione della traslazione (RTA) di $5.43^\circ$, mentre i baseline come VGGT e Reloc3R degradano significativamente (RTA > $40^\circ$) a causa della loro dipendenza dal matching visivo che fallisce sotto i cambiamenti stagionali.
• Odometria di Rig Multi-Camera: G2G supera i baseline rig-aware (Rig3R) e i modelli multi-view. Sul dataset TartanGround, Rig3R soffre di overfitting (errore di rotazione $37.9^\circ$ su scene non viste) perché il suo decoder completamente addestrabile manca di un'ancora congelata per preservare i priori geometrici pre-addestrati. G2G mantiene un errore di $1.63^\circ$.
• Trasferimento Sim-to-Real: Sul dataset ZJH, un modello addestrato interamente su dati simulati ottiene un trasferimento zero-shot su catture di robot umanoidi reali, mantenendo un'alta accuratezza ($1.206$ m traslazione, $3.46^\circ$ rotazione) senza fine-tuning.
• Efficienza: G2G produce tutte le pose target in un singolo forward pass (<50 ms), mentre i metodi pairwise richiedono $N_A \times N_B$ inferenze (ad esempio, 25 passaggi per gruppi di 5 frame), risultando in una latenza significativamente più alta.

5. Significato e Claim

Il paper sostiene che il collo di bottiglia principale nell'attuale stima della pose multi-view sia la mancanza di un ragionamento cross-gruppo che rispetti la nota geometria intra-gruppo.

• La Geometria come Prior: Gli autori sostengono che i modelli foundation abbiano già appreso a fondere intrinseche ed estrinseche all'interno di un gruppo. Il pezzo mancante è la capacità di ragionare tra i gruppi. Congelando il backbone, G2G preserva questa comprensione geometrica, mentre i moduli bridge leggeri forniscono la logica cross-gruppo mancante.
• Robustezza ai Cambiamenti di Aspetto: La dipendenza del metodo da feature condizionate dalla geometria piuttosto che dal puro matching visivo lo rende robusto ai cambiamenti stagionali, alle variazioni di illuminazione e agli oggetti dinamici, dove i metodi dipendenti dal matching visivo (come VGGT o Reloc3R) falliscono.
• Efficienza dei Dati: Il design freeze-and-bridge permette al modello di generalizzare a nuovi domini (sim-to-real) e gestire piccoli set di addestramento (TartanGround) senza overfitting, un modo di fallimento osservato nei baseline completamente addestrabili come Rig3R.

Il paper conclude che G2G fornisce una soluzione unificata, efficiente e robusta per la stima della pose inter-gruppo, colmando efficacemente il divario tra le capacità dei modelli foundation e i compiti specifici della percezione robotica.