Resumen Técnico: G2G – Explotando la Geometría Intra-Grupo para la Estimación de Pose Inter-Grupo

1. Definición del Problema

El artículo aborda la estimación de pose de Grupo-a-Grupo (G2G), una tarea primitiva en la percepción robótica que consiste en la recuperación de la transformación rígida relativa de seis grados de libertad (6-DoF) entre dos grupos distintos de imágenes. Esta tarea sustenta dos aplicaciones críticas:

1. Relocalización visual entre secuencias: Alineación de segmentos de secuencias monoculares capturados durante diferentes recorridos del mismo entorno (grupos temporales).
2. Odometría de un rig multi-cámara: Determinación de la pose relativa entre observaciones simultáneas de un rig de múltiples cámaras (grupos espaciales).

En ambos escenarios, la entrada consiste en dos grupos de imágenes ($G_A$ y $G_B$) donde la geometría intra-grupo (poses relativas dentro de cada grupo) es conocida pero potencialmente ruidosa (derivada de Odometría Visual, SLAM o calibración). El objetivo es recuperar la transformación inter-grupo desconocida. Los métodos existentes suelen fallar en este escenario porque tratan todos los conjuntos de vistas como un conjunto no estructurado (ignorando la geometría intra-grupo conocida) o dependen de un emparejamiento por pares iterativo que es frágil ante objetos dinámicos, cambios estacionales y variaciones de la escena.

2. Metodología: La Arquitectura G2G

Los autores proponen G2G, una arquitectura de "congelar y conectar" (freeze-and-bridge) que aprovecha un modelo fundacional multi-vista preentrenado sin reentrenar sus pesos principales. El sistema consta de un backbone congelado y tres módulos ligeros y entrenables.

2.1 Backbone Fundacional Congelado

El método adopta MapAnything [10] como extractor de características por grupo. Este backbone se mantiene completamente congelado (aproximadamente 539 millones de parámetros).

• Entrada: Para cada fotograma, recibe la imagen RGB, las extrínsecas de la cámara (descompuestas en cuaternión y traslación) y las direcciones de los rayos por píxel derivadas de las intrínsecas.
• Función: Fusiona la geometría intra-grupo conocida en características visuales, produciendo características de parches (patch features, $F_g$) mejoradas geométricamente para cada grupo de forma independiente. Esto permite al modelo aprovechar la "tarea difícil" de fundamentar los tokens visuales en la geometría de la cámara, algo que el modelo fundacional ya ha aprendido.

2.2 Módulos Entrenables (Total ~32M de Parámetros)

Se añaden tres módulos sobre el backbone congelado para conectar los dos grupos:

1. Perceiver Resampler: Comprime los $P$ tokens de parches por fotograma en un conjunto más pequeño de $L$ tokens latentes ($Z_g$). Esto reduce la longitud de la secuencia para gestionar el coste computacional en el puente subsiguiente.
2. Puente Inter-Grupo (Cross-Group Bridge): Conecta los dos grupos mediante atención propia fusionada (merged self-attention).
   • Concatena los tokens latentes de ambos grupos.
   • Aumenta los tokens con tres embeddings aprendibles:
     • Embedding de Fotograma: Codifica la posición de un fotograma dentro de su grupo (semántica compartida para grupos temporales y espaciales).
     • Embedding de Grupo: Distingue los tokens pertenecientes al Grupo A frente al Grupo B.
     • Embedding de Ancla: Marca el fotograma de anclaje ($A_0$) como la referencia global.
   • Dos capas de auto-atención refinan estos tokens, permitiendo el intercambio entre grupos y el intercambio de contexto intra-grupo de una manera unificada.
3. Cabezal de Pose Multi-Fotograma (Multi-Frame Pose Head): Predice la pose de cada fotograma objetivo relativo al ancla compartida $A_0$ en una sola pasada hacia adelante (forward pass).
   • Utiliza una capa de atención cruzada compartida con consultas de pose (pose queries) aprendibles (rotación y traslación).
   • Decodifica las características en una rotación continua de 6D y una traslación de 3D, emitiendo el conjunto completo de poses $\{T_{A_0 \leftarrow A_i}\} \cup \{T_{A_0 \leftarrow B_j}\}$.

2.3 Estrategia de Entrenamiento

• Supervisión: El modelo se entrena únicamente utilizando las poses relativas como señal de supervisión. Los mapas de profundidad se utilizan solo durante la construcción del conjunto de datos para puntuar el solapamiento visual y seleccionar pares de entrenamiento, no como una señal de pérdida (loss signal).
• Aprendizaje Curricular: Un programa de tres fases introduce gradualmente pares de entrenamiento más difíciles (menor solapamiento visual) para estabilizar la convergencia.
• Aumento de Ruido: Las extrínsecas de entrada se perturban con ruido SE(3) durante el entrenamiento para mejorar la robustez contra el error de deriva de la odometría y los errores de calibración, enseñando al modelo a denotar las entradas en lugar de copiarlas.

3. Contribuciones Clave

1. Formulación Unificada del Problema: El artículo presenta la relocalización entre secuencias y la odometría de un rig multi-cámara como una única tarea G2G con una interfaz de entrada-salida compartida, permitiendo que un solo modelo sirva a diversas aplicaciones de uso descendente (downstream).
2. Arquitectura de Congelar y Conectar (Freeze-and-Bridge): Al mantener el modelo fundacional congelado y añadir solo ~32M de parámetros entrenables (menos del 6% del modelo completo), el método logra un entrenamiento eficiente en datos y preserva las capacidades de generalización del preentrenamiento a gran escala.
3. Rendimiento de Vanguardia (State-of-the-Art): El enfoque logra una precisión superior en cuatro conjuntos de datos (HM3D, TartanGround, NCLT, ZJH) que cubren simulaciones de interior/exterior, captura real entre estaciones y transferencia sim-to-real de cero disparos (zero-shot), superando a los modelos base que son reentrenados con su supervisión original completa (incluyendo profundidad densa).

4. Resultados Experimentales

El artículo evalúa G2G frente a tuberías clásicas (LoMa), emparejadores de características locales aprendidos (CoViS-Net) y modelos multi-vista de alimentación directa (VGGT, Reloc3R, Rig3R, variantes de MapAnything).

• Localización entre Secuencias: G2G logra los mejores errores de traslación y rotación no-oráculo en todos los conjuntos de datos. Notablemente, en el conjunto de datos NCLT (entre estaciones), G2G mantiene un error de rotación de $2.47^\circ$ y un error de dirección de traslación (RTA) de $5.43^\circ$, mientras que los modelos base como VGGT y Reloc3R se degradan significativamente (RTA > $40^\circ$) debido a su dependencia de la correspondencia visual, la cual falla bajo cambios estacionales.
• Odometría de Rig Multi-Cámara: G2G supera a los modelos base conscientes del rig (Rig3R) y a los modelos multi-vista. En el conjunto de datos TartanGround, Rig3R sufre de sobreajuste (error de rotación de $37.9^\circ$ en escenas no vistas), porque su decodificador totalmente entrenable carece de un ancla congelada para preservar los priors geométricos preentrenados. G2G mantiene un error de $1.63^\circ$.
• Transferencia Sim-to-Real: En el conjunto de datos ZJH, un modelo entrenado enteramente en datos simulados logra una transferencia zero-shot a capturas de robots humanoides reales, manteniendo una alta precisión ($1.206$ m de traslación, $3.46^\circ$ de rotación) sin necesidad de ajuste fino (fine-tuning).
• Eficiencia: G2G produce todas las poses objetivo en una sola pasada hacia adelante (<50 ms), mientras que los métodos por pares requieren $N_A \times N_B$ inferencias (por ejemplo, 25 pasadas para grupos de 5 fotogramas), lo que resulta en una latencia significativamente mayor.

5. Significado y Reivindicaciones

El artículo sostiene que el principal cuello de botella en la estimación de pose multi-vista actual es la falta de razonamiento inter-grupo que respete la geometría intra-grupo conocida.

• La Geometría como un Prior: Los autores argumentan que los modelos fundacionales ya han aprendido a fusionar intrínsecas y extrínsecas dentro de un grupo. La pieza faltante es la capacidad de razonar entre grupos. Al congelar el backbone, G2G preserva este entendimiento geométrico, mientras que los módulos de puente ligeros suministran la lógica inter-grupo faltante.
• Robustez a Cambios de Apariencia: Su dependencia de características condicionadas por la geometría, en lugar de un puro emparejamiento visual, hace que sea robusto a cambios estacionales, variaciones de iluminación y objetos dinámicos, donde los métodos dependientes de la correspondencia visual (como VGGT o Reloc3R) fallan.
• Eficiencia de Datos: El diseño de congelar y conectar permite al modelo generalizar a nuevos dominios (sim-to-real) y manejar conjuntos de entrenamiento pequeños (TartanGround) sin sobreajustarse, un modo de fallo observado en los modelos base totalmente entrenables como Rig3R.

El artículo concluye que G2G proporciona una solución unificada, eficiente y robusta para la estimación de pose inter-grupo, cerrando eficazmente la brecha entre las capacidades de los modelos fundacionales y las tareas específicas de percepción robótica.