C-GenReg: Training-Free 3D Point Cloud Registration by Multi-View-Consistent Geometry-to-Image Generation with Probabilistic Modalities Fusion

1. El Problema

La registro de nubes de puntos 3D es una tarea fundamental en visión por computadora y robótica que consiste en alinear múltiples escaneos 3D en un sistema de coordenadas único estimando una transformación rígida.

Los métodos actuales basados en aprendizaje profundo enfrentan desafíos significativos:

• Falta de generalización: Los extractores de características 3D aprendidos suelen ser altamente dependientes del dominio. Funcionan bien en entornos interiores con sensores RGB-D específicos, pero su rendimiento degrada drásticamente al cambiar a sensores LiDAR exteriores, diferentes densidades de muestreo o entornos no vistos.
• Limitaciones de los modelos 3D: A diferencia del dominio de imágenes, donde existen Modelos Fundacionales de Visión (VFMs) robustos entrenados en conjuntos de datos masivos y heterogéneos, no existe un modelo fundamental análogo para nubes de puntos 3D que ofrezca una generalización similar.
• Dependencia de datos reales: Los métodos que intentan usar información visual (RGB) a menudo requieren entradas RGB reales, lo cual no está disponible en datos LiDAR puros.

2. Metodología: C-GenReg

C-GenReg es un marco de trabajo sin entrenamiento (training-free) y zero-shot que supera estas limitaciones combinando la fuerza de los priores generativos a escala mundial con modelos fundacionales de visión orientados al registro. La arquitectura opera mediante dos ramas paralelas que se fusionan probabilísticamente:

A. Rama Generada-RGB (Geometry-to-Image)

Esta rama traslada el problema de registro geométrico al dominio de la imagen, donde los VFMs son superiores.

1. Generación Consistente Multi-Visión: Utiliza un Modelo Fundamental Mundial (WFM), específicamente Cosmos-Transfer, para sintetizar vistas RGB a partir de mapas de profundidad (o proyecciones LiDAR).
   • A diferencia de métodos anteriores que requieren fine-tuning para consistencia, el WFM preentrenado genera vistas RGB que mantienen la coherencia geométrica y visual entre la vista de origen y la de destino sin ningún ajuste.
   • Se utiliza una concatenación temporal de las secuencias de profundidad de origen y destino para aprovechar la capacidad del modelo de entender la continuidad temporal.
2. Extracción de Características: Las imágenes RGB generadas se procesan mediante un VFM específico para la tarea (en este caso, MASt3R), entrenado para encontrar correspondencias densas.
3. Levantamiento a 3D (2D-to-3D Lifting): Las correspondencias de píxeles encontradas en las imágenes generadas se "levantan" de nuevo al espacio 3D utilizando los mapas de profundidad originales, asignando descriptores a los puntos de la nube de puntos.

B. Rama Geométrica

Esta rama procesa directamente las nubes de puntos originales para capturar información estructural que podría perderse en la generación de imágenes.

• Utiliza un extractor de características geométricas preentrenado (en este caso, GeoTransformer) para generar descriptores densos directamente desde la geometría 3D cruda.

C. Fusión Probabilística "Match-then-Fuse"

En lugar de concatenar características (lo cual ignora los sesgos inductivos de cada modalidad), C-GenReg introduce un esquema de fusión probabilística:

1. Posteriores Independientes: Cada rama genera su propia matriz de similitud y se convierte en un posterior de correspondencia (probabilidad de que un punto coincida con otro).
2. Fusión Noisy-AND: Se asume independencia condicional entre las evidencias de imagen y geometría dado el estado de la correspondencia real. Se aplica una fórmula de fusión tipo "Noisy-AND" que favorece las correspondencias respaldadas por ambas modalidades simultáneamente.
   • Esto preserva los sesgos inductivos de cada modelo preentrenado y proporciona una confianza calibrada sin necesidad de aprendizaje adicional.

3. Contribuciones Clave

1. Marco C-GenReg: Un sistema de dos ramas que combina la transferencia geometría-a-RGB mediante un WFM (zero-shot) con un VFM específico para registro, superando a los VFMs de propósito general.
2. Esquema de Fusión Probabilística: Introducción del método "Match-then-Fuse", que combina posteriors de correspondencia independientes de la rama generada y la geométrica, logrando coincidencias robustas y calibradas sin entrenamiento.
3. Operatividad Zero-Shot y Plug-and-Play: Todo el pipeline utiliza modelos preentrenados congelados. No requiere fine-tuning ni datos de entrenamiento específicos para el registro.
4. Generalización Trans-Dominio: Es el primer marco de registro generativo que funciona exitosamente en datos LiDAR exteriores reales (donde no hay imágenes RGB disponibles), además de superar benchmarks interiores.

4. Resultados Experimentales

El método fue evaluado en benchmarks interiores (3DMatch, ScanNet) y exteriores (Waymo Open Dataset):

• Benchmarks Interiores (3DMatch): C-GenReg alcanza el estado del arte (SOTA) en métricas de precisión de rotación y traslación, superando a métodos aprendidos como GeoTransformer, FCGF y Predator, e incluso superando a métodos que utilizan RGB real como ZeroMatch.
• Generalización (ScanNet): Al entrenar en 3DMatch y evaluar en ScanNet (datos no vistos), C-GenReg demuestra una generalización superior, manteniendo altos niveles de precisión donde otros métodos fallan debido a cambios de dominio.
• Benchmarks Exteriores (Waymo): En datos LiDAR puros, C-GenReg supera significativamente a los métodos basados en aprendizaje (entrenados en KITTI), que sufren por discrepancias de sensores. C-GenReg logra errores de rotación y traslación mucho menores, demostrando su capacidad para operar sin imágenes reales.
• Escenarios de Baja Superposición: En pruebas de baja superposición (Lo3DMatch, LoWaymo), la rama generativa ayuda a recuperar correspondencias fiables donde la geometría es escasa, reduciendo drásticamente los errores de registro.

5. Significado e Impacto

El trabajo de C-GenReg representa un cambio de paradigma en el registro 3D:

• Puente entre Modalidades: Demuestra que es posible aprovechar la riqueza semántica y la robustez de los modelos de visión 2D (entrenados en billones de imágenes) para resolver problemas 3D puros, sin necesidad de entrenar modelos 3D masivos.
• Eliminación de la Dependencia de Entrenamiento: Al ser completamente training-free, el método es aplicable inmediatamente a nuevos sensores, entornos y modalidades (como LiDAR) sin necesidad de costosos procesos de recolección de datos y reentrenamiento.
• Viabilidad en Entornos Reales: La capacidad de operar en datos LiDAR exteriores sin imágenes RGB abre nuevas posibilidades para aplicaciones de robótica autónoma y mapeo en condiciones donde la cámara óptica no es viable o está ausente.

En resumen, C-GenReg establece un nuevo estándar para la generalización en el registro 3D, demostrando que la fusión inteligente de priores generativos globales y modelos de visión fundacionales puede superar las limitaciones de los métodos puramente geométricos o dependientes de datos.