Resumen Técnico: RayTun3R

Planteamiento del Problema

Los modelos fundacionales 3D recientes (por ejemplo, DUSt3R, MASt3R, VGGT, $\pi^3$, Depth Anything 3) sobresalen en la estimación de profundidad y pose feed-forward en imágenes estándar de tipo pinhole (esténocópica). Sin embargo, su rendimiento se degrada significativamente cuando se aplican a entradas de ojo de pez (fisheye) o de gran angular. Los autores identifican que este fallo se debe a un sesgo de cámara pinhole inherente a las codificaciones posicionales de estos modelos preentrenados.

Mientras que los métodos estándar de ajuste fino eficiente en parámetros (PEFT), como LoRA o las capas de adaptadores, modifican transformaciones de características genéricas, estos no logran abordar el desajuste geométrico específico: las cámaras pinhole y de ojo de pez asignan geometrías de rayos diferentes a las mismas ubicaciones de la rejilla de la imagen. Las soluciones alternativas existentes, como la división de imágenes de ojo de pez en múltiples recortes virtuales pinhole (ej. Center-PH, Multi-PH), introducen una sobrecarga computacional y requieren una fusión compleja de predicciones sin modelar directamente la geometría de ojo de pez.

Metodología: RayTun3R

RayTun3R es un enfoque de adaptación de cámara ligero y en línea diseñado para corregir el sesgo de pinhole en modelos fundacionales 3D congelados sin reentrenar el backbone. La hipótesis central es que adaptar los componentes que vinculan las ubicaciones de los tokens con los rayos de la cámara es más efectivo que adaptar características genéricas.

Componentes Clave

1. Backbone Congelado: El modelo 3D preentrenado (pesos $\theta$) permanece completamente fijo.
2. Adaptador Ligero: Solo se actualizan componentes específicos vinculados a la posición del token y la geometría de la cámara. El número total de parámetros entrenables es mínimo (10,752 para DA3-Small).
   • Corrección de la Codificación Posicional: Los autores parametrizan las correcciones para las codificaciones posicionales absolutas ($P_A$) en coordenadas polares (radio $\rho$ y ángulo $\theta$) relativas al punto principal. Estas se implementan como tablas de búsqueda (lookup tables) radiales y angulares entrenables.
   • Corrección de la Codificación Posicional Rotatoria (RoPE): Para modelos que utilizan RoPE, se aplica una corrección radial entrenable a los ángulos rotatorios.
   • Correcciones Libres de Parámetros:
     • Coordenadas de la Rejilla de Predicción: Reemplaza las coordenadas de rejilla regulares por coordenadas conscientes de la cámara, obtenidas mediante la desdistorsión de las ubicaciones de la rejilla de ojo de pez.
     • Tokenización de Parches: Los parches fuera de la lente de ojo de pez válida se reemplazan con el token medio válido, y los parches se desdistorsionan localmente antes de la tokenización para aproximar los recortes pinhole.

Estrategia de Entrenamiento

El adaptador se entrena en línea sobre un segmento temporal corto de fotogramas de ojo de pez utilizando pérdidas geométricas autosupervisadas, sin requerir profundidad o pose de verdad fundamental (ground-truth):

• Pérdida de Reproyección ($L_{reproj}$): Fuerza la consistencia entre los puntos 3D predichos y las correspondencias de un emparejador (matcher) comercial (UFM).
• Regularización de Pose ($L_{pose}$): Utiliza una estimación de pose relativa fija (de MAGSAC++) como pseudo-etiqueta para estabilizar la optimización temprana.
• Prioris de Suavidad: Incluye suavidad de profundidad sensible a bordes y regularización L2/Variación Total para asegurar que las correcciones posicionales permanezcan pequeñas y suaves respecto a la tabla preentrenada.

Principales Contribuciones

1. Análisis del Sesgo Pinhole: Los autores demuestran que el Jacobiano local de las codificaciones posicionales preentrenadas sigue la geometría constante de una cámara pinhole. Muestran que, tras la adaptación, este Jacobiano se vuelve dependiente del radio, alineándose con la geometría de ojo de pez.
2. Diseño de Adaptador Ligero: Introducción de RayTun3R, que adapta solo los componentes posicionales (absolutos y rotatorios) manteniendo el backbone congelado. Este enfoque utiliza aproximadamente $14\times$ menos parámetros entrenables que LoRA y añade una sobrecarga de inferencia insignificante.
3. Validación Empírica: El método se valida en diversos conjuntos de datos de ojo de pez (FOV 110°–200°) y tres backbones congelados diferentes (Depth Anything 3, VGGT, $\pi^3$).

Resultados

Los experimentos en cinco conjuntos de datos (ETH3D, KITTI-360, TUM-VI, ScanNet++, FIORD) muestran que RayTun3R supera consistentemente a las líneas base:

• Precisión de Pose: RayTun3R reduce el error de rotación entre 2 y 12 veces en comparación con el modelo sin adaptar y supera significativamente a LoRA y a los tokens de calibración (CalTok). Por ejemplo, en KITKI-360, logra un error de rotación de 0.84° frente a 1.69° (Vanilla) y 1.37° (LoRA).
• Precisión de Profundidad: Mientras que los métodos basados en proyección (Center-PH) a veces ofrecen una profundidad competitiva en FOV moderados al imitar la distribución de entrenamiento, RayTun3R logra una precisión de profundidad competitiva utilizando todo el campo de visión de ojo de pez.
• Eficiencia: A diferencia de Multi-PH, que incurre en un costo de inferencia de 300% al procesar múltiples vistas, RayTun3R mantiene la velocidad de inferencia original (100ms/cuadro) con cero sobrecarga. Utiliza solo 10.8K parámetros entrenables en comparación con los 147.5K de LoRA.

Significancia y Reivindicaciones

El artículo sostiene que el fallo de los modelos fundacionales 3D en imágenes de ojo de pez es fundamentalmente un desajuste en la representación posicional más que una falta de capacidad de características. Al aislar y corregir el mapeo dependiente de la cámara entre los tokens de la imagen y los rayos de visión, RayTun3R permite que estos modelos generalicen a entradas de gran ángulo de manera eficiente.

Los autores posicionan este trabajo como una solución que evita los costos computacionales de la fusión de múltiples vistas y los cambios arquitectónicos requeridos para el entrenamiento consciente de la cámara. Enfatizan que su método es "eficiente en parámetros" y "eficiente en tiempo de ejecución", lo que lo hace adecuado para escenarios de adaptación en tiempo real.

Limitaciones Reconocidas por los Autores

• Especificidad de la Cámara: La corrección es específica para cada cámara; un modelo de ojo de pez diferente o un perfil de distorsión distinto requiere una nueva adaptación.
• Supuestos de Distorsión: El método asume un punto principal y una distorsión mayoritariamente radial, no cubriendo explícitamente distorsiones tangenciales fuertes o de óptica no radial.
• Dependencia de la Calibración: Requiere conocer los parámetros de la cámara (aunque se muestra que la calibración predicha es viable).
• Requerimientos de Movimiento: El entrenamiento autosupervisado requiere un desplazamiento suficiente entre fotogramas; el movimiento degenerado puede debilitar las restricciones.
• Alcance: El trabajo actual se centra en imágenes de ojo de pez, dejando las entradas panorámicas/equirrectangulares para trabajos futuros.