RePer-360: Releasing Perspective Priors for 360$^\circ$ Depth Estimation via Self-Modulation

El artículo presenta RePer-360, un marco de auto-modulación consciente de la distorsión que adapta modelos de profundidad fundacionales entrenados en imágenes perspetivas al dominio panorámico de 360° preservando sus conocimientos previos mediante un módulo de guía geométrica y un mecanismo de auto-condicionamiento, logrando así un rendimiento superior con solo el 1% de los datos de entrenamiento.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un experto en fotografía (un modelo de Inteligencia Artificial) a entender la profundidad de una habitación, pero hay un problema: el experto solo ha aprendido a ver el mundo a través de una ventana rectangular (fotos normales), y ahora le pides que mire a través de una lente de ojo de pez que cubre 360 grados (una foto panorámica).

Aquí está la historia de RePer-360, explicada como si fuera una receta de cocina o una historia de viajes:

1. El Problema: El Experto se Marea

Imagina que tienes a un chef experto que sabe cocinar perfectamente platos rectangulares (fotos normales). De repente, le pones un plato gigante y redondo (una foto 360) frente a él.

• El problema: Las esquinas de la foto panorámica están muy estiradas y deformadas (como cuando te miras en un espejo curvo). El chef, acostumbrado a las formas rectas, se confunde. Si intentas enseñarle de nuevo desde cero, necesitas miles de ejemplos de platos redondos, lo cual es lento y costoso.
• La solución anterior: Algunos intentaban cortar la foto redonda en pedazos cuadrados, enseñarle a cada pedazo por separado y luego pegarlos. Pero al pegarlos, a veces quedaban costuras feas o la imagen se veía rota.

2. La Idea Brillante: "El Traductor de Lenguas" (RePer-360)

En lugar de obligar al chef a olvidar todo lo que sabe o de cortar la foto en pedazos, los autores crearon RePer-360. Piensa en esto como un traductor inteligente que le susurra al chef cómo adaptar su conocimiento sin cambiarle la personalidad.

El sistema funciona con tres trucos mágicos:

A. Mirar desde dos ángulos a la vez (La Guía Geométrica)

Imagina que tienes dos mapas de la misma ciudad:

1. Mapa ERP: Es el mapa panorámico completo, pero deformado (como un globo terráqueo estirado).
2. Mapa CP (Cubemap): Es como si hubieras pegado la ciudad en las 6 caras de un cubo. Aquí, las distorsiones desaparecen y todo se ve "normal" y recto.

RePer-360 mira ambos mapas al mismo tiempo. Usa el mapa del cubo (que es claro y recto) para enseñar al modelo cómo interpretar las partes deformadas del mapa panorámico. No mezcla los mapas; el mapa del cubo actúa como un "guía" que le dice al modelo: "Oye, esa parte estirada en el mapa panorámico es en realidad una pared recta".

B. El "Ajuste Fino" (Auto-Modulación)

En lugar de reescribir todo el cerebro del chef (lo cual sería lento y arriesgado), RePer-360 usa un mecanismo llamado SCAdaLN-Zero.

• La analogía: Imagina que el chef tiene un traje de trabajo (el modelo pre-entrenado). En lugar de cambiarle el traje por uno nuevo, le ponemos unos ajustadores mágicos en la cintura y los hombros.
• Estos ajustadores son muy pequeños y ligeros. Le dicen al modelo: "Aquí, en esta parte de la imagen, estira un poco tu visión; allá, en esa otra, aplana un poco".
• Lo genial es que estos ajustadores se inician en cero. Al principio, el modelo actúa como si nada hubiera cambiado (es seguro). A medida que aprende, los ajustadores se activan suavemente para corregir las distorsiones sin romper lo que el modelo ya sabía.

C. La Prueba de Coherencia (La Regla del Cubo)

Para asegurarse de que el modelo no está alucinando, el sistema le pide que verifique su trabajo.

• La analogía: Es como si le dijeras al chef: "Dibuja el plato en el mapa panorámico, pero luego imagínalo en las 6 caras del cubo. Si las líneas no coinciden en las esquinas del cubo, algo está mal".
• Esto se llama Pérdida de Consistencia E2C. Obliga al modelo a ser coherente: lo que ve en la parte superior de la foto panorámica debe encajar perfectamente con lo que ve en la cara superior del cubo. Esto evita que el modelo invente profundidades raras.

3. ¿Por qué es tan bueno?

• Ahorro de datos: Mientras que otros métodos necesitan leer 120.000 fotos panorámicas para aprender, RePer-360 aprende con solo 1.000 fotos (¡el 1% del trabajo!).
• Calidad: Al no "borrar" el conocimiento previo del modelo, sino ajustarlo con cuidado, logra resultados mucho más precisos y con menos errores (como paredes que parecen curvas cuando son rectas).
• Velocidad: Al no tener que cortar y pegar la imagen en pedazos, es más rápido y eficiente.

En resumen

RePer-360 es como tener un tutor experto que no te obliga a olvidar lo que sabes, sino que te da pistas visuales (mirando la foto desde un cubo) y ajustes sutiles (como un traje a medida) para que puedas entender un mundo deformado (360 grados) sin perder tu sentido de la orientación.

Es la diferencia entre intentar aprender un nuevo idioma gritando palabras al azar (entrenamiento desde cero) versus tener un traductor que te susurra las reglas gramaticales correctas justo cuando las necesitas.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "RePer-360: Releasing Perspective Priors for 360◦ Depth Estimation via Self-Modulation" en español:

1. El Problema

Los modelos fundamentales de profundidad recientes (como Depth Anything Models) entrenados en imágenes de perspectiva (vistas planas) logran un rendimiento excepcional, pero generalizan mal a imágenes panorámicas de 360°.

• Causa raíz: Existe una discrepancia geométrica severa entre los dominios. Las representaciones preentrenadas siguen estadísticas de perspectiva que las distorsiones panorámicas (como las proyecciones equirectangulares) violan.
• Limitaciones de las soluciones actuales:
  • Fusión de proyecciones: Métodos que dividen la imagen en múltiples vistas y las fusionan sufren de artefactos, no modelan la geometría esférica global y tienen una alta latencia computacional.
  • Ajuste fino (Fine-tuning) completo: Requieren grandes cantidades de datos panorámicos etiquetados. Además, sin un modelado explícito de las distorsiones, el ajuste fino puede sobrescribir los "priors" (conocimientos previos) de perspectiva preentrenados, causando deriva de representación y pérdida de generalización.

2. Metodología: RePer-360

Los autores proponen RePer-360, un marco de auto-modulación consciente de la distorsión. En lugar de fusionar características explícitamente (lo que perturba las estadísticas preentrenadas), el método adapta el modelo mediante la modulación de sus capas de normalización, preservando así los conocimientos previos de perspectiva.

El framework sigue un pipeline de Guía → Modulación → Supervisión:

A. Módulo de Guía Alineada a la Geometría (GAG)

• Utiliza dos proyecciones complementarias: ERP (Equirectangular Projection, la imagen original) y CP (Cubemap Projection, que divide la imagen en 6 caras con menos distorsión local).
• Funcionamiento:
  1. Alinea estadísticamente las características de CP y ERP mediante normalización afine (sin parámetros aprendidos) para preservar los detalles locales de CP.
  2. Aplica un mecanismo de puerta adaptativa (gating) que pondera dinámicamente entre las características alineadas de CP y las originales de ERP.
  3. Genera una señal de guía ($F_{GAG}$) que contiene información geométrica y contextual, pero no se usa como entrada directa al backbone, sino como señal de control.

B. Módulo de Auto-Condicionamiento SCAdaLN-Zero

• Este es el núcleo de la adaptación. En lugar de inyectar características a través de atención cruzada (que es inestable), RePer-360 utiliza la señal de guía ($F_{GAG}$) para generar parámetros de modulación (escala y desplazamiento) para las capas de Normalización Adaptativa (AdaLN) dentro del Transformer.
• Mecanismo:
  • Una red ligera (con convoluciones separables por profundidad) convierte la guía en parámetros $\beta$ (desplazamiento) y $\gamma$ (escala).
  • Estos parámetros ajustan las características del backbone en las capas de normalización.
  • Estrategia de inicialización cero: Los parámetros finales se inicializan en cero, lo que hace que el módulo comience como un Transformer estándar, garantizando una estabilidad inicial en el entrenamiento.
• Ventaja: Permite una adaptación controlada y estructurada a las distorsiones panorámicas sin alterar directamente el contenido de las características preentrenadas.

C. Pérdida de Consistencia en el Dominio del Cubemap (ECCLoss)

• Para mitigar el desequilibrio causado por la distorsión esférica (donde los polos ocupan más píxeles que el ecuador en ERP), se introduce una pérdida de consistencia en el dominio del cubemap.
• Transforma tanto la predicción como el ground truth de ERP a CP.
• Aplica una pérdida de error absoluto medio invariante a escala y desplazamiento (SSI-MAE) en las 6 caras del cubemap. Esto asegura que la geometría se aprenda de manera equilibrada, independientemente de la distorsión de la proyección original.

3. Contribuciones Clave

1. Reformulación del problema: Cambian el enfoque de la "fusión de características" a la "adaptación de dominio basada en guía", utilizando proyecciones complementarias como señales de control en lugar de entradas de datos.
2. Marco de Auto-Modulación (RePer-360): Introducen el mecanismo SCAdaLN-Zero, que alinea las distribuciones de características entre perspectiva y panorama mediante modulación basada en normalización, preservando los priors preentrenados.
3. Eficiencia de datos y rendimiento: Logran un rendimiento superior utilizando solo el 1% de los datos de entrenamiento en comparación con métodos anteriores (1k pares de imágenes vs. 120k).

4. Resultados Experimentales

• Rendimiento Cuantitativo:
  • En los conjuntos de datos Matterport3D y Stanford2D3D, RePer-360 supera al estado del arte (SOTA), incluyendo a PanDA-L (que usa pre-entrenamiento masivo).
  • Logra una mejora relativa de hasta 22.4% en RMSE y 12.3% en Abs Rel en comparación con PanDA-L, utilizando solo datos de entrenamiento in-domain (sin pre-entrenamiento masivo en 120k imágenes).
  • En escenarios Zero-shot (entrenado solo en datos sintéticos), muestra una generalización superior, mejorando la RMSE en un 14.0% en Stanford2D3D.
• Rendimiento Cualitativo:
  • Preserva mejor la geometría de la escena y los detalles finos, evitando que las texturas de las paredes se interpreten erróneamente como variaciones de profundidad (un error común en PanDA-L).
  • Mantiene una consistencia estructural superior bajo distorsiones panorámicas severas y cambios de iluminación.
• Análisis de Deriva de Representación:
  • El análisis muestra que RePer-360 mantiene una alta similitud con el backbone congelado (evitando la deriva de representación inestable), mientras que otros métodos sufren cambios bruscos en las características.

5. Significado e Impacto

El trabajo demuestra que no es necesario sobrescribir los conocimientos previos de perspectiva para adaptar modelos a dominios panorámicos. En su lugar, una modulación guiada por la geometría permite ajustar el modelo a las distorsiones específicas del dominio 360° de manera eficiente.

• Eficiencia de Datos: Reduce drásticamente la necesidad de grandes conjuntos de datos panorámicos etiquetados, haciendo viable la adaptación de modelos fundamentales a tareas de visión 360° con recursos limitados.
• Estabilidad: Ofrece una estrategia más estable para la adaptación de dominio en arquitecturas Transformer, evitando la inestabilidad asociada con la fusión directa de características o el ajuste fino masivo.

En resumen, RePer-360 establece un nuevo paradigma para la estimación de profundidad en 360°, priorizando la preservación de priors preentrenados mediante mecanismos de modulación inteligente en lugar de la fusión bruta de características.