Resumen Técnico: 360Anything

Declaración del Problema

La generación de mundos 3D fotorrealistas a partir de imágenes y vídeos de perspectiva es una frontera crítica para las aplicaciones inmersivas en robótica, RA/RV y videojuegos. Si bien los avances recientes en modelos generativos visuales han mejorado la síntesis de vistas de perspectiva, los generadores estándar producen campos de visión (FoV) estrechos, lo que limita su utilidad para la creación de entornos inmersivos de 360°.

Los enfoques existentes para elevar las entradas de perspectiva a panoramas de 360° dependen típicamente de un alineamiento geométrico explícito. Estos métodos proyectan la entrada de perspectiva en el espacio de la Proyección Equirectangular (ERP) para proporcionar una señal de condicionamiento alineada con los píxeles. Sin embargo, esta estrategia requiere metadatos de cámara conocidos (Campo de Visión, yaw, pitch, roll). En escenarios "en el mundo real" (in-the-wild), como sucede con los datos de calibración, estos suelen estar ausentes o ser ruidosos. En consecuencia, los modelos actuales tienen dificultades con entradas no calibradas o fallan al depender de estimadores externos frágiles. Además, los panoramas generados suelen sufrir de artefactos de costura en los límites de la ERP, un problema que los trabajos previos intentan mitigar con trucos en el tiempo de inferencia en lugar de abordar la causa raíz.

Metodología

Los autores proponen 360Anything, un marco de trabajo libre de geometría basado en Diffusion Transformers (DiT) preentrenados que elimina la necesidad de información de cámara explícita.

1. Concatenación de Secuencias Libre de Geometría

A diferencia de los trabajos anteriores que imponen una correspondencia espacial proyectando las entradas en el espacio ERP, 360Anything trata la entrada de perspectiva y el panorama objetivo simplemente como secuencias de tokens.

• Mecanismo: La entrada de perspectiva ($X_{pers}$) se codifica en tokens latentes ($x_{pers}$) y se concatena con los tokens latentes ruidosos del objetivo ($y^t_{equi}$) a lo largo de la dimensión de la secuencia.
• Aprendizaje: El DiT realiza una autoatención global sobre esta secuencia combinada. El modelo aprende el mapeo de perspectiva a equirectangular puramente a partir de los datos, infiriendo implícitamente las intrínsecas y extrínsecas de la cámara para "colocar" la entrada en un lienzo de 360°.
• Canonicalización: Para asegurar una generación y entrenamiento consistentes, el marco impone una restricción de Coordenadas Canónicas. El modelo se entrena para generar panoramas en una orientación vertical estándar alineada con la gravedad, independientemente de la pose de la cámara de entrada. Esto requiere un proceso de preprocesamiento de datos de dos etapas para vídeos del mundo real:
  1. Estabilización: Uso de COLMAP para estimar las poses por fotograma y rotar los fotogramas para eliminar la rotación entre fotogramas.
  2. Alineación de Gravedad: Uso de GeoCalib para estimar la dirección de la gravedad global y rotar el vídeo para que la gravedad se alinee con el eje vertical.

2. Codificación Latente Circular para la Generación sin Costuras

El artículo identifica la causa raíz de los artefactos de costura en la generación de ERP como el relleno con ceros (zero-padding) en las capas convolucionales del Autoencoder Variacional (VAE) utilizado para la codificación latente. El relleno con ceros estándar introduce discontinuidades de frontera en la representación latente, las cuales el modelo de difusión aprende a replicar.

• Solución: Los autores proponen la Codificación Latente Circular. Antes de la codificación, se recortan columnas de la izquierda y la derecha del panorama y se rellenan en los lados opuestos (relleno circular). Después de la codificación, se descartan los latentes correspondientes a estas regiones rellenadas.
• Resultado: Esto asegura que la representación latente posea continuidad circular, eliminando la discontinuidad que causa las costuras sin introducir sobrecarga a la longitud de la secuencia o al tiempo de inferencia.

Contribuciones Clave

1. Arquitectura 360Anything: Un novedoso marco basado en DiT para la generación de perspectiva a panorama "en el mundo real" que infiere implícitamente los parámetros de la cámara, eliminando la dependencia de la calibración de la cámara.
2. Análisis de la Causa Raíz de las Costuras: Identificación del relleno con ceros del VAE como la fuente de los artefactos de costura y la introducción de la Codificación Latente Circular como un remedio basado en principios durante la etapa de entrenamiento.
3. Rendimiento de Vanguardia (SOTA): El método logra resultados superiores en las evaluaciones de generación de imágenes y vídeo, superando a las líneas base que utilizan información de cámara de verdad fundamental (ground-truth).
4. Comprensión Geométrica Zero-Shot: El modelo demuestra una precisión competitiva en la estimación de la orientación y el FoV de la cámara en modo zero-shot, demostrando que aprende correspondencias geométricas profundas a pesar de no utilizar metadatos explícitos.

Resultados Experimentales

Generación de Imágenes Panorámicas

Evaluado en los conjuntos de datos Laval Indoor y SUN360, 360Anything supera a las líneas base (incluyendo CubeDiff, PanoDiffusion y Diffusion360) en métricas de calidad visual (FID, KID, FAED).

• Mejora de FAED: El modelo reduce el error FAED casi en un 50% en comparación con el estado del arte, lo que indica una mejor geometría global y consistencia de 360°.
• Cualitativo: A diferencia de los métodos basados en cubemap que estiran los objetos cuando el FoV de entrada difiere de 90°, 360Anything infiere correctamente el FoV y la orientación, produciendo objetos sin distorsión.

Generación de Vídeos Panorámicos

Evaluado en el conjunto de datos Argus utilizando trayectorias de cámara tanto simuladas como reales.

• Métricas: 360Anything logra las mejores puntuaciones en PSNR, LPIPS, FVD y métricas de VBench (Calidad de Imagen, Calidad Estética, Suavidad de Movimiento).
• Consistencia: El modelo genera vídeos canónicos estables que permanecen verticales y sin distorsiones incluso con grandes movimientos de cámara, mientras que las líneas base a menudo producen salidas rotadas o distorsionadas.
• Reconstrucción 3D: Los vídeos panorámicos generados permiten una reconstrucción de escena 3D de alta calidad mediante 3D Gaussian Splatting (3DGS), demostrando una fuerte consistencia geométrica apta para la exploración de vuelo (fly-through).

Calibración de Cámara Zero-Shot

A pesar de haber sido entrenado únicamente para el outpainting, el modelo logra resultados competitivos en la estimación de parámetros de cámara zero-shot:

• Estimación de FoV: Se posiciona entre los tres mejores en NYUv2, ETH3D e iBims-1, superando a varias líneas base supervisadas y quedando solo ligeramente por detrás de métodos especializados SOTA (DUSt3R, MoGe).
• Estimación de Orientación: Supera a la mayoría de las líneas base supervisadas en MegaDepth y LaMAR para la estimación de roll y pitch, con errores de solo ~0.5 grados por encima del SOTA GeoCalib.

Significado y Reivindicaciones

El artículo sostiene que el alineamiento geométrico explícito es innecesario para la generación de panoramas de alta calidad. Al aprovechar el poder representacional de los Diffusion Transformers y tratar la tarea como un problema de secuencia a secuencia, 360Anything logra robustez en escenarios "en el mundo real" donde la calibración es imposible.

El trabajo demuestra que:

1. El aprendizaje basado en datos de las relaciones geométricas puede superar a los métodos que dependen de supuestos geométricos explícitos y a menudo ruidosos.
2. Los artefactos de costura son un problema arquitectónico en el espacio latente, no solo un artefacto de inferencia, y pueden resolverse mediante la Codificación Latente Circular.
3. El marco posee una comprensión geométrica profunda, capaz de inferir parámetros de cámara y mantener la consistencia 3D (permitiendo la reconstrucción 3DGS) sin supervisión explícita.

Los autores concluyen que este enfoque permite escalar el modelo y los datos para la generación de mundos 3D inmersivos, yendo más allá de las limitaciones de los generadores de perspectiva únicamente y los procesos dependientes de la calibración.