FullCircle: Effortless 3D Reconstruction from Casual 360$^\circ$ Captures

1. El Problema

La reconstrucción 3D basada en campos de radiante (como NeRF y 3D Gaussian Splatting - 3DGS) ha avanzado significativamente, pero sigue enfrentando desafíos en el contexto de captura casual (realizada por usuarios no expertos).

• Limitaciones de las cámaras perspetivas: Las cámaras tradicionales tienen un campo de visión (FOV) estrecho, lo que requiere muchas tomas redundantes y una cobertura densa para una calibración y reconstrucción fiables.
• Desafíos de las cámaras 360°: Aunque las cámaras 360° ofrecen una cobertura visual mucho mayor con el mismo esfuerzo de captura, los métodos existentes requieren protocolos de captura especiales o preprocesamiento complejo.
• El obstáculo del operador: En una captura casual con una cámara 360°, el operador humano es inevitablemente visible en todas las imágenes. Esto introduce inconsistencias fotométricas que degradan la calidad de la reconstrucción, causando artefactos severos. Los métodos actuales de eliminación de distractores (basados en errores de renderizado o inconsistencias temporales) fallan cuando el operador permanece estático durante periodos prolongados (común al capturar detalles de un objeto), ya que no pueden distinguir al operador del fondo estático.

2. Metodología (FullCircle)

Los autores proponen un pipeline robusto y sin entrenamiento (training-free) que reconstruye escenas 3D directamente desde imágenes crudas de cámaras 360° de doble ojo de pez (dual-fisheye), eliminando al operador automáticamente.

A. Entrada de Datos Cruda (Raw Fisheye)

En lugar de usar imágenes panorámicas cosidas (equirectangulares) que sufren de desalineaciones ópticas y artefactos de costura, el método utiliza los frames de ojo de pez originales y sin coser.

• Se aplican máscaras en los bordes para eliminar distorsión y aberración cromática.
• Se evita la "undistorsión" (corrección de distorsión) previa, ya que se demuestra que entrenar directamente sobre las imágenes de ojo de pez con el modelo adecuado ofrece mayor fidelidad y cobertura.

B. Estimación de la Máscara del Operador (Capturer Mask Estimation)

Esta es la contribución central para resolver el problema del operador visible. En lugar de aprender a segmentar, se utiliza un enfoque basado en modelos de visión pre-entrenados (SAMv2 y YOLOv8) de manera ingeniosa:

1. Detección Inicial: Se extraen vistas virtuales de 90° y se usa YOLOv8 para localizar aproximadamente al operador, seguido de SAMv2 para generar una máscara inicial.
2. Síntesis y Re-centrado: Se calcula la dirección global del operador y se generan imágenes sintéticas de ojo de pez centradas en el operador. Esto coloca al operador en el centro de la imagen, donde la distorsión es mínima.
3. Segmentación Refinada: Se ejecuta SAMv2 nuevamente sobre estas vistas sintéticas centradas, utilizando el centro de la imagen como prompt. Esto permite una propagación temporal robusta de la máscara, ya que el operador permanece cerca del centro.
4. Mapeo Inverso: Las máscaras refinadas se mapean de vuelta al dominio de las imágenes originales de doble ojo de pez.
5. Resultado: Se obtienen máscaras temporales consistentes que eliminan al operador incluso cuando está estático.

C. Entrenamiento del Campo de Radiante

• Se utiliza 3D Gaussian Ray Tracing (3DGRT), una variante de 3DGS capaz de renderizar imágenes no-pinhole (ojo de pez) sin necesidad de corregir la distorsión.
• Se estima la pose de la cámara utilizando COLMAP sobre las imágenes de ojo de pez enmascaradas.
• El modelo se entrena directamente con las imágenes de ojo de pez crudas y enmascaradas, aprovechando la mayor cobertura angular para una mejor reconstrucción geométrica y fotométrica.

3. Contribuciones Clave

1. Pipeline Robusto para Captura Casual: Un sistema que permite la reconstrucción 3D de alta calidad a partir de videos 360° capturados por no expertos, sin necesidad de protocolos estrictos ni eliminación manual de distractores.
2. Estrategia de Segmentación sin Entrenamiento: Una técnica innovadora que utiliza modelos fundacionales (SAMv2) en un régimen de baja distorsión (vistas centradas) para segmentar al operador de manera robusta, superando a los métodos de segmentación adaptados para imágenes omnidireccionales.
3. Uso de Datos Crudos (Raw Fisheye): Demostración de que entrenar directamente sobre imágenes de ojo de pez sin corregir la distorsión (usando 3DGRT) produce resultados superiores a los métodos que primero "undistorsionan" las imágenes.
4. Nuevo Dataset de Benchmark: Introducción de un conjunto de datos multi-nivel (9 escenas) capturado con una cámara Insta360 X4, incluyendo vistas de prueba libres de distractores (tripode) para una evaluación imparcial. Es el primer dataset público de capturas casuales con cámaras de doble ojo de pez donde el operador es visible.

4. Resultados

Los experimentos comparan FullCircle contra:

• Baselines de 3DGS estándar (no robustos).
• Métodos robustos para cámaras perspetivas (SLS-MLP, NOTG) aplicados a imágenes 360° "undistorsionadas".
• Métodos robustos para 360° (OmniLocalRF, 3DGRT).

Hallazgos principales:

• Superioridad de la Captura 360°: La calibración y reconstrucción basadas en imágenes de doble ojo de pez superan a las basadas en imágenes perspetivas simuladas, especialmente en vistas nuevas fuera de la trayectoria de entrenamiento.
• Calidad de Reconstrucción: FullCircle supera significativamente a todos los baselines en métricas PSNR, SSIM y LPIPS. Elimina eficazmente los artefactos del operador, incluso en escenas donde el operador se mantiene estático (un escenario donde otros métodos fallan).
• Ablación: Se demostró que la estrategia de re-centrado sintético es crucial; sin ella, la segmentación falla en regiones distorsionadas, dejando artefactos en la reconstrucción.
• Limitaciones: El método puede tener dificultades con otros distractores estáticos (no el operador), aunque la redundancia de datos de la cámara 360° ayuda a manejar distractores en movimiento.

5. Significado e Impacto

El trabajo FullCircle es significativo porque:

• Democratiza la Captura 3D: Hace viable la creación de grandes volúmenes de datos 3D a partir de capturas casuales con cámaras 360° accesibles, eliminando la barrera de la visibilidad del operador.
• Valida el Uso de Cámaras 360°: Proporciona evidencia controlada de que las cámaras 360° son superiores a las perspetivas para la reconstrucción casual debido a su mayor cobertura angular y robustez en la calibración.
• Habilita Futuros Modelos: Al proporcionar un pipeline automatizado y un dataset robusto, sienta las bases para el entrenamiento de modelos de reconstrucción feed-forward (end-to-end) escalables a partir de imágenes 360°, un paso crucial hacia la creación de bibliotecas masivas de escenas 3D.

En resumen, FullCircle resuelve el "cuello de botella" de la captura casual 360° (la presencia del operador) mediante una ingeniería inteligente de la segmentación y el uso directo de datos crudos, logrando reconstrucciones de alta fidelidad que superan a los métodos actuales.