Mixed Neural Rendering: Interactive Mixed Reality Capture and Curation for Neural 3D Reconstruction

Resumen Técnico: Renderizado Neuronal Mixto (MiNeR)

Planteamiento del Problema
Los métodos de renderizado neuronal (NR), como los Campos de Radiancia Neuronal (NeRF) y el Gaussian Splatting 3D (3DGS), han demostrado la capacidad de generar vistas novedosas fotorrealistas y reconstrucciones 3D a partir de imágenes capturadas de forma casual. Sin embargo, su fiabilidad práctica depende en gran medida de la calidad de la adquisición, específicamente de una cobertura multi-vista suficiente y poses de cámara precisas. Tradicionalmente, estos requisitos se cumplen mediante procesos de Estructura desde el Movimiento (SfM) fuera de línea (por ejemplo, COLMAP). Este enfoque introduce limitaciones significativas: es computacionalmente costoso, frágil ante capturas imperfectas (por ejemplo, baja textura, desenfoque por movimiento, solapamiento limitado) y a menudo falla solo después de que la sesión de captura ha finalizado. En consecuencia, los usuarios carecen de la capacidad de inspeccionar la calidad de los datos, identificar brechas de cobertura o curar conjuntos de datos durante el proceso de adquisición, lo que conduce a un esfuerzo desperdiciado y reconstrucciones fallidas.

Metodología: El Pipeline MiNeR
Los autores presentan el Renderizado Neuronal Mixto (MiNeR), un pipeline de captura-a-reconstrucción de Realidad Mixta (MR) diseñado para integrar la adquisición, inspección, curación y validación en un único flujo de trabajo interactivo. El sistema utiliza un Microsoft HoloLens 2 tanto como dispositivo de detección como interfaz inmersiva.

El pipeline opera a través de una arquitectura cliente-servidor:

1. Cliente de MR (Adquisición y Curación): El usuario captura imágenes RGB mientras el visor rastrea poses de 6-DoF mediante SLAM visual-inercial. A diferencia de los flujos de trabajo tradicionales, MiNeR proporciona retroalimentación en tiempo real e in situ al renderizar los puntos de vista capturados como "proxies de cámara espacial" anclados en el entorno físico. Esto permite a los usuarios visualizar la distribución de la cobertura, identificar ángulos faltantes e interactuar para eliminar fotogramas borrosos o redundantes. Los usuarios también pueden realizar recapturas dirigidas dentro de la misma sesión.
2. Segmentación Mediante Prompts: Para soportar la reconstrucción centrada en objetos, el sistema integra SAM 2 (Segment Anything Model 2). Los usuarios proporcionan una única anotación en un fotograma representativo y el modelo propaga las máscaras de primer plano a través de toda la secuencia, aislando el sujeto de interés del desorden del fondo.
3. Servidor (Procesamiento y Reconstrucción): El servidor ingiere el conjunto de datos curado y soporta un diseño experimental factorizado y controlado ($2 \times 2 \times 2$) que varía tres factores binarios:
   • Enmascaramiento: Desactivado (imágenes originales) vs. Activado (máscaras de primer plano de SAM 2).
   • Fuente de Pose: Poses de SfM basadas en COLMAP vs. Poses directas del SLAM del visor.
   • Representación Neuronal: NeRF (NeRFacto) vs. 3D Gaussian Splatting (Splatfacto).
     El sistema incluye una capa de transformación de coordenadas para alinear las poses nativas de Unity del visor con las convenciones de OpenGL/Blender utilizadas por Nerfstudio.

Contribuciones Clave

1. Sistema MiNeR: Un pipeline guiado por MR que transforma fragmentos visuales situados en activos neuronales espacialmente fundamentados, manteniendo al operador explícitamente en el bucle durante la adquisición de datos.
2. Flujo de Trabajo Interactivo: Una interfaz unificada para capturar, inspeccionar y curar conjuntos de datos en el espacio 3D, permitiendo la eliminación y reemplazo de vistas antes de la reconstrucción.
3. Interoperabilidad de Poses: Un marco que permite que la misma sesión capturada sea procesada con poses de alta fidelidad de SfM o con poses directas de sensores libres de SfM, facilitando una comparación directa de las rutas de reconstrucción.
4. Integración de Segmentación Mediante Prompts: La incorporación de segmentación de un solo disparo y multi-vista para permitir el entrenamiento centrado en el primer plano y comparaciones controladas de enmascarado/no enmascarado.
5. Evaluación Técnica: Un estudio controlado sobre un conjunto de datos de nueve objetos del mundo real (ej. muebles, electrónica, artículos personales) capturados con el HoloLens 2.

Resultados Experimentales
Los autores evaluaron el sistema en un conjunto de datos de nueve secuencias de objetos centrados en el interior capturadas con el HoloLens 2.

• Impacto de la Fuente de Pose: Cuando el SfM (COLMAP) tiene éxito, produce la mayor fidelidad de reconstrucción. Sin embargo, COLMAP no logró converger en el 44% de las secuencias (5/9 exitosas), mientras que la ruta de pose directa del visor tuvo éxito en el 100% de las secuencias. Las poses directas sirven como un respaldo robusto y libre de SfM, aunque exhiben una menor fidelidad debido al drift del SLAM e inconsistencias de escala.
• Impacto de la Segmentación: El uso de la máscara de SAM 2 mejoró significativamente la calidad de la reconstrucción en todas las configuraciones. Para 3DGS con poses de COLMAP, el enmascaramiento aumentó el PSNR en +12.37 dB (de 19.41 a 31.78 dB). Incluso con poses directas, el enmascaramiento proporcionó ganancias sustanciales (por ejemplo, +10.04 dB para 3DGS), lo que indica que el aislamiento del primer plano mitiga el ruido de optimización inducido por el fondo.
• Paradigma de Renderizado: 3D Gaussian Splatting (3DGS) superó consistentemente a NeRF en términos de PSNR, SSIM y LPIPS en ambas fuentes de pose y condiciones de enmascaramiento. La mejor configuración general (COLMAP + SAM + 3DGS) alcanzó 31.78 dB de PSNR, 0.964 SSIM y 0.050 LPIPS.
• Eficiencia: Las configuraciones de pose directa redujeron el tiempo de extremo a extremo al omitir la etapa de preprocesamiento de SfM, que es computacionalmente intensiva.

Significancia y Reivindicaciones
El artículo posiciona a MiNeR como una solución a la "brecha de captura-reconstrucción" en los sistemas de memoria XR. Los autores afirman que, al hacer que la calidad de la captura sea visible y accionable durante la adquisición, MiNeR transforma las experiencias visuales casuales en activos neuronales reutilizables.

El estudio concluye que, si bien el SfM clásico sigue siendo el estándar de oro para la máxima fidelidad cuando las condiciones son favorables, es frágil en escenarios del mundo real. MiNeR ofrece una estrategia complementaria: las poses directas del visor aseguran la operatividad cuando el SfM falla, mientras que la segmentación mediante prompts y 3DGS maximizan la calidad dentro de esas restricciones. El sistema cierra eficazmente la división entre la adquisición de MR casual y el contenido espacial listo para la reconstrucción, permitiendo a los usuarios inspeccionar, validar y curar datos antes de comprometerse con un costoso procesamiento fuera de línea.

Los autores señalan explícitamente las limitaciones, incluyendo la pequeña escala del conjunto de datos (nueve objetos), la dependencia de un único dispositivo de MR, la falta de una verdad fundamental geométrica externa y la ausencia de un estudio de usuario para medir la carga cognitiva o la eficiencia de la adquisición. Se propone como trabajo futuro expandir el conjunto de datos, probar diversos dispositivos e incluir métricas cuantitativas de error geométrico.