Hestia: Voxel-Face-Aware Hierarchical Next-Best-View Acquisition for Efficient 3D Reconstruction

Resumen Técnico: Hestia – Adquisición Jerárquica de la Próxima Mejor Vista Consciente de las Caras de Vóxeles

Enunciado del Problema
Aunque los avances en la reconstrucción 3D y la síntesis de nuevas vistas han permitido un renderizado fotorrealista, la adquisición de imágenes para la reconstrucción sigue siendo un cuello de botella. La recopilación de datos actual es en gran medida manual, consume mucho tiempo o está restringida por trayectorias de cámara preplanificadas simples que a menudo no logran capturar regiones ocluidas. Los planificadores de Próxima Mejor Vista (NBV) basados en aprendizaje existentes, particularmente aquellos que utilizan aprendizaje por refuerzo (RL) para generalizar entre escenas, enfrentan limitaciones en robustez y rendimiento a través de geometrías de objetos diversas. Específicamente, los métodos generalizables anteriores a menudo tratan los vóxeles como puntos, lo que conduce a una pérdida de información, y luchan con espacios de acción continuos de alta dimensión (5-DoF: x, y, z, guiñada, cabeceo) y correlaciones espurias entre acciones actuales y recompensas futuras distantes.

Metodología
El artículo introduce Hestia (Hestia: Adquisición Jerárquica de la Próxima Mejor Vista Consciente de las Caras de Vóxeles para una Reconstrucción 3D Eficiente), un planificador NBV basado en RL generalizable diseñado para escenas centradas en objetos. Hestia aborda las deficiencias de los enfoques anteriores a través de cuatro componentes principales:

1. Representación Consciente de las Caras de Vóxeles:
   A diferencia de trabajos anteriores que tratan los vóxeles como puntos (rayos), Hestia trata cada vóxel como un cubo, modelando explícitamente la visibilidad de sus seis caras. Esto se fundamenta en el "problema del coleccionista de cupones", donde muestrear rayos contra vóxeles-punto deja aproximadamente $k^{-1/6}$ de las caras sin observar en una escena de $k$ cubos. Al incorporar la visibilidad de las caras tanto en el estado de observación como en la función de recompensa, Hestia asegura una captura geométrica más completa con una sobrecarga computacional mínima.

2. Espacio de Acción Jerárquico:
   Para gestionar el espacio de acción continuo de 5-DoF de alta dimensión, Hestia emplea una estructura de red jerárquica. En lugar de predecir la vista completa en un solo paso, la política primero predice un punto de mira ($L_t$) utilizando una red propuesta (CNN 3D con autoatención). Posteriormente, un codificador de cuadrícula y una interpolación trilineal extraen características basadas en $L_t$ para predecir la posición de la cámara de 3-DoF ($a_t$). Esta descomposición simplifica el espacio de búsqueda y se alinea con la intuición de enfocarse en un objetivo antes de planificar la ruta de vuelo.

3. Estrategia de Optimización Cercana-Avoraz (Close-Greedy):
   Hestia formula la tarea NBV como un problema de optimización cercana-avoz. La función de recompensa prioriza las mejoras inmediatas en la tasa de cobertura en lugar de depender de grandes recompensas terminales. Al utilizar un pequeño factor de descuento de recompensa ($\gamma = 0.1$), el método mitiga las correlaciones espurias, donde acciones actuales subóptimas se asocian incorrectamente con grandes recompensas futuras. La recompensa se calcula basándose en el incremento de caras de vóxeles recién visibles, escalada para equilibrar las ganancias positivas contra las penalizaciones por colisiones o acciones inválidas.

4. Conjunto de Datos Diverso y Entrenamiento:
   El modelo se entrena en un conjunto de datos significativamente más grande y diverso procesado a partir de Objaverse (120,000 formas en más de 18 categorías), avanzando más allá de las formas cúbicas limitadas encontradas en benchmarks anteriores como Houses3K. La configuración de entrenamiento utiliza un Proceso de Decisión de Markov (MDP) donde el estado incluye la imagen en escala de grises, la pose de la cámara, el punto de mira y una cuadrícula de ocupación agregada que contiene la visibilidad acumulada de las caras.

Contribuciones Clave

• Paradigma de Vóxel como Cubo: Un diseño novedoso de observación y recompensa que trata los vóxeles como cubos en lugar de puntos, reduciendo la pérdida de información y mejorando la cobertura geométrica.
• Planificación Jerárquica: Una red de predicción de dos etapas (punto de mira seguido de posición) que maneja eficazmente el espacio de acción continuo de 5-DoF en la planificación generalizable basada en RL.
• Esquema de Aprendizaje Robusto: La integración de una estrategia cercana-avoz para reducir las correlaciones espurias y el uso de un conjunto de datos diverso a gran escala para garantizar la robustez a través de diversas formas y colocaciones de objetos.
• Viabilidad en el Mundo Real: Una demostración de Hestia operando en un dron con una cámara RGB (utilizando un predictor de profundidad para la estimación del estado) en entornos interiores del mundo real, validando su aplicabilidad más allá de la simulación.

Resultados Experimentales
Hestia fue evaluado en tres conjuntos de datos: OmniObject3D, Objaverse y Houses3K, comparándose con líneas base generalizables y de aprendizaje en línea del estado del arte (por ejemplo, GenNBV, ScanRL, NeU-NBV).

• Ganancias de Rendimiento: Hestia logró al menos una ganancia del 4% en la tasa de cobertura (CR) y una ganancia del 6% en el Área Bajo la Curva (AUC) en comparación con métodos anteriores, mientras reducía la Distancia de Chamfer (CD) en un 50%.
• Eficiencia: Con un presupuesto limitado de 5 imágenes, Hestia logró una tasa de cobertura del 92%, superando al siguiente mejor método (GenNBV) en al menos un 12%.
• Robustez: El método mantuvo un rendimiento consistente a través de diferentes posiciones de colocación de objetos (centro vs. esquinas) y diversas categorías de objetos, mostrando menos fluctuación que las líneas base.
• Velocidad: Hestia opera a 25 FPS, permitiendo inferencia en tiempo real sin necesidad de muestreo de vistas candidatas u optimización en línea.
• Estudios de Ablación: Eliminar cualquiera de los componentes principales (diseño consciente de caras, estrategia voraz o estructura jerárquica) resultó en una degradación del rendimiento, confirmando la necesidad del sistema completo.

Significado
El artículo afirma que Hestia proporciona una mejora no marginal sobre los planificadores NBV existentes, abordando limitaciones críticas en robustez, captura de detalles geométricos y complejidad del espacio de acción. Al tratar los vóxeles como cubos y emplear un esquema de aprendizaje jerárquico y optimizado vorazmente, Hestia permite una reconstrucción 3D eficiente bajo presupuestos de adquisición estrictos. El despliegue exitoso en un sistema de dron del mundo real demuestra que la planificación NBV generalizable basada en RL es viable para aplicaciones prácticas, particularmente en escenarios con restricciones de energía donde se requiere una recopilación de datos rápida y autónoma. El trabajo establece una base para futuras extensiones multiagente y escaneos a gran escala en exteriores.