Resumen Técnico: NVS-HO: Un Benchmark para la Síntesis de Nuevas Vistas de Objetos Sostenidos a Mano

Planteamiento del Problema

La Síntesis de Nuevas Vistas (NVS, por sus siglas en inglés) para objetos sostenidos a mano en entornos del mundo real sigue siendo un desafío ampliamente inexplorado. Si bien los conjuntos de datos existentes han avanzado en la estimación de pose de 6 DoF para interacciones mano-objeto, a menudo dependen de sensores de profundidad, modelos de objetos 3D pre-escaneados o modelos de mano MANO, lo que los hace inadecuados para tareas de NVS basadas únicamente en RGB. Además, los conjuntos de datos orientados a NVS actuales (por ejemplo, CO3D, WildRGB-D) carecen de poses de referencia para los objetos o se centran en escenas estáticas en lugar de manipulación dinámica sostenida a mano. La dificultad específica radica en capturar la apariencia completa de un objeto mientras es manipulado por una mano, lo que introduce oclusiones parciales y desenfoque de movimiento, todo ello mientras la cámara permanece estática. Los métodos existentes tienen dificultades para estimar poses precisas a partir de imágenes RGB por sí solas bajo estas condiciones no restringidas, lo que genera brechas significativas en la calidad de renderizado.

Metodología

Creación del Conjunto de Datos (NVS-HO)

Los autores presentan NVS-HO, el primer benchmark para NVS de objetos sostenidos a mano basado únicamente en RGB. El conjunto de datos comprende 67 objetos (artículos de alimentación y juguetes) registrados en dos secuencias complementarias:

1. Secuencia de Mano (HS - Handheld Sequence): El objeto es manipulado libremente por un humano frente a una cámara estática. Esta secuencia simula la interacción natural y se utiliza para el entrenamiento de los modelos de NV S. Incluye fotogramas con desenfoque de movimiento para reflejar las condiciones del mundo real.
2. Secuencia de Tablero (BS - Board Sequence): El mismo objeto se fija sobre un tablero ChArUco mientras la cámara se mueve a su alrededor. La detección de marcadores en el tablero proporciona poses de cámara de 6 DoF precisas (ground-truth). Esta secuencia se utiliza exclusivamente para la evaluación.

Pipeline de Procesamiento de Datos:

• Segmentación: Se utiliza Grounded SAM2 para generar máscaras binarias de primer plano para ambas secuencias, eliminando el fondo y la mano (en la secuencia HS).
• Alineación de Poses: Para evaluar los métodos de NVS de manera justa, se crea una Secuencia Combinada (CS) fusionando las imágenes enmascaradas de HS y BS. Se ejecuta COLMAP en la CS inyectando las poses de BS como restricciones estrictas. Esto obliga a que las poses de HS se estimen en la misma escala métrica y marco de coordenadas que las de BS.
• Protocolo de Evaluación: Un procedimiento independiente del método alinea las poses de prueba (BS) en el marco de coordenadas de las poses HS estimadas por cualquier método de NVS utilizando una transformación Sim(3) (algoritmo de Kabsch–Umeyama). Esto permite la comparación cuantitativa entre las imágenes sintetizadas y las de referencia.

Baselines y Experimentos

Los autores establecieron baselines utilizando dos estimadores de pose y dos arquitecturas de NVS:

• Estimadores de Pose:
  • COLMAP: Un pipeline clásico de Estructura desde el Movimiento (SfM) que utiliza un emparejador secuencial.
  • VGGT: Un modelo de vanguardia basado en Vision Transformer. Los autores modificaron VGGT para podar los tokens del fondo y centrar la atención en el objeto de primer plano para manejar los fondos uniformes y extensos comunes en su configuración.
• Modelos de NVS:
  • Nerfacto: Una implementación basada en NeRF de Nerfstudio.
  • Splatfacto: Una implementación de 3D Gaussian Splatting.
• Estrategia de Entrenamiento: Los modelos se entrenaron en la secuencia HS utilizando las poses estimadas por COLMAP o VGGT. Los experimentos incluyeron el entrenamiento con y sin optimización de pose (refinamiento) durante la fase de entrenamiento de NVS. Se utilizó el tallado de transparencia alfa para preservar los bordes del objeto.

Métricas

La evaluación se realiza sobre imágenes enmascaradas para centrarse en el objeto y gestionar las variaciones de renderizado del fondo:

• Evaluación de Primer Plano: PSNR, SSIM y LPIPS computados estrictamente en la región del objeto.
• Evaluación de Fondo: Métricas computadas en la región del fondo, con los colores de fondo de referencia normalizados para coincidir con la salida específica del método de NVS para asegurar una comparación justa.

Resultados Clave

Los experimentos en el dataset NVS-HO revelan brechas de rendimiento significativas bajo condiciones de manipulación manual no restringidas:

1. Estimación de Pose: COLMAP supera significativamente a VGGT en todas las métricas (PSNR, SSIM, LPIPS), exhibiendo mejores valores medianos y una menor varianza. Esto sugiere que el SfM tradicional sigue siendo preferible para una estimación de pose fiable en escenarios de manipulación manual en comparación con los enfoques actuales de transformers de alimentación directa (feed-forward).
2. Rendimiento de NVS: Splatfacto (Gaussian Splatting) supera consistentemente a Nerfacto (NeRF) en todas las métricas.
3. Rendimiento Absoluto: A pesar de la superioridad relativa de Splatfacto con COLMAP, el rendimiento absoluto sigue siendo bajo (por ejemplo, mediana de PSNR ~16).
4. Refinamiento de Pose: La activación de la optimización de pose durante el entrenamiento de NVS proporcionó solo mejoras marginales, lo que indica que el cuello de botella principal es la calidad de la estimación de pose inicial más que la capacidad de refinamiento del modelo de NVS.
5. Análisis Cualitativo: Los renderizados a menudo fallan al reconstruir completamente el objeto desde nuevos puntos de vista, particularmente cuando se usan las poses de VGGT, lo que resalta la dificultad de aprender la apariencia completa del objeto a partir de secuencias de manipulación manual con oclusiones.

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

• Primer Benchmark Solo RGB: Introduce el primer benchmark diseñado específicamente para la NVS de objetos sostenidos a mano en entornos del mundo real sin depender de modelos de mano MANO o modelos de objetos 3D pre-escaneados.
• Nuevo Conjunto de Datos: Publica un conjunto de datos de 67 objetos que presenta secuencias emparejadas de Mano (entrenamiento) y Tablero (evaluación) con poses de referencia.
• Protocolo Independiente del Método: Propone un protocolo de evaluación estandarizado que alinea los puntos de vista de referencia en el marco de referencia de cualquier método de NVS, facilitando una comparación justa entre diferentes estrategias de estimación de pose.
• Identificación de Desafíos: El benchmark revela que los pipelines actuales de vanguardia luchan significativamente en condiciones de manipulación manual no restringidas, debido particularmente a la dificultad de la estimación de pose y el manejo de las oclusiones causadas por la mano.

Los autores concluyen que NVS-HO proporciona una base desafiante y práctica para impulsar la investigación futura hacia enfoques más robustos para la síntesis de nuevas vistas basadas en RGB de objetos sostenidos a mano.