GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting

Resumen Técnico: GHOST

1. Planteamiento del Problema

La reconstrucción de interacciones realistas entre manos y objetos a partir de videos monoculares RGB es fundamental para aplicaciones de Realidad Aumentada (AR), Realidad Virtual (VR), robótica e IA encarnada. Sin embargo, este campo enfrenta desafíos significativos:

• Oclusiones mutuas: Las manos a menudo ocultan partes del objeto y viceversa, lo que dificulta la recuperación de la geometría completa.
• Ambigüedad de profundidad: En configuraciones monoculares, es difícil determinar la escala y la posición exacta en 3D.
• Limitaciones de los métodos existentes:
  • Los enfoques basados en plantillas (templates) solo funcionan con objetos conocidos y predefinidos, careciendo de generalización.
  • Los métodos agnósticos a la categoría (category-agnostic) actuales suelen ser computacionalmente costosos (requieren horas de optimización por secuencia, como NeRF) o producen contactos físicamente inconsistentes y geometrías incompletas bajo oclusiones severas.

2. Metodología Propuesta (GHOST)

GHOST (Gaussian Hand-Object SplaTting) es un marco de trabajo rápido y agnóstico a la categoría que utiliza Gaussian Splatting 2D para reconstruir interacciones dinámicas. El proceso se divide en tres etapas principales:

A. Preprocesamiento y Recuperación de Priors Geométricos

• Segmentación y SfM: Se utiliza SAM2 para segmentar objetos y manos. Se aplica Structure-from-Motion (SfM) para estimar la pose de la cámara y una nube de puntos esparcida del objeto.
• Recuperación de Priors: Dado que las oclusiones dejan huecos, el sistema recupera un "prior" geométrico del objeto desde una base de datos masiva (Objaverse).
  • Se genera una descripción textual del objeto (usando modelos Visión-Lenguaje como InternVL).
  • Se busca el objeto más similar en la base de datos usando OpenShape (CLIP).
  • Se alinea el modelo 3D recuperado con la nube de puntos observada mediante una transformación afín (rotación, traslación, escala) minimizando la pérdida de intersección sobre unión (IoU) con la máscara del objeto.

B. Alineación Mano-Objeto (HO Alignment)

• Detección de Agarre: Se analizan las trayectorias de movimiento de las manos y el objeto para identificar frames donde ocurre un agarre real (basado en la similitud coseno de los vectores de movimiento).
• Optimización Conjunta: Se refina la escala global del objeto y las traslaciones globales de las manos utilizando tres funciones de pérdida:
  1. Pérdida de Contacto ($L_{contact}$): En frames de agarre, minimiza la distancia (Chamfer Distance) entre la malla de la mano y la superficie del objeto.
  2. Pérdida de Proyección 2D ($L_{proj}$): Asegura que las articulaciones 3D proyectadas coincidan con las predicciones 2D iniciales.
  3. Pérdida de Consistencia Temporal ($L_{temp}$): Suaviza el movimiento de las manos a lo largo del tiempo.

C. Optimización con Gaussian Splatting

• Representación: Tanto el objeto como las manos se representan como conjuntos de discos gaussianos 3D densos y consistentes con la vista.
• Pérdidas Innovadoras para Interacción:
  • Pérdida de Fondo Consciente de la Mano ($L_{bkg,h}$): A diferencia de las pérdidas de fondo estándar que eliminan todo lo que no es el objeto, esta pérdida utiliza máscaras de ambas manos y el objeto. Esto evita que las regiones del objeto ocultas por la mano sean erróneamente eliminadas como "fondo", permitiendo recuperar la geometría oculta.
  • Pérdida de Consistencia Geométrica ($L_{geo}$): Utiliza el prior geométrico recuperado para guiar la optimización. Penaliza los gaussianos que se desvían demasiado del prior ($L_{out}$) y rellena los huecos en la superficie del prior ($L_{fill}$), asegurando una reconstrucción completa incluso bajo oclusiones severas.
• Animación de Manos: Las manos se modelan en un espacio canónico (basado en la malla MANO) y los gaussianos se "riguean" (atrapan) a las caras de la malla. A medida que la malla se deforma, los gaussianos se transforman mediante transformaciones afines locales, permitiendo animaciones realistas.

3. Contribuciones Clave

1. Marco Rápido y Agnóstico: Un sistema que reconstruye interacciones bimanuales complejas sin depender de plantillas de objetos específicas, siendo más de 13 veces más rápido que los métodos agnósticos anteriores.
2. Estrategia de Reconstrucción Consciente de Priors: Utiliza bases de datos 3D masivas para rellenar regiones ocluidas del objeto, mejorando la precisión geométrica.
3. Alineación Consciente del Agarre: Un mecanismo que asegura un contacto físico realista y estable entre la mano y el objeto mediante la detección de fases de agarre.
4. Pérdida de Fondo Consciente de la Mano: Una innovación crítica que preserva las regiones válidas del objeto que están siendo ocultadas por la mano durante el entrenamiento.
5. Rendimiento de Estado del Arte: Logra la mejor precisión en reconstrucción 3D y calidad de renderizado 2D en benchmarks estándar.

4. Resultados y Evaluación

El método fue evaluado en tres conjuntos de datos: ARCTIC, HO3D y videos "in-the-wild" (grabados con GoPro).

• Precisión 3D: GHOST supera a los métodos anteriores (como HOLD y BIGS) en métricas de distancia de Chamfer (CD) para la interacción mano-objeto y en el error de posición de las articulaciones de la mano (MPJPE).
• Calidad de Renderizado 2D: Muestra mejoras significativas en PSNR, SSIM y LPIPS en comparación con HOLD y BIGS, produciendo imágenes fotorrealistas y libres de ruido.
• Eficiencia:
  • HOLD: ~16 horas por secuencia.
  • BIGS: ~13 horas por secuencia.
  • GHOST: ~1 hora por secuencia (aprox. 13x más rápido).
• Análisis de Ablación: Se demostró que el uso de VGGSfM (en lugar de HLoc+COLMAP) mejora la reconstrucción en ciertos datasets, y que la pérdida $L_{geo}$ es crucial para completar la geometría oculta. También se determinó que 55 gaussianos por cara de la malla de la mano ofrecen el mejor equilibrio entre calidad y complejidad.

5. Significado e Impacto

GHOST establece un nuevo estándar para la reconstrucción de interacciones mano-objeto al resolver el compromiso entre velocidad, generalización (funciona con cualquier objeto) y realismo físico.

• Aplicaciones Prácticas: Su velocidad y capacidad de generar avatares animables lo hacen viable para su implementación en tiempo real en sistemas de teleoperación, AR/VR interactivos y robótica.
• Avance Científico: Demuestra que el Gaussian Splatting, cuando se combina con priors geométricos y pérdidas específicas para oclusiones, puede superar las limitaciones de los métodos basados en NeRF y plantillas, ofreciendo una representación 3D explícita y eficiente.

En resumen, GHOST proporciona una solución robusta y eficiente para modelar interacciones físicas complejas en 3D a partir de un solo video, superando las barreras de las oclusiones y la falta de generalización que limitaban a los enfoques anteriores.