Resumen Técnico: PhotoHOI

Formulación del Problema

La síntesis de interacción mano-objeto (HOI, por sus siglas en inglés) es crítica para aplicaciones en AR/VR, humanos digitales e interacción encarnada. Sin embargo, los métodos existentes suelen depender de geometrías de objetos predefinidas, trayectorias de objetos o condiciones específicas de la tarea que deben prepararse manualmente, lo que limita su aplicabilidad a entradas naturales del mundo real.

PhotoHOI aborda el desafío de sintetizar secuencias de interacción mano-objeto 3D a partir de entradas mínimas del usuario: una fotografía RGB única y una instrucción de lenguaje de vocabulario abierto. El sistema debe inferir la geometría relevante para la tarea, los estados iniciales y las relaciones espaciales a partir de la imagen, planificar una trayectoria de objeto libre de colisiones y sintetizar una secuencia de movimiento de la mano correspondiente sin conocimiento previo del modelo 3D del objeto o de su trayectoria de movimiento.

Metodología

PhotoHOI emplea un pipeline de dos etapas: (1) Recuperación de Escena y Planificación de Movimiento, y (2) Síntesis de Movimiento de la Mano guiada por prioris de interacción aprendidos.

1. Análisis de Tareas basado en VLM

El sistema utiliza un Modelo de Lenguaje-Visión (VLM) para analizar la imagen de entrada y la instrucción en una especificación de tarea estructurada. El VLM extrae:

• Objetos relevantes para la tarea ($O_{task}$): Objetos o regiones para localizar.
• Especificación estructurada ($\tau$): Compuesta por el tipo de acción ($a$), el objeto de interacción ($o_{int}$), el objeto/región objetivo ($o_{goal}$) y la relación espacial ($r$).
  Esto convierte instrucciones semánticas de alto nivel en pistas estructuradas para la recuperación 3D y la planificación de movimiento posteriores.

2. Recuperación de Escena y Planificación de Trayectoria de Objeto

• Segmentación de Vocabulario Abierto: Un modelo fundacional segmenta los objetos relevantes para la tarea en la imagen para generar máscaras de instancia.
• Recuperación 3D por Objeto: Utilizando un modelo de reconstrucción 3D de visión única, el sistema recupera la geometría local ($G_i$) y la transformación de similitud inicial ($T_i$) para cada objeto segmentado.
• Optimización Consciente del Soporte: Para resolver inconsistencias espaciales (por ejemplo, objetos flotantes), una optimización ligera refina las poses de los objetos. Estima un plano de soporte (por ejemplo, una mesa) y optimiza las traslaciones de los objetos a lo largo de la normal del soporte para asegurar el contacto con las superficies de apoyo mientras penaliza la penetración.
• Planificación de Trayectoria: Basándose en la escena recuperada y las relaciones espaciales analizadas, el sistema planifica una trayectoria de objeto suave y libre de colisiones. Construye una trayectoria de Bézier cúbica elevada para la traslación y utiliza la interpolación esférica lineal (SLERP) para la rotación. Un mecanismo de replanificación comprueba las colisiones con la geometría de la escena recuperada y ajusta la ruta si es necesario.

3. Síntesis de Movimiento de la Mano

Para sintetizar el movimiento de la mano que se generalice a objetos no vistos, PhotoHOI aprende prioris transferibles de conjuntos de datos de asequibilidad (affordance) y HOI a gran escala.

• Prior de Contacto Condicionado a la Tarea: Un Autoencoder Variacional (VAE) condicional predice un mapa de probabilidad de contacto punto a punto en la superficie del objeto basándose en la geometría del objeto y el tipo de acción. Esto se entrena primero en datos de asequibilidad a gran escala (para regiones funcionales generalizables) y luego se ajusta con mapas de contacto de HOI.
• Prior de Agarre Condicionado al Contacto: Un segundo VAE condicional modela la distribución de articulaciones de la mano plausibles condicionadas al mapa de contacto predicho. Aprende a mapear las características de contacto del objeto a un espacio latente compacto ($z$) que representa configuraciones de mano válidas.
• Optimización de la Mano en el Espacio Latente: En lugar de optimizar directamente los parámetros MANO de alta dimensión, el sistema refina el agarre en el espacio latente aprendido. La optimización minimiza una función de pérdida que comprende:
  • Pérdida de Prior ($E_{prior}$): Regulariza el código latente hacia la distribución aprendida.
  • Pérdida de Contacto ($E_{contact}$): Alinea la superficie de la mano con las regiones de contacto de alta probabilidad.
  • Pérdida de Penetración ($E_{pen}$): Penaliza la interpenetración mano-objeto.
    La pose de la muñeca global se predice por separado y se optimiza junto con el código latente.
• Generación de Movimiento: Finalmente, se genera un movimiento de aproximación interpolando desde una pose de espacio libre hacia el agarre optimizado. Durante la manipulación, la mano mantiene la transformación relativa optimizada con el objeto mientras sigue la trayectoria de objeto planificada.

Contribuciones Clave

1. Framework PhotoHOI: Un sistema novedoso que sintetiza secuencias de HOI 3D a partir de una sola imagen RGB e instrucción de vocabulario abierto, eliminando la necesidad de preparar manualmente la geometría 3D del objeto o las trayectorias.
2. Pipeline de Imagen-a-Movimiento: Un enfoque integral que analiza tareas, recupera escenas 3D relevantes para la tarea con refinamiento consciente del soporte y planifica trayectorias de objetos libres de colisiones.
3. Prioris de Interacción Transferibles: El desarrollo de un prior de contacto condicionado a la tarea y un prior de agarre condicionado al contacto. Al refinar los agarres en un espacio latente aprendido, el método asegura una articulación de la mano plausible mientras satisface las restricciones de contacto y penetración en objetos reconstruidos y no vistos.

Resultados Experimentales

Los autores evaluaron PhotoHOI en benchmarks estándar (GRAB, H2O) y entradas de fotografías del mundo real.

• Rendimiento en Benchmarks: En GRAB y H2O, PhotoHOI superó a los métodos de vanguardia (GraspD, DiffH2O, Text2HOI, OpenHOI) en términos de Volumen de Interpenetración (IV), Profundidad de Interpenetración (ID), Ratio de Contacto (CR) y Autopenetración (SP).
• Rendimiento en el Mundo Real: En experimentos con 30 escenas del mundo real y 2,000 ensayos aleatorios, PhotoHOO logró una mayor Tasa de Éxito de la Tarea (TSR) y una Tasa de Consistencia de la Escena (SCR) en comparación con las líneas base, demostrando robustez para completar tareas instruidas y mantener la plausibilidad física.
• Estudios de Ablación: Eliminar el prior de contacto, el prior de la pose de la mano o la optimización latente resultó en un rendimiento degradado (mayor penetración, menor ratio de contacto o articulación implausible), confirmando la necesidad de cada componente.

Significancia y Reivindicaciones

El artículo afirma que PhotoHOI representa un paso práctico hacia el despliegue de la síntesis de 3D HOI en escenarios del mundo real al reducir la dependencia de datos preparados manualmente. Al fundamentar las interacciones en una escena 3D recuperada y utilizar prioris transferibles, el sistema cierra la brecha entre las entradas naturales del usuario (imágenes y lenguaje) y la compleja generación de movimiento 3D. Los autores posicionan esto como un avance significativo para la creación de contenido y la interacción encarnada, señalando que el alcance actual se limita a objetos rígidos en escenas de mesa, con un trabajo futuro que podría explorar objetos articulados/deformables y el retargeting robótico.