EgoPressDiff: Multimodal Video Diffusion for Egocentric UV-Domain Hand-Pressure Estimation

Resumen Técnico: EgoPressDiff

Declaración del Problema

La estimación de la presión de contacto mano-superficie desde una vista egocéntrica (en primera persona) es una capacidad crítica para aplicaciones en AR/VR, imitación robótica y análisis ergonómico. Aunque la medición directa requiere sensores engorrosos, la estimación basada en visión ofrece una alternativa escalable. Sin embargo, los métodos existentes enfrentan tres limitaciones principales:

1. Errores de Discretización: La mayoría de los enfoques clasifican los píxeles en contenedores de presión discretos, lo que introduce errores de cuantificación y no logra capturar variaciones de presión sutiles.
2. Inconsistencia Temporal: Los pipelines actuales suelen procesar fotogramas de forma independiente, ignorando el contexto temporal de las acciones (por ejemplo, presionar, alcanzar el pico y soltar), lo que conduce a predicciones parpadeantes o inconsistentes.
3. Limitación de Priores Geométricos: Los métodos existentes dependen fuertemente de datos RGB con información geométrica limitada, fallando al explotar plenamente condiciones estructuradas como la profundidad, la cinemática esquelética y la geometría de la malla 3D para inferir la física subyacente del contacto.

Metodología: EgoPressDiff

Los autores proponen EgoPressDiff, un marco de difusión de video condicional que replantea la estimación de la presión de la mano como una tarea de generación de video continua y dinámica. En lugar de la clasificación por píxel, el modelo genera una secuencia temporalmente coherente de mapas de presión UV que pueden texturizarse sobre un modelo de mano 3D MANO.

Arquitectura Central

El marco utiliza una estrategia de condicionamiento multimodal para guiar el proceso generativo, asegurando que la salida sea tanto visualmente plausible como físicamente fundamentada. El pipeline de entrenamiento (Figura 2a) procesa cinco flujos de entrada:

1. PoseNet: Una red convolucional ligera (inspirada en AnimateAnyone) que extrae características de la pose de la mano a partir de mapas de pose. Estas características se añaden al latente de entrada para mejorar la conciencia de la postura sin la sobrecarga computacional de una integración completa de ControlNet.
2. Codificador de Vértices (Vertex Encoder): Un módulo especializado diseñado para extraer representaciones compactas y temporalmente coherentes de los vértices de la mano 3D MANO. Emplea un proceso de tres etapas:
   • Extracción Espacial: Normaliza los vértices para eliminar la traslación/escala global, luego utiliza un MLP compartido para mapear las coordenadas a un espacio de mayor dimensión.
   • Mezcla Temporal: Aplica convoluciones de profundidad separable apiladas para capturar la dinámica temporal local.
   • Proyección: Mapea las características a un output de 1024 dimensiones mediante una capa lineal y LayerNorm.
3. Codificación de Profundidad (Depth Encoding): Los mapas de profundidad se codifican utilizando un Autoencoder Variacional (VAE) para proyectar las características al mismo espacio latente que la entrada.
4. Codificación de Imagen: Un codificador de imagen CLIP procesa los fotogramas RGB egocéntricos para proporcionar contexto visual global.

Capa Espacial de Calibración de Distribución (DC Spatial Layer)

Para fusionar eficazmente características heterogéneas (embeddings de imagen y de vértices) dentro de la U-Net, los autores introducen la Capa Espacial DC. Las U-Nets estándar suelen condicionarse en embeddings de texto; EgoPressDiff reemplaza esto con un diseño de doble rama que se condiciona tanto en embeddings de imagen como de vértices.

• El Desafío: Los embeddings de diferentes dominios (imagen vs. geometría 3D) ocupan espacios de características dispares, lo que provoca un condicionamiento inestable.
• La Solución: Un bloque de calibración alinea las propiedades estadísticas de los dos flujos latentes antes de la fusión. Calcula la media ($\mu$) y la desviación estándar ($\sigma$) para ambos latentes y remapea el latente de los vértices ($\bar{z}_{vtx}$) para que coincida con la distribución estadística del latente de la imagen ($z_{img}$) utilizando la fórmula:
  $$\bar{z}_{vtx} = \frac{z_{vtx} - \mu_{vtx}}{\sigma_{vtx}} \times \sigma_{img} + \mu_{img}$$
  El latente calibrado se fusiona mediante adición elemento a elemento.

Objetivo de Entrenamiento

El modelo se entrena de extremo a extremo utilizando una pérdida de reconstrucción de Error Cuadrático Medio (MSE) ponderada. Se aplica una máscara UV binaria a la función de pérdida para aumentar el peso de los píxeles dentro de la región válida de la mano, obligando al modelo a priorizar la precisión de la reconstrucción en la superficie de la mano.

Contribuciones Clave

1. Primera Aplicación de Difusión de Video: Hasta donde los autores saben, esta es la primera aplicación de un modelo de difusión de video a la tarea de estimación de presión de la mano.
2. Fundamentación Física Multimodal: El método introduce un mecanismo de condicionamiento que fusiona priores geométricos multimodales (profundidad, pose y vértices 3D) con características visuales, fundamentando la generación de presión en la cinemática física.
3. Calibración de Distribución: La propuesta de la Capa Espacial DC para alinear las propiedades estadísticas entre modalidades heterogéneas, permitiendo un condicionamiento cross-modal estable.
4. Rendimiento de Vanguardia (State-of-the-Art): El método logra nuevos resultados de vanguardia en la configuración de visión egocéntrica EgoPressure.

Resultados Experimentales

El método fue evaluado en el conjunto de datos EgoPressure, que contiene interacciones de 21 participantes capturadas por cámaras RGB-D estáticas y montadas en la cabeza.

Rendimiento Cuantitativo

Comparado con las líneas base (PressureVision, PressureVision con HaMeR, PressureVision++ y PressureFormer), EgoPressDiff demuestra mejoras significativas:

• IoU Volumétrico: Mejoró en más de un 34% respecto a la línea base más fuerte (PressureVision++), alcanzando un 32.61% (frente al 24.19% de la línea base).
• IoU de Contacto: Logró un 39.53%, superando el 32.25% de la línea base.
• MAE: Se redujo a 43 kPa (menor es mejor), comparado con los 48 kPa de la línea base.
• Precisión Temporal: Mantuvo una alta precisión del 94%.

Análisis Cualitativo

Las comparaciones visuales (Figura 4) resaltan que EgoPressDiff produce transiciones de presión más suaves y regiones de contacto más precisas. A diferencia de las líneas base que sufren de gradientes gruesos debido a la discretización, el modelo de difusión captura campos de presión continuos. Identifica correctamente el contacto en dedos específicos (por ejemplo, el dedo medio) evitando falsos positivos en dedos que no están en contacto (por ejemplo, el índice), una capacidad atribuida a la integración de profundidad, geometría e información temporal.

Estudios de Ablación

Los experimentos de ablación (Tabla 2) confirman la necesidad de cada componente:

• Entrada de Profundidad: Eliminar la profundidad causó la caída más significativa en el rendimiento en todas las métricas, particularmente en la Precisión Temporal, subrayando su papel en la inferencia del contacto físico.
• Capa Espacial DC: Fusionar las características de forma ingenua sin la capa de calibración resultó en una caída de rendimiento más severa que eliminar el input de los vértices por completo, validando la importancia de la alineación estadística.
• Máscara UV: Eliminar la máscara de la función de pérdida afectó la precisión espacial, confirmando la necesidad de centrar el entrenamiento en la región válida de la mano.

Significado y Limitaciones

El artículo afirma que EgoPressDiff aborda con éxito las limitaciones de trabajos previos al modelar la presión como un proceso espaciotemporal continuo. Al generar mapas de presión UV directamente sobre la malla de la mano, el método proporciona una solución físamente fundamentada y temporalmente estable para la estimación de la presión egocéntrica.

Los autores reconocen las limitaciones actuales: el modelo está entrenado en posturas de la mano y patrones de contacto simples, lo que puede limitar la generalización a actividades diarias complejas. Se propone como trabajo futuro la construcción de conjuntos de datos más diversos para agarres complejos y la extensión del modelo con priores más fuertes para escenarios de contacto múltiple.