Resumen Técnico: Estimación de Postura Humana Zero-Shot Mediante Solutores Inversos Basados en Difusión

Enunciado del Problema

La estimación de la postura humana tiene como objetivo reconstruir una postura 3D de cuerpo completo (cabeza, torso, extremidades) a partir de datos de sensores dispersos. Aunque los avances recientes que utilizan modelos de difusión condicional han demostrado ser prometedores para predecir posturas de cuerpo completo a partir de solo tres sensores (típicamente la cabeza y dos muñecas), estos métodos adolecen de una limitación crítica: mala generalización entre usuarios con diferentes formas corporales.

Los enfoques existentes, como los de Castillo et al. (2023), condicionan los modelos de difusión tanto a las ubicaciones como a las rotaciones de las articulaciones. Sin embargo, las ubicaciones de las articulaciones son inherentemente dependientes de la escala; varían significativamente en función de las longitudes de los huesos y las proporciones corporales de un usuario. En consecuencia, un modelo entrenado con los datos de un usuario específico no logra generalizarse a usuarios con diferentes formas corporales sin un ajuste fino extenso. El entrenamiento conjunto en múltiples formas corporales (como intentaron Aliakbarian et al., 2022) aumenta la complejidad del modelo y no ofrece garantía de cubrir todas las variaciones corporales posibles. Existe la necesidad de un algoritmo que pueda generalizarse a valores atípicos en la forma corporal sin requerir datos de entrenamiento personalizados.

Metodología: InPose

Los autores proponen InPose, un método basado en difusión que formula la estimación de la postura como un problema inverso para lograr una generalización zero-shot. La idea central es descomponer la postura humana en dos componentes:

1. Postura libre de escala: Definida por las rotaciones de las articulaciones (ángulos), que son independientes del tamaño corporal.
2. Componente dependiente de la escala: Definida por las ubicaciones de las articulaciones en el espacio 3D, que dependen de las longitudes de los huesos y la forma corporal.

1. Formulación del Problema Inverso

En lugar de condicionar el modelo de difusión tanto a la ubicación como a la rotación (lo que acopla el modelo a formas corporales específicas), InPose condiciona el prior generativo únicamente a las mediciones rotacionales.

• Prior: Un modelo de difusión de Ajuste de Flujo Condicional (CFG) se entrena para predecir la distribución de posturas libres de escala dadas las mediciones rotacionales ruidosas ($r_m$) de los sensores.
• Verosimilitud (Guía): Las ubicaciones de las articulaciones medidas ($l_m$) no se utilizan como entrada de condicionamiento para el entrenamiento, sino como un término de verosimilitud para guiar el proceso de inferencia. Este término evalúa qué tan bien una postura generada explica las ubicaciones observadas dadas las longitudes de hueso específicas del usuario.

2. Marco Matemático

El objetivo es muestrear desde la posterior $p(r_M | y_m)$, donde $r_M$ representa las 22 rotaciones globales de las articulaciones y $y_m$ son las mediciones de los sensores. Utilizando la regla de Bayes, la función de puntuación se descompone:
$$\nabla_{r_M^t} \log p_t(r_M^t | \{l_m, r_m\}) = \nabla_{r_M^t} \log p_t(r_M^t | r_m) + \nabla_{r_M^t} \log p_t(l_m | r_M^t)$$

• El Término Prior ($\nabla \log p(r_M^t | r_m)$): Aprendido por un modelo de puntuación basado en CFG condicionado únicamente a las rotaciones. Esto proporciona una distribución libre de escala de posturas plausibles.
• El Término de Verosimilitud ($\nabla \log p(l_m | r_M^t)$): Este término actúa como una guía de cinemática inversa. Requiere mapear las rotaciones estimadas a ubicaciones mediante un operador no lineal $D(\cdot)$ (que convierte vectores de rotación 6D en matrices) y un operador lineal $A$ (cinemática directa).

3. Manejo de la No Linealidad Mediante Guía de Pseudoinversa

Un desafío clave es que el término de verosimilitud implica propagar una variable aleatoria gaussiana a través de la función no lineal $D(\cdot)$. La Guía de Pseudoinversa Estándar para Modelos de Difusión (ΠGDM) asume operadores lineales.

• Teorema 1: Los autores demuestran que si el modelo de puntuación asegura restricciones específicas de norma unitaria y ortogonalidad en los vectores de rotación 6D, la distribución de las rotaciones transformadas $D(r_M^0)$ dada la entrada ruidosa $r_M^t$ puede aproximarse como una distribución gaussiana.
• Esta aproximación permite a los autores calcular la puntuación de verosimilitud analíticamente, lo que posibilita el uso de ΠGDM para guiar el proceso de eliminación de ruido sin requerir que el operador sea lineal.

4. Pipeline

El proceso de inferencia (Algoritmo 1) refina iterativamente la postura:

1. Generar una estimación de eliminación de ruido condicional $\hat{r}_M^t$ utilizando el prior CFG (condicionado a las rotaciones).
2. Calcular la puntuación de verosimilitud utilizando el marco ΠGDM, incorporando las longitudes de hueso específicas del usuario para mapear las rotaciones a las ubicaciones esperadas.
3. Combinar las puntuaciones del prior y de la verosimilitud utilizando un muestreador DDIM modificado para actualizar la estimación de la postura en el siguiente paso de tiempo.

Contribuciones Clave

1. Generalización Zero-Shot: Al desacoplar el prior generativo (rotaciones) de las mediciones dependientes de la escala (ubicaciones), InPose puede estimar posturas para usuarios con formas corporales arbitrarias sin reentrenamiento ni ajuste fino.
2. Formulación de Solutor Inverso: El artículo reformula la estimación de la postura como un problema inverso donde un prior de difusión preentrenado es guiado por un término de verosimilitud derivado de mediciones de ubicación dispersas.
3. Aproximación Gaussiana para Operadores No Lineales: Los autores proporcionan una prueba teórica (Teorema 1) que permite la propagación de variables gaussianas a través del mapeo no lineal de rotación de 6D a matriz, haciendo que ΠGDM sea aplicable a este problema inverso específico.
4. Robustez: El método demuestra una robustez inherente al ruido en las mediciones de ubicación, ya que el prior generativo juega un papel dominante en la estimación final, a diferencia de los métodos que dependen en gran medida de entradas de ubicación ruidosas.

Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos AMASS utilizando protocolos similares a la línea base BoDiffusion.

• Escala de la Forma Corporal: Cuando se probó en usuarios con formas corporales escaladas (por ejemplo, más altos o más bajos), los modelos base (AvatarJLM, BoDiffusion) mostraron una degradación significativa tanto en el error de posición (MPJPE) como en el error de rotación (MPJRE). Por el contrario, InPose mantuvo un rendimiento consistente en todos los factores de escala, demostrando su capacidad zero-shot.
• Variación de Partes Corporales Relativas: En escenarios donde partes específicas del cuerpo (por ejemplo, brazos vs. torso) se escalaban de manera diferente, InPose superó a las líneas base en MPJPE y en el Error de Posición del Cuerpo Superior (UPE), ya que la guía inversa tuvo en cuenta correctamente los cambios en las longitudes de los huesos.
• Robustez al Ruido: Bajo un aumento del ruido gaussiano en las mediciones de ubicación, InPose se mantuvo estable, mientras que las líneas base se degradaron significativamente.
• Compensaciones:
  • InPose tiene un rendimiento ligeramente inferior al de las líneas base en la forma corporal predeterminada (la forma utilizada para el entrenamiento), probablemente porque las líneas base pueden aprender un mapeo no lineal directo para esa forma específica, mientras que InPose se basa en una aproximación general.
  • Estimación del Cuerpo Inferior: Sin la traducción de la cabeza como entrada de CFG, InPose tiene dificultades con la estimación de la postura del cuerpo inferior (LPE alta) porque la traducción de la raíz no se observa directamente. Sin embargo, agregar la posición de la cabeza como entrada de CFG (InPose (cabeza)) mejora significativamente la estimación del cuerpo inferior, superando a todas las líneas base en diversas formas corporales.

Significado y Afirmaciones

El artículo afirma que InPose ofrece una vía hacia la predicción de postura zero-shot aprovechando la descomposición de la postura en componentes libres de escala y dependientes de la escala. La importancia radica en eliminar la necesidad de recolección de datos personalizados y reentrenamiento para cada nuevo usuario, un cuello de botella importante en las aplicaciones prácticas de sensores portátiles.

Los autores reconocen modestamente las limitaciones:

• El método no supera a las líneas base en la forma corporal específica utilizada para el entrenamiento.
• La estimación del cuerpo inferior depende en gran medida del prior o de la inclusión de la posición de la cabeza, ya que la traducción de la raíz no se incorpora directamente.
• El algoritmo requiere un conocimiento preciso de las longitudes de los huesos del usuario durante la inferencia; los errores en la estimación de la longitud de los huesos pueden degradar el rendimiento.

El trabajo sugiere que la investigación futura debería centrarse en mejorar la modelización del cuerpo inferior mediante restricciones físicas y desarrollar métodos para estimar ciegamente las longitudes de los huesos sin calibración explícita.