MaskAdapt: Learning Flexible Motion Adaptation via Mask-Invariant Prior for Physics-Based Characters

Resumen Técnico: MaskAdapt

1. Problema y Motivación

El control de personajes humanoides basados en física para realizar una amplia gama de movimientos interactivos sigue siendo un desafío significativo. Las investigaciones recientes han intentado extender las habilidades de controladores preentrenados mediante módulos auxiliares (como capas de adaptación o arquitecturas residuales) sin reentrenar los pesos originales, evitando así el "olvido catastrófico".

Sin embargo, los enfoques residuales existentes presentan dos limitaciones clave:

1. Inestabilidad ante cambios de distribución: Los controladores base se entrenan sin considerar los cambios sustanciales en la distribución de estados que ocurren cuando un controlador residual comienza a modificar partes específicas del cuerpo. Esto provoca que el controlador base genere acciones inestales cuando se le "ocultan" ciertas observaciones.
2. Falta de flexibilidad en la composición: Los métodos actuales suelen estar restringidos a regiones corporales fijas o carecen de mecanismos integrados para el control semántico (por ejemplo, mediante texto).

2. Metodología: El Marco MaskAdapt

MaskAdapt propone un marco de aprendizaje en dos etapas basado en el paradigma de aprendizaje residual, diseñado para lograr una adaptación de movimiento flexible y robusta.

Fase 1: Entrenamiento de una Política Base con Prior Invariante a Máscaras
El objetivo es entrenar una política base ($\pi$) robusta que mantenga comportamientos coherentes incluso cuando las observaciones de ciertas partes del cuerpo están incompletas.

• Enmascaramiento Estocástico: Durante el entrenamiento, se aplican máscaras aleatorias a grupos de articulaciones (partes del cuerpo) en la entrada de estado ($s_t$), creando un estado enmascarado ($\bar{s}_t$).
• Pérdida Invariante a Máscaras (MI Loss): Se introduce un término de regularización que minimiza la divergencia de Kullback-Leibler (KL) entre la distribución de acciones de la política bajo observación completa y bajo observación enmascarada.
  • Fórmula: $\mathcal{L}_{MI} = \mathbb{E}_{m} [ D_{KL} [\pi(\cdot|s, m^0) \, \| \, \pi(\cdot|\bar{s}, m)] ]$.
• Resultado: Esto fuerza a la política a aprender un "prior de movimiento" robusto que no depende de la visibilidad completa de todas las partes del cuerpo, anticipando que ciertas regiones serán modificadas más tarde.

Fase 2: Entrenamiento de una Política Residual
Sobre la política base congelada, se entrena una política residual ($\psi$) para adaptar solo las partes del cuerpo objetivo.

• Acción Final: La acción ejecutada es una combinación de la acción base (ajustada por un coeficiente de ganancia) y la acción residual: $\hat{a}_t = w_{gain} \cdot \pi(\bar{s}_t, m_t) + \psi(s_t, a_t, m_t)$.
• Discriminador Condicional: Se utiliza un discriminador que condiciona su evaluación en la máscara ($m$), permitiendo que el sistema aprenda a generar movimientos realistas específicos para las configuraciones de enmascaramiento dadas.

3. Aplicaciones Principales

El marco se demuestra en dos tareas representativas:

1. Composición Dinámica de Movimientos:

   • Permite modificar múltiples partes del cuerpo dentro de una misma secuencia de manera dinámica.
   • El usuario puede cambiar la máscara en tiempo real (ej. primero enmascarar las piernas para patinar, luego enmascarar el torso para girar los brazos), y la política residual adapta las regiones correspondientes mientras el resto del cuerpo mantiene la estabilidad del movimiento base.

2. Seguimiento Parcial de Objetivos Guiado por Texto:

   • Las partes adaptables siguen objetivos cinemáticos derivados de comandos de texto.
   • Se emplea un modelo generativo autoregresivo basado en difusión (preentrenado, como DART) para generar trayectorias cinemáticas futuras basadas en texto.
   • La política residual utiliza estas trayectorias como guía para partes específicas (ej. brazos) mientras el personaje mantiene la locomoción base (ej. caminar).

4. Resultados Experimentales

Los experimentos se realizaron en un simulador de física (IsaacGym) con un humanoide de 22 cuerpos rígidos y 63 grados de libertad.

• Robustez de la Política Base:

  • Se midió la cobertura del conjunto de datos mediante la entropía normalizada de la frecuencia de visita de frames.
  • La política base sin pérdida MI colapsó a patrones limitados bajo enmascaramiento (Entropía: 0.7448).
  • Con la pérdida MI, la entropía se restauró a 0.9025, casi igualando al baseline sin enmascarar (0.9124), demostrando que el prior es robusto y diverso incluso con observaciones parciales.

• Composición de Movimientos:

  • Comparado con el estado del arte (CML - Composite Motion Learning), MaskAdapt logró puntuaciones de entropía más altas tanto en las regiones adaptadas como en las preservadas, indicando una mejor retención del movimiento base y una adaptación más fluida.
  • Logró tareas complejas como combinar "Caminar" con "Girar brazos" o "Esquivar" con "Apuntar" de manera simultánea y natural.

• Seguimiento Parcial:

  • En tareas de seguimiento guiado por texto, MaskAdapt superó a modelos entrenados desde cero y a CML, logrando menores errores de seguimiento y preservando la estabilidad de la caminata base.
  • El método convergió más rápido y mostró una mayor estabilidad en comparación con enfoques sin regularización MI.

• Validación en Robot Real:

  • El marco se validó en un robot humanoide real (Unitree G1), donde la política adaptó un movimiento de caminata con un comportamiento de golpeo (puñetazo), demostrando la viabilidad física del enfoque.

5. Contribuciones Clave

1. Prior Invariante a Máscaras: Un nuevo esquema de entrenamiento que utiliza enmascaramiento estocástico y regularización de consistencia para crear controladores base robustos ante la pérdida de observaciones.
2. Adaptación Flexible y Selectiva: Capacidad de adaptar regiones corporales dinámicas y variables en el tiempo, superando las limitaciones de regiones fijas de trabajos anteriores.
3. Integración Semántica: Un mecanismo para integrar objetivos cinemáticos derivados de texto directamente en el proceso de aprendizaje residual, permitiendo control semántico de partes específicas sin sacrificar la física.
4. Rendimiento Superior: Demostración empírica de que este enfoque supera a los métodos residuales existentes en términos de estabilidad, diversidad de movimiento y capacidad de composición.

6. Significado e Impacto

MaskAdapt representa un avance significativo en la animación de personajes y la robótica. Al resolver el problema de la inestabilidad en la adaptación residual mediante un prior robusto, permite la creación de personajes físicos que pueden:

• Reaccionar dinámicamente a instrucciones de alto nivel (texto).
• Combinar múltiples habilidades motrices de forma fluida y segura.
• Operar en entornos donde la percepción puede ser parcial o ruidosa.

Esto abre nuevas posibilidades para la creación de personajes interactivos en videojuegos, simulaciones de entrenamiento robótico y sistemas de control humanoide que requieren tanto precisión física como flexibilidad semántica.