PoseAdapt: Sustainable Human Pose Estimation via Continual Learning Benchmarks and Toolkit

PoseAdapt es un marco de código abierto y conjunto de benchmarks que facilita la adaptación sostenible de modelos de estimación de pose humana mediante aprendizaje continuo, permitiendo su evolución eficiente ante cambios en dominios, modalidades o esqueletos sin necesidad de reentrenamientos completos.

Lo esencial

¡Hola! Imagina que tienes un entrenador personal de gimnasia (un programa de inteligencia artificial) que es muy bueno para detectar la postura de las personas en fotos. Este entrenador ha estudiado miles de fotos de gente haciendo ejercicio en un gimnasio bien iluminado.

El problema es que la vida real no es un gimnasio perfecto. A veces tienes que usar a tu entrenador en:

• Un partido de fútbol bajo la lluvia (poca luz).
• Una pista de baile con mucha gente amontonada (mucha densidad).
• O incluso con una cámara que solo ve en blanco y negro o en 3D (cambio de "sentido").

Si intentas enseñarle a tu entrenador de golpe todo esto nuevo, suele pasar una de dos cosas malas:

1. Olvida lo que sabía: Se vuelve tan experto en la lluvia que ya no reconoce a nadie en un gimnasio seco. (Esto se llama "olvido catastrófico").
2. No aprende nada nuevo: Se queda rígido y sigue fallando en la lluvia porque no se adapta.

Aquí es donde entra PoseAdapt.

¿Qué es PoseAdapt? (La analogía del "Cuaderno de Viaje")

Imagina que PoseAdapt no es un entrenador nuevo, sino un sistema de aprendizaje continuo diseñado para que tu entrenador se adapte sin perder su memoria.

En lugar de despedir al entrenador y contratar a uno nuevo cada vez que cambias de entorno (lo cual es caro y lento), o simplemente gritarle instrucciones nuevas sin contexto (lo cual lo confunde), PoseAdapt le da un cuaderno de viaje inteligente.

Este cuaderno tiene dos reglas mágicas:

1. No borra lo anterior: Cuando aprende algo nuevo (ej. "cómo ver en la oscuridad"), el cuaderno le recuerda suavemente lo que ya sabía (ej. "cómo ver en la luz"), para que no olvide sus habilidades base.
2. Aprende paso a paso: No le muestra todo el mundo de golpe. Le muestra un poco de oscuridad, luego un poco más, y va ajustando poco a poco.

Los dos tipos de "Misiones" que prueba PoseAdapt

Los autores crearon un "parque de pruebas" con dos tipos de desafíos para ver qué tan bueno es este sistema:

1. El Desafío del Entorno (Domain-Incremental)
Imagina que tu entrenador debe ir a diferentes lugares:

• Densidad: De un gimnasio vacío a un concierto lleno de gente.
• Luz: De un día soleado a una cueva oscura.
• Sentidos: De ver en color (RGB) a ver en blanco y negro o en mapas de profundidad (como gafas de realidad virtual).
• El resultado: Los métodos antiguos (entrenar desde cero o ajustar a lo loco) fallan estrepitosamente. PoseAdapt prueba métodos que "afinan" el conocimiento. Descubrieron que una técnica llamada LFL (Aprendizaje que no olvida) es como un ancla: mantiene al entrenador estable incluso cuando la luz cambia drásticamente.

2. El Desafío del Crecimiento (Class-Incremental)
Imagina que al principio tu entrenador solo conocía las articulaciones del cuerpo (codo, rodilla).

• Luego, le dices: "Ahora también tienes que detectar la cara".
• Después: "Ahora también los pies".
• Finalmente: "Ahora también la columna vertebral".
• El reto: El entrenador debe aprender a ver estas nuevas partes sin dejar de ver las que ya conocía. PoseAdapt permite que el "cabeza" del entrenador (la parte que da la respuesta) crezca como un árbol, añadiendo ramas nuevas sin cortar las viejas.

¿Por qué es importante esto?

Hasta ahora, si querías usar un detector de posturas en un nuevo entorno (como un hospital o un estadio), tenías que:

• Recopilar miles de fotos nuevas.
• Entrenar el modelo desde cero (gastando mucha energía y dinero).
• O arriesgarte a que el modelo se vuelva tonto en el entorno viejo.

PoseAdapt es como un kit de supervivencia sostenible. Permite que los modelos existentes evolucionen, se adapten a la lluvia, a la oscuridad o a nuevas partes del cuerpo, usando muy pocos recursos y sin olvidar su esencia.

En resumen

• El Problema: La inteligencia artificial para ver posturas es rígida; si cambias el entorno, se rompe.
• La Solución: PoseAdapt es una caja de herramientas que permite a estas inteligencias artificiales aprender de forma continua, como un humano que aprende a conducir en la nieve sin olvidar cómo conducir en seco.
• El Resultado: Modelos más baratos, más rápidos y que viven más tiempo en el mundo real, adaptándose a medida que las condiciones cambian.

Es como pasar de tener un mapa de papel estático (que solo sirve para una ciudad) a tener un GPS en tiempo real que aprende los atajos y los cambios de tráfico a medida que conduces, sin necesidad de comprar un mapa nuevo cada vez que sales de casa.

Resumen técnico

Resumen Técnico: PoseAdapt

1. El Problema

La estimación de la pose humana (HPE) actual se basa fundamentalmente en modelos estáticos que se entrenan una vez en conjuntos de datos fijos y se despliegan asumiendo que las distribuciones de prueba coinciden con las de entrenamiento. Sin embargo, en escenarios del mundo real (deportes de alta velocidad, captura egocéntrica, robótica), los modelos sufren degradaciones significativas debido a cambios en:

• Condiciones de despliegue: Iluminación, densidad de personas, oclusiones y perspectiva.
• Modalidades de sensores: Transición de RGB a profundidad, escala de grises o datos térmicos.
• Estructuras esqueléticas: Necesidad de añadir nuevos puntos clave (ej. de cuerpo a cuerpo+rostro+manos).

Las prácticas actuales para abordar esto son ineficientes:

1. Reentrenamiento desde cero: Costoso en cómputo y recursos.
2. Ajuste fino (Fine-tuning) ingenuo: Tiende a sobrescribir el conocimiento previo, provocando olvido catastrófico (catastrophic forgetting).
3. Generalización cruzada: A menudo requiere backbones pesados o supervisión extensa, lo que limita su uso en dispositivos de borde.

No existe un marco estandarizado que permita la adaptación continua (Continual Learning - CL) bajo restricciones estrictas de despliegue (sin acceso a datos pasados, backbones ligeros fijos y presupuestos de cómputo limitados).

2. Metodología: El Framework PoseAdapt

Los autores presentan PoseAdapt, un framework de código abierto y una suite de benchmarks diseñados para operacionalizar la adaptación continua en HPE.

Arquitectura del Framework:
PoseAdapt actúa como una capa de adaptación sobre herramientas existentes (como MMPose), separando la arquitectura del backbone de la política de adaptación. El proceso se divide en tres fases por experiencia ($E_i$):

1. Inicialización: Prepara el modelo para la nueva experiencia.
   • En escenarios incrementales de clase, expande la cabeza de predicción (head) para acomodar nuevos puntos clave.
   • Crea una "instantánea" (snapshot) congelada del modelo anterior para servir de referencia (maestro).
2. Adaptación: Optimiza los parámetros en el nuevo conjunto de datos ($D_i$) utilizando una estrategia de CL definida.
   • La función de pérdida combina la pérdida supervisada de keypoints ($L_{kpt}$) con un regularizador específico de la estrategia ($L_{reg}$):
     $$\mathcal{L}(\theta_i) = (1-\alpha)\mathcal{L}_{\mathrm{kpt}} + \alpha\mathcal{L}_{\mathrm{reg}}(\theta_i; \tilde{\mathcal{M}}_{i-1}; \pi)$$
   • Estrategias evaluadas:
     • LFL (Less-Forgetful Learning): Restringe la deriva de las características del extractor de características (MSE entre mapas de características).
     • LwF (Learning without Forgetting): Distila el comportamiento de salida (logits) del modelo maestro.
     • EWC (Elastic Weight Consolidation): Penaliza la desviación de los parámetros basándose en la importancia de Fisher.
3. Finalización: Calcula y almacena estadísticas específicas (ej. Fisher acumulada para EWC, nueva instantánea para LFL/LwF) para la siguiente experiencia.

Benchmarks Propuestos:
El framework define dos pistas (tracks) con protocolos estrictos (backbone ligero fijo, sin acceso a datos pasados, máximo 1k imágenes y 10 épocas por paso):

• Pista Incremental de Dominio (Domain-Incremental): Simula cambios progresivos en la distribución de datos manteniendo la misma estructura esquelética.
  • Densidad de Escena: Aumento de oclusiones y número de personas.
  • Iluminación: Transición de luz brillante a oscuridad extrema (LL, VLL, ELL).
  • Modalidad: Cambios de RGB a escala de grises y mapas de profundidad (Depth).
• Pista Incremental de Clase (Class-Incremental): Simula el crecimiento del esqueleto.
  • El modelo debe aprender progresivamente nuevas partes del cuerpo (pies, manos, rostro, columna) sin olvidar las anteriores, expandiendo solo las capas de salida.

3. Contribuciones Clave

1. Framework Open-Source: Una herramienta modular que permite a los investigadores implementar estrategias de CL como plugins y evaluarlas bajo protocolos estandarizados.
2. Benchmarks Realistas y Desafiantes: Introducción de protocolos que capturan desplazamientos de distribución graduales (densidad, luz, modalidad) y crecimiento de esqueletos, con restricciones de recursos que imitan el despliegue real.
3. Kit de Herramientas Modular: Incluye wrappers de datasets, estrategias de CL basadas en plugins y herramientas de evaluación unificadas (Retención de Precisión Media - RA, Olvido Promedio - AF).
4. Estudio Empírico Riguroso: La primera evaluación controlada de métodos de CL en HPE a escala, demostrando que el ajuste fino ingenuo es inestable bajo restricciones estrictas.

4. Resultados Experimentales

Los experimentos compararon Ajuste Fino (FT), EWC, LFL y LwF en los benchmarks de dominio incremental:

• Inestabilidad del Ajuste Fino (FT): El FT ingenuo es altamente inestable. Se adapta bien al dominio actual pero destruye rápidamente el rendimiento en dominios anteriores, a menudo cayendo por debajo del modelo preentrenado congelado.
• Rendimiento de los Regularizadores:
  • LFL: Fue el método más robusto y estable, especialmente bajo cambios fotométricos (iluminación) y de densidad. Mantuvo el mejor equilibrio entre retención y plasticidad.
  • LwF: Mostró buena plasticidad en dominios objetivo (especialmente en mapas de profundidad en un solo paso), pero sufrió una deriva acumulativa mayor en secuencias largas.
  • EWC: Mostró una retención moderada pero una plasticidad limitada bajo cambios severos.
• Desafío de la Modalidad (RGB a Depth): Todos los métodos fallaron significativamente al intentar adaptarse de RGB a mapas de profundidad. La discrepancia geométrica y de apariencia es tan grande que la regularización por sí sola no es suficiente, colapsando la retención (RA) a niveles muy bajos (~15-20%).
• Trade-off Estabilidad-Plasticidad: Los resultados confirman que a medida que el desplazamiento de distribución se vuelve más severo (ej. de densidad a iluminación a profundidad), el equilibrio entre mantener el conocimiento antiguo y aprender lo nuevo se vuelve extremadamente difícil.

5. Significado e Impacto

PoseAdapt representa un avance fundamental hacia la sostenibilidad en la estimación de la pose humana:

• Cambio de Paradigma: Propone pasar de modelos estáticos que requieren reentrenamiento completo a modelos que evolucionan continuamente, ahorrando recursos computacionales y energía.
• Validación de Restricciones Reales: Al forzar el uso de backbones ligeros y sin acceso a datos históricos, el benchmark expone las limitaciones reales de las técnicas de CL actuales, guiando el desarrollo de futuros algoritmos más robustos.
• Herramienta para la Comunidad: Establece un estándar reproducible para comparar estrategias de adaptación, facilitando el desarrollo de modelos capaces de operar en entornos dinámicos (robótica, wearables, análisis deportivo) donde las condiciones cambian constantemente.

En conclusión, el trabajo demuestra que, aunque la adaptación continua es viable y superior al ajuste fino ingenuo bajo restricciones, aún existen desafíos significativos, especialmente en la adaptación cruzada de sensores (modalidades), que requieren futuras investigaciones en alineación de características y arquitecturas específicas.