Skeleton-to-Image Encoding: Enabling Skeleton Representation Learning via Vision-Pretrained Models

Este artículo presenta Skeleton-to-Image Encoding (S2I), un método innovador que transforma secuencias de esqueletos 3D en representaciones similares a imágenes para aprovechar modelos de visión preentrenados en el aprendizaje auto-supervisado de esqueletos, logrando así un formato unificado que mejora el rendimiento y la generalización en tareas de reconocimiento de acciones.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un robot a entender cómo se mueven las personas, pero tienes un problema: el robot es un experto en ver películas y fotos, pero tú solo le estás dando dibujos de palitos (esqueletos) que se mueven.

Aquí te explico la idea de este paper como si fuera una historia:

1. El Problema: El Robot y los Palitos

Imagina que tienes un genio (un modelo de Inteligencia Artificial) que ha visto millones de películas y fotos. Este genio sabe perfectamente cómo es un coche, un perro o una persona bailando porque ha aprendido de imágenes reales.

Pero, si le muestras un esqueleto (esos puntos y líneas que usan los videojuegos para representar a una persona), el genio se confunde.

• Las imágenes son como un lienzo lleno de pintura (colores, texturas).
• Los esqueletos son como un mapa de puntos conectados por hilos. Son muy diferentes.

Antes, los científicos tenían que construir un "traductor" especial y muy complicado para cada tipo de esqueleto. Si el esqueleto tenía 25 puntos, necesitaban un traductor. Si tenía 13 puntos, necesitaban otro. Era como si tuvieras que aprender un idioma diferente para cada país.

2. La Solución Mágica: "S2I" (Esqueleto a Imagen)

Los autores de este paper, Siyuan Yang y su equipo, tuvieron una idea brillante: "¿Por qué no disfrazamos al esqueleto para que parezca una foto?"

Llamaron a su invento S2I (Skeleton-to-Image Encoding). Es como una máquina de magia que hace lo siguiente:

1. Corta y Pega: Toma el esqueleto y lo divide en 5 partes lógicas: el tronco, el brazo izquierdo, el brazo derecho, la pierna izquierda y la pierna derecha.
2. Ordena: Organiza los puntos (las articulaciones) de arriba a abajo, como si estuvieras arreglando una fila de soldados.
3. Pinta: Toma las coordenadas 3D (arriba/abajo, izquierda/derecha, adelante/atrás) y las convierte en los colores Rojo, Verde y Azul (RGB) de una foto.
4. Enmarca: Estira todo ese dibujo hasta que tenga el tamaño perfecto de una foto normal (224x224 píxeles).

El resultado: ¡Ahora el esqueleto parece una foto extraña pero reconocible para el genio! El genio ya no ve "puntos y líneas", ve una "imagen" con colores y formas.

3. ¿Por qué es tan genial? (Las Analogías)

• El "Disfraz" Universal: Antes, si querías enseñarle a un robot a caminar, tenías que darle un mapa de 20 puntos. Si otro robot usaba 13 puntos, tenías que volver a programar todo. Con S2I, todos los esqueletos se visten con el mismo traje. No importa si el esqueleto original tenía 25 puntos o 13; al pasar por la máquina S2I, todos se convierten en una "foto" estándar. ¡Es como si todos los idiomas se tradujeran automáticamente al mismo idioma universal!
• Aprovechar el "Cerebro" Existente: En lugar de construir un cerebro nuevo desde cero para los esqueletos, usan el cerebro que ya existe (el que vio millones de fotos). Es como si, en lugar de aprender a conducir un coche nuevo desde cero, usaras tu experiencia de conducir un coche viejo para aprender el nuevo rápidamente. El modelo ya sabe qué es un "movimiento" porque lo ha visto en miles de videos.
• El Entrenador de Gimnasio: Imagina que quieres entrenar a un atleta. Antes, tenías que entrenarlo solo con un entrenador que hablaba un dialecto raro. Ahora, usas al mejor entrenador del mundo (el modelo de visión preentrenado) porque le has dado los datos en un formato que él entiende perfectamente.

4. Los Resultados

Cuando probaron esto en diferentes pruebas (como reconocer si alguien está saludando, saltando o bailando), funcionó increíblemente bien.

• Aprendió más rápido: Al usar el conocimiento previo de las fotos, el modelo aprendió a entender los movimientos sin necesidad de ver millones de ejemplos de esqueletos (que son difíciles de conseguir).
• Es más flexible: Funciona igual de bien con esqueletos de diferentes cámaras o diferentes cantidades de puntos. Es como un "código universal" para el movimiento humano.

En Resumen

Este paper es como decir: "No necesitas inventar una nueva forma de hablar con la inteligencia artificial. Solo tienes que disfrazar tus datos (los esqueletos) para que parezcan lo que la IA ya ama (las imágenes)."

Gracias a este "disfraz" (S2I), podemos usar la inteligencia más potente que tenemos hoy en día para entender cómo nos movemos, sin tener que reinventar la rueda cada vez que cambia el tipo de cámara o de sensor. ¡Es un puente simple pero muy poderoso entre dos mundos!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Skeleton-to-Image Encoding: Enabling Skeleton Representation Learning via Vision-Pretrained Models" (Codificación de Esqueleto a Imagen: Habilitando el Aprendizaje de Representación de Esqueletos mediante Modelos de Visión Preentrenados), presentado en español.

---

1. Planteamiento del Problema

El artículo aborda dos desafíos fundamentales en el análisis de acciones humanas basado en esqueletos:

• Brecha de Formato de Datos: Los modelos de visión preentrenados a gran escala (como Vision Transformers - ViT, MAE, DiffMAE) han demostrado un rendimiento excepcional en tareas de reconocimiento visual. Sin embargo, su aplicación directa a datos de esqueletos 3D es difícil debido a las diferencias estructurales fundamentales. Las imágenes son densas (típicamente $3 \times 224 \times 224$), mientras que los datos de esqueletos son secuencias temporales de coordenadas 3D dispersas ($T \times J \times 3$, donde$J$ es el número de articulaciones, usualmente 15-30).
• Heterogeneidad de los Esqueletos: Los métodos existentes suelen diseñarse para formatos de esqueleto homogéneos (número fijo de articulaciones y definiciones específicas del conjunto de datos). Esto limita su escalabilidad y hace que sea difícil integrar datos de múltiples fuentes con diferentes configuraciones de articulaciones (ej. 25, 20 o 13 articulaciones) en un único modelo.
• Escasez de Datos: La falta de conjuntos de datos de esqueletos a gran escala etiquetados dificulta el entrenamiento de modelos desde cero, a diferencia del dominio de imágenes donde existen grandes volúmenes de datos.

2. Metodología Propuesta: Codificación de Esqueleto a Imagen (S2I)

La propuesta central del trabajo es Skeleton-to-Image Encoding (S2I), una representación unificada que transforma secuencias de esqueletos 3D en datos similares a imágenes, permitiendo el uso directo de modelos de visión preentrenados sin modificaciones arquitectónicas específicas para esqueletos.

Proceso de Codificación S2I:

1. Partición Semántica: El esqueleto humano se divide en cinco partes corporales semánticas: torso, brazo izquierdo, brazo derecho, pierna izquierda y pierna derecha.
2. Reordenamiento: Las articulaciones dentro de cada parte se reordenan siguiendo la cadena cinemática (de arriba a abajo o desde el torso hacia las extremidades). Por ejemplo, en la pierna izquierda: cadera $\rightarrow$ rodilla $\rightarrow$ tobillo $\rightarrow$ pie.
3. Asignación de Canales RGB: Las coordenadas 3D $(x, y, z)$ de cada articulación se asignan directamente a los canales de color Rojo, Verde y Azul (RGB) de una imagen.
4. Apilamiento Temporal: Las posiciones 3D de todas las articulaciones a lo largo de $T$ frames se apilan para formar un mapa de características espacio-temporal.
5. Redimensionamiento: Se aplica interpolación lineal en las dimensiones temporal y de articulaciones para ajustar la representación a un tamaño estándar de imagen compatible con los modelos de visión (ej. $224 \times 224$).

Entrenamiento y Modelos:

• Modelos Base: Se utilizan modelos de visión preentrenados en ImageNet, específicamente MAE (Masked Autoencoders) y DiffMAE (basado en difusión).
• Estrategia de Aprendizaje:
  • Fase 1 (Auto-supervisada): Se aplica el enmascaramiento (masking) sobre las "imágenes" de esqueleto generadas por S2I. El modelo aprende a reconstruir las partes enmascaradas (ya sea píxeles en MAE o mediante procesos de difusión en DiffMAE).
  • Fase 2 (Supervisada): El codificador preentrenado se utiliza para tareas de reconocimiento de acciones, ya sea mediante linear probing (capa de clasificación lineal congelada) o fine-tuning completo.
• Estrategias de Enmascaramiento: Se evalúan estrategias como enmascaramiento aleatorio, por bloques, por articulaciones y temporal. Los resultados indican que el enmascaramiento aleatorio con una tasa del 75% funciona mejor.

3. Contribuciones Clave

1. Puente de Modalidad: Se propone un pipeline novedoso que cierra la brecha entre secuencias de esqueletos y modelos de visión preentrenados, transfiriendo conocimiento visual rico al dominio del esqueleto.
2. Representación Unificada (S2I): Se introduce un método de codificación que convierte datos de esqueletos dispersos y heterogéneos en un formato de imagen denso y consistente. Esto permite manejar datos con diferentes números de articulaciones sin necesidad de alineación manual o selección de subconjuntos de articulaciones.
3. Aprendizaje Universal de Representación: Por primera vez, se explora el preentrenamiento universal combinando múltiples conjuntos de datos de esqueletos heterogéneos (NTU, PKU, Toyota, etc.) en un solo modelo, mejorando la generalización.
4. Validación de Transferencia: Se demuestra que los pesos preentrenados en imágenes son altamente transferibles al dominio de esqueletos cuando se utiliza la representación S2I.

4. Resultados Experimentales

Los experimentos se realizaron en cinco conjuntos de datos de referencia: NTU-60, NTU-120, PKU-MMD, NW-UCLA y Toyota Smarthome.

• Rendimiento en Aprendizaje Auto-supervisado:
  • El uso de S2I con modelos preentrenados en ImageNet (MAE/DiffMAE) superó significativamente a los modelos entrenados desde cero.
  • En la tarea de linear probing en NTU-60, el modelo MAE preentrenado en imágenes mejoró su precisión del 52.0% (scratch) al 72.2% tras el preentrenamiento de esqueleto.
  • DiffMAE mostró un rendimiento superior, alcanzando un 83.1% en linear probing y 91.0% en fine-tuning en NTU-60 (C-sub).
• Fusión de Modalidades: La combinación de las modalidades de articulaciones (Joint), huesos (Bone) y movimiento (Motion) dentro del marco S2I (3s-S2I) logró resultados State-of-the-Art (SOTA) en varios benchmarks, superando a métodos especializados recientes como MacDiff y MAMP.
• Transferencia de Formato (Cross-Format):
  • El método demostró una capacidad excepcional para transferir conocimiento entre conjuntos de datos con diferentes números de articulaciones (ej. entrenar en NTU-60 con 25 articulaciones y probar en Toyota con 13 articulaciones).
  • En la transferencia a Toyota (CV1), 3s-S2I alcanzó un 53.8%, superando a los métodos existentes por un margen significativo, lo que valida la robustez del formato agnóstico.
• Aprendizaje Universal: El preentrenamiento combinado en múltiples conjuntos de datos (Universal Pretraining) mejoró el rendimiento en todos los conjuntos de datos objetivo en comparación con el preentrenamiento individual, con ganancias notables en PKU-II (+5.3%) y Toyota (+3.5%).

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Paradigma de Diseño: Cambia el enfoque de diseñar arquitecturas complejas específicas para esqueletos (GCNs, RNNs específicas) a utilizar la potencia de los modelos de visión masivos existentes mediante una ingeniería de representación inteligente.
• Escalabilidad y Generalización: Resuelve el problema de la heterogeneidad de los datos. Al convertir cualquier esqueleto en una "imagen" estandarizada, permite entrenar modelos universales que pueden generalizar a nuevos formatos de datos sin reentrenamiento arquitectónico.
• Eficiencia de Datos: Facilita el aprendizaje auto-supervisado en dominios con escasez de datos etiquetados, aprovechando el conocimiento visual preexistente.
• Futuro: Abre la puerta a la integración más fluida de datos de esqueletos en modelos multimodales (Visión-Lenguaje) y al uso de modelos generativos avanzados para el análisis de la acción humana.

En resumen, el artículo demuestra que la barrera entre el dominio de las imágenes y el de los esqueletos no es insalvable, sino que se puede superar mediante una codificación adecuada que preserve la estructura semántica y espacial-temporal de los datos humanos.