Zero-Shot Skeleton-Based Action Anticipation

Imagina que estás viendo una película, pero la pantalla de repente se vuelve negra tras solo los primeros segundos. Un personaje dobla las rodillas y baja su centro de gravedad. ¿Tiene tiempo para saltar sobre una valla, o está a punto de sentarse en un banco? En el mundo de la informática, este es el desafío de la Anticipación de Acciones. Es el arte de que un robot o una IA adivine lo que una persona hará a continuación antes de que realmente haya terminado de hacerlo. Esto es crucial para los robots de seguridad, los dispositivos de asistencia y los coches autónomos que necesitan reaccionar instantáneamente.

Normalmente, estas computadoras son entrenadas como estudiantes memorizando un libro de texto: ven miles de ejemplos de "saltar" y miles de "sentarse", y aprenden a detectar los patrones. Pero, ¿qué sucede cuando la computadora ve una acción totalmente nueva, como un paso de baile específico o una forma única de lanzar una pelota? Las computadoras tradicionales se congelan porque no han memorizado ese movimiento específico. Aquí es donde entra el Aprendizaje de Cero Disparos (Zero-Shot Learning). Piensa en ello como un detective que no necesita haber visto la cara de un sospechoso para identificarlo; en su lugar, utiliza una descripción (como "lleva un sombrero rojo y sostiene un bastón") para descubrir quién es. Este artículo aborda la complicada combinación de estas dos ideas: adivinar una acción a partir de un vistazo mínimo y temprano de la misma, y hacerlo para acciones que la computadora nunca le ha enseñado.

---

El misterio de la danza a medio ver

En este artículo, los autores, Hongsong Wang y su equipo, introducen un nuevo desafío que llaman Anticipación de Acciones Basada en Esqueletos de Cero Disparos (o ZS-SkAA, por sus siglas en inglés). Imagina que intentas adivinar una canción escuchando solo las dos primeras notas, pero la canción es una que nunca habías escuchado antes. Tienes que confiar en la "forma" de la melodía y en la descripción de la canción para descubrirla.

Los investigadores observaron que, si bien las computadoras se están volviendo buenas reconociendo acciones completas, tienen dificultades cuando solo ven el comienzo de un movimiento (la parte de "etapa temprana") y cuando ese movimiento es algo totalmente nuevo. Los métodos existentes asumen que la computadora ha visto cada acción posible anteriormente, lo cual no es realista para el mundo real. Para solucionar esto, construyeron un nuevo "modelo base" (baseline)—un punto de partida para investigaciones futuras—que intenta resolver este rompecabezas.

Cómo piensa el modelo: El kit de herramientas del detective

Los autores diseñaron un sistema que actúa como un detective superinteligente utilizando tres trucos principales:

1. El Mapa del Esqueleto (GCN): En lugar de mirar un video del rostro o la ropa de una persona, el modelo observa un "monigote" hecho de articulaciones 3D (como codos, rodillas y hombros). Utilizan una herramienta llamada Red de Convolución de Grafos (GCN). Puedes pensar en esto como un mapa que entiende cómo tu codo está conectado a tu hombro y cómo tu rodilla se mueve con tu cadera. Conoce el "árbol genealógico" de tus partes del cuerpo.
2. La Máquina del Tiempo (Transformer): Dado que el modelo solo ve los primeros segundos de la acción, necesita entender cómo fluye el movimiento a través del tiempo. Utilizan un Transformer (el mismo tipo de tecnología que ayuda a los chatbots a entender el lenguaje) para observar la secuencia de movimientos. Es como leer una historia donde el orden de las palabras importa tanto como las palabras mismas.
3. La Coincidencia de Descripción (Información Mutua): Este es el toque de magia del "Cero Disparos". El modelo no solo mira el esqueleto, también lee una descripción textual de la acción (como "saltar" o "bailar"). El modelo intenta maximizar la "información mutua" entre el esqueleto visual y la descripción de texto. Imagina intentar emparejar una foto borrosa de un perro con una descripción escrita de un "animal peludo y que ladra". El modelo aprende a alinear la forma visual del movimiento con el significado de las palabras, incluso si nunca ha visto a ese perro específico antes.

Para hacer esto aún mejor, el modelo observa el esqueleto de tres maneras diferentes a la vez:

• Articulaciones: Dónde están las partes del cuerpo.
• Huesos: Las líneas que conectan las partes.
• Movimiento: Qué tan rápido se mueven las partes.
  Al fusionar estas tres vistas, el modelo obtiene una imagen más rica, especialmente cuando solo tiene una pequeña fracción de tiempo para trabajar.

Lo que encontraron: Las suposiciones tempranas mejoran

El equipo probó su modelo en un conjunto de datos famoso llamado NTU RGB+D, que contiene miles de movimientos humanos registrados. Dividieron las acciones en dos grupos: las que el modelo "vio" durante el entrenamiento (las clases "vistas") y las que nunca vio (las clases "no vistas").

Midieron qué tan bien podía el modelo adivinar la acción cuando solo veía el 10% al 90% del video. He aquí lo que sucedió:

• La ventaja temprana: Cuando el modelo solo veía el puro comienzo de la acción (10% al 30% del video), usar las tres vistas (articulaciones, huesos y movimiento) juntas fue de gran ayuda. Mejoró la precisión hasta en un 4% en comparación con solo mirar las articulaciones. Es como tener una lupa, una linterna y un velocímetro al mismo tiempo cuando solo tienes un segundo para mirar.
• El cambio tardío: A medida que el modelo podía ver más del video (40% al 90%), mirar solo las articulaciones se volvió tan bueno, o incluso ligeramente mejor, que la mezcla compleja. Esto sugiere que, una vez que tienes suficiente información, los detalles extra pueden ser simplemente ruido.
• Superando a la competencia: Al compararlo con un método anterior llamado SMIE, su nuevo modelo adivinó consistentemente mejor. Por ejemplo, en el conjunto de datos NTU RGB+D 60, cuando solo el 10% de la acción era visible, su modelo acertó correctamente el 39.62% de las veces, mientras que el método antiguo solo logró el 36.50%. En el conjunto de datos más grande NTU RGB+D 120, la brecha fue aún mayor al principio, con su modelo alcanzando un 26.46% de precisión frente al 23.38% del otro método.

Los momentos "¡Ajá!"

Los autores también realizaron experimentos para ver qué partes de su kit de herramientas de detective estaban realizando realmente el trabajo pesado.

• La posición importa: Encontraron que si eliminaban la "codificación posicional" (la parte que le dice al modelo qué articulación es cuál y en qué orden están los fotogramas), el modelo se confundía. Es como intentar leer un libro donde las palabras están todas mezcladas; el modelo no podía distinguir si el brazo se movía hacia arriba o hacia abajo.
• Fotogramas clave: También probaron un módulo especial que intenta encontrar los "fotogramas clave" más importantes (los momentos más dramáticos del movimiento). Cuando lo desactivaron, el rendimiento del modelo cayó. Esto demuestra que el modelo realmente aprende a enfocarse en las partes más emocionantes de la acción para realizar su suposición.

La conclusión

Este artículo no pretende haber resuelto el problema de la anticipación robótica para siempre. En cambio, establece un nuevo patio de juegos (un benchmark) y un punto de partida sólido (un modelo base) para que otros construyan sobre él. Demuestra que, al combinar una comprensión inteligente de la estructura corporal, un agudo sentido del tiempo y una forma ingeniosa de emparejar imágenes con palabras, las computadoras pueden comenzar a adivinar qué harán los humanos a continuación, incluso para acciones que nunca han visto antes.

Los resultados sugieren que este enfoque es una dirección prometedora para construir robots que puedan interactuar con seguridad con nosotros en el mundo real, donde las sorpresas son inevitables. Como señalan los autores, esto es solo el comienzo de una vía de investigación vital para crear máquinas que sean verdaderamente adaptables.