Label-Efficient Transfer Learning for Human Action Recognition Using Pretrained VideoMAE

En el mundo de la visión artificial, enseñar a las máquinas a comprender el movimiento humano ha sido durante mucho tiempo un rompecabezas de una complejidad inmensa. Durante décadas, los investigadores han intentado construir sistemas que puedan observar un vídeo e identificar qué está haciendo una persona, ya sea un saque de tenis, un apretón de manos o una caída. Los primeros intentos se basaron en reglas diseñadas a mano, donde los ingenieros definían manualmente cómo era el movimiento, pero estos sistemas a menudo fallaban cuando cambiaba el ángulo de la cámara o el fondo se volvía desordenado. El campo cambió con la llegada del aprendizaje profundo, permitiendo que las computadoras aprendieran estos patrones directamente de los datos de vídeo sin procesar. Sin embargo, este nuevo enfoque tuvo un precio elevado: requería cantidades masivas de vídeo etiquetado, donde los humanos observaban minuciosamente horas de metraje y etiquetaban cada acción. Este proceso es lento, costoso y a menudo imposible para tareas especializadas donde los expertos son escasos. Para resolver esto, los científicos recurrieron al aprendizaje autosupervisado, un método donde una computadora aprende de vastos océanos de vídeo no etiquetado al intentar predecir partes faltantes de la imagen, enseñándose a sí misma efectivamente la estructura del movimiento sin ayuda humana. La pregunta que queda es si estos sistemas autoaprendidos están realmente listos para el mundo real, donde los datos etiquetados suelen ser limitados, o si todavía necesitan una fuerte mano de supervisión humana para funcionar correctamente.

Un investigador del Instituto de Tecnología Siddaganga en la India se propuso responder a esta pregunta probando un tipo específico de modelo autosupervisado llamado VideoMAE. Imagine a un estudiante que ha leído todos los libros de una biblioteca pero que nunca ha tomado un examen; el investigador quería ver qué tan bien podía este estudiante responder preguntas de examen si solo se le daban unas pocas respuestas de muestra para estudiar. En su estudio, utilizaron un modelo VideoMAE preentrenado, que ya había aprendido a comprender el vídeo mediante la reconstrucción de secciones enmascaradas de miles de clips no etiquetados. Congelaron el cerebro de este modelo para que no pudiera aprender nada nuevo y adjuntaron un clasificador simple y ligero en la parte superior. Esta configuración les permitió probar la comprensión bruta de la acción humana alimentando el modelo con diferentes cantidades de datos de entrenamiento etiquetados, que variaban desde una fracción minúscula hasta el conjunto de datos completo. Probaron este enfoque en dos bancos de pruebas bien conocidos para el reconocimiento de acciones humanas: UCF101, que contiene un conjunto diverso de deportes y actividades cotidianas, y HMDB51, una colección más difícil de clips de películas y bases de datos públicas que presenta movimientos de cámara complejos y fondos variados.

Los resultados revelaron un camino claro y práctico para el uso de estos modelos avanzados. Cuando el investigador le dio al sistema solo el diez por ciento de los datos etiquetados disponibles, este todavía logró identificar acciones con una precisión notable. En el conjunto de datos UCF101, el modelo alcanzó una tasa de reconocimiento de casi el ochenta y ocho por ciento con solo esa pequeña porción de ejemplos etiquetados. A medida que aumentaban la cantidad de datos etiquetados al veinticinco por ciento y luego al cincuenta por ciento, la precisión subía constantemente, alcanzando más del noventa y dos por ciento cuando se utilizaba el conjunto de datos completo. El hallazgo más significativo, sin embargo, no fue solo que el modelo funcionara con pocos datos, sino que los beneficios de añadir más datos empezaron a desvanecerse rápidamente. Una vez que el sistema tuvo acceso a la mitad de las muestras de entrenamiento etiquetadas, añadir la mitad restante produjo una mejora muy pequeña en el rendimiento. Esto sugiere que el preentrenamiento autosupervisado ya había capturado la gran mayoría de la información visual y temporal necesaria para comprender el movimiento humano, dejando al simple clasificador muy poco trabajo para adaptarse a la tarea específica.

La historia fue ligeramente diferente, pero igualmente reveladora, cuando el investigador probó el más difícil conjunto de datos HMDB51. Debido a que estos vídeos eran más desordenados, con cámaras temblorosas y fondos complejos, el modelo comenzó con una precisión inferior de aproximadamente el cincuenta y dos por ciento usando solo el diez por ciento de las etiquetas. Sin embargo, a medida que añadían más datos etiquetados, el sistema mejoró de manera mucho más dramática que en el conjunto de datos más fácil, alcanzando finalmente una precisión de más del sesenta y tres por ciento con supervisión completa. Esto indicó que, si bien la base autosupervisada era fuerte, cuanto más caótico y complejo era el entorno del mundo real, más valiosos se volvían unos cuantos ejemplos etiquetados adicionales. Aun así, el sistema logró un alto nivel de rendimiento con solo la mitad de los datos, demostrando que el modelo autoaprendido había aprendido una representación robusta de la acción que podía manejar una gran variedad visual sin necesidad de una guía manual completa.

Más allá de las puntuaciones finales, el investigador observó de cerca cómo aprendía el sistema y los recursos que consumía. Encontraron que el proceso de entrenamiento era estable y predecible en todos los niveles de supervisión, con el modelo convergiendo suavemente sin un comportamiento errático. En términos de potencia de cómputo, el enfoque fue altamente eficiente. Debido a que la parte principal del modelo estaba congelada y solo se estaba entrenando la pequeña capa superior, la cantidad de memoria informática requerida se mantuvo casi constante, independientemente de cuántos datos etiquetados se usaran. El tiempo que tomó el entrenamiento aumentó con más datos, simplemente porque la computadora tenía que procesar más ejemplos, pero la huella de memoria no creció. Esto significa que el método es escalable y no demanda actualizaciones de hardware costosas solo para manejar un conjunto de datos más grande. El estudio también examinó qué acciones erró el modelo, encontrando que los errores se concentraban principalmente en movimientos visualmente similares, una limitación natural al distinguir entre variaciones sutiles del movimiento humano.

En última instancia, este trabajo demuestra que la era de necesitar conjuntos de datos de vídeo masivos y perfectamente etiquetados para cada nueva aplicación puede estar llegando a su fin. El investigador demostró que un modelo entrenado en vídeo no etiquetado puede servir como una base poderosa para reconocer acciones humanas, requiriendo solo una fracción del esfuerzo de etiquetado manual para lograr un alto rendimiento. Los hallazgos sugieren que para muchas aplicaciones prácticas, como el monitoreo de seguridad en fábricas o el análisis de técnicas deportivas, las organizaciones pueden confiar en estos sistemas preentrenados para entregar resultados precisos sin el costo prohibitivo de anotar cada fotograma de video. Si bien los conjuntos de datos más difíciles aún se benefician de ejemplos etiquetados adicionales, la capacidad central ya está presente en el modelo autosupervisado, ofreciendo una solución práctica y eficiente en recursos para llevar la comprensión inteligente del vídeo al mundo real.