Imagina que estás viendo a un amigo intentar aprender un paso de baile de un video. Puedes notar fácilmente si lo está haciendo bien o mal, pero explicar exactamente por qué su rodilla está doblada de la forma incorrecta o por qué su ritmo está desfasado requiere una mezcla de ojos agudos y conocimientos específicos. Este es el corazón de la Evaluación de la Calidad de la Acción (AQA, por sus siglas en inglés). Aunque las computadoras se han vuelto muy buenas para simplemente reconocer qué acción está ocurriendo (como gritar "¡Jumping Jack!"), históricamente han tenido dificultades para juzgar qué tan bien se está realizando. Recientemente, ha llegado un nuevo tipo de cerebro informático superinteligente llamado Modelo de Lenguaje Grande Multimodal (MLLM). Estos modelos pueden ver videos y leer texto, prometiendo actuar como un entrenador personal que no solo dice "buen trabajo", sino que puede criticar tu técnica. Pero aquí surge la gran pregunta: ¿Están estos entrenadores de IA realmente listos para ayudarnos, o solo están adivinando?

Esto es exactamente lo que el artículo FitAQA busca determinar. Los investigadores, trabajando con expertos en ciencias del deporte, construyeron una enorme "clase de gimnasia" para la IA para probar sus habilidades de entrenamiento. No se limitaron a pedirle a la IA que diera una puntuación; crearon una lista de verificación detallada de 30 ejercicios de peso corporal diferentes (como flexiones y sentadillas) y desglosaron la "buena técnica" en seis categorías específicas: alineación, simetría, estabilidad, coordinación, ritmo y completitud. Luego, alimentaron a la IA con 2,219 videos y más de 5,500 preguntas para responder. Los resultados fueron un golpe de realidad: aunque estos modelos de IA son impresionantes, actualmente son terribles para detectar los detalles diminutos y cruciales que hacen que un ejercicio sea seguro y efectivo. A menudo pasan por alto los errores por completo o no pueden determinar cuándo ocurrió el error en el video. El estudio sugiere que el problema principal no es que la IA no conozca las reglas del fitness; es que le cuesta ver la evidencia visual con la claridad suficiente para aplicar esas reglas.

La Gran Prueba de Gimnasia de la IA

Piensa en el estado actual de la comprensión de video por parte de la IA como un estudiante que ha leído todos los libros de texto de física pero que nunca ha visto rebotar una pelota. Conoce la teoría, pero no puede predecir dónde caerá la pelota. Los autores de este artículo se dieron cuenta de que, para probar si la IA puede ser realmente un entrenador de fitness, necesitaban una prueba que no fuera solo adivinar una puntuación final. Necesitaban una prueba que preguntara: "¿Viste el error?", "¿Sabes que es un error?" y "¿Exactamente cuándo sucedió?".

Para hacer esto, crearon FitAQA, un benchmark (un estándar de prueba) que es como un gigante piso de gimnasio digital. En lugar de mirar solo un tipo de ejercicio, cubrieron 30 movimientos diferentes, desde cardio de cuerpo completo como jumping jacks hasta movimientos de fuerza del núcleo como crunches inversos. Pero la verdadera magia está en cómo organizaron los errores. En lugar de hacer una lista de errores separada para cada ejercicio (lo cual sería caótico), trabajaron con expertos humanos para crear una "Taxonomía de Errores" unificada.

Imagina un diccionario de errores que se aplica a casi todo. Ya sea que estés haciendo una sentadilla o una flexión, los errores caen en seis cubetas:

• Alineación: ¿Están tus articulaciones alineadas correctamente?
• Simetría: ¿Está tu lado izquierdo haciendo lo mismo que el derecho?
• Estabilidad: ¿Estás tambaleándote o temblando incontrolablemente?
• Coordinación: ¿Se mueven tus brazos y piernas en armonía?
• Ritmo: ¿El ritmo es demasiado rápido o demasiado lento?
• Completitud: ¿Completaste todo el rango de movimiento o lo cortaste antes de tiempo?

Encontraron 38 tipos específicos de errores recurrentes a través de estas categorías. Por ejemplo, "Postura de la Cabeza Adelantada" o "Rango de Movimiento Insuficiente". Esto les permitió probar la capacidad de la IA para detectar estos patrones específicos a través de diferentes ejercicios, en lugar de simplemente memorizar que "una sentadilla con malas rodillas es mala".

Los Tres Niveles de la Prueba

Los investigadores no solo le pidieron a la IA una calificación final. Desglosaron la tarea en tres niveles, como un videojuego con dificultad creciente:

1. Percepción (Los Ojos): Se le muestra un video a la IA y se le pregunta: "¿Qué ves que sucede con las caderas?". Tiene que elegir entre descripciones neutrales como "Las caderas se mantienen debajo de la línea" o "Las caderas suben por encima de la línea". Esto pone a prueba si la IA puede realmente ver el movimiento de las partes del cuerpo correctamente.
2. Juicio (El Cerebro): Una vez que la IA "ve" el movimiento, se le pregunta: "¿Es correcto este movimiento de cadera?". Esto requiere combinar lo que vio con su conocimiento de las reglas del fitness.
3. Localización Temporal (El Cronómetro): Este es el nivel más difícil. Se le pregunta a la IA: "¿Exactamente cuándo en este video de 30 segundos la persona falló al levantar las caderas lo suficiente?". Tiene que señalar los segundos específicos donde ocurrió el error.

Los Resultados: La IA es un Mal Entrenador (Por Ahora)

Cuando ejecutaron la prueba con los modelos de IA más avanzados disponibles (incluyendo grandes nombres como GPT-5.5, Gemini y varios modelos de código abierto), los resultados fueron sorprendentes. Los modelos de IA generalmente funcionaron solo ligeramente mejor que un adivinador al azar.

• Los Ojos son Débiles: Los modelos tuvieron dificultades significativas con la tarea de Percepción. Incluso los mejores modelos solo obtuvieron correctamente los detalles visuales en un 54%. Esto significa que la IA a menudo no podía distinguir si una rodilla estaba demasiado doblada o si una espalda estaba recta.
• El Cerebro está Confundido: Debido a que la IA no podía ver bien los detalles, su Juicio también fue deficiente. Tendía a ser excesivamente optimista, diciendo a menudo que un ejercicio era "correcto" incluso cuando no lo era.
• El Cronómetro está Roto: Para la tarea de Localización Temporal, los modelos fueron terribles para señalar el momento exacto en que ocurrió un error. A menudo adivinaban que todo el video era el error, o perdían el error por completo.

El descubrimiento más interesante provino de un "experimento de control". Los investigadores preguntaron: ¿Qué pasa si simplemente le decimos a la IA exactamente lo que vio y luego le pedimos que juzgue?

Cuando le dieron a la IA la descripción visual correcta (la respuesta de "Percepción") y luego le pidieron que realizara el "Juicio", el desempeño de la IA se disparó. Por ejemplo, la capacidad de un modelo para detectar errores saltó de una puntuación baja a más del 94% de precisión. Esto sugiere que la IA en realidad conoce las reglas del fitness y puede razonar bien, pero está fallando porque no puede ver la evidencia visual con la claridad suficiente para aplicar esas reglas. Es como un entrenador brillante que lleva puestas unas gafas de sol demasiado oscuras para ver la técnica del atleta.

La Conclusión

El artículo concluye que, si bien los Modelos de Lenguaje Grande Multimodales son herramientas poderosas para comprender contenido de video general, aún no están listos para ser entrenadores de fitness confiables. Tienen dificultades para detectar los detalles sutiles y relevantes para la calidad del movimiento humano y no pueden localizar con precisión cuándo ocurren los errores. Los autores sugieren que, antes de que podamos confiar en una IA para corregir nuestra técnica de entrenamiento, necesitamos resolver el problema de la percepción visual: enseñar a la IA a ver los detalles diminutos de la postura y el movimiento con la misma claridad que un experto humano. Hasta entonces, probablemente sea mejor mantener a un entrenador humano en el proceso.