💻 computer science

PushupBench: Your VLM is not good at counting pushups

Este artículo presenta **PushupBench**, un nuevo conjunto de datos diseñado para demostrar que los modelos de lenguaje visual (VLM) fallan al contar repeticiones en videos y propone que mejorar esta capacidad de conteo actúa como un catalizador para potenciar el razonamiento temporal general.

Autores originales: Shengzhi Li, Jiarun Chen, Karun Sharma, Jiaqi Su, Shichao Pei

Publicado 2026-04-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shengzhi Li, Jiarun Chen, Karun Sharma, Jiaqi Su, Shichao Pei

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🏋️‍♂️ ¿Por qué tu IA es una "mentirosa" cuando cuenta repeticiones?

Imagina que estás en el gimnasio con un entrenador personal que es un genio de la teoría, pero tiene un problema: puede decirte qué ejercicio estás haciendo, pero no tiene ni idea de cuántas veces lo has hecho.

Si le preguntas: "¿Estoy haciendo sentadillas?", te responderá con total seguridad: "Sí, estás haciendo sentadillas". Pero si le preguntas: "¿Cuántas llevo?", la IA se queda en blanco o, peor aún, te miente para no quedar mal.

Este es el problema que los investigadores de este estudio han venido a resolver.

🔍 El problema: El "Efecto de la Respuesta Segura"

Los investigadores crearon un examen llamado PushupBench. Es como un examen de gimnasio con videos de personas haciendo ejercicio. Al probar a las inteligencias artificiales más famosas (como las de Google o OpenAI), descubrieron algo curioso y un poco tramposo:

La IA no está contando, está "adivinando por estadística".

Imagina que un profesor te hace un examen de matemáticas de 100 preguntas. En lugar de resolver los problemas, te das cuenta de que en el libro de texto la respuesta más común es el número "10". Entonces, decides escribir "10" en todas las respuestas.

¿Vas a sacar una nota decente? Sí, porque acertarás las que realmente sean 10.
¿Has aprendido matemáticas? Absolutamente no.

Eso es exactamente lo que hacen las IA actuales. Como en los videos de ejercicio la gente suele hacer series de 10 repeticiones, la IA simplemente dice "10" para intentar acertar, sin mirar realmente el movimiento. Es como un estudiante que no lee el libro, pero se sabe de memoria qué respuesta suele dar el profesor.

🛠️ La solución: "Entrenamiento de Calidad sobre Cantidad"

Los científicos intentaron enseñarles a contar usando miles de videos, pero la IA seguía haciendo trampas (como leer los números que aparecen escritos en la pantalla del video en lugar de mirar el cuerpo de la persona).

Entonces, hicieron algo brillante: en lugar de darle miles de videos mediocres, les dieron solo 391 videos "perfectos".

Fue como pasar de darle a un niño un montón de libros de cuentos con dibujos borrosos, a darle un manual de instrucciones súper claro y detallado.

¿Qué hicieron con esos 391 videos?

Limpieza total: Quitaron los videos donde el movimiento era demasiado rápido para que la IA pudiera verlo bien.
Adiós a las trampas: Borraron los videos que tenían números escritos en la pantalla (para que la IA no pudiera "leer" el resultado y tuviera que "ver" el ejercicio).
Sin respuestas fáciles: Quitaron todos los ejercicios que tenían exactamente 10 repeticiones para que la IA no pudiera usar el truco de "siempre digo 10".

🚀 El resultado: Un cerebro más agudo

Lo más increíble de este estudio es que, al enseñarles a contar repeticiones, la IA se volvió más inteligente en todo lo demás.

Es como si un niño, al aprender a contar sus juguetes con mucha precisión, de repente empezara a ser mejor en lógica, en entender el orden de las historias y en entender cómo se mueven las cosas en el espacio.

Al obligar a la IA a prestar atención al tiempo (cuándo empieza un movimiento y cuándo termina), la IA desarrolló una especie de "conciencia temporal". Ahora no solo cuenta, sino que entiende el ritmo y la secuencia de la vida real.

📝 En resumen:

El problema: Las IA actuales son buenas reconociendo cosas, pero pésimas siguiendo el ritmo del tiempo. Suelen "hacer trampas" usando estadísticas.
El descubrimiento: Contar no es solo un número; es una forma de entender cómo fluye el tiempo.
La lección: Para que una IA sea inteligente, no necesita ver muchos datos, necesita ver datos limpios y honestos.

Resumen Técnico: "Your VLM is not good at counting pushups"

1. El Problema: La brecha entre la semántica y el razonamiento temporal

El estudio identifica una limitación fundamental en los Modelos de Lenguaje Visual (VLM) de última generación: aunque son capaces de realizar reconocimiento semántico (identificar que una persona está haciendo sentadillas), fallan drásticamente en el razonamiento temporal preciso (contar cuántas veces realiza la acción).

Los autores argumentan que el conteo de repeticiones es una "sonda diagnóstica" ideal para evaluar esta limitación, ya que requiere:

Seguimiento de cambios de estado a lo largo del tiempo.
Detección de límites de acción (inicio y fin de cada ciclo).
Mantenimiento de un conteo coherente frente a variaciones de velocidad y movimiento de cámara.

2. Metodología

A. Creación de PushupBench:
Los autores introdujeron PushupBench, un nuevo benchmark compuesto por 446 clips de video de larga duración (promedio de 36.7s). Para garantizar la robustez, el dataset fue curado manualmente de 11 creadores de contenido de fitness de 10 países diferentes, cubriendo 375 tipos de ejercicios únicos para evitar que el modelo simplemente memorice patrones.

B. Estrategia de Entrenamiento (DAPO y Curación de Datos):
El núcleo de la investigación reside en el aprendizaje por refuerzo (RL). Los autores descubrieron que la calidad de los datos es más crítica que la cantidad. Tras un intento inicial fallido con 968 muestras, refinaron el proceso:

Eliminación de ruido temporal: Se descartaron videos donde las repeticiones eran demasiado rápidas para la tasa de muestreo (basado en el teorema de Nyquist-Shannon).
Prevención del "Mode Collapse" (Colapso de modo): Se eliminaron las muestras donde el conteo real era exactamente 10, ya que los modelos tendían a predecir "10" de forma constante para maximizar la recompensa estadística sin razonar.
Mitigación del "Reward Hacking": Se eliminaron videos con texto en pantalla (contadores digitales) para evitar que el modelo hiciera OCR en lugar de contar el movimiento.
Algoritmo DAPO: Utilizaron una variante de GRPO para el ajuste fino (fine-tuning) de un modelo Qwen3-VL-4B, empleando una función de recompensa lineal escalable para proporcionar gradientes suaves.

3. Contribuciones Clave

PushupBench: Un benchmark riguroso y diverso para evaluar el razonamiento temporal fino.
Demostración de la transferencia de habilidades: Demostraron que el entrenamiento en conteo no es una habilidad aislada, sino un proxy del razonamiento temporal general.
Protocolo de curación de datos para RL en video: Un marco de trabajo para evitar el reward hacking y el colapso de modo en tareas de video.

4. Resultados Principales

Rendimiento de los modelos actuales: Los modelos comerciales más avanzados (como Gemini 3 Flash) solo alcanzan un 42.1% de precisión exacta. Los modelos de código abierto (Qwen3-VL-4B) muestran un rendimiento muy pobre (~6-9%), cayendo a menudo en la trampa de predecir el valor modal (10).
Mejora mediante Fine-Tuning: Al entrenar el modelo Qwen3-VL-4B con solo 391 muestras curadas, la precisión exacta aumentó del 8.2% al 14.5%, y el coeficiente de determinación ( $R^2$ ) pasó de negativo (predicción constante) a positivo (predicción que escala con la realidad).
Generalización: El entrenamiento en conteo mejoró el rendimiento en otros benchmarks de comprensión de video no relacionados:
- MVBench: +2.45
- PerceptionTest: +1.23
- TVBench: +2.75 (especialmente en tareas de secuencia de acciones y dirección de movimiento).

5. Significado e Implicaciones

El estudio concluye que el conteo de repeticiones es una tarea fundamental para desarrollar VLMs con verdadera comprensión temporal. Los resultados sugieren que, para que los modelos de IA comprendan el mundo físico en video, deben dejar de depender de pistas estáticas o textuales y empezar a modelar la continuidad y el cambio de estado a través del tiempo. La capacidad de generalización observada indica que enseñar a un modelo a contar es, en esencia, enseñarle a entender el tiempo.