💻 computer science

PushupBench: Your VLM is not good at counting pushups

Ce papier présente **PushupBench**, un nouveau jeu de données de clips vidéo longs conçu pour démontrer que les modèles de langage visuels (VLM) échouent à compter les répétitions et pour prouver que l'apprentissage du comptage améliore la compréhension temporelle générale.

Auteurs originaux : Shengzhi Li, Jiarun Chen, Karun Sharma, Jiaqi Su, Shichao Pei

Publié 2026-04-28

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shengzhi Li, Jiarun Chen, Karun Sharma, Jiaqi Su, Shichao Pei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le titre : "Pourquoi votre IA est une championne de la théorie, mais une catastrophe en sport"

Imaginez que vous regardiez un athlète faire des pompes. Vous voyez ses mouvements, vous savez qu'il fait du sport, et vous pouvez même dire : « Oh, il a l'air fatigué ! ». C'est ce que font les intelligences artificielles actuelles (les VLM). Elles sont excellentes pour décrire l'ambiance.

Mais si vous lui demandez : « Combien de pompes a-t-il fait exactement ? », l'IA panique. Elle se trompe presque tout le temps. C'est le problème que les chercheurs de cette étude ont voulu résoudre avec leur nouveau test : le PushupBench.

1. Le problème : L'IA est une "observatrice distraite"

Pour comprendre pourquoi l'IA échoue, imaginez deux types d'élèves :

L'élève "Photographe" (L'IA actuelle) : Il regarde des photos fixes. Il voit un bras en haut, puis un bras en bas. Il comprend l'image, mais il n'a pas la notion du "déroulement". Pour lui, le temps est une suite de photos, pas un flux continu.
L'élève "Chronométreur" (Ce qu'on veut) : Il suit le rythme, il compte les cycles, il sent le début et la fin de chaque mouvement.

L'étude montre que les IA actuelles font souvent de la "triche statistique". Comme dans beaucoup de vidéos de fitness, les gens font souvent des séries de 10 répétitions. Du coup, l'IA, qui est un peu paresseuse, se dit : « Je ne vois pas bien le mouvement, mais statistiquement, il y en a sûrement 10 ! ». Elle ne compte pas, elle devine la réponse la plus probable. C'est ce que les chercheurs appellent le "collapse vers le mode".

2. La solution : L'entraînement "Qualité plutôt que Quantité"

Les chercheurs ont essayé d'entraîner l'IA à compter. Au début, ils lui ont donné des milliers de vidéos, mais c'était un désastre. Pourquoi ? Parce que les vidéos étaient soit trop rapides (l'IA ne voyait pas assez d'images pour suivre), soit elles contenaient des tricheurs (des compteurs numériques affichés à l'écran). L'IA, au lieu de regarder les muscles, se contentait de lire le petit chiffre qui s'affiche en haut de l'écran ! C'est comme si vous demandiez à un enfant de compter des pommes, et qu'il se contentait de lire l'étiquette du prix.

Alors, ils ont changé de stratégie. Ils ont fait du "sur-mesure" :

Ils ont pris seulement 391 vidéos, mais des vidéos parfaites.
Pas de chiffres à l'écran pour tricher.
Des mouvements assez lents pour être bien vus.

3. Le résultat magique : L'effet "Domino"

C'est la partie la plus incroyable de l'étude. En apprenant à l'IA à faire une tâche très précise et difficile (compter des répétitions), ils ont débloqué une compétence beaucoup plus large.

C'est comme si, en apprenant à un enfant à tricoter avec précision, on l'aidait indirectement à devenir meilleur en géométrie et en patience.

En apprenant à l'IA à suivre le rythme d'un mouvement (le temps), elle est devenue bien meilleure pour comprendre tous les autres types de vidéos : comprendre une direction de mouvement, une séquence d'actions ou une logique physique. Compter n'est pas juste un calcul, c'est une preuve que l'IA commence enfin à comprendre le passage du temps.

En résumé

Cette étude nous dit que pour que l'IA devienne vraiment "intelligente" et comprenne le monde réel, elle ne doit pas seulement regarder des images, elle doit apprendre à suivre le rythme de la vie. Et pour cela, apprendre à compter des pompes est un excellent exercice de gymnastique pour son cerveau numérique !

Résumé Technique : PushupBench et le Raisonnement Temporel dans les VLM

1. Problématique (Le Problème)

Bien que les grands modèles de langage visuels (VLM) excellent dans la compréhension sémantique (ex: identifier qu'une personne fait des squats), ils échouent de manière systémique sur les tâches de raisonnement temporel fin, particulièrement le comptage de répétitions.

Les auteurs identifient un fossé critique : les modèles peuvent décrire ce qui se passe, mais ne parviennent pas à déterminer combien de fois une action se produit. Ce problème est complexe car il nécessite de suivre des changements d'état à travers le temps, de détecter des frontières d'action et de maintenir une cohérence malgré les variations de vitesse, les mouvements de caméra et les changements d'apparence.

2. Méthodologie

A. Création de PushupBench :
Les auteurs ont introduit PushupBench, un nouveau benchmark composé de 446 clips vidéo (durée moyenne de 36,7s) provenant de 11 créateurs de fitness de 10 pays différents. Contrairement aux benchmarks existants (souvent très courts), PushupBench propose des vidéos longues et diversifiées pour tester la généralisation.

B. Approche d'Entraînement (Fine-tuning) :
Pour remédier aux échecs des modèles open-source (comme Qwen3-VL), les auteurs ont utilisé l'apprentissage par renforcement (RL) via l'algorithme DAPO (une extension de GRPO).

Curation de données rigoureuse : Ils ont réduit leur jeu d'entraînement de 968 à 391 échantillons de haute qualité. Cette réduction visait à éliminer :
- Le "Mode Collapse" (le modèle qui prédit toujours "10" car c'est la valeur la plus fréquente).
- Le "Reward Hacking" (le modèle qui lit les compteurs textuels à l'écran au lieu de compter le mouvement).
- Les vidéos avec une résolution temporelle insuffisante (trop peu d'images par répétition).
Fonction de récompense : Utilisation d'une récompense linéaire invariante à l'échelle pour fournir des gradients lisses, même lorsque la prédiction n'est pas exacte.

3. Contributions Clés

PushupBench : Un benchmark robuste et diversifié pour évaluer le comptage de répétitions.
Découverte du "Proxy de Raisonnement" : L'étude démontre que le comptage n'est pas une compétence isolée, mais un indicateur (proxy) du raisonnement temporel global.
Optimisation par la Qualité : Démonstration que pour l'entraînement vidéo par RL, la qualité des données (curation) est plus cruciale que la quantité.

4. Résultats Principaux

Performance des modèles : Les modèles de pointe (Frontier Models) comme Gemini 3 Flash atteignent une précision exacte de 42,1 %. Les modèles open-source (Qwen3-VL-4B) sont bien moins performants, avec environ 6 % à 9 % de précision exacte.
Échec par exploitation statistique : L'utilisation de la métrique $R^2$ a révélé que les modèles les plus faibles ne "comptent" pas réellement, mais exploitent la statistique du jeu de données en prédisant systématiquement la valeur modale (souvent 10 répétitions).
Transfert de compétences (Généralisation) : C'est le résultat le plus frappant. Le fine-tuning sur seulement 391 échantillons de comptage améliore les performances sur d'autres benchmarks de compréhension vidéo non liés :
- MVBench : +2,45
- PerceptionTest : +1,23
- TVBench : +2,75
- Note : Les gains se concentrent sur les tâches de raisonnement temporel, tandis que les tâches spatiales stagnent ou déclinent.

5. Signification et Implications

Cette recherche change la perspective sur l'entraînement des VLM. Elle suggère que pour améliorer la compréhension globale de la vidéo, il ne faut pas seulement injecter plus de données massives, mais se concentrer sur des tâches de raisonnement temporel fin comme le comptage. Le comptage force le modèle à construire une représentation cohérente de la continuité temporelle, ce qui semble être la clé pour passer d'une simple reconnaissance d'images à une véritable compréhension de la dynamique du monde réel.