Imaginez que vous regardez un ami essayer d'apprendre un nouveau pas de danse à partir d'une vidéo. Vous pouvez facilement dire s'il le fait bien ou mal, mais expliquer exactement pourquoi son genou est mal plié ou pourquoi son rythme est décalé nécessite à la fois un regard aiguisé et des connaissances spécifiques. C'est le cœur de l'Évaluation de la Qualité de l'Action (AQA - Action Quality Assessment). Si les ordinateurs sont devenus très doués pour simplement reconnaître quel mouvement se produit (comme crier « Jumping Jack ! »), ils ont historiquement eu du mal à juger à quel point il est bien exécuté. Récemment, un nouveau type de cerveau informatique super intelligent appelé Modèle de Langage Large Multimodal (MLLM) est arrivé. Ces modèles peuvent voir des vidéos et lire du texte, promettant d'agir comme un coach personnel qui ne se contente pas de dire « bon travail », mais qui peut réellement critiquer votre forme. Mais voici la grande question : ces coachs IA sont-ils vraiment prêts à nous aider, ou ne font-ils que deviner ?

C'est exactement ce que l'article FitAQA cherche à déterminer. Les chercheurs, travaillant avec des experts en sciences du sport, ont construit une immense « classe de gym » pour tester les capacités de coaching de l'IA. Ils n'ont pas seulement demandé à l'IA de donner une note ; ils ont créé une liste de contrôle détaillée de 30 exercices au poids du corps différents (comme des pompes et des squats) et ont décomposé une « bonne forme » en six catégories spécifiques : l'alignement, la symétrie, la stabilité, la coordination, le tempo et l'amplitude. Ils ont ensuite soumis à l'IA 2 219 vidéos et plus de 5 500 questions auxquelles répondre. Les résultats ont été un rappel à la réalité : bien que ces modèles d'IA soient impressionnants, ils sont actuellement terribles pour repérer les détails infimes et cruciaux qui rendent un exercice sûr et efficace. Ils passent souvent à côté des erreurs ou ne parviennent pas à identifier quand dans la vidéo l'erreur s'est produite. L'étude suggère que le problème principal n'est pas que l'IA ne connaît pas les règles du fitness, mais qu'elle a du mal à voir les preuves visuelles assez clairement pour appliquer ces règles.

Le Grand Test de la Salle de Sport de l'IA

Considérez l'état actuel de la compréhension vidéo par l'IA comme un étudiant qui a lu tous les manuels de physique mais qui n'a jamais vu une balle rebondir. Il connaît la théorie, mais il ne peut pas prédire où la balle va atterrir. Les auteurs de cet article ont réalisé que pour tester si l'IA peut réellement être un coach de fitness, ils avaient besoin d'un test qui ne consistait pas seulement à deviner un score final. Ils avaient besoin d'un test qui demandait : « Avez-vous vu l'erreur ? », « Savez-vous que c'est une erreur ? » et « Quand cela s'est-il passé exactement ? ».

Pour ce faire, ils ont créé FitAQA, un benchmark (un test standard) qui est comme un immense gymnase numérique. Au lieu de regarder un seul type d'exercice, ils ont couvert 30 mouvements différents, allant du cardio complet comme les jumping jacks aux mouvements de force du tronc comme les reverse crunches. Mais la véritable magie réside dans la façon dont ils ont organisé les erreurs. Au lieu de créer une liste d'erreurs distincte pour chaque exercice (ce qui serait chaotique), ils ont travaillé avec des experts humains pour créer une « Taxonomie des Erreurs » unifiée.

Imaginez un dictionnaire des erreurs qui s'applique à presque tout. Que vous fassiez un squat ou une pompe, les erreurs tombent dans six catégories :

• Alignement : Vos articulations sont-elles correctement alignées ?
• Symétrie : Votre côté gauche fait-il la même chose que votre côté droit ?
• Stabilité : Est-ce que vous oscillez ou tremblez de manière incontrôlée ?
• Coordination : Vos bras et vos jambes bougent-ils ensemble en harmonie ?
• Tempo : Le rythme est-il trop rapide ou trop lent ?
• Amplitude (Completeness) : Avez-vous effectué l'amplitude de mouvement complète, ou l'avez-vous écourtée ?

Ils ont identifié 38 types spécifiques d'erreurs récurrentes à travers ces catégories. Par exemple, une « Posture de la tête vers l'avant » ou une « Amplitude de mouvement insuffisante ». Cela leur a permis de tester la capacité de l'IA à repérer ces schémas spécifiques à travers différents exercices, plutôt que de simplement mémoriser qu'un « squat avec de mauvais genoux est mauvais ».

Les Trois Niveaux du Test

Les chercheurs n'ont pas seulement demandé à l'IA de donner une note finale. Ils ont décomposé la tâche en trois niveaux, comme un jeu vidéo avec une difficulté croissante :

1. Perception (Les Yeux) : L'IA voit une vidéo et on lui demande : « Que voyez-vous concernant les hanches ? ». Elle doit choisir entre des descriptions neutres comme « Les hanches restent en dessous de la ligne » ou « Les hanches montent au-dessus de la ligne ». Cela teste si l'IA peut réellement voir le mouvement des parties du corps.
2. Jugement (Le Cerveau) : Une fois que l'IA a « vu » le mouvement, on lui demande : « Ce mouvement de hanche est-il correct ? ». Cela nécessite de combiner ce qu'elle a vu avec ses connaissances des règles de fitness.
3. Localisation Temporelle (Le Chronomètre) : C'est le niveau le plus difficile. On demande à l'IA : « À quel moment précis de cette vidéo de 30 secondes la personne a-t-elle échoué à lever ses hanches suffisamment haut ? ». Elle doit pointer les secondes exactes où l'erreur s'est produite.

Les Résultats : L'IA est un Mauvais Coach (Pour l'Instant)

Lorsqu'ils ont fait passer le test aux modèles d'IA les plus avancés disponibles (incluant de grands noms comme GPT-5.5, Gemini et divers modèles open-source), les résultats ont été surprenants. Les modèles d'IA ont généralement performé à peine mieux qu'un choix aléatoire.

• Les Yeux sont Faibles : Les modèles ont eu beaucoup de mal avec la tâche de Perception. Même les meilleurs modèles n'ont réussi qu'environ 54 % des détails visuels. Cela signifie que l'IA ne pouvait souvent pas dire si un genou était trop plié ou si un dos était droit.
• Le Cerveau est Confus : Parce que l'IA ne voyait pas bien les détails, son Jugement était également médiocre. Elle avait tendance à être trop optimiste, déclarant souvent qu'un exercice était « correct » même quand il ne l'était pas.
• Le Chronomètre est Cassé : Pour la tâche de Localisation Temporelle, les modèles étaient terribles pour localiser le moment exact où une erreur se produisait. Ils considéraient souvent toute la vidéo comme étant l'erreur, ou passaient totalement à côté de l'erreur.

La découverte la plus intéressante est venue d'une « expérience de contrôle ». Les chercheurs ont demandé : Et si nous disions simplement à l'IA exactement ce qu'elle a vu, puis nous lui demandions de juger ?

Lorsqu'ils ont donné à l'IA la description visuelle correcte (la réponse de « Perception ») et lui ont ensuite demandé de faire le « Jugement », les performances de l'IA ont grimpé en flèche. Par exemple, la capacité d'un modèle à détecter les erreurs est passée d'un score faible à plus de 94 % de précision. Cela suggère que l'IA connaît en fait les règles du fitness et sait raisonner, mais qu'elle échoue parce qu'elle ne peut pas voir les preuves visuelles assez clairement pour appliquer ces règles. C'est comme un coach brillant qui porterait des lunettes de soleil trop sombres pour voir la forme de l'athlète.

L'Essentiel

L'article conclut que, bien que les Modèles de Langage Large Multimodaux soient des outils puissants pour comprendre le contenu vidéo général, ils ne sont pas encore prêts à être des coachs de fitness fiables. Ils peinent à détecter les détails subtils et pertinents de la qualité du mouvement humain et ne peuvent pas localiser précisément quand les erreurs surviennent. Les auteurs suggèrent qu'avant de pouvoir faire confiance à une IA pour corriger notre forme d'entraînement, nous devons résoudre le problème de la perception visuelle — apprendre à l'IA à voir les détails infimes de la posture et du mouvement aussi clairement qu'un expert humain. D'ici là, il est probablement préférable de garder un véritable entraîneur humain dans la boucle.