DeepSport: A Multimodal Large Language Model for Comprehensive Sports Video Reasoning via Agentic Reinforcement Learning

Le papier présente DeepSport, le premier modèle de langage multimodal entraîné de bout en bout pour la compréhension vidéo sportive, qui utilise un apprentissage par renforcement agentique et une stratégie d'entraînement progressive pour surpasser les modèles existants en raisonnement vidéo complexe tout en nécessitant moins d'images.

L'essentiel

🏆 DeepSport : Le Nouvel Arbitre Virtuel qui "Regarde" intelligemment

Imaginez que vous essayez de comprendre un match de football ultra-rapide en regardant seulement 8 photos tirées au hasard du match. C'est probablement ce que font les intelligences artificielles (IA) actuelles : elles regardent quelques images fixes et essaient de deviner ce qui s'est passé entre deux. Résultat ? Elles ratent souvent les moments cruciaux, comme une faute subtile ou un but magnifique.

DeepSport, c'est l'opposé. C'est un nouveau modèle d'IA conçu pour comprendre le sport en entier, comme un expert humain qui ne se contente pas de regarder, mais qui réfléchit et cherche activement les preuves.

Voici comment cela fonctionne, étape par étape, avec des analogies simples :

1. Le Problème : L'IA qui regarde avec des œillères 🐎

Les modèles actuels sont comme des spectateurs assis au fond du stade avec des œillères. Ils voient le match, mais ils ne peuvent pas tourner la tête pour voir ce qui se passe derrière ou sur le côté. Ils sont souvent spécialisés dans un seul sport (comme le football) et ne comprennent pas les règles du basket ou de la natation. Ils sont "passifs" : on leur donne des images, ils répondent, point final.

2. La Solution : DeepSport, le Détective du Sport 🕵️‍♂️

DeepSport est différent. C'est un détective actif. Au lieu de regarder passivement, il a une boîte à outils magique.

• L'idée clé : "Penser avec la vidéo".
• Comment ? Si le détective voit quelque chose de flou dans la photo 10, il ne devine pas. Il dit : "Attends, je veux voir ce qui s'est passé entre la photo 10 et la photo 20". Il demande alors à l'ordinateur de lui montrer exactement ces images manquantes.
• Il peut faire cela plusieurs fois, comme un enquêteur qui revient sur les lieux du crime pour mieux voir les détails, jusqu'à être sûr de sa conclusion.

3. Comment l'a-t-on appris ? L'École des Sports 🎓

Pour entraîner ce détective, les chercheurs ont dû faire deux choses très intelligentes :

• Étape 1 : Le Cours de Cuisine (SFT - Supervised Fine-Tuning)
  Imaginez que vous apprenez à un enfant à cuisiner. Vous ne lui donnez pas tout de suite un menu complexe. Vous commencez par lui apprendre à éplucher les carottes (reconnaître les joueurs, voir les couleurs), puis à couper les légumes (comprendre les actions), et enfin à préparer le plat entier (analyser les règles et donner un commentaire).
  DeepSport a suivi ce programme progressif. Il a d'abord appris à voir les bases dans 12 sports différents (du football à l'escrime en passant par la plongée), avant d'apprendre à raisonner sur des règles complexes.

• Étape 2 : Le Jeu de l'Enquêteur (RL - Reinforcement Learning)
  Ensuite, on a mis le détective dans une situation de jeu. On lui a donné des questions et on lui a dit : "Si tu trouves la bonne réponse en regardant les bonnes images, tu gagnes des points. Si tu regardes des images inutiles, tu perds des points."
  Grâce à ce système de récompenses, DeepSport a appris quand utiliser son outil pour chercher des images supplémentaires et quand s'arrêter. Il a appris à être efficace, pas à gaspiller du temps.

4. Les Résultats : Plus fort que les géants, mais plus léger 🚀

Les tests ont montré que DeepSport est incroyable :

• Il bat les géants : Il surpasse des modèles d'IA très puissants (comme GPT-5 ou des modèles de 200 milliards de paramètres) sur les tâches sportives.
• Il est économe : Alors que les autres modèles regardent 16 images fixes, DeepSport n'en regarde souvent que 10, mais il choisit les bonnes images grâce à son outil de recherche. C'est comme comparer quelqu'un qui lit 16 pages au hasard à quelqu'un qui lit seulement les 10 paragraphes clés pour comprendre l'histoire.
• Il est polyvalent : Il ne connaît pas que le football. Il comprend le basket, le tennis, la gymnastique, et même des sports qu'il n'a jamais vus pendant son entraînement ! C'est comme si un expert en football apprenait les règles du rugby en quelques minutes parce qu'il comprend la logique du jeu.

5. En résumé 🎯

DeepSport, c'est comme passer d'un spectateur qui regarde un match en accéléré (et qui rate tout) à un arbitre vidéo (VAR) super-intelligent.

Au lieu de dire "Je pense que c'est une faute", il dit : "Je vois un contact ici, mais je ne suis pas sûr. Je vais zoomer sur les images entre la seconde 30 et 45... Ah ! Là, je vois le coup de coude. C'est une faute."

C'est une avancée majeure pour rendre l'IA capable de comprendre non seulement ce qu'elle voit, mais pourquoi cela se passe, en utilisant les règles du sport et en cherchant activement la vérité dans la vidéo.

Résumé technique

`) basé sur ces nouvelles trames.

• Répéter ce processus sur plusieurs tours (multi-turn) jusqu'à ce qu'il fournisse une réponse finale (<answer>).

3. Contributions Clés

1. Premier MLLM Multi-Sport et Multi-Tâche Entraîné : DeepSport est le premier modèle unifié capable de gérer divers sports et quatre types de tâches complexes (reconnaissance, règles, coaching, commentaire) via un entraînement de bout en bout.
2. Nouveau Benchmark et Pipeline de Distillation : Création d'un jeu de données unifié de 78k échantillons et d'un benchmark de test rigoureux couvrant 12 sports, avec un filtrage strict pour garantir la qualité du raisonnement.
3. Stratégie d'Apprentissage Hybride (SFT + RL) : Combinaison d'un curriculum SFT pour la perception de base et d'un RL agentique avec une fonction de récompense asymétrique pour optimiser l'utilisation des outils.
4. Efficacité et Généralisation : Le modèle démontre une capacité de transfert "zero-shot" vers des sports non vus lors de l'entraînement et excelle dans la reconnaissance de mouvements généraux.

4. Résultats Expérimentaux

Les expériences ont été menées sur un benchmark de 6 700 échantillons et comparées à des modèles propriétaires (GPT-5, Claude) et open-source (Qwen3, Video-R1).

• Performance SOTA (State-of-the-Art) : DeepSport obtient un score moyen global de 37,67, surpassant le puissant modèle propriétaire GPT-5 (35,70) et le modèle massif Qwen3-VL-235B (35,36).
• Efficacité des Trames : Contrairement aux autres modèles qui utilisent un échantillonnage fixe de 16 trames, DeepSport atteint ses performances avec une moyenne de 9,81 trames seulement, grâce à son extraction dynamique ciblée.
• Performance par Dimension :
  • Reconnaissance Fine : 49,89 (meilleur score).
  • Logique des Règles : 41,20 (meilleur score).
  • Coaching et Commentaire : Performances très compétitives malgré un nombre de paramètres réduit (~3% de celui des modèles massifs).
• Généralisation : Sur des benchmarks généraux (LVBench, MotionBench), DeepSport maintient des performances compétitives tout en traitant moins de trames, prouvant qu'il a internalisé la mécanique du mouvement sportif plutôt que de simplement mémoriser des règles.

5. Signification et Impact

DeepSport marque un changement de paradigme dans l'analyse vidéo sportive :

• De Passif à Actif : Il démontre que les modèles peuvent "penser avec la vidéo" en interrogeant activement le contenu visuel, réduisant ainsi les hallucinations et améliorant la précision temporelle.
• Unification : Il brise la siloisation des modèles sportifs, offrant une solution unique pour une variété de sports et de tâches, ce qui est crucial pour des applications réelles comme l'arbitrage assisté par IA ou l'analyse tactique.
• Efficacité : La capacité à obtenir des résultats supérieurs avec moins de données d'entrée (trames) et un modèle plus petit ouvre la voie à des déploiements plus économiques et rapides.

Limites et Perspectives :
L'analyse d'erreurs révèle que la principale limitation reste la localisation temporelle précise (le modèle choisit parfois la mauvaise fenêtre de trames). De plus, la disponibilité de données annotées reste inégale entre les sports populaires (football) et les sports de niche (escrime, plongeon), ce qui limite actuellement la couverture totale. Les travaux futurs viseront à améliorer la précision de l'extraction temporelle et à enrichir les jeux de données pour les sports moins couverts.