Résumé Technique : Détection d'Actions de Balle Centrée sur le Joueur - SoccerNet 2026

Énoncé du Problème

Le document traite du défi de la Détection d'Actions de Balle Centrée sur le Joueur dans le cadre de la compétition SoccerNet 2026. L'objectif est de détecter et de localiser des actions spécifiques liées au ballon (ex: passe, tir, tacle) effectuées par des joueurs individuels dans des séquences vidéo. Le système doit produire des séquences d'événements structurées comprenant des horodatages de trames, des classes d'actions et des rôles de joueurs, allant au-delà de la simple classification par trame pour proposer un pipeline de détection d'événements temporellement cohérent.

Méthodologie

Le système proposé respecte le pipeline à deux étapes établi par les organisateurs, composé d'un Détecteur d'Actions Sensible à la Trajectoire (TAAD) et d'un modèle de Transduction de Séquence de Débruitage (DST). Les auteurs introduisent des modifications architecturales et d'entraînement spécifiques aux deux étapes, aboutissant à une stratégie d'ensemble basée sur l'accord.

Améliorations du Détecteur d'Actions Sensible à la Trajectoire (TAAD) - Étape 1

Le TAAD de base, qui repose sur une architecture X3D, a été amélioré pour mieux capturer les dépendances temporelles :

• Intégration du Transformer Temporel : Au lieu de classifier les trames de manière indépendante, le système projette les caractéristiques alignées sur les ROI (par joueur, par trame) dans un espace de 256 dimensions. Celles-ci sont traitées par un encodeur transformer à 4 couches (8 têtes d'attention, 1024 dimensions de feedforward) avec des embeddings positionnels apprenables (jusqu'à 50 trames). Cela permet au modèle de raisonner sur les motifs temporels avant de projeter vers un espace de 512 dimensions pour une classification à 9 classes.
• Raffinements de l'Entraînement : Les auteurs ont corrigé un bug de l'ordonnanceur de warmup qui arrêtait précédemment les mises à jour du taux d'apprentissage. Des modifications supplémentaires incluaient :
  • Un ordonnanceur de type "cosine annealing" pour toutes les couches sauf le backbone X3D (qui utilise un LR fixe).
  • Des taux d'apprentissage mis à l'échelle par $1/\sqrt{8}$.
  • Une réduction du poids de la classe de fond (0,05) et une augmentation du nombre de tracklets de 4 à 6 à partir de l'époque 16.
  • Les logits résultants sont traités comme des entrées figées pour l'étape DST suivante.

Améliorations de la Transduction de Séquence de Débruitage (DST) - Étape 2

Le composant DST convertit les caractéristiques de l'état du jeu et les logits du TAAD en séquences d'événements structurées via un transformer autorégressif. Les innovations clés incluent :

• Mécanisme d'Attention par Joueur : L'encodeur de base traitait le vecteur de caractéristiques des 26 rôles comme une entrée plate. La méthode proposée introduit un mécanisme d'attention en deux étapes :
  1. Attention Spatiale (Étape 1) : Attention inter-joueurs où les 26 joueurs à un instant donné s'attendent les uns les autres, capturant les configurations spatiales.
  2. Attention Temporelle (Étape 2) : Auto-attention appliquée indépendamment à la représentation de chaque joueur à travers la dimension temporelle pour modéliser l'évolution de l'état.
  • Note : Les expériences ont indiqué que l'utilisation uniquement des caractéristiques de l'état du jeu (positions, vitesses, visibilité) pour ce mécanisme d'attention, en excluant les logits du TAAD, offrait des performances supérieures.
• Ordre Spatial-Premier : Le traitement de l'attention spatiale avant l'attention temporelle s'est avéré critique, apportant une amélioration de +1,87 % du Macro-F1 sur la validation par rapport à l'ordre inverse.
• Diversité Architecturale pour l'Ensemble : Quatre modèles DST distincts (A–D) ont été entraînés avec des hyperparamètres variés pour assurer la diversité :
  • Modèle A : Configuration de base (dimension cachée 512, 1 couche d'attention).
  • Modèle B : Dimension cachée augmentée (768).
  • Modèle C : Profondeur d'attention augmentée (2 couches) et dimension (dp=128).
  • Modèle D : Architecture d'attention parallèle où les branches spatiale et temporelle traitent les entrées indépendamment et les somment.
• Optimisation de l'Inférence : Les auteurs ont constaté que l'optimisation de la température d'ajustement des logits ($\tau$) basée sur des seuils par classe entraînait un surapprentissage sur l'ensemble de validation. Par conséquent, ils ont adopté $\tau=0$ avec les seuils par défaut pour toutes les prédictions finales.

Stratégie d'Ensemble

La soumission finale emploie une stratégie de Fusion d'Événements Pondérée avec Filtrage par Accord :

1. Clustering : Les prédictions de $N$ modèles sont groupées par (équipe, numéro de maillot, classe d'action) et regroupées dans une fenêtre de $\pm 12$ trames.
2. Boost d'Accord : Pour les clusters soutenus par $n$ modèles, le score moyen est multiplié par $(n/N)^{0,5}$.
3. Filtrage : Les événements prédits par moins de 2 modèles sont écartés pour supprimer les faux positifs (hallucinations).
4. Gestion des Exceptions : En raison de la rareté extrême des événements de "Tacle" (26 occurrences dans 96 matchs d'entraînement) et du faible F1 par modèle, le filtre d'accord est contourné pour les tacles. Les détections d'un seul modèle sont préservées pour maintenir le rappel pour cette classe spécifique.

Résultats

Le système a atteint un score Macro-F1 de 58,94 sur l'ensemble de test (challenge set).

• Gains Progressifs : Le DST de base avec un TAAD amélioré a obtenu 48,6 sur le challenge. L'ajout de l'attention par joueur et de l'ordre spatial-premier a porté ce score à 55,1. L'ensemble final de 4 modèles a atteint 58,94.
• Performance par Classe : L'ensemble surpasse les modèles individuels sur toutes les classes, sauf pour le "Tacle", où le Modèle B reste le plus performant individuellement. L'ensemble améliore significativement les performances sur les classes de fréquence commune à moyenne (ex: frappe, passe, centre) en supprimant les faux positifs tout en maintenant le rappel.
• Généralisation : L'écart entre la performance de validation et celle du challenge s'est réduit d'environ 6 points (modèle unique) à 2 points (ensemble), indiquant une meilleure généralisation.

Signification et Revendications

L'article affirme que la contribution principale réside dans l'intégration des mécanismes d'attention par joueur au sein de l'encodeur DST et dans la stratégie d'ensemble basée sur l'accord.

• L'ordre d'attention spatial-premier est identifié comme un choix architectural critique fournissant un contexte plus riche pour le raisonnement temporel.
• Le filtrage par accord est mis en avant comme la clé pour réduire les faux positifs sans sacrifier le rappel sur les classes fréquentes, tandis que l'exception spécifique pour les événements de tacle démontre une approche ciblée pour gérer le déséquilibre des classes.
• Les auteurs présentent modestement leur travail comme une amélioration systématique du pipeline de base fourni, démontant qu'une diversité architecturale et un filtrage d'ensemble rigoureux peuvent considérablement booster les performances dans des tâches complexes de détection d'actions multi-joueurs.