💻 computer science

STEP: Score-Based Temporal Energy for Human Pose Video Anomaly Detection

Le papier présente STEP, un cadre léger qui améliore la détection d'anomalies vidéo basée sur le squelette en projetant les séquences de pose dans un espace blanchi par l'ACP afin de garantir une injection de bruit physiquement plausible pour des fenêtres temporelles plus longues et en intégrant une pondération basée sur la confiance pour atténuer les erreurs d'estimation de pose, atteignant ainsi des performances de pointe sur les benchmarks UBnormal et ShanghaiTech.

Auteurs originaux : Jakub Micorek, Mateusz Koziński, Horst Possegger

Publié 2026-08-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jakub Micorek, Mateusz Koziński, Horst Possegger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans les espaces encombrés de la vie moderne — usines, rues animées et établissements de soins — surveiller les problèmes est une tâche constante et épuisante. Les caméras capturent des flux incessants de mouvements, mais l'œil humain ne peut pas surveiller chaque image sans manquer une chute, une bagarre ou un accident soudain. Depuis des décennies, les scientifiques tentent d'apprendre aux ordinateurs à repérer automatiquement ces moments rares et dangereux. Le défi est unique : pour reconnaître quelque chose de mal, une machine doit d'abord apprendre à quoi ressemble le « bien ». Puisque les événements dangereux sont rares et imprévisibles, les chercheurs entraînent leurs systèmes uniquement sur des comportements normaux et quotidiens, espérant que l'ordinateur apprendra si bien le rythme de la sécurité que toute rupture de ce rythme réclamera l'attention.

Pendant des années, la méthode la plus fiable pour y parvenir a consisté à éliminer le désordre visuel du monde — les vêtements, l'éclairage, l'arrière-plan — pour se concentrer uniquement sur le squelette du corps humain. En suivant la position des articulations comme les coudes et les genoux, les algorithmes peuvent voir la géométrie pure du mouvement. Cette approche protège la vie privée et ignore les distractions, mais elle s'est heurtée à un mur. Lorsque les chercheurs ont tenté d'apprendre à ces systèmes à comprendre de longues séquences de mouvement en ajoutant du bruit aléatoire aux données — une technique utilisée pour aider les ordinateurs à apprendre des modèles — les squelettes se sont effondrés. Le bruit aléatoire tordait les membres selon des angles impossibles, brisant les lois de la physique et confondant l'ordinateur. Le système dépensait son énergie à apprendre comment réparer des os brisés plutôt qu'à apprendre comment repérer une personne courant dans la mauvaise direction.

Une équipe de chercheurs de l'Université de technologie de Graz et de l'Université médicale de Graz a trouvé un moyen de réparer cette fondation brisée. Ils ont développé une nouvelle méthode appelée STEP, qui agit comme un filtre pour les données avant que l'ordinateur ne tente d'apprendre de celles-ci. Au lieu de nourrir le système d'apprentissage avec les coordonnées brutes et tremblantes des articulations, ils traduisent d'abord le mouvement dans un espace mathématique compact où les règles de l'anatomie humaine sont déjà intégrées. Imaginez prendre une danse complexe et tourmentée et la réduire à quelques lignes simples et fluides qui capturent l'essence du mouvement sans le vacillement. Dans ce nouvel espace, lorsque les chercheurs ajoutent le bruit aléatoire nécessaire pour aider l'ordinateur à apprendre, le bruit ne brise pas le squelette. Au contraire, il pousse doucement le mouvement, créant des variations qui sont toujours physiquement possibles, comme une personne marchant légèrement plus vite ou tournant un peu plus large.

Ce changement permet à l'ordinateur de construire une image beaucoup plus claire de ce qu'est un comportement normal au fil du temps. Les chercheurs ont testé leur système sur deux ensembles de données majeurs : l'un contenant des images réelles de personnes dans diverses scènes, et un autre composé de vidéos générées par ordinateur hautement réalistes avec des anomalies soigneusement étiquetées. Les résultats ont été frappants. Sur l'ensemble de données synthétiques, leur système a correctement identifié un comportement anomal 90,1 % du temps, un bond significatif par rapport aux meilleures méthodes précédentes. Sur l'ensemble de données du monde réel, il a égalé les performances des systèmes les plus avancés existants, prouvant qu'il fonctionne même lorsque la vidéo est désordonnée ou que les angles de caméra sont difficiles.

Crucialement, le système est également intelligent quant à ses propres limites. Les caméras et les logiciels utilisés pour suivre les gens dans la nature ne sont pas parfaits ; ils perdent parfois la trace d'une personne ou sont confus par les ombres et le flou. La nouvelle méthode inclut un contrôle de confiance intégré. Si le logiciel de suivi n'est pas sûr de la position d'une articulation, le système diminue automatiquement le poids de cette information, empêissant un glitch momentané d'être confondu avec un événement dangereux. Cela rend le détecteur robuste face aux erreurs inévitables de la surveillance du monde réel.

L'efficacité du système est tout aussi impressionnante que sa précision. Parce que la méthode est si rationalisée, elle peut traiter les mouvements de cinquante personnes dans une seule image en moins d'une milliseconde. Cette vitesse signifie qu'elle peut fonctionner en temps réel sur du matériel standard, laissant l'ordinateur libre de gérer le travail lourd de la détection des articulations. Les chercheurs soutiennent qu'en se concentrant purement sur la géométrie du mouvement et en nettoyant les données avant l'apprentissage, ils ont résolu un problème fondamental qui parasitait le domaine depuis des années. Ils ont montré qu'il n'est pas nécessaire de voir le visage ou les vêtements d'une personne pour savoir si elle est en difficulté ; il suffit de comprendre la forme de son mouvement, à condition que cette forme soit autorisée à respirer sans se briser.

Résumé Technique : STEP – Énergie Temporelle Basée sur le Score pour la Détection d'Anomalies dans les Vidéos de Pose Humaine

Énoncé du Problème

La détection d'anomalies vidéo (VAD) basée sur le squelette vise à identifier des comportements anormaux (ex. : chutes, violence) en utilisant uniquement des données d'entraînement normales. Les approches récentes utilisent des modèles basés sur l'énergie (EBM) entraînés via l'appariement de score de débruitage (DSM) pour modéliser la distribution de probabilité des poses humaines normales. Cependant, l'application directe du DSM aux coordonnées brutes des articulations présente deux échecs critiques :

Effondrement Structurel : L'injection de bruit gaussien isotrope dans les coordonnées brutes des articulations détruit la structure cinématique du corps humain (ex. : déformation de la longueur des os, rupture de la symétrie). Ce problème s'accentue à mesure que la fenêtre temporelle ( $T$ ) s'élargit, provoquant une perte de capacité du modèle qui finit par apprendre des configurations physiquement impossibles plutôt que des variétés de mouvement valides.
Incertitude de l'Estimation de la Pose : Les estimateurs de pose prêts à l'emploi introduisent du bruit, des tremblements et des articulations manquantes dus aux occlusions ou au flou de mouvement. Traiter ces séquences extraites comme des vérités de terrain (ground truth) provoque une déformation du paysage énergétique autour des échecs de suivi, réduant ainsi la robustesse.

Méthodologie

Les auteurs proposent STEP (Score-based Temporal Energy for Poses), un cadre conçu pour résoudre les problèmes de structure et d'incertitude inhérents au DSM des coordonnées brutes.

1. Estimation de Densité dans l'Espace PC

Au lieu de modéliser la distribution dans l'espace des coordonnées brutes des articulations, STEP projette les séquences de poses dans un espace de composantes principales (PC) compact et blanchi.

Projection : Les séquences sont projetées à l'aide d'une matrice $W_K$ dérivée des $K$ premières composantes principales de l'ensemble d'entraînement, suivies d'un blanchiment via la matrice de valeur propre $\Lambda_K$ .
Effet de Blanchiment : Cette transformation met à l'échelle l'espace latent en une hypersphère isotrope. L'injection de bruit dans cet espace perturbe les séquences le long de trajectoires de base apprises (ex. : marche, station debout) plutôt que de détruire la structure cinématique.
Débruitage : Limiter la représentation aux $K$ premières PC agit comme un débruiteur, filtrant les fluctuations de haute fréquence des articulations et permettant au modèle de se concentrer sur les trajectoires de mouvement globales.

2. Score d'Anomalie Sensible à la Confiance

Pour atténuer l'impact des estimateurs de pose peu fiables, STEP intègre un mécanisme de pondération de confiance douce tant dans l'objectif d'entraînement que dans le calcul du score au moment du test.

Entraînement : Le score DSM est repondéré par le score de confiance moyen $c(\mathbf{x})$ fourni par l'estimateur de pose. Cela réduit le poids des séquences à faible confiance, empêchant les échecs de suivi de distordre le paysage énergétique appris.
Inférence : Le score d'anomalie final est l'estimation d'énergie standardisée maximale à travers plusieurs échelles de bruit, pondérée par le score de confiance de la séquence. Cela empêche les erreurs de suivi à faible confiance d'être faussement signalées comme des anomalies.

3. Conditionnement Architectural

Les auteurs introduisent un MLP Résiduel $\sigma$ -modulé pour remplacer les MLP standards utilisés dans les cadres EBM précédents.

Mécanisme : L'échelle de bruit $\sigma$ n'est pas simplement concaténée à l'entrée, mais est acheminée comme un signal de conditionnement global vers chaque couche cachée via un bloc de modulation (mise à l'échelle des activations).
Avantage : Cela permet au réseau d'ajuster dynamiquement son estimation de densité en fonction du niveau de bruit, surpassant systématiquement les MLP classiques.

4. Entraînement et Inférence

Objectif : Le modèle est entraîné à l'aide d'un objectif DSM multi-échelle (Éq. 5) sur une distribution uniforme d'échelles de bruit $\sigma \in [\sigma_{low}, \sigma_{high}]$ .
Estimation de l'Énergie : Lors du test, le modèle évalue la séquence à travers des échelles de bruit distinctes. Les actions normales tombent dans des bassins de faible énergie, tandis que les anomalies produisent des scores d'énergie élevés.
Efficacité : Le cadre utilise une moyenne mobile exponentielle (EMA) des poids pour une évaluation stable et traite les séquences en temps réel (< 1 ms pour 50 personnes sur une GTX 1080), la latence étant uniquement dominée par l'extraction de pose en amont.

Contributions Clés

Estimation de Densité dans l'Espace PC : L'article démontre que le DSM direct sur les coordonnées brutes échoue à mesure que les fenêtres temporelles s'élargissent en raison de l'effondrement structurel. STEP résout cela en opérant dans un espace PC blanchi où l'injection de bruit produit des variations physiquement plausibles.
Scoring Sensible à la Confiance : Un mécanisme de pondération de la confiance au niveau de la séquence est introduit pour tenir compte des imprécisions de l'estimation de la pose, augmentant considérablement l'AUROC en empêissant les erreurs de suivi de déclencher de faux positifs.
Conditionnement Architectural : Un MLP résiduel $\sigma$ -modulé est proposé, montrant qu'un conditionnement explicite sur les échelles de bruit améliore les performances d'estimation de densité par rapport aux architectures standards.

Résultats Expérimentaux

Le cadre a été évalué sur deux benchmarks exigeants : UBnormal (synthétique, photoréaliste) et ShanghaiTech (monde réel).

UBnormal : STEP atteint un nouvel état de l'art avec 90,1 % d'AUROC (Test complet) et 90,9 % (Split lié à l'humain). Cela représente une amélioration absolue de 12,2 % par rapport à la meilleure méthode précédente basée sur le squelette (SeeKer) et surpasse significativement MULDE (la ligne de base DSM directe), qui souffre d'un effondrement de performance à mesure que $T$ augmente.
ShanghaiTech : STEP atteint 86,2 % d'AUROC (Complet) et 87,7 % (HR), égalant ou dépassant légèrement les performances de STG-NF et SeeKer.
Études d'Ablation :
- Supprimer la projection dans l'espace PC provoque une chute brutale des performances à mesure que $T$ augmente (ex. : de 80,7 % à $T=2$ à 70,6 % à $T=32$ pour les coordonnées brutes).
- Supprimer la pondération de confiance entraîne une baisse de 4,5 % sur UBnormal lorsqu'un filtrage agressif est utilisé, tandis qu'une pondération douce maintient la robustesse.
- L'architecture $\sigma$ -modulée offre un gain constant d'environ 1 % par rapport aux MLP classiques.
Efficacité : Le modèle traite des foules denses avec un surcoût de calcul négligeable (< 1 ms de latence), ce qui le rend adapté à un déploiement en temps réel.

Signification et Revendications

L'article affirme que STEP établit un nouveau standard pour la VAD basée sur le squelette en s'attaquant fondamentalement aux limites de l'application des méthodes basées sur le score aux données de pose humaine. En déplaçant le domaine de modélisation des coordonnées brutes vers un espace PC préservant la structure et en intégrant la conscience de la confiance, les auteurs démontrent qu'il est possible d'apprendre des paysages énergétiques robustes pour de longues séquences temporelles sans la dégradation de performance observée dans les méthodes précédentes.

Les auteurs soulignent que leur approche préserve la nature respectueuse de la vie privée de la détection basée sur le squelette (en supprimant l'apparence des pixels) tout en atteignant une précision supérieure. Ils reconnaissent les limites concernant les interactions multi-personnes ou la manipulation d'objets où la pose seule est insuffisante, notant que la réintroduction de caractéristiques visuelles compromettrait les avantages de confidentialité de l'approche basée uniquement sur le squelette. Ce travail se positionne comme une solution légère et en temps réel qui résout l'« effondrement structurel » inhérent aux approches basées sur l'énergie précédentes.