💻 computer science

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

Ce document présente DETRPose, la première famille de modèles transformeurs de bout en bout et en temps réel pour l'estimation de la pose multi-personnes qui atteint une précision de pointe avec nettement moins de paramètres et des vitesses d'inférence plus rapides en exploitant un décodeur modifié, une nouvelle technique de débruitage de points clés et une perte Varifocal étendue.

Auteurs originaux : Sebastian Janampa, Marios Pattichis

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sebastian Janampa, Marios Pattichis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes à une fête bondée et que vous devez prendre en photo les pas de danse de tout le monde. Votre objectif est de repérer instantanément chaque personne et de dessiner un bonhomme allumée sur elle, en reliant correctement tous ses articulations (épaules, coudes, genoux, etc.). Ce que les informaticiens appellent l'estimation de pose multi-personnes.

Pendant longtemps, les ordinateurs ont eu du mal à faire cela rapidement. Ils étaient soit très précis mais lents (comme un artiste méticuleux qui passe des heures à dessiner une seule personne), soit rapides mais désordonnés (comme un concours de dessin rapide où les membres se mélangent).

Cet article présente DETRPose, un nouveau système qui agit comme un « photographe de fête super rapide et super précis » utilisant un type spécial de cerveau d'IA appelé Transformer. Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le goulot d'étranglement du « Rechercher et Découper » (Search and Crop)

La plupart des méthodes rapides fonctionnaient auparavant comme un videur de boîte de nuit. D'abord, le videur repère une personne, la découpe de la foule (recadrage/crop), puis essaie de dessiner son squelette.

La faille : S'il y a 50 personnes à la fête, le videur doit faire cela 50 fois. Plus il y a de personnes, plus le processus est lent.
Le problème des anciens Transformers : Les modèles d'IA plus récents et plus intelligents (Transformers) pouvaient regarder toute la foule à la fois, mais ils étaient trop lents pour être utiles en temps réel. Ils étaient comme un génie qui aurait besoin d'une semaine pour résoudre un puzzle qu'un enfant pourrait résoudre en une minute.

2. La Solution : DETRPose

Les auteurs ont construit DETRPose, le premier modèle Transformer capable de faire ce travail en temps réel. Il regarde l'image entière d'un seul coup et dessine les squelettes de tout le monde simultanément.

Pour rendre cela possible, ils ont introduit trois « astuces » :

Astuce A : L'entraînement par « Annulation du Bruit » (Denoising Keypoints)

Imaginez que vous enseigniez à un étudiant à trouver un point précis sur une carte.

L'ancienne méthode : Vous lui montrez simplement l'endroit exact.
La méthode DETRPose : Vous lui montrez l'endroit exact, mais vous lui montrez aussi des points « faux » qui sont légèrement décalés (trop à gauche, trop à droite). Vous lui apprenez : « Celui-ci est le vrai, mais les autres sont proches mais faux. »
Le résultat : En apprenant à l'IA à distinguer les articulations « réelles » des articulations « bruitées » et fausses, le modèle apprend beaucoup plus vite et devient beaucoup plus confiant. C'est ce qu'on appelle les Denoising Keypoints.

Astuce B : Le score de « Contrôle Qualité » (Perte KSVF)

Habituellement, les modèles d'IA devinent où se trouve une articulation et donnent un score. Mais en estimation de pose, une « bonne supposition » ne consiste pas seulement à être proche ; il s'agit de savoir si l'articulation correspond bien à la forme du corps de la personne.

Les auteurs ont créé une nouvelle règle de notation appelée perte Keypoint Similarity VariFocal (KSVF).
Considérez cela comme un professeur strict qui ne se contente pas de noter la « proximité », mais vérifie aussi si la réponse fait sens dans le contexte de l'image entière. Cela aide l'IA à ignorer les mauvaises suppositions et à se concentrer uniquement sur les plus de haute qualité, économisant ainsi de la puissance de calcul.

Astuce C : Le « Décodeur Raffiné » (Mise à niveau de GroupPose)

La partie de l'IA qui dessine réellement les lignes (le décodeur) a été améliorée.

Ils ont supprimé les étapes inutiles qui ralentissaient le processus.
Ils ont ajouté une couche spéciale appelée Pose-LQE (Estimation de la Qualité de Localisation). Considérez cela comme une deuxième paire d'yeux qui vérifie le dessin avant que l'image finale ne soit envoyée, garantissant que les épaules et les coudes sont placés parfaitement sans ralentir le processus.

3. Les Résultats : Vitesse vs Précision

L'article compare DETRPose aux champions actuels (comme les modèles YOLO et d'autres modèles Transformer lourds).

Le modèle « Petit » (DETRPose-S) : Il est aussi précis que les modèles YOLO les plus gros et les plus lourds, mais il est beaucoup plus petit (utilise 81 % de ressources mémoire en moins) et beaucoup plus rapide (l'inférence est 52 % plus rapide).
Le modèle « Grand » (DETRPose-X) : Sur un ensemble de données très encombré (CrowdPose), il bat presque tous les autres modèles Transformer tout en utilisant 13 fois moins de puissance de calcul (FLOPs).
Le test « Hors-Distribution » : Testé sur un ensemble de données présentant des personnes dans des poses très étranges, encombrées ou inhabituelles (OCHuman) qu'il n'avait jamais vues auparavant, DETRPose a mieux performé que tous les autres. Cela montre qu'il est robuste et qu'il ne se contente pas de mémoriser les données d'entraînement.

4. Le Seul Bémol

Les auteurs admettent une limitation : même si DETRPose est mathématiquement efficace, il reste légèrement plus lent que les modèles « YOLO » les plus rapides en termes de vitesse brute. C'est parce que la façon dont ils regroupent les personnes nécessite un certain mélange de données complexe (comme remélanger un jeu de cartes) qui prend un peu de temps supplémentaire. Cependant, il est assez rapide pour être considéré comme du « temps réel » et est bien plus efficace que les tentatives précédentes de Transformers.

Résumé

DETRPose est une avancée majeure car il apporte enfin la puissance « intelligente et omnisciente » des IA Transformers à l'estimation de pose en temps réel. Il y parvient en apprenant à l'IA à apprendre de ses erreurs plus rapidement (dénouage), en évaluant ses réponses plus intelligemment (perte KSVF) et en simplifiant son processus de dessin. Le résultat est un système incroyablement précis, qui gère mieux les foules que jamais, et qui est assez rapide pour des applications du monde réel comme la réalité virtuelle ou la reconnaissance d'activités.

Résumé Technique : DETRPose

Énoncé du Problème
L'estimation de la pose multi-personnes (MPPE) est une tâche fondamentale de vision par ordinateur, essentielle pour des applications telles que la reconnaissance d'activités, l'estimation de pose 2D vers 3D et la réalité virtuelle. Bien que les modèles basés sur les Transformers aient atteint une grande précision en MPPE, ils souffrent généralement d'une latence élevée, ce qui empêche un déploiement en temps réel. À l'inverse, les méthodes rapides à une seule étape (par exemple, les approches basées sur YOLO) reposent souvent sur la suppression des non-maxima (NMS), ce qui entraîne des temps d'inférence incohérents, ou souffrent d'une précision moindre en raison de la difficulté à apprendre simultanément la détection et le regroupement de la pose. Bien que le cadre DETR offre une inférence cohérente et de bout en bout sans NMS, les adaptations antérieures pour l'estimation de pose ont privilégié la précision au détriment de la vitesse, laissant un vide pour une solution de MPPE basée sur les Transformers, en temps réel et de bout en bout.

Méthodologie
Les auteurs introduisent DETRPose, la première famille de modèles Transformers en temps réel et de bout en bout pour l'estimation de la pose 2D multi-personnes. L'architecture s'appuie sur le cadre D-FINE, utilisant un squelette hiérarchique (variantes HGNetv2) et un encodeur hybride. L'innovation centrale réside dans la modification du décodeur GroupPose et l'introduction de nouvelles stratégies d'entraînement pour accélérer la convergence et améliorer la qualité des requêtes (queries).

Les composants méthodologiques clés incluent :

Dénouage de points clés (Denoising Keypoints) : Contrairement aux techniques de dénoising standard pour la détection d'objets qui décalent et redimensionnent les boîtes englobantes, les auteurs proposent une stratégie novatrice pour les points clés. Ils définissent la Similitude de Point Clé (KS) basée sur la distance entre un point clé de vérité terrain et un point échantillonné, pondérée par la zone segmentée de l'objet et un paramètre de décroissance ( $\kappa$ ). Cette métrique génère des requêtes positives et négatives en décalant les points clés de vérité terrain le long de vecteurs unitaires aléatoires, stabilisant ainsi l'appariement de Hungarian lors des premières phases d'entraînement.
Couche Pose-LQE (Estimation de la Qualité de Localisation) : Une couche de classification auxiliaire qui extrait l'information de contenu de la carte de caractéristiques spatiales la plus élevée de l'encodeur à chaque point clé. Elle affine les scores de classification en combinant les requêtes de sortie, les emplacements prédits et les caractéristiques de contenu, répondant au défi posé par le fait que DETRPose prédit des points clés plutôt que des boîtes d'objets.
Perte Keypoint Similarity VariFocal (KSVF) : Une extension de la perte VariFocal adaptée à l'estimation de la pose. Puisque DETRPose ne prédit pas de boîtes englobantes, il ne peut pas utiliser la perte d'Intersection sur Union (IoU). La perte KSVF utilise la métrique de Similitude de Point Clé (OKS) et les scores prédits pour pénaliser les prédictions de faible qualité, encourageant le réseau à se concentrer sur les requêtes de haute similitude et réduisant les faux positifs.
Optimisations Architecturales : Le décodeur intègre les couches de pré-pose et de Raffinement de la Distribution Fine (FDR) de D-FINE. Pour réduire davantage la latence, les couches de projection sont supprimées et le décodeur GroupPose est adapté pour supporter une inférence en temps réel via des mécanismes d'auto-attention de groupe.

Contributions Clés
Le papier revendique quatre contributions principales :

Une nouvelle technique de dénoising pour l'estimation de la pose : Utilisant la Similitude de Point Clé (KS) de l'objet pour construire à la fois des requêtes de points clés positives et négatives, une première pour les tâches d'estimation de la pose.
Une couche de classification auxiliaire Pose-LQE : Un module léger qui améliore la performance de classification sans augmenter la latence d'inférence.
Une nouvelle fonction de perte (KSVF) : Conçue pour favoriser la sélection de requêtes d'objets de haute qualité en utilisant la métrique KS.
Un décodeur GroupPose modifié : Adapté pour permettre une estimation de la pose multi-personnes en temps réel et de bout en bout pour les modèles basés sur les Transformers.

Résultats
Des évaluations approfondies sur les jeux de données COCO, CrowdPose et OCHuman démontrent que DETRPose atteint une précision comparable ou supérieure aux meilleures alternatives tout en réduisant considérablement le coût computationnel et le temps d'entraînement.

Jeu de données COCO : DETRPose-S égale la précision de YOLOv8-Pose-X et YOLO11-Pose-X (67,0 AP contre 67,3 et 67,2 AP) mais nécessite 81 % de paramètres en moins (11,5M contre 69,4M/58,8M) et est 52 % plus rapide (2,39ms contre 5,23ms/4,93ms). DETRPose-L atteint 71,2 AP avec une latence de 4,66ms, surpassant les méthodes précédentes de bout en bout et offrant un meilleur compromis paramètre/latence que RTMO-L.
Jeu de données CrowdPose : DETRPose-X établit un nouveau record de l'état de l'art pour les modèles en temps réel avec 75,1 AP. Il surpasse les modèles Transformers avec des squelettes Swin-L d'au moins 1 point d'AP tout en utilisant nettement moins de paramètres (73,3M contre 210M) et 13,1× moins de FLOPs par rapport à ED-Pose-SwinL-5S.
Jeu de données OCHuman (Hors-Distribution) : DETRPose-S surpasse tous les modèles précédents, y compris RTMO-L (42,2 contre 41,6 AP), démontrant une robustesse supérieure sur les données hors-distribution.
Efficacité de l'Entraînement : Les modèles proposés nécessitent 5 à 10 fois moins d'époques d'entraînement pour converger par rapport aux principales alternatives.

Signification et Limites
L'article affirme que DETRPose prouve que les modèles basés sur les Transformers peuvent être efficacement adaptés pour l'estimation de la pose multi-personnes en temps réel, ouvrant un avenir prometteur pour les cadres DETR dans ce domaine. Il répond au défi de la latence qui a historiquement limité l'application des Transformers dans des scénarios en temps réel.

Cependant, les auteurs reconnaissent modestement une limite : malgré des FLOPs similaires aux modèles YOLO, DETRPose présente une latence légèrement plus élevée. Cela est attribué au mécanisme d'auto-attention de groupe, qui nécessite plusieurs opérations de transposition qui brisent la contiguïté des tenseurs, impactant ainsi la vitesse d'inférence sur le matériel actuel.