💻 computer science

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

Dit artikel introduceert DETRPose, de eerste familie van real-time, end-to-end transformer-modellen voor multi-persoon pose-estimatie die een state-of-the-art nauwkeurigheid bereikt met aanzienlijk minder parameters en snellere inferentiesnelheden door gebruik te maken van een aangepaste decoder, een nieuwe denoising keypoint-techniek en een uitgebreide Varifocal loss.

Oorspronkelijke auteurs: Sebastian Janampa, Marios Pattichis

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sebastian Janampa, Marios Pattichis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op een druk feestje bent en je wilt de dansbewegingen van iedereen fotograferen. Je doel is om direct elke persoon te spotten en er een stokfiguurtje overheen te tekenen, waarbij je alle gewrichten (schouders, ellebogen, knieën, enz.) correct met elkaar verbindt. Dit is wat computerwetenschappers Multi-Person Pose Estimation noemen.

Lange tijd hadden computers moeite om dit snel te doen. Ze waren ofwel zeer accuraat maar traag (zoals een zorgvuldige kunstenaar die urenlang aan één persoon werkt), ofwel snel maar slordig (zoals een snelheidstekenen-wedstrijd waarbij de ledematen door elkaar raken).

Dit artikel introduceert DETRPose, een nieuw systeem dat fungeert als een "supersnelle, supernauwkeurige feestfotograaf" die een speciaal soort AI-brein gebruikt, een Transformer. Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De "Zoek- en Crop-bottleneck"

De meeste snelle methoden werkten vroeger als een uitsmijter bij een club. Eerst ziet de uitsmijter een persoon, snijdt deze uit de menigte (crop) en probeert dan een skelet te tekenen.

Het gebrek: Als er 50 mensen op het feestje zijn, moet de uitsmijter dit 50 keer doen. Hoe meer mensen er zijn, hoe trager het proces wordt.
Het Oude Transformer-probleem: Nieuwere, intelligentere AI-modellen (Transformers) konden naar de hele menigte tegelijk kijken, maar ze waren te traag om bruikbaar te zijn in real-time. Ze waren als een genie dat een week nodig heeft om een puzzel op te lossen die een kind in een minuut kan oplossen.

2. De Oplossing: DETRPose

De auteurs hebben DETRPose gebouwd, de eerste Transformer-modellen die deze taak in real-time kan uitvoeren. Het kijkt in één keer naar de hele afbeelding en tekent voor iedereen een skelet tegelijkertijd.

Om dit mogelijk te maken, hebben ze drie belangrijke "trucs" geïntroduceerd:

Truc A: De "Ruis-onderdrukkende" Training (Denoising Keypoints)

Stel je voor dat je een student leert om een specifieke plek op een kaart te vinden.

De oude manier: Je laat ze gewoon de exacte plek zien.
De DETRPose-manier: Je laat ze de exacte plek zien, maar je laat ze ook "nep"-plekken zien die er net naast zitten (te ver naar links, te ver naar rechts). Je leert de student: "Deze is de echte, maar die andere zijn dichtbij maar fout."
Het resultaat: Door de AI te trainen om onderscheid te maken tussen "echte" gewrichten en "ruizige" nep-gewrichten, leert het model veel sneller en wordt het veel zelfverzekerder. Dit wordt Denoising Keypoints genoemd.

Truc B: De "Kwaliteitscontrole"-score (KSVF Loss)

Normaal gesproken raadt een AI-model waar een gewricht zit en geeft het een score. Maar bij pose estimation gaat een "goede gok" niet alleen over nabijheid; het gaat erom hoe goed het gewricht past bij de lichaamsvorm van de persoon.

De auteurs hebben een nieuwe beoordelingsregel gemaakt genaamd Keypoint Similarity VariFocal (KSVF) loss.
Denk hierbij aan een strenge leraar die niet alleen beoordeelt op "nabijheid", maar ook controleert of het antwoord logisch is in de context van het hele plaatje. Dit helpt de AI om slechte gokken te negeren en zich alleen te concentreren op de hoogwaardige gokken, wat rekenkracht bespaart.

Truc C: De "Verfijnde Decoder" (De GroupPose Upgrade)

Het deel van de AI dat daadwerkelijk de lijnen tekent (de decoder) is geüpgraded.

Ze hebben onnodige stappen verwijderd die de boel vertraagden.
Ze voegden een speciale laag toe genaamd Pose-LQE (Localization Quality Estimation). Denk hierbij aan een tweede paar ogen dat de tekening dubbelcheckt voordat de definitieve afbeelding wordt verzonden, om ervoor te zorgen dat de schouders en ellebogen perfect geplaatst zijn zonder het proces te vertragen.

3. De Resultaten: Snelheid vs. Nauwkeurigheid

Het artikel vergelijkt DETRPose met de huidige kampioenen (zoals YOLO-modellen en andere zware Transformer-modellen).

Het "Kleine" Model (DETRPose-S): Het is even nauwkeurig als de grootste, zwaarste YOLO-modellen, maar het is veel kleiner (gebruikt 81% minder geheugenbronnen) en veel sneller (inferentie is 52% sneller).
Het "Grote" Model (DETRPose-X): Op een zeer drukke dataset (CrowdPose) verslaat het bijna alle andere Transformer-modellen terwijl het 13 keer minder rekenkracht (FLOPs) gebruikt.
De "Out-of-Distribution" Test: Wanneer het werd getest op een dataset met mensen in zeer vreemde, drukke of ongebruikelijke houdingen (OCHuman) die het model nog niet eerder had gezien, presteerde DETRPose beter dan al het anderen. Dit toont aan dat het robuust is en niet alleen de trainingsdata uit het hoofd heeft geleerd.

4. Het Eén Nadeel

De auteurs geven toe dat er één beperking is: hoewel DETRPose wiskundig efficiënt is, is het nog steeds iets langzamer dan de absoluut snelste "YOLO"-modellen in pure snelheid. Dit komt omdat de manier waarop het mensen bij elkaar groepeert, wat complexe data-husseling vereist (zoals het herschikken van een kaartspel), wat een klein beetje extra tijd kost. Het is echter snel genoeg om als "real-time" beschouwd te worden en is veel efficiënter dan eerdere Transformer-pogingen.

Samenvatting

DETRPose is een doorbraak omdat het eindelijk de "slimme, allesziende" kracht van Transformer AI naar real-time pose estimation brengt. Dit doen ze door de AI te leren sneller uit haar fouten te leren (denoising), haar antwoorden intelligenter te beoordelen (KSVF loss) en haar tekenproces te stroomlijnen. Het resultaat is een systeem dat ongelooflijk nauwkeurig is, beter met menigten omgaat dan voorheen, en snel genoeg draait voor real-world toepassingen zoals virtual reality of activiteitsherkenning.

Technische Samenvatting: DETRPose

Probleemstelling
Multi-persoons pose-estimatie (MPPE) is een fundamentele computervisie-taak die essentieel is voor toepassingen zoals activiteitsherkenning, 2D-naar-3D pose-estimatie en virtuele realiteit. Hoewel Transformer-gebaseerde modellen een hoge nauwkeurigheid hebben bereikt in MPPE, lijden ze doorgaans aan een hoge latentie, wat real-time implementatie verhindert. Daarentegen vertrouwen snelle single-stage methoden (bijv. YOLO-gebaseerde benaderingen) vaak op Non-Maximum Suppression (NMS), wat leidt tot inconsistente inferentietijden, of lijden ze aan een lagere nauwkeurigheid vanwege de moeilijkheid om detectie en pose-groepering simultaan te leren. Hoewel het DETR-framework een consistente, end-to-end inferentie biedt zonder NMS, hebben eerdere aanpassingen voor pose-estimatie de prioriteit gegeven aan precisie boven snelheid, waardoor er een gat is ontstaan voor een real-time, end-to-end Transformer-gebaseerde MPPE-oplossing.

Methodologie
De auteurs introduceren DETRPose, de eerste familie van real-time, end-to-end Transformer-modellen voor multi-persoons 2D pose-estimatie. De architectuur is gebouwd op het D-FINE-framework, gebruikmakend van een hiërarchische backbone (HGNetv2 varianten) en een hybride encoder. De kerninnovatie ligt in de modificatie van de GroupPose decoder en de introductie van nieuwe trainingsstrategieën om convergentie te versnellen en de kwaliteit van queries te verbeteren.

Belangrijke methodologische componenten zijn onder meer:

Denoising Keypoints: In tegenstelling tot standaard denoising-technieken voor objectdetectie die bounding boxes verschuiven en schalen, stellen de auteurs een nieuwe strategie voor keypoints voor. Ze definiëren Keypoint Similarity (KS) op basis van de afstand tussen een ground-truth keypoint en een gesampleerd punt, geschaald door het gesegmenteerde gebied van het object en een fall-off parameter ( $\kappa$ ). Deze metriek genereert positieve en negatieve queries door ground-truth keypoints langs willekeurige eenheidsvectoren te verschuiven, wat de Hungarian matcher tijdens de vroege training stabiliseert.
Pose-LQE (Localization Quality Estimation) Layer: Een auxiliary classificatielaag die content-informatie extraheert uit de hoogste ruimtelijke feature map van de encoder bij elk keypoint. Het verfijnt de classificatiescores door output queries, voorspelde locaties en content-features te combineren, waarmee het probleem wordt aangepakt dat DETRPose keypoints voorspelt in plaats van object boxes.
Keypoint Similarity VariFocal (KSVF) Loss: Een uitbreiding van de VariFocal loss, specifiek afgestemd op pose-estimatie. Omdat DETRPose geen bounding boxes voorspelt, kan het geen Intersection over Union (IoU) loss gebruiken. KSVF gebruikt de Keypoint Similarity (OKS) metriek en voorspelde scores om kwalitatief lage voorspellingen te bestraffen, waardoor het netwerk wordt aangemoedigd zich te concentreren op high-similarity queries en het aantal fout-positieven te verminderen.
Architecturale Optimalisaties: De decoder integreert de D-FINE pre-pose en Fine-Grained Distribution Refinement (FDR) lagen. Om de latentie verder te verlagen, zijn projectielagen verwijderd en is de GroupPose decoder aangepast om real-time inferentie te ondersteunen via group self-attention mechanismen.

Belangrijkste Bijdragen
Het artikel claimt vier primaire bijdragen:

Een nieuwe denoising-techniek voor pose-estimatie: Het gebruik van object Keypoint Similarity (KS) om zowel positieve als negatieve keypoint queries te construeren, een eerste voor pose-estimatie taken.
Een auxiliary Pose-LQE classificatielaag: Een lichtgewicht module die de classificatieprestaties verbetert zonder de inferentie-latentie te verhogen.
Een nieuwe loss functie (KSVF): Ontworpen om de selectie van hoogwaardige object queries te bevorderen met behulp van de KS metriek.
Een gemodificeerde GroupPose decoder: Aangepast om real-time, end-to-end multi-persoons pose-estimatie mogelijk te maken voor Transformer-gebaseerde modellen.

Resultaten
Uit uitgebreide evaluaties op de COCO, CrowdPose en OCHuman datasets blijkt dat DETRPose een nauwkeurigheid bereikt die vergelijkbaar is met of de leidende alternatieven overtreft, terwijl de computationele kosten en trainingstijd aanzienlijk worden verminderd.

COCO Dataset: DETRPose-S evenaart de nauwkeurigheid van YOLOv8-Pose-X en YOLO11-Pose-X (67.0 AP vs. 67.3 en 67.2 AP), maar vereist 81% minder parameters (11.5M vs. 69.4M/58.8M) en is 52% sneller (2.39ms vs. 5.23ms/4.93ms). DETRPose-L bereikt 71.2 AP met 4.66ms latentie, waarmee het eerdere end-to-end methoden overtreft en een betere parameter/latentie-afweging biedt dan RTMO-L.
CrowdPose Dataset: DETRPose-X zet een nieuwe state-of-the-art neer voor real-time modellen met 75.1 AP. Het overtreft transformer-modellen met Swin-L backbones met ten minste 1 AP punt, terwijl het aanzienlijk minder parameters gebruikt (73.3M vs. 210M) en 13.1× minder FLOPs heeft vergeleken met ED-Pose-SwinL-5S.
OCHuman Dataset (Out-of-Distribution): DETRPose-S overtreft alle vorige modellen, inclusief RTMO-L (42.2 vs. 41.6 AP), wat een superieure robuustheid aantoont op out-of-distribution data.
Trainingsefficiëntie: De voorgestelde modellen vereisen 5 tot 10 keer minder training epochs om te convergeren vergeleken met de leidende alternatieven.

Betekenis en Beperkingen
Het artikel stelt dat DETRPose bewijst dat Transformer-modellen effectief kunnen worden aangepast voor real-time multi-persoons pose-estimatie, wat een veelbelovende toekomst opent voor DETR-frameworks in dit domein. Het pakt de latentie-uitdaging aan die de toepassing van Transformers in real-time scenario's historisch gezien heeft beperkt.

De auteurs erkennen echter bescheiden een beperking: ondanks dat DETRPose vergelijkbare FLOPs heeft als YOLO-modellen, vertoont het een iets hogere latentie. Dit wordt toegeschreven aan het group self-attention mechanisme, dat meerdere transpose-operaties vereist die de tensor-contiguïteit doorbreken, wat de inferentiesnelheid op de huidige hardware beïnvloedt.