💻 computer science

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

Questo articolo introduce DETRPose, la prima famiglia di modelli transformer end-to-end in tempo reale per la stima della posa multi-persona che raggiunge una precisione allo stato dell'arte con significativamente meno parametri e velocità di inferenza superiori, sfruttando un decoder modificato, una nuova tecnica di denoising dei keypoint e una loss Varifocal estesa.

Autori originali: Sebastian Janampa, Marios Pattichis

Pubblicato 2026-07-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sebastian Janampa, Marios Pattichis

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere a una festa affollata e di dover scattare una foto alle mosse di danza di tutti. Il tuo obiettivo è individuare istantaneamente ogni singola persona e disegnare un omino stilizzato sopra di lei, collegando correttamente tutti i suoi giunti (spalle, gomiti, ginocchia, ecc.). Questo è ciò che gli scienziati dell'informatica chiamano Multi-Person Pose Estimation (Stima della Posizione Multi-Persona).

Per molto tempo, i computer hanno avuto difficoltà a farlo velocemente. Erano o molto accurati ma lenti (come un artista meticoloso che impiega ore per disegnare una sola persona) o veloci ma disordinati (come un concorso di disegno veloce dove le membra si mescolano tra loro).

Questo articolo presenta DETRPose, un nuovo sistema che agisce come un "fotografo di feste super veloce e super accurato" che utilizza un tipo speciale di cervello IA chiamato Transformer. Ecco come funziona, suddiviso in concetti semplici:

1. Il Problema: Il collo di bottiglia "Cerca e Ritaglia" (Search and Crop)

La maggior parte dei metodi veloci funzionava come un buttafuori in un club. Prima il buttafuori individua una persona, la ritaglia dall'immagine (crop) e poi cerca di disegnarne lo scheletro.

Il difetto: Se ci sono 50 persone alla festa, il buttafuori deve farlo 50 volte. Più persone ci sono, più il processo diventa lento.
Il vecchio problema dei Transformer: I modelli IA più recenti e intelligenti (i Transformer) potevano guardare l'intera folla in una volta sola, ma erano troppo lenti per essere utili in tempo reale. Erano come un genio che ha bisogno di una settimana per risolvere un puzzle che un bambino potrebbe risolvere in un minuto.

2. La Soluzione: DETRPose

Gli autori hanno costruito DETRPose, il primo modello Transformer capace di svolgere questo lavoro in tempo reale. Guarda l'intera immagine in un colpo solo e disegna gli scheletri per tutti simultaneamente.

Per rendere possibile questo, hanno introdotto tre "trucchi" principali:

Trucco A: L'addestramento con "Riduzione del Rumore" (Denoising Keypoints)

Immagina di insegnare a uno studente a trovare un punto specifico su una mappa.

Vecchio modo: Gli mostri semplicemente il punto esatto.
Metodo DETRPose: Gli mostri il punto esatto, ma gli mostri anche dei punti "finti" che sono leggermente fuori posizione (troppo a sinistra, troppo a destra). Insegni allo studente: "Questo è quello vero, ma quelli altri sono vicini ma sbagliati".
Il Risultato: Addestrando l'IA a distinguere tra i giunti "reali" e quelli finti "rumorosi", il modello impara molto più velocemente e diventa molto più sicuro di sé. Questo è chiamato Denoising Keypoints.

Trucco B: Il punteggio di "Controllo Qualità" (KSVF Loss)

Di solito, i modelli IA indovinano dove si trova un giunto e assegnano un punteggio. Ma nella stima della posa, un "buon tentativo" non riguarda solo l'essere vicini; riguarda quanto bene il giunto si adatta alla forma del corpo della persona.

Gli autori hanno creato una nuova regola di punteggio chiamata Keypoint Similarity VariFocal (KSVF) loss.
Pensa a questo come a un insegnante severo che non valuta solo la "vicinanza", ma controlla anche se la risposta ha senso nel contesto dell'intera immagine. Questo aiuta l'IA a ignorare i brutti tentativi e a concentrarsi solo su quelli di alta qualità, risparmiando potenza di calcolo.

Trucco C: Il "Decoder Raffinato" (L'aggiornamento di GroupPose)

La parte dell'IA che effettivamente disegna le linee (il decoder) è stata aggiornata.

Hanno rimosso i passaggi non necessari che rallentavano il processo.
Hanno aggiunto uno strato speciale chiamato Pose-LQE (Localizzazione della Stima della Qualità). Immaginalo come un secondo paio di occhi che ricontrolla il disegno prima che l'immagine finale venga inviata, assicurando che le spalle e i gomiti siano posizionati perfettamente senza rallentare il processo.

3. I Risultati: Velocità vs Accuratezza

L'articolo confronta DETRPose con i campioni attuali (come i modelli YOLO e altri pesanti modelli Transformer).

Il Modello "Piccolo" (DETRPose-S): È accurato quanto i modelli YOLO più grandi e pesanti, ma è molto più piccolo (usa l'81% in meno di risorse di memoria) ed è molto più veloce (l'inferenza è il 52% più veloce).
Il Modello "Grande" (DETRPose-X): Su un dataset molto affollato (CrowdPose), supera quasi tutti gli altri modelli Transformer pur utilizzando 13 volte meno potenza di calcolo (FLOPs).
Il Test "Fuori Distribuzione" (Out-of-Distribution): Quando testato su un dataset di persone in pose molto strane, affollate o insolite (OCHuman) che il modello non aveva mai visto prima, DETRPose ha ottenuto prestazioni migliori di tutti gli altri. Questo dimostra che è robusto e non si limita a memorizzare i dati di addestramento.

4. L'unico limite

Gli autori ammettono un limite: anche se DETRPose è matematicamente efficiente, è leggermente più lento dei modelli "YOLO" assoluti in termini di velocità pura. Questo perché il modo in cui raggruppano le persone richiede alcuni passaggi complessi di rimescolamento dei dati (come riorganizzare un mazzo di carte) che richiede un po' di tempo extra. Tuttavia, è abbastanza veloce da essere considerato "tempo reale" ed è molto più efficiente dei precedenti tentativi con i Transformer.

Riassunto

DETRPose è una svolta perché porta finalmente il potere "intelligente e onnipresente" dell'IA Transformer alla stima della posa in tempo reale. Lo fa insegnando all'IA a imparare dai propri errori più velocemente (denoising), valutando le sue risposte in modo più intelligente (KSVF loss) e snellendo il processo di disegno. Il risultato è un sistema incredibilmente accurato, che gestisce meglio la folla rispetto al passato e che è abbastanza veloce per applicazioni del mondo reale come la realtà virtuale o il riconoscimento delle attività.

Sintesi Tecnica: DETRPose

Problematica
La stima della posa multi-persona (MPPE) è un compito fondamentale della computer vision, essenziale per applicazioni quali il riconoscimento delle attività, la stima della posa 2D-3D e la realtà virtuale. Sebbene i modelli basati su Transformer abbiano raggiunto un'elevata accuratezza nella MPPE, essi soffrono tipicamente di un'alta latenza, impedendo l'implementazione in tempo reale. Al contrario, i metodi fast single-stage (ad esempio, gli approcci basati su YOLO) spesso si affidano alla Non-Maximum Suppression (NMS), portando a tempi di inferenza inconsistenti, o soffrono di una minore accuratezza a causa della difficoltà di apprendere simultaneamente il rilevamento e il raggruppamento della posa. Sebbene il framework DETR offra un'inferenza end-to-end coerente senza NMS, le precedenti adattamenti per la stima della posa hanno dato priorità alla precisione rispetto alla velocità, lasciando un vuoto per una soluzione MPPE basata su Transformer che sia real-time ed end-to-end.

Metodologia
Gli autori introducono DETRPose, la prima famiglia di modelli Transformer real-time ed end-to-end per la stima della posa 2D multi-persona. L'architettura si basa sul framework D-FINE, utilizzando un backbone gerarchico (varianti di HGNetv2) e un encoder ibrido. L'innovazione principale risiede nella modifica del decoder GroupPose e nell'introduzione di nuove strategie di addestramento per accelerare la convergenza e migliorare la qualità delle query.

I componenti metodologici chiave includono:

Denoising dei Keypoint: A differenza delle tecniche di denoising standard per l'object detection che spostano e scalano i bounding box, gli autori propongono una nuova strategia per i keypoint. Definiscono la Keypoint Similarity (KS) basata sulla distanza tra un keypoint della ground-truth e un punto campionato, scalata dall'area segmentata dell'oggetto e da un parametro di decadimento ( $\kappa$ ). Questa metrica genera query positive e negative spostando i keypoint della ground-truth lungo vettori unitari casuali, stabilizzando il matchmaker ungherese durante le prime fasi dell'addestramento.
Layer Pose-LQE (Localization Quality Estimation): Un layer di classificazione ausiliario che estrae informazioni di contenuto dalla mappa di feature con la massima risoluzione spaziale dell'encoder ad ogni keypoint. Esso affina i punteggi di classificazione combinando le query in uscita, le posizioni predette e le feature di contenuto, affrontando la sfida per cui DETRPose predice i keypoint anziché i box degli oggetti.
Loss Keypoint Similarity VariFocal (KSVF): Un'estensione della loss VariFocal adattata per la stima della posa. Poiché DETRPose non predice bounding box, non può utilizzare la loss Intersection over Union (IoU). La KSVF utilizza la metrica Keypoint Similarity (OKS) e i punteggi predetti per penalizzare le predizioni di bassa qualità, incoraggiando la rete a concentrarsi su query ad alta similarità e riducendo i falsi positivi.
Ottimizzazioni Architetturali: Il decoder integra i livelli pre-pose e Fine-Grained Distribution Refinement (FDR) di D-FINE. Per ridurre ulteriormente la latenza, i layer di proiezione vengono rimossi e il decoder GroupPose viene adattato per supportare l'inferenza real-time tramite meccanismi di group self-attention.

Contributi Chiave
Il documento rivendica quattro contributi primari:

Una nuova tecnica di denoising per la stima della posa: Utilizzando l'object Keypoint Similarity (KS) per costruire sia query di keypoint positive che negative, una prima per i compiti di stima della posa.
Un layer di classificazione ausiliario Pose-LQE: Un modulo leggero che migliora le prestazioni di classificazione senza aumentare la latenza di inferenza.
Una nuova funzione di perdita (KSVF): Progettata per promuovere la selezione di query di oggetti di alta qualità utilizzando la metrica KS.
Un decoder GroupPose modificato: Adattato per abilitare la stima della posa multi-persona real-time ed end-to-end per i modelli basati su Transformer.

Risultati
Valutazioni estese sui dataset COCO, CrowdPose e OCHuman dimostrano che DETRPose raggiunge un'accuratezza comparabile o superiore alle migliori alternative, riducendo significativamente il costo computazionale e il tempo di addestramento.

Dataset COCO: DETRPose-S eguaglia l'accuratezza di YOLOv8-Pose-X e YOLO11-Pose-X (67.0 AP vs. 67.3 e 67.2 AP) ma richiede l'81% in meno di parametri (11.5M vs. 69.4M/58.8M) ed è il 52% più veloce (2.39ms vs. 5.23ms/4.93ms). DETRPose-L raggiunge 71.2 AP con una latenza di 4.66ms, superando i precedenti metodi end-to-end e offrendo un migliore compromesso tra parametri e latenza rispetto a RTMO-L.
Dataset CrowdPose: DETRPose-X stabilisce un nuovo stato dell'arte per i modelli real-time con 75.1 AP. Supera i modelli Transformer con backbone Swin-L di almeno 1 punto AP pur utilizzando significativamente meno parametri (73.3M vs. 210M) e 13.1× meno FLOP rispetto a ED-Pose-SwinL-5S.
Dataset OCHuman (Out-of-Distribution): DETRPose-S supera tutti i modelli precedenti, incluso RTMO-L (42.2 vs. 41.6 AP), dimostrando una robustezza superiore sui dati out-of-distribution.
Efficienza di Addestramento: I modelli proposti richiedono da 5 a 10 volte meno epoche di addestramento per convergere rispetto alle principali alternative.

Significatività e Limitazioni
Il paper afferma che DETRPose dimostra che i modelli basati su Transformer possono essere efficacemente adattati per la stima della posa multi-persona in tempo reale, aprendo un futuro promettente per i framework DETR in questo dominio. Affronta la sfida della latenza che storicamente ha limitato l'applicazione dei Transformer in scenari real-time.

Tuttovi, gli autori riconoscono modestamente una limitazione: nonostante abbiano FLOP simili ai modelli YOLO, DETRPose presenta una latenza leggermente superiore. Ciò è attribuito al meccanismo di group self-attention, che richiede molteplici operazioni di transpose che interrompono la contiguità dei tensori, influenzando così la velocità di inferenza sull'hardware attuale.