Riepilogo Tecnico: ScaleHP – Stima della Posa della Mano nello Spazio Metrico

1. Definizione del Problema

Una precisa stima della posa della mano (HPE - Hand Pose Estimation) nello spazio metrico (coordinate assolute della telecamera con scala del mondo reale) è fondamentale per l'interazione uomo-computer (HCI) immersiva, la realtà virtuale/aumentata (VR/AR) e la robotica. Tuttavia, i metodi esistenti operano prevalentemente in sistemi di coordinate relativi alla radice (root-relative), prevedendo le pose della mano rispetto a un giunto di riferimento (ad esempio, il polso) senza determinare la dimensione assoluta o la distanza della mano dalla telecamera.

La sfida principale nel passaggio allo spazio metrico è l'inerente ambiguità profondità-scala delle immagini monoculari. Gli approcci attuali che tentano di risolvere questo problema spesso si affidano a:

• Moduli di stima della profondità ausiliari: Questi sono fragili e falliscono quando lo sfondo devia dalle distribuzioni di addestramento o quando è visibile solo la mano.
• Regressione di modelli parametrici: Questi spesso ignorano la scala assoluta o richiedono mappe di profondità pre-calcolate.
• Pipeline a due stadi: Stima prima la posa relativa alla radice, per poi elevarla nello spazio della telecamera utilizzando parametri di scala esterni o assunzioni.

Questi metodi faticano a fornire previsioni metriche stabili e precise in scenari reali generalizzati.

2. Metodologia: ScaleHP

Gli autori propongono ScaleHP, un framework end-to-end a stadio singolo che evita i fragili moduli di profondità estrinseci sfruttando gli prior antropometrici intrinseci. L'ipotesi centrale è che le relazioni proporzionali tra le ossa della mano umana codifichino informazioni stabili sulla dimensione metrica complessiva della mano, che possono essere inferite direttamente dall'immagine.

2.1 Panoramica dell'Architettura

ScaleHP è composto da tre componenti principali (illustrate nella Fig. 2):

1. Backbone del Rilevatore Congelato: Utilizza un rilevatore di tipo DETR pre-addestrato e congelato (ad esempio, Grounding DINO) per estrarre feature multi-modali e localizzare le mani tramite prompt testuali. Questo fornisce un'estrazione robusta delle feature senza addestrare il backbone.
2. Decoder Metrico 2D–3D: Un nuovo decoder basato su Transformer che eleva le osservazioni 2D allo spazio metrico 3D.
3. Modulo Analitico Free-Training: Un risolutore geometrico che calcola il vettore di traslazione finale basandosi su vincoli di prospettiva.

2.1 Componenti Chiave

Il Token di Scala (Scale Token)

L'innovazione centrale è l'introduzione di un dedicato token di scala ($Q_s$) all'interno del decoder Transformer.

• Inizializzazione: Inizializzato dal query dell'istanza della mano.
• Interazione: Il token di scala partecipa all'auto-attenzione (self-attention) con i query dei giunti 2D e 3D per apprendere le proporzioni scheletriche e la topologia. Interagisce poi con le feature dell'immagine multi-scala tramite attenzione deformabile (deformable attention) per catturare l'aspetto globale e l'occupazione spaziale.
• Predizione: Il token restituisce uno scalare di scala globale ($s$), che rappresenta la lunghezza media di specifiche ossa della mano (ad esempio, indice, medio, anulare). Ciò consente al modello di apprendere una mappatura deterministica dalle configurazioni di pixel alle lunghezze del mondo reale.

Recupero Metrico tramite Vincoli di Prospettiva

Una volta predetta la scala globale $s$, il framework recupera il vettore di traslazione assoluto $t$ senza apprendere un separato regressore di profondità.

• Formulazione: La relazione tra le coordinate 3D relative alla radice ($J_{rel}$), le coordinate dei pixel 2D ($J_{2D}$) e le costanti intrinseche della telecamera ($K$) è modellata sotto proiezione prospettica.
• Soluzione: Gli autori formulano un sistema di equazioni lineari (2N equazioni per N punti chiave) dove l'incognita è la traslazione di profondità ($t_z$). Questo sistema viene risolto utilizzando un approccio ai minimi quadrati.
• Risultato: Il $t$ recuperato e il $s$ predetto vengono applicati alla posa relativa alla radice per ricostruire la mano nel vero sistema di coordinate metriche della telecamera.

2.3 Funzioni di Perdita (Loss Functions)

Il modello è addestrato end-to-end utilizzando quattro segnali di supervisione:

1. Supervisione 2D: Perdita L1 e Object Keypoint Similarity (OKS) sui punti chiave 2D.
2. Supervisione 3D: Perdita L1 sui punti chiave 3D relativi alla radice.
3. Supervisione della Scala Metrica: Mean Squared Error (MSE) tra lo scalare di scala predetto e la scala reale derivata dalle lunghezze ossee.
4. Supervisione di Proiezione: Supervisione debole proiettando i giunti 3D predetti nuovamente in 2D e confrontandoli con le annotazioni.

3. Contributi Principali

1. Framework Consapevole della Metrica (Metric-Aware): Il paper introduce un framework che modella esplicitamente la scala globale della mano utilizzando le proporzioni anatomiche intrinseche delle ossa, mitigando l'ambiguità della profondità senza fare affidamento su stimatori di profondità esterni.
2. Architettura ScaleHP: Il primo framework end-to-end a stadio singolo per l'HPE in spazio metrico, caratterizzato da un token di scala che interagisce con i query della posa per apprendere una mappatura diretta dalle feature dell'immagine alla scala fisica assoluta.
3. Risolutore Analitico Free-Training: Un approccio innovativo per recuperare la traslazione globale tramite una soluzione ai minimi quadrati sotto vincoli di prospettiva, evitando la necessità di regressori di profondità appresi.
4. Prestazioni allo Stato dell'Arte: Il metodo raggiunge risultati superiori nei benchmark standard, dimostrando che i vincoli biologici interni riducono significativamente sia la geometria relativa che gli errori metrici assoluti.

4. Risultati Sperimentali

Gli autori hanno valutato ScaleHP sui benchmark FreiHand, DexYCB e HO3Dv3.

• Metrica Primaria (CS-MPJPE): Misura la distanza euclidea media nello spazio della telecamera senza allineamento.

  • FreiHand: 35.8 mm (rispetto a 42.4 mm del miglior baseline, NFV).
  • DexYCB: 136.3 mm (rispetto a 183.2 mm per CMR + GS).
  • HO3Dv3: 50.7 mm (rispetto a 132.6 mm per HandDGP + GS).
  • Nota: Gli autori osservano che i baseline spesso richiedono un aggiustamento post-hoc "Optimal Global Scale" (GS) per essere competitivi, mentre ScaleHP predice questa scala end-to-end.

• Metriche Allineate (P-MPJPE / R-MPJPE):

  • Su FreiHand, ScaleHP raggiunge un P-MPJPE di 5.0 mm, pareggiando lo stato dell'arte.
  • Su DexYCB, raggiunge un P-MPJPE di 4.6 mm e un R-MPJPE di 10.3 mm.
  • Su HO3Dv3, raggiunge un P-MPJPE di 5.9 mm.

• Studi di Ablazione:

  • Token di Scala: Rimuovere il token di scala aumenta significativamente il CS-MPJPE (ad esempio, da 35.8 a 44.3 mm su FreiHand), confermando la sua necessità per l'accuratezza metrica.
  • Ambiguità della Profondità: Il token di scala migliora anche la geometria relativa (P-MPJPE), riducendo specificamente gli errori lungo l'asse Z (profondità), indicando che agisce come un regolarizzatore geometrico.
  • Strategia di Addestramento: L'addestramento congiunto del token di scala con i query dei giunti supera le strategie di pre-addestramento/fine-tuning disaccoppiate.

5. Significato e Rivendicazioni

Il paper sostiene che ScaleHP offra una soluzione robusta per il tracciamento della mano in scenari reali generalizzati, spostando il paradigma dalla fragile stima della profondità dipendente dal contesto alla prior biologica intrinseca.

• Robustezza: Derivando la scala esclusivamente dalla struttura interna della mano, il metodo rimane invariante rispetto ai fattori ambientali estrinseci (ad esempio, cambiamenti dello sfondo, contesto della scena), aggirando efficacemente l'ambiguità scala-profondità inerente alla ricostruzione 3D monoculare.
• Generalizzazione: Il framework dimostra prestazioni elevate su immagini "in-the-wild", gestendo interazioni mano-oggetto, occlusioni severe e grandi cambiamenti di viewpoint dove i metodi precedenti spesso falliscono.
• Efficienza: Il design end-to-end a stadio singolo evita il carico computazionale e l'accumulo di errori tipici delle pipeline multi-stadio o delle reti di profondità ausiliarie.

Gli autori concludono che sfruttare le regolarità antropometriche permette la ricostruzione della geometria della mano nello spazio metrico assoluto della telecamera, fornendo una base per applicazioni che richiedono una comprensione spaziale precisa, come la teleoperazione e la manipolazione robotica destra.