Technische Samenvatting: ScaleHP – Schatten van Handhouding in de Metrische Ruimte

1. Probleemdefinitie

Nauwkeurige handhouding-schatting (Hand Pose Estimation, HPE) in de metrische ruimte (absolute cameracoördinaten met een werkelijke schaal) is cruciaal voor immersieve mens-computerinteractie (HCI), virtuele/augmented reality (VR/AR) en robotica. De huidige methoden opereren echter voornamelijk in wortel-relatieve coördinatensystemen, waarbij handhoudingen worden voorspeld ten opzichte van een referentiegewricht (bijv. de pols), zonder de absolute grootte of afstand van de hand tot de camera te bepalen.

De kernuitdaging bij de overgang naar de metrische ruimte is de inherente diepte-schaal ambiguïteit van monoculaire beelden. Huidige benaderingen die dit proberen op te lossen, vertrouwen vaak op:

• Auxiliaire diepteschattingmodules: Deze zijn fragiel en falen wanneer de achtergrond afwijkt van de trainingsdistributies of wanneer alleen de hand zichtbaar is.
• Parametrische modelregressie: Deze negeren vaak de absolute schaal of vereisen vooraf berekende dieptekaarten.
• Twee-fasen pipelines: Eerst de wortel-relatieve houding schatten, en vervolgens naar de cameraruimte tillen met behulp van externe schaalparameters of aannames.

Deze methoden hebben moeite om stabiele, precieze metrische voorspellingen te bieden in gegeneraliseerde, real-world scenario's.

2. Methodologie: ScaleHP

De auteurs stellen ScaleHP voor, een end-to-end, één-fasen framework dat fragiele extrinsieke dieptemodules omzeilt door gebruik te maken van intrinsieke antropometrische priors. De kernhypothese is dat de proportionele relaties tussen menselijke handbeenderen stabiele informatie bevatten over de algehele metrische grootte van de hand, die direct uit de afbeelding kan worden afgeleid.

2.1 Architectuuroverzicht

ScaleHP bestaat uit drie hoofdonderdelen (geïllustreerd in Fig. 2):

1. Bevroren Detector Backbone: Maakt gebruik van een vooraf getrainde, bevroren DETR-stijl detector (bijv. Grounding DINO) om multi-modale kenmerken te extraheren en handen te lokaliseren via tekstprompts. Dit zorgt voor robuuste feature-extractie zonder de backbone te trainen.
2. Metrische 2D–3D Decoder: Een innovatieve Transformer-gebaseerde decoder die 2D-observaties naar de 3D metrische ruimte tilt.
3. Training-vrije Analytische Module: Een geometrische solver die de uiteindelijke translatievector berekent op basis van perspectivische beperkingen.

2.2 Kerncomponenten

De Scale Token

De centrale innovatie is de introductie van een toegewezen scale token ($Q_s$) binnen de Transformer-decoder.

• Initialisatie: Geïnitialiseerd vanuit de hand-instant query.
• Interactie: De scale token gaat een self-attention aan met 2D en 3D joint queries om skeletverhoudingen en topologie te leren. Vervolgens interageert het met multi-schaal beeldkenmerken via deformable attention om globale verschijning en ruimtelijke bezetting te vangen.
• Voorspelling: De token geeft een scalaire globale schaal ($s$) uit, die de gemiddelde lengte van specifieke handbeenderen (bijv. wijs-, middel- en ringvinger) vertegenwoordigt. Dit stelt het model in staat om een deterministische mapping te leren van pixelconfiguraties naar werkelijke lengtes.

Metrische Herstel via Perspectivische Beperkingen

Zodra de globale schaal $s$ is voorspeld, herstelt het framework de absolute translatievector $t$ zonder een aparte diepteregressor te leren.

• Formulering: De relatie tussen wortel-relatieve 3D-coördinaten ($J_{rel}$), 2D-pixelcoördinaten ($J_{2D}$) en cameraintrinsieken ($K$) wordt gemodelleerd onder perspectivische projectie.
• Oplossing: De auteurs formuleren een stelsel lineaire vergelijkingen (2N vergelijkingen voor N keypoints) waarbij de onbekende de diepte-translatie ($t_z$) is. Dit stelsel wordt opgelost met een kleinste-kwadraten-methode.
• Resultaat: De herstelde $t$ en de voorspelde $s$ worden toegepast op de wortel-relatieve houding om de hand te reconstrueren in het ware metrische camerasysteem.

2.3 Verliesfuncties (Loss Functions)

Het model wordt end-to-end getraind met vier supervisiesignalen:

1. 2D Supervisie: L1-loss en Object Keypoint Similarity (OKS) op 2D-keypoints.
2. 3D Supervisie: L1-loss op wortel-relatieve 3D-keypoints.
3. Metrische Schaal Supervisie: Mean Squared Error (MSE) tussen de voorspelde schaal-scalar en de grondwaarheid-schaal afgeleid van botlengtes.
4. Projectie Supervisie: Zwakke supervisie door voorspelde 3D-joints terug te projecteren naar 2D en deze te vergelijken met annotaties.

3. Belangrijkste Bijdragen

1. Metrisch-bewust Framework: Het artikel introduceert een framework dat expliciet de globale schaal van de hand modelleert met behulp van intrinsieke anatomische botverhoudingen, waardoor de diepte-ambiguïteit wordt verminderd zonder afhankelijk te zijn van externe diepteschatters.
2. ScaleHP Architectuur: Het eerste end-to-end één-fasen framework voor metrische ruimte HPE, voorzien van een scale token die interacteert met pose queries om een directe mapping van beeldkenmerken naar absolute fysieke schaal te leren.
3. Training-vrije Analytische Solver: Een nieuwe aanpak voor het herstellen van globale translatie via een kleinste-kwadraten-oplossing onder perspectivische beperkingen, wat het overtollig maken van geleerde diepteregressoren voorkomt.
4. State-of-the-Art Prestaties: De methode behaalt superieure resultaten op standaard benchmarks, wat aantoont dat interne biologische beperkingen zowel relatieve geometrie als absolute metrische fouten aanzienlijk verminderen.

4. Experimentele Resultaten

De auteurs hebben ScaleHP geëvalueerd op de FreiHand, DexYCB en HO3Dv3 benchmarks.

• Primaire Metriek (CS-MPJPE): Dit meet de gemiddelde Euclidische afstand in de cameraruimte zonder uitlijning.

  • FreiHand: 35,8 mm (tegenover 42,4 mm voor de op één na beste baseline, NFV).
  • DexYCB: 136,3 mm (tegenover 183,2 mm voor CMR + GS).
  • HO3Dv3: 50,7 mm (tegenover 132,6 mm voor HandDGP + GS).
  • Opmerking: De auteurs merken op dat baselines vaak een "Optimal Global Scale" (GS) post-hoc aanpassing nodig hebben om competitief te zijn, terwijl ScaleHP deze schaal end-to-end voorspelt.

• Uitgelijnde Metrieken (P-MPJPE / R-MPJPE):

  • Op FreiHand bereikt ScaleHP een P-MPJPE van 5,0 mm, waarmee het de state-of-the-art evenaart.
  • Op DexYCB bereikt het een P-MPJPE van 4,6 mm en een R-MPJPE van 10,3 mm.
  • Op HO3Dv3 bereikt het een P-MPJPE van 5,9 mm.

• Ablatie-studies:

  • Scale Token: Het verwijderen van de scale token verhoogt de CS-MPJPE aanzienlijk (bijv. van 35,8 naar 44,3 mm op FreiHand), wat de noodzaak ervan bevestigt voor metrische nauwkeurigheid.
  • Diepte-ambiguïteit: De scale token verbetert ook de relatieve geometrie (P-MPJPE), specif으로 door de fouten langs de Z-as (diepte) te verminderen, wat aangeeft dat het fungeert als een geometrische regularisator.
  • Trainingsstrategie: Gezamenlijke training van de scale token met joint queries presteert beter dan gedecoupleerde pre-training/fine-tuning strategieën.

5. Betekenis en Claims

Het artikel claimt dat ScaleHP een robuuste oplossing biedt voor gegeneraliseerde, real-world handtracking door het paradigma te verschuiven van fragiele, contextafhankelijke diepteschatting naar intrinsieke biologische priors.

• Robuustheid: Door de schaal uitsluitend af te leiden uit de interne structuur van de hand, blijft de methode invariant voor extrinsieke omgevingsfactoren (bijv. veranderingen in de achtergrond, scènecontext), waardoor de schaal-diepte ambiguïteit die inherent is aan monoculaire 3D-reconstructie effectief wordt omzeild.
• Generalisatie: Het framework vertoont sterke prestaties op "in-the-wild" afbeeldingen en gaat goed om met hand-object interacties, ernstige occlusies en grote viewpoint-veranderingen waar voorheen gebruikte methoden vaak falen.
• Efficiëntie: Het één-fasen, end-to-end ontwerp vermijdt de computationele overhead en foutaccumulatie van meerfasen-pipelines of hulp-dieptenetwerken.

De auteurs concluderen dat het benutten van antropometrische regelmatigheden de reconstructie van handgeometrie in de absolute camera-coördinaten metrische ruimte mogelijk maakt, wat een fundament legt voor toepassingen die een precieze ruimtelijke opvatting vereisen, zoals teleoperatie en behendige robotmanipulatie.