Enhancing Monocular 3D Hand Reconstruction with Learned Texture Priors

Technische Samenvatting: Verbeteren van Monoculaire 3D-handreconstructie met Geleerde Textuur-priors

Probleemstelling
Monoculaire 3D-handreconstructie blijft een uitdagend, onderbepaald probleem. Hoewel er hoogwaardige modellen bestaan, produceren deze vaak geometrische voorspellingen die niet perfect overeenkomen met de waargenomen beeldverschijning. De auteurs merken op dat huidige trainingssignalen, hoewel effectief, de beschikbare verschijningsinformatie niet volledig benutten. Bovendien zijn bestaande datasets met dichte textuursupervisie doorgaans beperkt tot multi-view studioomstandigheden, en missen zij de diversiteit en schaalbaarheid van "in-the-wild" monoculaire data. De kernuitdaging bestaat uit het benutten van schaarse, partiële en ruisgevoelige textuurwaarnemingen uit enkelvoudige afbeeldingen om zowel de geometrische nauwkeurigheid als het realisme van 3D-handreconstructies te verbeteren, zonder dat daarvoor grondwaarheid-texturen of multi-view inputs vereist zijn.

Methodologie
De voorgestelde aanpak integreert een lichtgewicht, leerbaar textuurmodule in een bestaand geometrie-gestuurd reconstructiepipeline (specifiek door de HaMeR transformer-architectuur aan te vullen). De methode werkt via drie primaire componenten:

1. Extractie van Schaarse Waarnemingen: Gegeven een invoerafbeelding en een voorspelde 3D-handmesh (van een basismodel zoals HaMeR), extraheert het systeem zichtbare oppervlaktepunten door middel van back-projectie om schaarse UV-RGB-paren te verkrijgen. Deze paren vertegenwoordigen partiële, view-specifieke textuurwaarnemingen.
2. Geleerde Textuurmodule: Een transformer-gebaseerde architectuur verwerkt deze variabele lengte, schaarse waarnemingen.
   • Encoder: RGB-waarden worden geëmbded via een 1×1 convolutie, terwijl UV-coördinaten worden gecodeerd met behulp van Random Fourier Features om ruimtelijke context te injecteren. Deze worden geconcateneerd en verwerkt door een Transformer-decoder met geleerde query-tokens om globale kenmerken te aggregeren.
   • Decoder: Een convolutionele upscaling-decoder (gebruikmakend van pixel shuffling) zet de latente representatie om in een dichte, full-resolution UV-textuurkaart (224×224).
   • Trainingsstrategie: De module wordt op een zwak gesuperviseerde wijze getraind. Het reconstrueert een volledige textuurkaart die overeenkomt met de geobserveerde kleuren op hun corresponderende UV-posities. De verliesfunctie combineert een gemaskeerde L1-term met een Fourier-domein consistentieverlies om zowel lokale nauwkeurigheid als globale frequentiecoherentie te waarborgen.
3. Dichte Uitlijning-supervisie: De gereconstrueerde textuur wordt toegepast op de voorspelde mesh en terug gerenderd naar de beeldruimte met behulp van een differentieerbare renderer (PyTorch3D). Een fotometrische consistentieverlies wordt berekend tussen dit gerenderde beeld en de originele invoerafbeelding. Dit dichte uitlijningssignaal stuurt de verfijning van de geometrische schattingen van het basismodel aan.

Cruciaal is dat de textuurmodule tijdens de training fungeert als een "sidecar". In de voorgestelde configuratie is de backbone van het basismodel bevroren, en wordt alleen de head gefinetuned naast de textuurmodule (die is voorgetraind of "opgewarmd"). Tijdens de inferentie is de textuurmodule niet vereist; de verbetering manifesteert zich uitsluitend via de bijgewerkte gewichten van het reconstructiemodel.

Belangrijkste Bijdragen

• Verenigd Sparse-to-Dense Textuurmodel: De auteurs introduceren de eerste methode die schaarse, partiële handtextuurwaarnemingen accommodeert in een verenigd model voor volledige textuurreconstructie. Dit wordt bereikt via zwakke supervisie zonder de noodzaak van grondwaarheid-texturen of multi-view data.
• Transformer-gebaseerde Architectuur: Een nieuwe architectuur die gebruikmaakt van pixel-niveau aandacht en Random Fourier Features is ontworpen om dichte, coherente texturen te reconstrueren uit incomplete UV-RGB inputs.
• Schaalbare Trainingsprocedure: Er wordt een warm-up procedure voorgesteld die het model initialiseert met een mix van synthetische en real-world data, waardoor handmatige annotaties overbodig worden.
• End-to-End Fotometrische Supervisie: De integratie van een differentieerbaar renderingframework met fotometrische consistentieverliezen maakt textuur-gestuurde supervisie mogelijk die de geometrische uitlijning verbetert zonder handmatige interventie.

Resultaten
De methode werd geëvalueerd door HaMeR [46] aan te vullen en getest op de HInt dataset (bestaande uit NEWDAYS, VISOR en Ego4D) evenals op standaard benchmarks zoals FreiHAND en HO3D.

• Kwantitatieve Verbeteringen: De aanpak presteert consistent beter dan de baseline HaMeR, met name in de "Occluded" keypoint categorieën. Zo behaalde de methode op de VISOR dataset bij de @0.10 drempelwaarde 64,2% PCK voor geoccludeerde keypoints, vergeleken met 61,8% voor HaMeR. Verbeteringen werden ook waargenomen op NEWDAYS en Ego4D.
• Benchmark Prestaties: Op FreiHAND en HO3D behaalde de methode prestaties die vergelijkbaar zijn met de baseline, wat aantoont dat de textuur-gestuurde supervisie de prestaties op schone, in een studio opgenomen datasets niet verslechtert, terwijl het wel winst oplevert in uitdagende, geoccludeerde of egocentrische scenario's.
• Robuustheid tegen Schaarste: Experimenten toonden aan dat het textuurmodel een hoge reconstructiefideliteit behoudt met slechts 1.000 zichtbare UV-pixels, wat wijst op robuustheid tegen de schaarse supervisie die typerend is voor monoculaire data.
• Efficiëntie: De textuurmodule voegt ongeveer 70ms toe per trainingsiteratie en introduceert nul computationele kosten tijdens de testtijd, aangezien het uiteindelijke model enkel vertrouwt op de bijgewerkte gewichten van het basisnetwerk.

Significantie en Claims
Het artikel claimt dat verschijningsgestuurde uitlijning dient als een betekenend complement aan geometrie-gestuurde training, met name in scenario's waar geometrische aanwijzingen ambigu zijn (bijv. ernstige occlusie of egocentrische gezichtspunten). De auteurs benadrukken dat hun oplossing praktisch en modulair is: het vereist geen extra handmatige annotatie, schaalt naar ongecureerde monoculaire data en verbetert zowel de geometrische nauwkeurigheid als de visuele realisme. Het werk legt een fundament voor toekomstige verbeteringen door aan te tonen dat geleerde textuur-priors effectief kunnen worden geïntegreerd in bestaande reconstructiepipelines om ambiguïteiten in 3D-handpose en vormschatting op te lossen.