Enhancing Monocular 3D Hand Reconstruction with Learned Texture Priors

Sintesi Tecnica: Miglioramento della Ricostruzione 3D della Mano Monoculare tramite Prior di Texture Appresi

Definizione del Problema
La ricostruzione 3D della mano da immagini monoculari rimane un problema complesso e sotto-determinato. Sebbene esistano modelli ad alte prestazioni, essi spesso producono previsioni geometriche che non si allineano perfettamente con l'aspetto dell'immagine osservata. Gli autori osservano che i segnali di addestramento attuali, pur essendo efficaci, non riescono a sfruttare appieno le informazioni di aspetto disponibili. Inoltre, gli esistenti dataset con supervisione di texture densa sono tipicamente limitati a condizioni di studio multi-view, carendo della diversità e della scalabilità dei dati monoculari "in-the-wild". La sfida principale consiste nel sfruttare osservazioni di texture sparse, parziali e rumorose da singole immagini per migliorare sia l'accuratezza geometrica che il realismo delle ricostruzioni 3D della mano, senza richiedere texture ground-truth o input multi-view.

Metodologia
L'approccio proposto integra un modulo di texture apprendibile e leggero in una pipeline di ricostruzione esistente guidata dalla geometria (nello specifico, potenziando l'architettura transformer HaMeR). Il metodo opera attraverso tre componenti primarie:

1. Estrazione di Osservazioni Sparse: Data un'immagine di input e un mesh 3D della mano predetto (da un modello base come HaMeR), il sistema proietta all'indietro i punti superficiali visibili per estrarre coppie UV-RGB sparse. Queste coppie rappresentano osservazioni di texture parziali e specifiche per la vista.
2. Modulo di Texture Appreso: Un'architettura basata su transformer elabora queste osservazioni UV-RGB di lunghezza variabile e sparse.
   • Encoder: I valori RGB vengono incorporati tramite una convoluzione 1×1, mentre le coordinate UV vengono codificate utilizzando Random Fourier Features per iniettare il contesto spaziale. Questi vengono concatenati e processati da un decoder Transformer utilizzando token di query appresi per aggregare le caratteristiche globali.
   • Decoder: Un decoder di upscaling convoluzionale (che utilizza il pixel shuffling) converte la rappresentazione latente in una mappa di texture UV densa e a risoluzione completa (224×224).
   • Strategia di Addestramento: Il modulo è addestrato in modo debolmente supervisionato. Esso ricostruisce una mappa di texture completa che concorda con i colori osservati nelle loro corrispondenti posizioni UV. La funzione di perdita combina un termine L1 mascherato con una perdita di coerenza nel dominio di Fourier per garantire sia l'accuratezza locale che la coerenza di frequenza globale.
3. Supervisione di Allineamento Denso: La texture ricostruita viene applicata al mesh predetto e renderizzata nuovamente nello spazio dell'immagine utilizzando un renderer differenziabile (PyTorch3D). Una perdita di coerenza fotometrica viene calcolata tra l'immagine renderizzata e l'input originale. Questo segnale di allineamento denso guida il raffinamento delle stime geometriche del modello base.

Fondamentalmente, il modulo di texture agisce come un "sidecar" durante l'addestramento. Nella configurazione proposta, il backbone del modello base è congelato e solo la testa (head) viene perfezionata insieme al modulo di texture (che è pre-addestrato o sottoposto a "warm-up"). Durante l'inferenza, il modulo di texture non è richiesto; il miglioramento si manifesta esclusivamente attraverso i pesi aggiornati del modello di ricostruzione.

Contributi Chiave

• Modello di Texture Unificato da Sparse a Dense: Gli autori introducono il primo metodo in grado di accogliere osservazioni di texture della mano sparse e parziali in un modello unificato per la ricostruzione completa della texture. Ciò è ottenuto tramite una supervisione debole senza richiedere texture ground-truth o dati multi-view.
• Architettura Basata su Transformer: Una nuova architettura che impiega l'attenzione a livello di pixel e le Random Fourier Features è progettata per ricostruire texture dense e coerenti da input UV-RGB incompleti.
• Procedura di Addestramento Scalabile: Viene proposta una procedura di warm-up che inizializza il modello utilizzando un mix di dati sintetici e reali, eliminando la necessità di annotazioni manuali.
• Supervisione Fotometrica End-to-End: L'integrazione di un framework di rendering differenziabile con perdite di coerenza fotometrica permette una supervisione guidata dalla texture che migliora l'allineamento geometrico senza intervento manuale.

Risultati
Il metodo è stato valutato potenziando HaMeR [46] ed è stato testato sul dataset HInt (comprendente NEWDAYS, VISOR, ed Ego4D) nonché su benchmark standard come FreiHAND e HO3D.

• Miglioramenti Quantitativi: L'approccio supera costantemente il baseline HaMeR, in particolare nelle categorie di keypoint "Occluded" (occlusi). Ad esempio, sul dataset VISOR alla soglia @0.10, il metodo ha raggiunto un PCK del 64,2% per i keypoint occlusi rispetto al 61,8% di HaMeR. Miglioramenti sono stati osservati anche su NEWDAYS ed Ego4D.
• Performance sui Benchmark: Su FreiHAND e HO3D, il metodo ha ottenuto prestazioni comparabili al baseline, dimostrando che la supervisione guidata dalla texture non degrada le prestazioni su dataset puliti catturati in studio, fornendo al contempo vantaggi in scenari sfidanti, occlusi o egocentrici.
• Robustezza alla Sparsità: Gli esperimenti hanno mostrato che il modello di texture mantiene un'alta fedeltà di ricostruzione con appena 1.000 pixel UV visibili, indicando robustezza alla supervisione sparsa tipica dei dati monoculari.
• Efficienza: Il modulo di texture aggiunge circa 70ms per iterazione di addestramento e introduce un costo computazionale nullo al momento del test, poiché il modello finale si affida solo ai pesi aggiornati della rete base.

Significatività e Rivendicazioni
L'articolo sostiene che l'allineamento guidato dall'aspetto serva come un complemento significativo all'addestramento guidato dalla geometria, particolarmente in scenari in cui i segnali geometrici sono ambigui (ad esempio, grave occlusione o punti di vista egocentrici). Gli autori sottolineano che la loro soluzione è pratica e modulare: non richiede annotazioni manuali extra, scala su dati monoculari non curati e migliora sia l'accuratezza geometrica che il realismo visivo. Il lavoro stabilisce una base per futuri miglioramenti dimostrando che i prior di texture appresi possono essere integrati efficacementmente in pipeline di ricostruzione esistenti per risolvere le ambiguità nella stima della posa e della forma della mano 3D.