Fast-HaMeR: Boosting Hand Mesh Reconstruction using Knowledge Distillation

1. Il Problema

La ricostruzione 3D della mano in tempo reale è fondamentale per applicazioni come Realtà Virtuale/Aumentata (VR/AR), interazione uomo-computer, robotica e sanità. Tuttavia, gli attuali metodi state-of-the-art (SOTA), in particolare HaMeR, pur offrendo un'accuratezza eccezionale, si basano su architetture pesanti (come il backbone ViT-Huge) che richiedono risorse computazionali elevate. Questo li rende inadatti per dispositivi con risorse limitate come visori, smartphone e sistemi embedded, dove è necessaria un'inferenza rapida e a basso consumo energetico.

L'obiettivo principale del lavoro è accelerare la ricostruzione della mesh della mano riducendo drasticamente il costo computazionale e le dimensioni del modello, mantenendo al contempo un'accuratezza ricostruttiva comparabile a quella dei modelli pesanti originali.

2. Metodologia

Gli autori propongono un framework basato sulla Distillazione della Conoscenza (Knowledge Distillation - KD). L'approccio trasferisce la conoscenza da un modello "insegnante" (Teacher) grande e accurato a un modello "studente" (Student) leggero e veloce.

• Modello Insegnante (Teacher): Viene utilizzato HaMeR (Pavlakos et al., 2024), un modello SOTA basato su Transformer con un backbone ViT-Huge. I suoi pesi sono congelati durante l'addestramento.
• Modello Studente (Student): La struttura generale di HaMeR viene mantenuta, ma il pesante backbone ViT-Huge viene sostituito con architetture più leggere ed efficienti:
  • MobileNet
  • MobileViT
  • ConvNeXt
  • ResNet
• Strategie di Distillazione: Vengono valutate tre strategie per guidare l'apprendimento dello studente:
  1. Distillazione a livello di Output: Lo studente imita le previsioni finali del teacher (parametri MANO, punti chiave 2D/3D, parametri camera).
  2. Distillazione a livello di Feature: Lo studente imita le mappe di caratteristiche intermedie del teacher. Viene utilizzata una convoluzione 1x1 proiettiva ($\phi$) per allineare le dimensioni dei canali e interpolazione bilineare per le dimensioni spaziali.
  3. Distillazione Ibrida (Combinata): Una combinazione delle due strategie precedenti.

La funzione di perdita totale combina la perdita supervisionata sui dati reali ($L_{GT}$) con la perdita di distillazione ($L_{KD}$), controllata da pesi specifici ($\lambda_{KD}$, $\gamma_{feat}$).

3. Contributi Chiave

1. Validazione delle Strategie di Distillazione: Dimostrazione dell'efficacia delle perdite di distillazione (output e feature) specificamente per il compito complesso della ricostruzione della mesh della mano, andando oltre la semplice stima della posa delle articolazioni.
2. Alternativa Leggera a HaMeR: Proposta di una versione ottimizzata di HaMeR che riduce le dimensioni del modello al 35% dell'originale, ottenendo un'accelerazione dell'inferenza di 1.5x, con una differenza di accuratezza minima di soli 0.4 mm.
3. Analisi Architetturale: Identificazione che la distillazione a livello di feature è più efficace per studenti ad alta capacità (come ConvNeXt), mentre la distillazione a livello di output funziona meglio per modelli più piccoli o strutturalmente allineati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset HO3D-v2, utilizzando una GPU consumer (RTX 4060 Ti).

• Prestazioni di Base (Senza KD): Sostituire ViT-H con backbone leggeri (es. ResNet-50, ConvNeXt-L) senza distillazione ha già mostrato compromessi promettenti, riducendo i parametri fino al 90% con un calo di accuratezza contenuto.
• Impatto della Distillazione:
  • Output-Level: Ha mostrato miglioramenti marginali o nulli per i modelli più piccoli (es. MobileNet), ma ha beneficiato modelli come MobileViT-S e ResNet-101.
  • Feature-Level: Ha prodotto i risultati migliori per il modello ConvNeXt-L. Con i parametri ottimali ($\lambda_{KD}=0.8, \gamma_{FD}=12$), il modello studente ha raggiunto un errore PA-MPVPE di 8.3 mm (rispetto a 7.9 mm di HaMeR originale) e un FPS di 40 (rispetto a 27 FPS di HaMeR).
  • Ibrida: La combinazione delle due strategie non ha superato i metodi singoli, suggerendo che i segnali di distillazione potrebbero diluirsi quando combinati.
• Confronto SOTA: Il modello proposto (ConvNeXt-L + KD) supera o è comparabile a metodi recenti come HandOccNet, METRO e ArtiBoost, offrendo al contempo un'efficienza computazionale superiore.
• Qualità Visiva: Le analisi qualitative mostrano che il modello studente ricostruisce mesh di alta qualità anche in scenari difficili (occlusioni reciproche, interazioni con oggetti), con errori visivamente minimi rispetto al teacher.

5. Significato e Impatto

Il lavoro Fast-HaMeR dimostra che è possibile rendere accessibili modelli di ricostruzione 3D della mano di livello SOTA su dispositivi con risorse limitate senza sacrificare significativamente la qualità.

• Efficienza: Rende fattibile l'uso di ricostruzioni mesh complesse in tempo reale su hardware edge.
• Flessibilità: Il framework è generalizzabile ad altri modelli di ricostruzione, non solo a HaMeR.
• Direzioni Future: Suggerisce che tecniche di distillazione più avanzate (basate su attenzione, spaziali o relazionali) potrebbero ulteriormente migliorare l'apprendimento delle rappresentazioni feature complesse da parte degli studenti.

In sintesi, Fast-HaMeR colma il divario tra l'alta accuratezza dei modelli basati su Transformer e le esigenze di velocità e efficienza dei dispositivi reali, aprendo la strada a nuove applicazioni pratiche in VR/AR e robotica.