EgoPressDiff: Multimodal Video Diffusion for Egocentric UV-Domain Hand-Pressure Estimation

Riassunto Tecnico: EgoPressDiff

Definizione del Problema

Stimare la pressione di contatto mano-superficie da una visuale egocentrica (in prima persona) è una capacità critica per applicazioni in AR/VR, imitazione robotica e analisi ergonomica. Sebbene la misurazione diretta richieda sensori ingombranti, la stima basata sulla visione offre un'alternativa scalabile. Tuttavia, i metodi esistenti affrontano tre limitazioni primarie:

1. Errori di Discretizzazione: La maggior parte degli approcci classifica i pixel in bin discreti, introducendo errori di quantizzazione e fallendo nel catturare variazioni di pressione sottili.
2. Incostanza Temporale: Le pipeline attuali spesso elaborano i frame indipendentemente, ignorando il contesto temporale delle azioni (ad esempio, premere, picchiarsi e rilasciare), il che porta a predizioni sfarfallanti o incoerenti.
3. Limiti dei Prior Geometrici: I metodi esistenti si affidano pesantemente ai dati RGB con informazioni geometriche limitate, fallendo nel sfruttare appieno le condizioni strutturate come profondità, cinematica scheletrica e geometria del mesh 3D per inferire la fisica del contatto sottostante.

Metodologia: EgoPressDiff

Gli autori propongono EgoPressDiff, un framework di diffusione video condizionale che inquadra la stima della pressione della mano come un compito di generazione video continuo e dinamico. Invece della classificazione per pixel, il modello genera una sequenza temporalmente coerente di mappe di pressione UV che possono essere testurizzate su un modello di mano 3D MANO.

Architettura Core

Il framework utilizza una strategia di condizionamento multi-modale per guidare il processo generativo, garantendo che l'output sia sia visivamente plausibile che fisicamente fondato. La pipeline di addestramento (Figura 2a) elabora cinque flussi di input:

1. PoseNet: Una rete convoluzionale leggera (ispirata ad AnimateAnyone) che estrae caratteristiche della posa della mano dalle mappe di posa. Queste caratteristiche vengono aggiunte al latent di input per migliorare la consapevolezza della postura senza l'overhead computazionale di un'integrazione completa di ControlNet.
2. Vertex Encoder: Un modulo specializzato progettato per estrarre rappresentazioni compatte e temporalmente coerenti dai vertici della mano 3D MANO. Utilizza un processo in tre fasi:
   • Estrazione Spaziale: Normalizza i vertici per rimuovere traslazione/scala globale, quindi utilizza un MLP condiviso per mappare le coordinate in uno spazio ad alta dimensionalità.
   • Mixing Temporale: Applica convoluzioni depthwise-separable impilate per catturare la dinamica temporale locale.
   • Proiezione: Mappa le caratteristiche in un output a 1024 dimensioni tramite un livello lineare e LayerNorm.
3. Codifica della Profondità: Le mappe di profondità sono codificate utilizzando un Variational Autoencoder (VAE) per proiettare le caratteristiche nello stesso spazio latente dell'input.
4. Codifica dell'Immagine: Un codificatore d'immagine CLIP elabora i frame RGB egocentrici per fornire un contesto visivo globale.

Strato Spaziale Calibrato dalla Distribuzione (DC Spatial Layer)

Per fondere efficacemente caratteristiche eterogenee (embedding di immagine e di vertice) all'interno della U-Net, gli autori introducono lo Strato Spaziale DC. Le tipiche U-Net solitamente si condizionano su embedding testuali; EgoPressDiff sostituisce questo con un design a due rami che si condiziona sia sugli embedding dell'immagine che su quelli dei vertici.

• La Sfida: Gli embedding provenienti da domini diversi (immagine vs geometria 3D) occupano spazi di caratteristiche disparati, portando a un condizionamento instabile.
• La Soluzione: Un blocco di calibrazione allinea le proprietà statistiche dei due flussi latenti prima della fusione. Esso calcola la media ($\mu$) e la deviazione standard ($\sigma$) per entrambi i latenti e rimappa il latente dei vertici ($\bar{z}_{vtx}$) per far corrispondere la distribuzione statistica al latente dell'immagine ($z_{img}$) utilizzando la formula:
  $$\bar{z}_{vtx} = \frac{z_{vtx} - \mu_{vtx}}{\sigma_{vtx}} \times \sigma_{img} + \mu_{img}$$
  Il latente calibrato viene poi fuso tramite addizione elemento per elemento.

Obiettivo di Addestramento

Il modello è addestrato end-to-end utilizzando una perdita di ricostruzione MSE pesata. Una maschera UV binaria viene applicata alla funzione di perdita per dare maggiore peso ai pixel all'interno della regione valida della mano, costringendo il modello a dare priorità all'accuratezza della ricostruzione sulla superficie della mano.

Contributi Chiave

1. Prima Applicazione di Video Diffusion: Per quanto ne sappiano gli autori, questa è la prima applicazione di un modello di diffusione video al compito di stima della pressione della mano.
2. Fondamento Fisico Multi-Modale: Il metodo introduce un meccanismo di condizionamento che fonde prior geometrici multi-modali (profondità, posa e vertici 3D) con caratteristiche visive, radicando la generazione della pressione nella cinematica fisica.
3. Calibrazione della Distribuzione: La proposta dello Strato Spaziale DC per allineare le proprietà statistiche tra modalità eterogenee, consentendo un condizionamento cross-modale stabile.
4. Prestazioni allo Stato dell'Arte: Il metodo raggiunge nuovi risultati allo stato dell'arte nell'impostazione ego-view di EgoPressure.

Risultati Sperimentali

Il metodo è stato valutato sul dataset EgoPressure, che contiene interazioni di 21 partecipanti catturate da telecamere RGB-D montate sulla testa e statiche.

Prestazioni Quantitative

Rispetto ai baseline (PressureVision, PressureVision con HaMeR, PressureVision++, e PressureFormer), EgoPressDiff dimostra miglioramenti significativi:

• IoU Volumetrico: Migliorato di oltre il 34% rispetto al baseline più forte (PressureVision++), raggiungendo il 32,61% (rispetto al 24,19% del baseline).
• IoU di Contatto: Ha raggiunto il 39,53%, superando il 32,25% del baseline.
• MAE: Ridotto a 43 kPa (più basso è meglio), rispetto ai 48 kPa del baseline.
• Accuratezza Temporale: Ha mantenuto un'alta accuratezza al 94%.

Analisi Qualitativa

I confronti visivi (Figura 4) evidenziano che EgoPressDiff produce transizioni di pressione più fluide e regioni di contatto più accurate. A differenza dei baseline che soffrono di gradienti grossolani a causa della discretizzazione, il modello di diffusione cattura campi di pressione continui. Identifica correttamente il contatto su specifiche dita (ad esempio, il dito medio) evitando falsi positivi su dita non a contatto (ad esempio, l'indice), una capacità attribuita all'integrazione di profondità, geometria e informazioni temporali.

Studi di Ablazione

Gli esperimenti di ablazione (Tabella 2) confermano la necessità di ogni componente:

• Input di Profondità: La rimozione della profondità ha causato il calo di prestazioni più significativo in tutte le metriche, in particolare nell'accuratezza temporale, sottolineando il suo ruolo nell'inferire il contatto fisico.
• Strato Spaziale DC: La fusione ingenua delle caratteristiche senza il livello di calibrazione ha prodotto un calo di prestazioni più severo rispetto alla rimozione dell'intero input dei vertici, validando l'importanza dell'allineamento statistico.
• Maschera UV: La rimozione della maschera dalla funzione di perdita ha compromesso l'accuratezza spaziale, confermando la necessità di concentrare l'addestramento sulla regione valida della mano.

Significato e Limitazioni

L'articolo sostiene che EgoPressDiff affronti con successo le limitazioni dei lavori precedenti modellando la pressione come un processo spazio-temporale continuo. Generando mappe di pressione UV direttamente sul mesh della mano, il metodo fornisce una soluzione fisicamente fondata e temporalmente stabile per la stima della pressione egocentrica.

Gli autori riconoscono le attuali limitazioni: il modello è addestrato su posture della mano e pattern di contatto semplici, il che potrebbe limitare la generalizzazione ad attività quotidiane complesse. Il lavoro futuro proposto prevede la costruzione di dataset più diversificati per prese complesse e l'estensione del modello con prior più forti per scenari di multi-contatto.