Riepilogo Tecnico: Stima della Posizione Umana Zero-Shot mediante Solutori Inversi Basati su Diffusione

Enunciato del Problema

La stima della posizione umana mira a ricostruire una postura 3D completa del corpo (testa, busto, arti) a partire da dati sensoriali sparsi. Sebbene i recenti progressi nell'uso di modelli di diffusione condizionati abbiano mostrato promesse nel prevedere pose del corpo intero partendo da soli tre sensori (tipicamente testa e due polsi), questi metodi soffrono di una limitazione critica: scarsa generalizzazione tra utenti con diverse forme corporee.

Gli approcci esistenti, come quelli di Castillo et al. (2023), condizionano i modelli di diffusione sia sulle posizioni che sulle rotazioni delle articolazioni. Tuttavia, le posizioni delle articolazioni sono intrinsecamente dipendenti dalla scala; variano significativamente in base alle lunghezze ossee e alle proporzioni corporee di un utente. Di conseguenza, un modello addestrato sui dati di un utente specifico non riesce a generalizzare verso utenti con forme corporee diverse senza un esteso fine-tuning. L'addestramento congiunto su più forme corporee (come tentato da Aliakbarian et al., 2022) aumenta la complessità del modello e non offre alcuna garanzia di coprire tutte le possibili variazioni corporee. Esiste la necessità di un algoritmo in grado di generalizzare verso valori anomali nella forma corporea senza richiedere dati di addestramento personalizzati.

Metodologia: InPose

Gli autori propongono InPose, un metodo basato sulla diffusione che formula la stima della posizione come un problema inverso per ottenere una generalizzazione zero-shot. L'intuizione fondamentale consiste nel decomporre la posizione umana in due componenti:

1. Posizione senza scala: Definita dalle rotazioni delle articolazioni (angoli), che sono indipendenti dalle dimensioni del corpo.
2. Componente dipendente dalla scala: Definita dalle posizioni delle articolazioni nello spazio 3D, che dipendono dalle lunghezze ossee e dalla forma del corpo.

1. Formulazione del Problema Inverso

Invece di condizionare il modello di diffusione sia sulla posizione che sulla rotazione (il che accoppia il modello a forme corporee specifiche), InPose condiziona il prior generativo solo sulle misurazioni rotazionali.

• Prior: Un modello di diffusione Conditional Flow Matching (CFG) viene addestrato per prevedere la distribuzione delle pose senza scala date misurazioni rotazionali rumorose ($r_m$) provenienti dai sensori.
• Verosimiglianza (Guida): Le posizioni misurate delle articolazioni ($l_m$) non vengono utilizzate come input di condizionamento per l'addestramento, ma come un termine di verosimiglianza per guidare il processo di inferenza. Questo termine valuta quanto bene una posa generata spiega le posizioni osservate, date le specifiche lunghezze ossee dell'utente.

2. Quadro Matematico

L'obiettivo è campionare dal posterior $p(r_M | y_m)$, dove $r_M$ rappresenta le 22 rotazioni globali delle articolazioni e $y_m$ sono le misurazioni dei sensori. Utilizzando la regola di Bayes, la funzione di punteggio viene decomposta:
$$\nabla_{r_M^t} \log p_t(r_M^t | \{l_m, r_m\}) = \nabla_{r_M^t} \log p_t(r_M^t | r_m) + \nabla_{r_M^t} \log p_t(l_m | r_M^t)$$

• Il Termine Prior ($\nabla \log p(r_M^t | r_m)$): Appreso da un modello di punteggio basato su CFG condizionato esclusivamente alle rotazioni. Questo fornisce una distribuzione senza scala di pose plausibili.
• Il Termine di Verosimiglianza ($\nabla \log p(l_m | r_M^t)$): Questo termine agisce come guida per la cinematica inversa. Richiede la mappatura delle rotazioni stimate sulle posizioni tramite un operatore non lineare $D(\cdot)$ (che converte vettori di rotazione a 6D in matrici) e un operatore lineare $A$ (cinematica diretta).

3. Gestione della Non Linearità tramite Guida Pseudoinversa

Una sfida chiave è che il termine di verosimiglianza coinvolge la propagazione di una variabile casuale gaussiana attraverso la funzione non lineare $D(\cdot)$. La Guida Pseudoinversa Standard per Modelli di Diffusione (ΠGDM) assume operatori lineari.

• Teorema 1: Gli autori dimostrano che se il modello di punteggio garantisce specifiche vincoli di norma unitaria e ortogonalità sui vettori di rotazione a 6D, la distribuzione delle rotazioni trasformate $D(r_M^0)$ dato l'input rumoroso $r_M^t$ può essere approssimata come una distribuzione gaussiana.
• Questa approssimazione permette agli autori di calcolare analiticamente il punteggio di verosimiglianza, consentendo l'uso di ΠGDM per guidare il processo di denoising senza richiedere che l'operatore sia lineare.

4. Pipeline

Il processo di inferenza (Algoritmo 1) rifinisce iterativamente la posa:

1. Generare una stima denoizzata condizionata $\hat{r}_M^t$ utilizzando il prior CFG (condizionato sulle rotazioni).
2. Calcolare il punteggio di verosimiglianza utilizzando il framework ΠGDM, incorporando le specifiche lunghezze ossee dell'utente per mappare le rotazioni sulle posizioni attese.
3. Combinare i punteggi prior e di verosimiglianza utilizzando un campionatore DDIM modificato per aggiornare la stima della posa per il prossimo passo temporale.

Contributi Chiave

1. Generalizzazione Zero-Shot: Decoppiando il prior generativo (rotazioni) dalle misurazioni dipendenti dalla scala (posizioni), InPose può stimare pose per utenti con forme corporee arbitrarie senza re-addestramento o fine-tuning.
2. Formulazione come Solutore Inverso: Il paper riformula la stima della posizione come un problema inverso in cui un prior di diffusione pre-addestrato è guidato da un termine di verosimiglianza derivato da misurazioni di posizione sparse.
3. Approssimazione Gaussiana per Operatori Non Lineari: Gli autori forniscono una dimostrazione teorica (Teorema 1) che permette la propagazione di variabili gaussiane attraverso la mappatura non lineare da rotazione a 6D verso matrici, rendendo ΠGDM applicabile a questo specifico problema inverso.
4. Robustezza: Il metodo dimostra una robustezza intrinseca al rumore nelle misurazioni di posizione, poiché il prior generativo gioca un ruolo dominante nella stima finale, a differenza di metodi che dipendono fortemente da input di posizione rumorosi.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset AMASS utilizzando protocolli simili alla baseline BoDiffusion.

• Scalatura della Forma Corporea: Quando testato su utenti con forme corporee scalate (es. più alti o più bassi), i modelli baseline (AvatarJLM, BoDiffusion) hanno mostrato un degrado significativo sia nell'errore di posizione (MPJPE) che nell'errore di rotazione (MPJRE). Al contrario, InPose ha mantenuto prestazioni coerenti su tutti i fattori di scala, dimostrando la sua capacità zero-shot.
• Variazione delle Parti Corporee Relative: In scenari in cui parti specifiche del corpo (es. braccia vs busto) venivano scalate diversamente, InPose ha superato le baseline in MPJPE ed Errore di Posizione del Parte Superiore del Corpo (UPE), poiché la guida inversa ha correttamente tenuto conto delle lunghezze ossee modificate.
• Robustezza al Rumore: Sotto un crescente rumore gaussiano nelle misurazioni di posizione, InPose è rimasto stabile, mentre le baseline hanno degradato significativamente.
• Compromessi:
  • InPose performa leggermente peggio delle baseline sulla forma corporea predefinita (la forma utilizzata per l'addestramento), probabilmente perché le baseline possono apprendere una mappatura non lineare diretta per quella specifica forma, mentre InPose si affida a un'approssimazione generale.
  • Stima della Parte Inferiore del Corpo: Senza la traslazione della testa come input CFG, InPose fatica con la stima della posa della parte inferiore del corpo (alto LPE) poiché la traslazione della radice non è osservata direttamente. Tuttavia, aggiungere la posizione della testa come input CFG (InPose (head)) migliora significativamente la stima della parte inferiore del corpo, superando tutte le baseline su varie forme corporee.

Significato e Affermazioni

Il paper afferma che InPose offre una via per la previsione della posa zero-shot sfruttando la decomposizione della posa in componenti senza scala e dipendenti dalla scala. Il significato risiede nell'eliminare la necessità di raccolta dati personalizzata e re-addestramento per ogni nuovo utente, un collo di bottiglia maggiore nelle applicazioni pratiche di sensori indossabili.

Gli autori riconoscono modestamente le limitazioni:

• Il metodo non supera le baseline sulla specifica forma corporea utilizzata per l'addestramento.
• La stima della parte inferiore del corpo dipende fortemente dal prior o dall'inclusione della posizione della testa, poiché la traslazione della radice non è incorporata direttamente.
• L'algoritmo richiede una conoscenza accurata delle lunghezze ossee dell'utente durante l'inferenza; errori nella stima delle lunghezze ossee possono degradare le prestazioni.

Il lavoro suggerisce che la ricerca futura dovrebbe concentrarsi sul miglioramento della modellazione della parte inferiore del corpo attraverso vincoli fisici e sullo sviluppo di metodi per stimare le lunghezze ossee alla cieca senza calibrazione esplicita.