Expanding mmWave Datasets for Human Pose Estimation with Unlabeled Data and LiDAR Datasets

1. Il Problema

L'articolo affronta la scarsità e la limitata diversità dei dataset etichettati per l'Human Pose Estimation (HPE) basata su onde millimetriche (mmWave). Sebbene i radar mmWave offrano vantaggi significativi rispetto alle telecamere RGB (privacy, robustezza alla luce, natura 3D), i dataset esistenti soffrono di due criticità principali:

1. Attributi del Point Cloud (PC) limitati: Mancanza di eterogeneità nei dispositivi e nelle condizioni ambientali, portando a una distribuzione dei dati non rappresentativa della realtà (es. densità dei punti, rumore di rilevamento).
2. Diversità delle pose umana ridotta: Le pose registrate sono spesso semplici e uniformi (soggetti frontali al radar), limitando la capacità di generalizzazione dei modelli in scenari reali o non visti.

Esistono dati mmWave non etichettati (facili da raccogliere) e dataset LiDAR ricchi e diversificati, ma non possono essere utilizzati direttamente a causa della mancanza di etichette per il primo e delle differenze intrinseche nelle proprietà fisiche dei dati tra LiDAR e mmWave per il secondo.

2. Metodologia: EMDUL

Gli autori propongono EMDUL, una pipeline innovativa che espande un dataset mmWave esistente combinando dati non etichettati mmWave e dataset LiDAR annotati. Il sistema è composto da due moduli indipendenti:

A. Stima di Pseudo-Etichette per Dati mmWave Non Etichettati

Per trasformare i dati mmWave non etichettati in dati di training, viene utilizzato uno stimatore di pseudo-etichette addestrato con una strategia semi-supervisionata.

• Loss Supervisionata: Addestrata sui dati mmWave etichettati esistenti.
• Unsupervised Temporal Consistency Loss (UTCL): Una nuova loss applicata ai dati non etichettati per migliorare la robustezza. Si basa sul principio fisico del radar mmWave: rileva più facilmente le parti in movimento (effetto Doppler) rispetto a quelle statiche.
  • Dynamic Consistency Loss (DCL): Penalizza le giunture che sono vicine ai punti rilevati (quindi in movimento) se il loro flusso (displacement) è troppo basso.
  • Static Consistency Loss (SCL): Penalizza le giunture lontane dai punti rilevati (quindi statiche) se mostrano un flusso significativo.
  • Questo approccio garantisce coerenza temporale nelle pseudo-etichette generate.

B. Convertitore in Forma Chiusa da LiDAR a mmWave

Per sfruttare i dataset LiDAR, viene proposto un convertitore che trasforma i Point Cloud LiDAR in una distribuzione simile a quella mmWave, simulandone gli attributi specifici. La conversione avviene tramite una sequenza di augmentation:

1. Noisy Point Addition (NPA): Aggiunta di punti rumorosi per simulare oggetti ambientali.
2. Flow-based Point Filtering (FPF): L'algoritmo chiave. Interpola il flusso delle giunture (skeleton flow) sui punti del PC e filtra i punti con basso flusso (statici) con una probabilità più alta, simulando il meccanismo di rilevamento del movimento del radar mmWave.
3. Random Sampling (RS): Riduzione della densità dei punti.
4. Noise Injection (NI): Iniezione di rumore nelle coordinate per simulare una risoluzione spaziale inferiore.

Pipeline di Addestramento

1. Il dataset LiDAR viene convertito in dati "mmWave-like" ($D_{conv}$).
2. $D_{conv}$ viene unito al dataset mmWave originale etichettato ($D_{mm}$) per formare un set di training esteso ($D_{lab}$).
3. Lo stimatore di pseudo-etichette viene addestrato su $D_{lab}$ e utilizzato per generare etichette per i dati mmWave non etichettati ($D_{unlab}$), creando $D_{pl}$.
4. Il dataset finale espanso ($D_{exp} = D_{lab} \cup D_{pl}$) viene utilizzato per addestrare il modello finale di HPE.

3. Contributi Chiave

• Stimatore di Pseudo-Etichette con UTCL: Un metodo efficace per sfruttare dati mmWave non etichettati senza richiedere annotazioni manuali, sfruttando la coerenza temporale fisica del segnale radar.
• Convertitore LiDAR-mmWave: Un approccio "closed-form" indipendente che trasforma dataset LiDAR in dati mmWave realistici, senza richiedere coppie di dati mmWave-LiDAR sincronizzati ed etichettati (che sono rari e costosi).
• Pipeline EMDUL: Un framework integrato che combina entrambi i moduli per massimizzare volume e diversità del dataset di training, migliorando significativamente le prestazioni dei modelli.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset mmWave standard (MM-Fi, mmBody) e dataset LiDAR (LiDARHuman26M, HmPEAR).

• Miglioramento delle Prestazioni: Rispetto all'addestramento solo sul dataset mmWave originale, EMDUL ha ridotto l'errore MPJPE (Mean Per Joint Position Error) del 15.1% in scenari in-domain (addestramento e test su MM-Fi) e del 18.9% in scenari out-of-domain (addestramento su mmBody, test su MM-Fi).
• Generalizzazione: Il metodo supera significativamente le tecniche di stato dell'arte (come Mean Teacher) e i metodi di augmentation basati solo su dati non etichettati mmWave. La componente di conversione LiDAR è risultata cruciale per la generalizzazione su scenari non visti.
• Analisi Ablativa:
  • L'uso della FPF nel convertitore LiDAR è stato identificato come il componente più impattante per la realismo dei dati convertiti (60.46% dei dati convertiti sono stati classificati come mmWave da un classificatore binario, contro il 43% senza FPF).
  • La combinazione di DCL e SCL nella UTCL ha dimostrato di bilanciare meglio le previsioni rispetto all'uso di singole loss, migliorando la generalizzazione out-of-domain.
  • L'uso della feature "altezza" (height) invece della velocità Doppler ha mostrato una migliore generalizzazione cross-dataset.

5. Significato e Impatto

Il lavoro di EMDUL risolve un collo di bottiglia fondamentale nell'HPE mmWave: la mancanza di dati diversificati. Dimostrando che è possibile:

1. Utilizzare dati non etichettati tramite apprendimento semi-supervisionato basato su principi fisici.
2. Trasferire conoscenza da sensori LiDAR (abbondanti) a radar mmWave (scarsi) tramite una simulazione realistica delle proprietà del segnale.

Questo approccio permette di addestrare modelli più robusti e generalizzabili, rendendo l'HPE mmWave più praticabile per applicazioni reali in robotica, interazione uomo-computer e riconoscimento delle azioni, anche in ambienti con scarsità di dati etichettati. Il codice è stato reso pubblico per favorire la riproducibilità e l'ulteriore ricerca.