Deep Learning for Virtual Reality User Identification: A Benchmark

1. Il Problema

L'adozione rapida della Realtà Virtuale (VR) in settori critici come sanità, educazione e manifattura ha creato nuove sfide per l'autenticazione degli utenti e la protezione dell'identità. I sistemi VR moderni raccolgono continuamente dati comportamentali ricchi (tracciamento del movimento, sguardo, segnali fisiologici) che possono fungere da biometrici comportamentali.
Tuttavia, esistono diverse limitazioni negli studi precedenti:

• Scarsità di dati: Molti dataset precedenti contengono solo pochi minuti di registrazione per utente, insufficienti per addestrare efficacemente architetture di Deep Learning complesse.
• Architetture datate: La maggior parte dei lavori si basa su metodi di machine learning tradizionali con feature ingegnerizzate manualmente o su architetture deep learning consolidate ma datate (es. LSTM, CNN standard) degli anni 2010.
• Mancanza di valutazione su modelli moderni: L'applicazione di modelli avanzati come i State Space Models (SSM) (es. S4, S4D, S5), noti per la loro efficienza nel modellare sequenze lunghe, al contesto della biometria VR non è stata ancora sistematicamente esplorata.

2. Metodologia

Gli autori hanno condotto un benchmark completo utilizzando il dataset "Who is Alyx", un dataset pubblico e su larga scala che raccoglie dati da 71 utenti mentre giocano a Half-Life: Alyx su HTC Vive Pro.

A. Dataset e Preprocessing

• Volume dati: Ogni utente ha contribuito con circa 90 minuti di dati (due sessioni da 45 minuti), offrendo un volume di dati per utente significativamente superiore ai precedenti studi.
• Modalità di tracciamento: Dati di movimento (HMD e controller), dati di sguardo e segnali fisiologici.
• Encoding Temporale: Sono state valutate tre codifiche per catturare diverse proprietà cinematiche:
  1. BR (Body Relative): Posizioni e orientamenti assoluti rispetto all'HMD.
  2. BRV (Body Relative Velocity): Derivate temporali del primo ordine (velocità).
  3. BRA (Body Relative Acceleration): Derivate temporali del secondo ordine (accelerazione).
• Strategia di validazione: Addestramento sulla sessione 1 e valutazione sulla sessione 2 (cross-session) per testare la stabilità temporale.

B. Architetture Valutate

Il benchmark confronta una vasta gamma di architetture di Deep Learning:

• Baseline: MLP (Multi-Layer Perceptron) su feature statistiche ingegnerizzate.
• Recurrenti: LSTM e GRU.
• Convoluzionali: CNN e TCN (Temporal Convolutional Network).
• Attention-based: Transformer.
• State Space Models (SSM): S4D (Diagonal State Space) e S5 (Simplified State Space Layer). Questi modelli offrono una complessità lineare rispetto alla lunghezza della sequenza, a differenza della complessità quadratica dei Transformer, rendendoli ideali per le lunghe sessioni VR.

C. Metriche di Valutazione

• MRR (Mean Reciprocal Rank): Per misurare la qualità del ranking delle predizioni.
• Efficienza: Numero di parametri (memoria) e FLOPs (complessità computazionale).

3. Contributi Chiave

1. Benchmark Completo: Prima valutazione sistematica che confronta architetture consolidate (LSTM, Transformer) con modelli SSM moderni (S4D, S5) su un dataset VR su larga scala.
2. Approccio End-to-End: Dimostrazione che l'apprendimento profondo diretto sui dati grezzi (o con minimo preprocessing) supera i metodi basati su feature engineering statistico.
3. Valutazione degli SSM: Introduzione e validazione dei modelli S4D e S5 per la biometria VR, evidenziando il loro potenziale per la modellazione di sequenze lunghe.
4. Analisi Trade-off: Fornitura di metriche di base per il compromesso tra accuratezza ed efficienza, cruciali per il deployment su hardware VR standalone con risorse limitate.

4. Risultati Principali

• Performance delle Architetture:
  • Le architetture basate su convoluzioni (CNN, TCN) e i modelli S4D hanno ottenuto le prestazioni migliori (MRR più alto).
  • I modelli Transformer e LSTM si sono posizionati in fondo alla classifica. L'insuccesso dei Transformer è attribuito alla dimensione limitata del dataset rispetto alla necessità di pre-training su larga scala e alla natura continua dei dati dei sensori VR.
  • L'MLP basato su feature ingegnerizzate ha mostrato risultati inferiori rispetto ai modelli sequenziali end-to-end.
• Impatto dell'Encoding Temporale:
  • L'encoding BRA (Accelerazione) ha prodotto i risultati migliori su tutte le architetture, seguito da BRV e BR.
  • Le informazioni di velocità e accelerazione (derivate) sono più discriminative perché catturano la dinamica del movimento e sono invarianti rispetto a offset spaziali costanti o deriva del sistema di tracciamento.
• Efficienza e Deployment:
  • Sebbene la CNN abbia un'accuratezza elevata, richiede un numero elevato di parametri (4.0M), rendendola potenzialmente inadatta per dispositivi VR standalone con memoria limitata.
  • TCN (1.4M parametri) e S4D (2.7M parametri) offrono un equilibrio ottimale: raggiungono un'accuratezza quasi pari alla CNN ma con un footprint di memoria significativamente inferiore (riduzione del 65% e 33% rispettivamente rispetto alla CNN).

5. Significato e Implicazioni

Questo lavoro stabilisce nuovi standard di riferimento per l'autenticazione biometrica in VR.

• Sicurezza Industriale e Sanitaria: Dimostra la fattibilità di sistemi di identificazione robusti per limitare l'accesso a macchinari pericolosi (es. muletti, robot industriali) o piattaforme chirurgiche virtuali, garantendo che solo personale autorizzato e qualificato possa operare.
• Scelta del Modello: Fornisce linee guida pratiche per gli sviluppatori: per scenari con vincoli di risorse hardware (edge computing su visori VR), TCN e S4D sono le scelte ottimali, offrendo le migliori prestazioni senza sovraccaricare la memoria del dispositivo.
• Futuro della Ricerca: Apre la strada a studi su modelli compressi per l'edge deployment e sull'adattamento dei modelli SSM alla generalizzazione cross-applicazione.

In sintesi, il paper dimostra che l'uso di architetture moderne come i State Space Models e le TCN, combinate con feature di accelerazione (BRA), rappresenta lo stato dell'arte per l'identificazione degli utenti in VR, superando i limiti dei metodi precedenti in termini di accuratezza ed efficienza computazionale.