MRDrive: An Open Source Mixed Reality Driving Simulator for Automotive User Research

Il paper presenta MRDrive, un simulatore di guida a realtà mista open source che combina l'interazione fisica con un abitacolo reale e l'immersione in un ambiente virtuale per supportare la ricerca HCI sui sistemi di guida automatizzata.

L'essenziale

Ecco una spiegazione semplice e creativa del progetto MRDrive, pensata per chiunque voglia capire di cosa si tratta senza dover essere un esperto di tecnologia.

🚗 MRDrive: Il "Trucco" per Guidare nel Futuro senza Uscire di Casa

Immagina di voler progettare l'interfaccia di un'auto che guida da sola (automazione), ma hai un problema: non puoi mettere le persone in strada per testare cose pericolose, e non puoi nemmeno costruire un'auto vera per ogni test perché costerebbe una fortuna.

Qui entra in gioco MRDrive. È un nuovo strumento open-source (cioè gratuito e modificabile da tutti) che permette di fare esperimenti di guida in un modo magico: mescolando il mondo reale con quello virtuale.

🎭 Il Concetto: La Metà Reale, la Metà Magica

Per capire come funziona, immagina di indossare degli occhiali speciali (la Realtà Mista).

• Cosa vedi fuori: Quando guardi attraverso gli occhiali, vedi un mondo completamente virtuale. Potresti essere in mezzo a un traffico di Tokyo, in una strada di campagna o in mezzo a un temporale. Tutto è generato dal computer.
• Cosa senti dentro: Ma quando guardi in basso, vedi la tua auto vera! O meglio, vedi il volante vero, i pedali veri e il cruscotto vero.

L'analogia del "Costume da Supereroe":
Pensa a un attore che interpreta un supereroe. Indossa un costume reale (il volante e i sedili dell'auto) ma, grazie a uno schermo speciale davanti agli occhi, vede il mondo come se fosse in volo sopra New York.
MRDrive fa esattamente questo: ti permette di toccare e sentire la tua auto reale (perché il cervello ha bisogno di sentire il volante per reagire in modo naturale), mentre i tuoi occhi sono immersi in un mondo di guida simulato al 100%.

🛠️ Perché è così speciale? (Il problema dei vecchi simulatori)

Fino ad oggi, c'erano due strade per fare questi test, e nessuna era perfetta:

1. I Simulatori da Film (Costosi): Sono enormi sale con proiettori giganti e sedili che si muovono. Sono fantastici, ma costano come un'intera casa e sono difficili da spostare.
2. I Simulatori VR (Economici ma strani): Usano occhiali da realtà virtuale. Sono economici e flessibili, ma... non hai l'auto! Se provi a toccare un pulsante sullo schermo virtuale, il tuo dito passa attraverso il "nulla". Questo inganna il cervello: non è una guida realistica perché manca il contatto fisico.

MRDrive è la soluzione "Goldilocks" (la via di mezzo perfetta):
Prende il meglio dei due mondi. Hai la flessibilità e il costo contenuto della Realtà Virtuale, ma mantieni il contatto fisico con l'auto reale. È come se avessi un'auto vera parcheggiata nel tuo laboratorio, ma il mondo fuori dal finestrino può cambiare istantaneamente con un clic.

🧪 Come l'hanno usato? (L'esperimento pilota)

Gli autori hanno fatto una piccola prova con due persone per vedere se il sistema funzionava.

• La scena: I partecipanti erano seduti in un'auto finta (un "mock-up" molto realistico) con un volante vero e uno schermo touch.
• Il compito: Dovevano guidare (o essere passeggeri) in un'auto a guida autonoma.
• La magia: Mentre guidavano, il sistema ha monitorato due cose importanti:
  1. Dove guardavano: Usando occhiali che tracciano il movimento degli occhi.
  2. Cosa toccavano: Come interagivano con lo schermo dell'auto.

Hanno scoperto che quando l'auto faceva qualcosa di strano (come un'uscita di emergenza), gli occhi dei partecipanti si dilatavano (segno di stress o attenzione) e toccavano lo schermo per chiedere "Cosa sta succedendo?". Questo dimostra che MRDrive è perfetto per studiare come le persone reagiscono alle auto del futuro.

🌟 Perché dovremmo essere felici?

1. È Open Source: È come un "LEGO" per la ricerca. Chiunque può prenderlo, modificarlo e adattarlo ai propri occhiali o ai propri sedili. Non serve un budget da miliardario.
2. Sicurezza: Puoi testare scenari pericolosi (come un bambino che attraversa la strada all'improvviso) senza mettere in pericolo nessuno.
3. Realismo: Perché tocchi il volante vero, il tuo cervello si comporta come se stessi guidando davvero. Questo rende i risultati degli studi molto più affidabili.

In sintesi

MRDrive è come un laboratorio di magia per ingegneri di auto. Permette di costruire prototipi di interfacce future, testare come le persone reagiscono alla guida autonoma e raccogliere dati precisi, tutto senza dover costruire un'auto nuova o rischiare incidenti sulla strada. È un passo avanti enorme per rendere le nostre auto future più sicure e intuitive.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "MRDrive: An Open Source Mixed Reality Driving Simulator for Automotive User Research", presentato in italiano.

Titolo

MRDrive: Un Simulatore di Guida in Realtà Mista Open Source per la Ricerca Utente nel Settore Automobilistico

1. Il Problema

La progettazione e la valutazione delle interfacce veicolari (IVIS) richiedono piattaforme sperimentali che bilancino due fattori spesso in conflitto:

• Validità ecologica: La capacità di replicare fedelmente l'interazione fisica con il veicolo (tattilità, materiali, layout reale).
• Controllo sperimentale: La possibilità di manipolare variabili ambientali e scenari di guida in modo sicuro e ripetibile.

I simulatori di guida esistenti presentano un compromesso fondamentale:

• I simulatori ad alta fedeltà fisica (basati su proiezioni e motion platform) sono costosi, difficili da adattare e spesso proprietari.
• I simulatori in Realtà Virtuale (VR) offrono flessibilità e costi ridotti, ma sacrificano l'interazione fisica con il veicolo. Gli utenti interagiscono con controller astratti invece che con superfici reali, distorcendo i tempi di reazione e la precisione dei compiti, il che limita la validità ecologica dei dati raccolti.

2. Metodologia e Architettura del Sistema

Gli autori presentano MRDrive, un simulatore di guida in Realtà Mista (MR) open source progettato per colmare il divario tra VR e simulatori fisici.

Concetto Chiave:
L'ambiente di guida è virtuale (renderizzato in 360°), mentre l'abitacolo è reale (o un mock-up ad alta fedeltà). Questo permette agli utenti di interagire naturalmente con i comandi fisici del veicolo mentre sono immersi in un ambiente virtuale.

Architettura Tecnica:
Il sistema è basato su Unity e si compone di tre moduli principali:

1. Ambiente di Guida e Logica di Simulazione:
   • Deriva dall'architettura open source "Coupled Simulator" (Bazilinskyy et al.).
   • Gestisce la dinamica del veicolo, il traffico e il comportamento degli agenti.
   • Riceve input di sterzo e controllo dal mock-up tramite TCP e li mappa su segnali di controllo interni usando vJoy.
2. Sistema In-Vehicle Information System (IVIS):
   • Implementato come prefab Unity, include un cruscotto digitale e un touchscreen centrale.
   • Simula interfacce moderne (ispirate a veicoli come Waymo), mostrando posizione, mappe, contorni degli oggetti rilevati e controlli multimediali.
   • Riceve eventi di tocco tramite USB e restituisce feedback visivo e tattile.
3. Hardware e Integrazione MR:
   • Visore: Utilizza Varjo XR-3, che combina VR e video pass-through (visione del mondo reale sovrapposta al virtuale). Questo è cruciale per vedere i comandi fisici reali.
   • Mock-up dell'abitacolo: Può variare da un veicolo reale a un mock-up parziale (es. solo volante e cruscotto) o completamente virtuale. Il mock-up utilizzato nel paper è ad alta fedeltà (Ergoneers), con sedili elettrici, volante con force feedback, pedali e touchscreen da 17 pollici.
   • Tracking: Utilizza stazioni base SteamVR e tracker esterni (HTC Vive Tracker) montati sul mock-up per allineare con precisione (<1 cm) il modello 3D virtuale con l'hardware fisico, permettendo il ridimensionamento e il riposizionamento libero del mock-up.

Flusso Dati:
Il sistema sincronizza input fisici (steering, touch) e dati biometrici (eye-tracking integrato nel visore) con la simulazione, aggiornando in tempo reale la dinamica del veicolo e gli elementi dell'interfaccia.

3. Contributi Chiave

Il paper offre tre contributi principali alla comunità di ricerca:

1. Un Simulatore MR Open Source basato su Unity: Disponibile pubblicamente su GitHub, permette la riproducibilità degli esperimenti e l'adattamento a diverse configurazioni hardware senza costi di licenza.
2. Un Sistema IVIS Estensibile: Un'interfaccia veicolo realistica e modulare, ispirata ai veicoli automatizzati moderni, pronta per essere utilizzata in studi HCI.
3. Scenari di Esempio e Pipeline di Dati: Fornisce scenari predefiniti e metodologie per raccogliere e analizzare dati multimodali (tracking oculare, interazioni touch, dati di guida) in contesti di guida manuale e automatizzata.

4. Risultati dello Studio Pilota

Per dimostrare le capacità del sistema, è stato condotto uno studio pilota (N=2) in modalità guida automatizzata.

• Obiettivo: Valutare come le spiegazioni multimodali di un agente veicolare influenzano il carico cognitivo del passeggero.
• Condizioni: I partecipanti hanno interagito con tre "autisti intelligenti":
  • Nelo: Nessuna spiegazione.
  • Coda: Spiegazioni proattive.
  • Lumo: Spiegazioni su richiesta (interattive).
• Dati Raccolti: Tracking oculare (dilatazione pupillare come indicatore di carico cognitivo) e interazioni touch per richiedere spiegazioni.
• Risultati Osservati:
  • La dilatazione pupillare è aumentata durante eventi critici per la sicurezza quando venivano fornite spiegazioni.
  • I partecipanti hanno richiesto attivamente spiegazioni nella condizione "su richiesta" (Lumo) durante i primi scenari, ma non durante l'ultimo scenario di emergenza, suggerendo una variazione nel carico cognitivo o nella percezione del rischio.
  • Lo studio ha confermato la fattibilità di raccogliere dati di eye-tracking e touch in un ambiente MR realistico.

5. Significato e Conclusioni

Significato Scientifico:
MRDrive rappresenta un punto di svolta per la ricerca HCI nel settore automotive. Offre un "terreno di mezzo" ideale:

• Rispetto alla VR pura, mantiene la validità ecologica dell'interazione fisica (tattilità, layout reale).
• Rispetto ai simulatori a proiezione costosi, offre flessibilità, costi ridotti e controllo sperimentale totale sugli scenari.

Limitazioni e Lavoro Futuro:

• Hardware: Richiede visori di fascia alta (come Varjo XR-3) e workstation potenti (RTX 4090) per mantenere frame rate elevati (40-60 fps) e un allineamento preciso.
• Calibrazione: L'allineamento tra mondo reale e virtuale richiede ancora tempo e tentativi (trial and error).
• Sviluppi Futuri: Gli autori prevedono l'espansione delle modalità di interazione (gesti, voce), l'integrazione di ulteriori sensori fisiologici e una validazione più ampia rispetto a benchmark di guida reale.

In sintesi, MRDrive democratizza l'accesso a simulatori di guida ad alta fedeltà, facilitando la ricerca sulla sicurezza, l'attenzione e l'interazione nei veicoli automatizzati futuri.