MRDrive: An Open Source Mixed Reality Driving Simulator for Automotive User Research

Dit artikel introduceert MRDrive, een open-source gemengde-realiteit-simulatiesysteem dat onderzoekers in staat stelt in-vehicle interfaces te evalueren door een echte voertuigcabine te combineren met een volledig virtueel rijomgeving, waardoor zowel ecologische validiteit als experimentele controle worden geboden.

De kern

MRDrive: De "Tijdmachine" voor Auto-onderzoek

Stel je voor dat je een auto wilt ontwerpen die zichzelf kan besturen, of een nieuw scherm wilt maken voor in de auto. Hoe test je of mensen het veilig en makkelijk vinden? Je kunt niet zomaar mensen op de snelweg laten rijden met een ongeteste prototype; dat is te gevaarlijk. Maar een echte auto in een leeg veld zetten, is ook niet genoeg, want dan kun je geen gevaarlijke situaties (zoals een kind dat de weg oversteekt) veilig nabootsen.

Hier komt MRDrive om de hoek kijken. Het is een open-source "tijdmachine" voor auto-onderzoekers, ontwikkeld door een team van universiteiten in Duitsland en Nederland.

Het Probleem: De Drie Uitersten

Vroeger hadden onderzoekers twee opties, en beide hadden een groot nadeel:

1. De dure filmset: Een enorme simulator met projectoren en bewegende platforms. Dit ziet er heel echt uit, maar kost een fortuin en past niet in een gewone garage.
2. De VR-bril: Je doet een bril op en ziet een virtuele wereld. Dit is goedkoop en flexibel, maar je zit in een lege kamer. Je kunt niet echt voelen hoe het stuur aanvoelt of hoe de knoppen op het dashboard aanvoelen. Het voelt alsof je in een droom rijdt, niet in een auto.

De Oplossing: Een Magische Bril (Mixed Reality)

MRDrive combineert het beste van beide werelden met een trucje dat we Mixed Reality noemen.

De Analogie: De "Magische Kostuumkast"
Stel je voor dat je in een kostuumkast staat. Je draagt een speciale bril (zoals een VR-bril, maar dan met camera's aan de voorkant).

• Wat je ziet: Door de bril zie je een volledig virtuele wereld om je heen: een drukke stad, regen, andere auto's. Dit is de "droom".
• Wat je voelt: Maar omdat de bril ook camera's heeft, zie je door de bril heen je eigen handen, het echte stuur voor je en het echte dashboard. Dit is de "realiteit".

MRDrive is zo'n bril die de twee werelden perfect samenvoegt. Je zit in een echte auto-kopie (een "mock-up" met echt stuur, pedalen en stoelen), maar je kijkt naar een virtuele wereld. Je kunt het stuur vastgrijpen, het voelt echt, maar je ziet hoe de auto door een virtuele stad rijdt.

Hoe Werkt Het? (De Magie Achter de Schermen)

Het systeem is als een slimme regisseur die twee films tegelijk draait:

1. De Virtuele Film: De computer (Unity) tekent de weg, de andere auto's en de verkeersborden.
2. De Echte Film: De camera's in de bril filmen de echte auto-kopie.

De regisseur (de software) plakt deze twee films precies op elkaar. Als je het stuur draait, draait de virtuele auto mee. Als je op een knop op het echte dashboard drukt, gebeurt er iets in de virtuele wereld.

Het "Open Source" Geheim
Het mooie aan MRDrive is dat het open source is. Dat betekent dat de "recepten" voor deze simulator gratis beschikbaar zijn voor iedereen. Net als bij een open keuken waar iedereen het recept mag kopiëren en aanpassen, kunnen andere onderzoekers dit systeem gebruiken, aanpassen aan hun eigen auto's en nieuwe experimenten bedenken zonder alles opnieuw uit te hoeven vinden.

De Proef: Een Klein Experiment

Om te laten zien dat het werkt, deden de onderzoekers een klein proefje met twee mensen.

• De Situaties: De deelnemers zaten in de passagiersstoel van de virtuele auto. De auto reed zelf (automatisch rijden).
• De Vraag: Wat gebeurt er als de auto iets vreemds doet?
• De Oplossing: De auto had een "virtuele assistent" die uitlegde wat hij deed. Soms gaf de assistent vanzelf uitleg, soms moest de passagier erom vragen door op het scherm te tikken.
• De Meting: De bril keek niet alleen naar waar de mensen keken, maar ook naar hun pupillen. Als de pupillen groter worden, betekent dat vaak dat iemand zich concentreert of stress heeft.

Het Resultaat: Het systeem werkte perfect! De onderzoekers zagen precies wanneer de mensen stress kregen en wanneer ze de uitleg nodig hadden. Ze konden dit allemaal meten terwijl de mensen in een veilige, virtuele wereld zaten.

Waarom Is Dit Belangrijk?

MRDrive is als een veilig laboratorium voor de toekomst.

• Het is goedkoper dan de enorme projectie-simulators.
• Het voelt realistischer dan gewone VR-brillen, omdat je echt met de auto kunt interageren.
• Het is veilig: je kunt gevaarlijke situaties oefenen zonder iemand te verwonden.

Kortom: MRDrive helpt onderzoekers om auto's en hun schermen zo te maken dat ze in de echte wereld veilig en gebruiksvriendelijk zijn, zonder dat we daarvoor eerst op de snelweg hoeven te rijden. En het beste van alles? Iedereen mag meedoen en het systeem verbeteren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MRDrive: An Open Source Mixed Reality Driving Simulator for Automotive User Research", vertaald en samengevat in het Nederlands.

Probleemstelling

Het ontwerpen en evalueren van interfaces binnen voertuigen vereist experimentele platforms die een balans vinden tussen ecologische validiteit (hoe realistisch de situatie is) en experimentele controle. Bestaande oplossingen kampen met fundamentele compromissen:

• Hoge-fideliteit fysieke simulators: Deze zijn zeer kostbaar, moeilijk aan te passen en vaak gebonden aan propriëtaire hardware.
• Virtual Reality (VR) simulators: Deze bieden flexibiliteit en lage kosten, maar missen fysieke interactie met het voertuiginterieur (zoals het aanraken van echte knoppen of het sturen). Het ontbreken van haptische feedback en fysieke realiteit kan de validiteit van interactiegedrag verstoren.
• Bestaande Mixed Reality (MR) oplossingen: Veel huidige MR-simulators vereisen nog steeds een echt voertuig op een testbaan of zijn gesloten software, wat de reproduceerbaarheid en toegankelijkheid beperkt.

Er is dus behoefte aan een open-source platform dat de voordelen van VR (360°-omgeving, experimentele controle) combineert met de fysieke realiteit van een voertuigcabine.

Methodologie: MRDrive Architectuur

MRDrive is een open-source Mixed Reality-voertuigsimulator gebouwd op de Unity-game engine. Het systeem is ontworpen om onderzoekers in staat te stellen studies uit te voeren in zowel handmatige als geautomatiseerde rijomgevingen.

1. Software Architectuur:
Het systeem bestaat uit drie hoofdmodules die data uitwisselen:

• Unity Driving Environment: De virtuele rijomgeving (verkeer, weg, omgeving) wordt hierin gegenereerd.
• Cabin Mock-up Interface: MRDrive ontvangt besturingssignalen (stuur, pedalen) via TCP en vJoy (virtuele joystick). Het ontvangt ook touch-invoer van het In-Vehicle Information System (IVIS) via USB.
• XR Plugin & HMD: Via de Unity XR-plugin wordt de headset (Head-Mounted Display) aangestuurd. Het systeem ontvangt positiegegevens en oogvolgingsdata (eye-tracking).
• Feedback Loop: MRDrive stuurt krachtfeedback (force feedback) terug naar het mock-up via TCP, en rendert de gebruikersinterfaces (dashboard, touchscreen) via HDMI naar het fysieke scherm, terwijl de virtuele rijwereld naar de VR-bril wordt gestreamd.

2. Hardware Configuratie:

• Mixed Reality Benadering: MRDrive gebruikt passthrough-technologie. De gebruiker kijkt door de VR-bril naar de echte cabine (of een mock-up), terwijl de virtuele rijomgeving wordt ingelagen.
• Hardware Componenten:
  • Headset: Varjo XR-3 (combineert VR en hoogwaardige passthrough met ingebouwde oogvolging).
  • Cabine Mock-up: Een hoge-fideliteit mock-up van Ergoneers met elektrisch verstelbare stoelen, een OEM-stuurwiel met krachtfeedback, pedalen en een 17-inch touchscreen.
  • Tracking: SteamVR Base Stations 2.0 en HTC Vive Trackers voor het nauwkeurig aligneren van het 3D-softwaremodel met de fysieke mock-up.
• Flexibiliteit: Het systeem ondersteunt verschillende niveaus van fideliteit, variërend van een volledig virtuele cabine tot een echt voertuig, zolang er maar een 1:1 3D-model beschikbaar is voor de virtuele overlay.

3. In-Vehicle Information System (IVIS):
Het dashboard en het centrale touchscreen zijn nagebouwd als Unity-prefabs. Het ontwerp is geïnspireerd op moderne geautomatiseerde voertuigen (zoals Waymo), met een vogelvluchtperspectief van de kaart, contourlijnen voor gedetecteerde objecten en interactieve elementen voor muziek en welkomstschermen.

Pilot Study en Resultaten

Om de functionaliteit te demonstreren, werd een kleine pilotstudie uitgevoerd (N=2) in een geautomatiseerd rijscenario.

• Doel: Het aantonen van de mogelijkheid om multimodale data (oogvolging en touch-interactie) te verzamelen in een realistische context, niet om gedragshypoteses te testen.
• Opzet: Deelnemers zaten als passagier in de mock-up en interacteerden met een AI-assistent die rijgedrag uitlegde. Er waren drie condities met verschillende "intelligente bestuurders":
  1. Nelo: Geen uitleg.
  2. Coda: Proactieve uitleg.
  3. Lumo: Uitleg op aanvraag (on-demand).
• Data Collectie: Er werd oogvolgingsdata (pupilgrootte als maatstaf voor cognitieve belasting) en touch-interacties geregistreerd.
• Resultaten:
  • De pupilvergroting nam toe tijdens veiligheidskritieke gebeurtenissen wanneer uitleg werd gegeven.
  • Deelnemers vroegen in de "Lumo"-conditie actief uitleg aan via het touchscreen.
  • De studie toonde aan dat MRDrive effectief data kan verzamelen over hoe bestuurders/passagiers omgaan met uitleg en interactie in geautomatiseerde voertuigen.

Belangrijkste Bijdragen

1. Open-Source MR Simulator: Een volledig open-source platform (beschikbaar via GitHub) dat de drempel verlaagt voor hoogwaardige MR-rijstudies.
2. Uitbreidbaar IVIS: Een modern, interactief infotainmentsysteem dat is ontworpen voor geautomatiseerde voertuigen en direct in de simulatie kan worden aangepast.
3. Modulaire Architectuur: Een systeem dat makkelijk uitbreidbaar is voor verschillende hardware-opstellingen en onderzoeksvragen (aandacht, uitlegbaarheid, interactie).
4. Validatie: Een bewezen werkend prototype dat oogvolging en touch-data succesvol combineert in een gemengde realiteit.

Betekenis en Toekomstperspectief

MRDrive vult een cruciale kloof in het ecosysteem van rij-simulators. Het biedt een middenweg tussen de beperkte fysieke realiteit van VR-simulators en de hoge kosten/complexiteit van projectie-gebaseerde systemen of echte voertuigen.

• Wetenschappelijke Impact: Het ondersteunt de "open science"-beweging in de automotive user research door reproduceerbare experimenten mogelijk te maken zonder de noodzaak van dure, gesloten infrastructuren.
• Toekomstige Werk: De auteurs erkennen huidige beperkingen, zoals de hoge kosten van de Varjo-bril en de complexiteit van de uitlijning (alignment) tussen realiteit en virtualiteit. Toekomstige verbeteringen richten zich op efficiëntere rendering, ondersteuning voor meer interactiemodi (gebaren, stem), en verdere validatie tegen echte rijbenchmarks.

Kortom, MRDrive stelt onderzoekers in staat om mens-voertuiginteractie te bestuderen in een omgeving die zowel visueel immersief als fysiek realistisch is, wat essentieel is voor de ontwikkeling van toekomstige geautomatiseerde mobiliteit.