ResXR: infrastructure for quality-controlled, reproducible studies of human behavior in Extended Reality
ResXR is een open-source toolkit voor Meta Quest-headsets die de verzameling, kwaliteitscontrole en export van menselijke gedragsdata in Extended Reality naar het Motion-BIDS-formaat standaardiseert, waardoor reproduceerbaar en toegankelijk XR-onderzoek mogelijk wordt zonder dat er gespecialiseerde programmering vereist is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je een wereld voor waarin wetenschappers een computergegenereerde omgeving kunnen betreden om te bestuderen hoe mensen denken, voelen en bewegen. Deze technologie, bekend als extended reality, biedt een uniek voordeel: het combineert de strikte controle van een laboratorium met het gevoel in een echte plek te zijn. In tegenstelling tot het kijken naar een plat scherm, kunnen deze immersieve systemen echte fysieke en emotionele reacties uitlokken, waardoor onderzoekers natuurlijk gedrag kunnen observeren in een veilige, gecontroleerde omgeving. Decennialang is dit veld snel gegroeid naarmate de apparatuur goedkoper en toegankelijker werd. Echter, een aanzienlijk probleem heeft de vooruitgang belemmerd. Net zoals een wetenschapper in een chemisch laboratorium gestandaardiseerd glaswerk en nauwkeurige meetinstrumenten nodig heeft om ervoor te zorgen dat hun resultaten door anderen vertrouwd en herhaald kunnen worden, hebben onderzoekers in virtual reality een gedeelde, betrouwbare manier gemist om experimenten op te zetten en hun gegevens te controleren. Zonder deze standaarden bouwt elk lab zijn eigen aangepaste instrumenten, wat leidt tot gegevens die moeilijk te vergelijken of te verifiëren zijn, waardoor het veld achterblijft met een overvloed aan interessante ideeën maar een tekort aan solide, reproduceerbare wetenschap.
Om dit op te lossen, heeft een team van onderzoekers een nieuwe open-source toolkit gebouwd genaamd ResXR, ontworpen om het chaotische proces van virtual reality-onderzoek te veranderen in een soepele, gestandaardiseerde workflow. Het systeem is gebouwd voor standalone headsets, dat zijn zelfstandige computers die op het gezicht worden gedragen en geen verbinding met een krachtige externe computer nodig hebben. De toolkit biedt een kant-en-klare fundering voor experimenten, waardoor wetenschappers exact kunnen registreren wat een persoon ziet, waar hij naar kijkt en hoe hij zijn handen en lichaam beweegt. Cruciaal is dat het systeem niet alleen gegevens verzamelt; het fungeert als een rigoureuze kwaliteitscontroleur. In het verleden namen onderzoekers vaak aan dat als hun headset een hand of een oog trackte, de gegevens goed waren. Het team achter ResXR ontdekte dat deze aanname gevaarlijk is. Ze voerden een reeks stresstests uit, waarbij ze bewust het zicht van de headset op een hand blokkeerden of het oog van een deelnemer afdekten om te zien hoe het apparaat de situatie rapporteerde. Ze ontdekten dat de interne software van de headset vaak bleef rapporteren dat de gegevens "valide" waren, zelfs wanneer het het zicht op het onderwerp was verloren, waardoor fouten effectief werden verborgen achter een groen licht.
De onderzoekers ontdekten dat de ingebouwde statusindicatoren van de headset, die gebruikers moeten waarschuwen wanneer de tracking verloren gaat, vaak onbetrouwbaar zijn. Tijdens hun tests, wanneer een hand werd verborgen voor de camera, hield de headset soms de "valide" indicator aan terwijl de positiegegevens afdriften naar een vaste, onjuiste houding. Op dezelfde manier, wanneer een deelnemer de ogen sloot, registreerde het eye-tracking systeem de sluiting vaak niet en rapporteerde het gaze-gegevens alsof de ogen open waren. Het team realiseerde zich dat het vertrouwen op de standaardwaarschuwingen van de fabrikant zou leiden tot gebrekkige wetenschap. In plaats van te vertrouwen op deze ongeteste signalen, gebruikt ResXR een andere aanpak. Het registreert de ruwe gegevens naast de eigen statusrapportages van de headset en draait vervolgens een apart, onafhankelijk computerprogramma om op fouten te controlen. Dit programma zoekt naar specifieke patronen, zoals plotselinge dalingen in gegevens of signalen die aangeven dat een hand verloren is gegaan, en markeert die momenten voor de onderzoeker om te beoordelen. Als de gegevens slecht zijn, kan het systeem die specifieke momenten verbergen zonder de rest van de opname te verwijderen, waardoor de integriteit van het experiment behouden blijft.
Zodra de gegevens zijn schoongemaakt en gecontroleerd, organiseert de toolkit de gegevens in een universeel formaat genaamd Motion-BIDS. Dit is een gestandaardiseerde manier om bewegingsgegevens te labelen en op te slaan, vergelijkbaar met hoe een bibliotheek boeken organiseert zodat iedereen ze kan vinden. Door de rommelige, aangepaste bestanden van de headset om te zetten naar dit schone, standaardformaat, zorgen de onderzoekers ervoor dat gegevens van het ene lab gemakkelijk kunnen worden gedeeld en geanalyseerd door een ander. Het systeem genereert ook een duidelijk, visueel rapport voor elke sessie, dat precies laat zien wanneer de gegevens goed waren en wanneer niet. Om te bewijzen dat dit systeem werkt zonder de ervaring te vertragen, testte het team het terwijl deelnemers door doolhoven navigeerden en virtuele musea verkenden. Ze ontdekten dat het registreren van alle gegevens met een hoge snelheid de prestaties van de headset niet verstoorde; de virtuele wereld bleef vloeiend en de framerate bleef stabiel. De toolkit bevat drie direct bruikbare experimenten — een keuzetaak, een navigatiedoolhof en een museumtour — die onderzoekers direct kunnen uitvoeren zonder dat zij computercode hoeven te schrijven.
De belangrijkste prestatie van dit werk is niet alleen de software zelf, maar het bewijs dat de instrumenten die we gebruiken om menselijk gedrag in virtual reality te meten, empirisch getest moeten worden in plaats van op basis van geloof aanvaard te worden. De onderzoekers lieten zien dat zelfs de meest geavanceerde consumentenheadsets gegevens kunnen produceren die er perfect uitzien maar eigenlijk defect zijn, en dat de enige manier om het verschil te weten het onderwerpen van het systeem aan stresstests onder reële omstandigheden is. Door een transparant, open-source pad te bieden van het moment dat een deelnemer de headset opzet tot het uiteindelijke, geverifieerde dataset, verwijdert ResXR de technische barrières die veel wetenschappers tot nu toe uit het veld hielden. Het biedt een fundament waar de focus kan terugkeren naar de wetenschap van menselijk gedrag, met het vertrouwen dat de metingen echt zijn, de fouten bekend zijn en de resultaten door de bredere gemeenschap vertrouwd kunnen worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.