ResXR: infrastructure for quality-controlled, reproducible studies of human behavior in Extended Reality
ResXR ist ein Open-Source-Toolkit für Meta Quest-Headsets, das die Erfassung, Qualitätskontrolle und den Export von menschlichen Verhaltensdaten in Extended Reality zum Motion-BIDS-Format standardisiert und somit reproduzierbare sowie zugängliche XR-Forschung ermöglicht, ohne dass spezialisierte Programmierung erforderlich ist.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Wissenschaftler in eine computergenerierte Umgebung eintreten können, um zu untersuchen, wie Menschen denken, fühlen und sich bewegen. Diese Technologie, bekannt als Extended Reality (erweiterte Realität), bietet einen einzigartigen Vorteil: Sie kombiniert die strikte Kontrolle eines Labors mit dem Gefühl, an einem realen Ort zu sein. Im Gegensatz zum Betrachten eines flachen Bildschirms können diese immersiven Systeme echte physische und emotionale Reaktionen auslösen, was es Forschern ermöglicht, natürliches Verhalten in einer sicheren, kontrollierten Umgebung zu beobachten. Über Jahrzehnte hinweg ist dieses Feld rasant gewachsen, da die Ausrüstung billiger und zugänglicher wurde. Doch ein erhebliches Problem hat den Fortschritt gebremst. So wie ein Wissenschaftler in einem Chemielabor standardisierte Glaswaren und präzise Messwerkzeuge benötigt, um sicherzustellen, dass seine Ergebnisse von anderen vertrauenswürdig und reproduzierbar sind, fehlte es Forschern in der virtuellen Realität an einem gemeinsamen, zuverlässigen Weg, Experimente aufzubauen und ihre Daten zu überprüfen. Ohständen diese Standards baute jedes Labor seine eigenen maßgeschneiderten Werkzeuge, was Daten schuf, die schwer vergleichbar oder verifizierbar waren, und das Feld mit einer Fülle interessanter Ideen, aber einem Mangel an solider, reproduzierbarer Wissenschaft zurückließ.
Um dies zu lösen, hat ein Team von Forschern ein neues Open-Source-Toolkit namens ResXR entwickelt, das darauf ausgelegt ist, den chaotischen Prozess der Virtual-Reality-Forschung in einen reibungslosen, standardisierten Arbeitsablauf zu verwandeln. Das System ist für Standalone-Headsets konzipiert – das sind eigenständige Computer, die am Kopf getragen werden und keine Verbindung zu einem leistungsstarken externen Computer benötigen. Das Toolkit bietet eine fertige Grundlage für Experimente und ermöglicht es Wissenschaftlern, exakt aufzuzeichnen, was eine Person sieht, wohin sie blickt und wie sie ihre Hände und ihren Körper bewegt. Entscheidend ist, dass das System nicht nur Daten sammelt; es fungiert als strenger Qualitätskontrolleur. In der Vergangenheit gingen Forscher oft davon aus, dass die Daten gut seien, wenn ihr Headset meldete, dass eine Hand oder ein Auge verfolgt wurde. Das Team hinter ResXR entdeckte, dass diese Annahme gefährlich ist. Sie führten eine Reihe von Stresstests durch, bei denen sie die Sicht des Headsets auf eine Hand absichtlich blockierten oder das Auge eines Teilnehmers verdeckten, um zu sehen, wie das Gerät die Situation meldet. Sie fanden heraus, dass die interne Software des Headsets oft weiterhin Daten als „gültig“ meldete, selbst wenn sie die Sicht auf das Subjekt verloren hatte, und somit Fehler hinter einem grünen Licht verbarg.
Die Forscher stellten fest, dass die integrierten Status-Flags des Headsets, die Benutzer eigentlich warnen sollen, wenn das Tracking verloren geht, häufig unzuverlässig sind. In ihren Tests, als eine Hand vor der Kamera verborgen wurde, behielt das Headset manchmal das „gültig“-Flag bei, während die Positionsdaten zu einer festen, falschen Pose drifteten. Ähnlich verhielt es sich, wenn ein Teilnehmer die Augen schloss: Das Eye-Tracking-System registrierte das Schließen der Augen oft nicht und meldete weiterhin Blickdaten, als wären die Augen offen. Das Team erkannte, dass das Vertrauen auf die Standardwarnungen der Hersteller zu fehlerhafter Wissenschaft führen würde. Anstatt sich auf diese ungeprüften Signale zu verlassen, nutzt ResXR einen anderen Ansatz. Es zeichnet die Rohdaten zusammen mit den eigenen Statusberichten des Headsets auf und lässt dann ein separates, unabhängiges Computerprogramm laufen, um Fehler zu prüfen. Dieses Programm sucht nach spezifischen Mustern, wie etwa plötzlichen Datenabfällen oder Signalen, die darauf hindeuten, dass eine Hand verloren gegangen ist, und markiert diese Momente für die Überprüfung durch den Forscher. Wenn die Daten schlecht sind, kann das System diese spezifischen Momente ausblenden, ohne die restliche Aufnahme zu löschen, wodurch die Integrität des Experiments gewahrt bleibt.
Sobald die Daten bereinigt und geprüft sind, organisiert das Toolkit sie in einem universellen Format namens Motion-BIDS. Dies ist eine standardisierte Art, Bewegungsdaten zu kennzeichnen und zu speichern, ähnlich wie eine Bibliothek Bücher organisiert, damit jeder sie finden kann. Durch die Umwandlung der unordentlichen, kundenspezifischen Dateien des Headsets in dieses saubere, Standardformat stellen die Forscher sicher, dass Daten aus einem Labor leicht von einem anderen analysiert und geteilt werden können. Das System erstellt zudem einen klaren, visuellen Bericht für jede Sitzung, der genau zeigt, wann die Daten gut und wann sie nicht gut waren. Um zu beweisen, dass dieses System funktioniert, ohne die Erfahrung zu verlangsamen, testete das Team es, während Teilnehmer durch Labyrinthe navigierten und virtuelle Museen erkundeten. Sie fanden heraus, dass die Aufzeichnung aller Daten mit hoher Geschwindigkeit die Leistung des Headsets nicht beeinträchtigte; die virtuelle Welt blieb flüssig und die Bildrate blieb stabil. Das Toolkit enthält drei sofort einsatzbereite Experimente – eine Entscheidungsaufgabe, ein Navigationslabyrinth und eine Museumstour –, die Forscher direkt ausführen können, ohne Programmiercode schreiben zu müssen.
Die Hauptleistung dieser Arbeit ist nicht nur die Software selbst, sondern der Beweis, dass die Werkzeuge, mit denen wir das menschliche Verhalten in der virtuellen Realität messen, empirisch getestet werden müssen, anstatt sie einfach blind zu vertrauen. Die Forscher zeigten, dass selbst die fortschrittlichsten Consumer-Headsets Daten produzieren können, die perfekt aussehen, aber tatsächlich fehlerhaft sind, und dass der einzige Weg, den Unterschied zu erkennen, darin besteht, das System unter realen Bedingungen Stresstests zu unterziehen. Indem sie einen transparenten, Open-Source-Pfad vom Moment, in dem ein Teilnehmer das Headset aufsetzt, bis zum finalen, verifizierten Datensatz bereitstellen, beseitigt ResXR die technischen Barrieren, die viele Wissenschaftler bisher vom Feld ferngehalten haben. Es bietet eine Grundlage, auf der sich der Fokus wieder auf die Wissenschaft des menschlichen Verhaltens richten kann – mit der Gewissheit, dass die Messungen real, die Fehler bekannt und die Ergebnisse in der breiteren Gemeinschaft vertrauenswürdig sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.