ResXR: infrastructure for quality-controlled, reproducible studies of human behavior in Extended Reality
تُعد ResXR مجموعة أدوات مفتوحة المصدر لخوذات Meta Quest تعمل على توحيد معايير جمع بيانات السلوك البشري في الواقع الممتد (XR) وضبط جودتها وتصديرها بتنسيق Motion-BIDS، مما يتيح إجراء أبحاث في مجال الواقع الممتد قابلة للتكرار والوصول دون الحاجة إلى برمجة متخصصة.
تخيل عالماً يستطيع فيه العلماء الدخول إلى بيئة مولدة بالحاسوب لدراسة كيفية تفكير الناس، وشعورهم، وحركتهم. توفر هذه التقنية، المعروفة باسم الواقع الممتد، ميزة فريدة: فهي تجمع بين التحكم الصارم للمختبر والشعور بالتواجد في مكان حقيقي. وبخلاف النظر إلى شاشة مسطحة، يمكن لهذه الأنظمة الغامرة أن تحفز استجابات جسدية وعاطفية حقيقية، مما يسمح للباحثين بمراقبة السلوك الطبيعي في إعداد آمن ومنضبط. وعلى مدى عقود، نما هذا المجال بسرعة مع انخفاض تكلفة المعدات وسهولة الوصول إليها. ومع ذلك، كانت هناك مشكلة كبيرة أعاقت التقدم؛ فتماماً كما يحتاج العالم في مختبر الكيمياء إلى أدوات زجاجية قياسية وأدوات قياس دقيقة لضمان إمكانية الوثوق بنتائجه وتكرارها من قبل الآخرين، افتقر الباحثون في مجال الواقع الافتراضي إلى طريقة مشتركة وموثوقة لبناء التجارب والتحقق من بياناتهم. وبدون هذه المعايير، يبني كل مختبر أدواته الخاصة والمخصصة، مما يخلق بيانات يصعب مقارنتها أو التحقق منها، ويترك المجال مليئاً بالأفكار المثيرة للاهتمام ولكن مع نقص في العلم الرصين القابل للتكرار.
ولحل هذه المشكلة، قام فريق من الباحثين ببناء مجموعة أدوات جديدة مفتوحة المصدر تسمى ResXR، صُممت لتحويل العملية الفوضوية لأبحاث الواقع الافتراضي إلى سير عمل سلس ومعياري. تم بناء النظام ليعمل على سماعات الرأس المستقلة، وهي أجهزة كمبيوتر متكاملة تُلبس على الوجه ولا تحتاج إلى الارتباط بجهاز كمبيوتر خارجي قوي. توفر مجموعة الأدوات أساساً جاهزاً للتجارب، مما يسم يسمح للعلماء بتسجيل ما يراه الشخص بالضبط، وأين ينظر، وكيف يحرك يديه وجسده. والأهم من ذلك، أن النظام لا يكتفي بجمع البيانات فحسب؛ بل يعمل كمفتش صارم لمراقبة الجودة. في الماضي، كان الباحثون يفترضون غالباً أنه إذا أفادت سماعة الرأس بتتبع اليد أو العين، فإن البيانات جيدة. وقد اكتشف الفريق المطور لـ ResXR أن هذا الافتراض خطير؛ حيث أجروا سلسلة من اختبارات الضغط، عبر حجب رؤية سماعة الرأس لليد عمداً أو تغطية عين المشارك لرؤية كيف سيبلغ الجهاز عن تلك الحالة. ووجدوا أن البرامج الداخلية لسماعة الرأس تستمر في الإبلاغ عن البيانات كبيانات "صحيحة" حتى عندما تفقد الرؤية للهدف، مما يخفي الأخطاء خلف ضوء أخضر.
وجد الباحثون أن علامات الحالة المدمجة في سماعة الرأس، والتي يُفترض بها تحذير المستخدمين عند فقدان التتبع، غالباً ما تكون غير موثوقة. ففي اختباراتهم، عندما كانت اليد محجوبة عن الكاميرا، كانت سماعة الرأس أحياناً تبقي علامة "الصحة" (valid) مفعلة بينما تنحرف بيانات الموقع إلى وضعية ثابتة وخاطئة. وبالمثل، عندما يغلق المشارك عينيه، غالباً ما يفشل نظام تتبع العين في تسجيل الإغلاق، مستمراً في الإبلاال عن بيانات التحديق كما لو كانت العينان مفتوحتين. أدرك الفريق أن الثقة في تحذيرات الشركات المصنعة ستؤدي إلى علوم معيبة. وبدلاً من الاعتماد على هذه الإشارات غير المختبرة، يستخدم ResXR نهجاً مختلفاً؛ فهو يسجل البيانات الخام جنباً إلى جنب مع تقارير الحالة الخاصة بسماعة الرأس، ثم يشغل برنامج كمبيوتر منفصل ومستقل للتحقق من الأخطاء. يبحث هذا البرنامج عن أنماط محددة، مثل الهبوط المفاجئ في البيانات أو الإشارات التي تشير إلى فقدان تتبع اليد، ويحدد تلك اللحظات لمراجعتها من قبل الباحث. وإذا كانت البيانات سيئة، يمكن للنظام إخفاء تلك اللحظات المحددة دون حذف بقية التسجيل، مما يحافظ على سلامة التجربة.
بمجرد تنظيف البيانات والتحقق منها، تقوم مجموعة الأدوات بتنظيمها في تنسيق عالمي يسمى Motion-BIDS. وهذا تنسيق معياري لتسمية وتخزين بيانات الحركة، يشبه الطريقة التي تنظم بها المكتبة الكتب بحيث يمكن لأي شخص العثور عليها. ومن خلال تحويل الملفات الفوضوية والمخصصة من سماعة الرأس إلى هذا التنسيق النظيف والمعياري، يضمن الباحثون إمكانية مشارنة وتحليل البيانات من مختبر واحد بسهولة من قبل مختبر آخر. كما يصدر النظام تقريراً مرئياً واضحاً لكل جلسة، يوضح بالضبط متى كانت البيانات جيدة ومتى لم تكن كذلك. ولإثبات أن هذا النظام يعمل دون إبطاء التجربة، اختبره الفريق بينما كان المشاركون يتنقلون في متاهات ويستكشفون متاحف افتراضية. ووجدوا أن تسجيل جميع البيانات بسرعة عالية لم يعطل أداء سماعة الرأس؛ حيث ظل العالم الافتراضي سلساً وظل معدل الإطارات ثابتاً. تتضمن مجموعة الأدوات ثلاث تجارب جاهزة للاستخدام — مهمة اختيار، ومتاهة ملاحة، وجولة في متحف — يمكن للباحثين تشغيلها فوراً دون الحاجة إلى كتابة أي كود برمجي.
إن الإنجاز الرئيسي لهذا العمل ليس مجرد البرمجيات نفسها، بل هو إثبات أن الأدوات التي نستخدمها لقياس السلوك البشري في الواقع الافتراضي يجب اختبارها تجريبياً بدلاً من قبولها على سبيل الإيمان المطلق. لقد أظهر الباحثون أنه حتى أكثر سماعات الرأس الاستهلاكية تقدماً يمكن أن تنتج بيانات تبدو مثالية ولكنها في الواقع معيبة، وأن الطريقة الوحيدة لمعرفة الفرق هي اختبار النظام تحت ظروف حقيقية. ومن خلال توفير مسار شفاف ومفتوح المصدر بدءاً من لحظة ارتداء المشارك لسماعة الرأس وصولاً إلى مجموعة البيانات النهائية والمحققة، يزيل ResXR العوائق التقنية التي منعت العديد من العلماء من دخول هذا المجال. إنه يقدم أساساً يمكن فيه للتركيز أن يعود إلى علم السلوك البشري، مع الثقة في أن القياسات حقيقية، والأخطاء معروفة، والنتائج موثوقة من قبل المجتمع العلمي الأوسع.
ملخص تقني لـ ResXR: بنية تحتية للدراسات القابلة للتكرار وعالية الجودة للسلوك البشري في الواقع الممتد
بيان المشكلة تواجه أبحاث الواقع الممتد (XR) فجوة حرجة في البنية التحتية: فبينما يوفر الواقع الممتد مزيجاً فريداً من التحكم التجريبي والصلاحية البيئية، يفتقر المجال إلى معايير مشتركة لجمع البيانات، وضبط الجودة، والتنسيق. يحدد المؤلفون ثلاثة عوائق رئيسية تمنع دخول الواقع الممتد إلى المجال السائد في العلوم السلوكية:
نزاهة البيانات: غالباً ما تظهر بيانات المستشعرات غير الصالحة وكأنها صالحة. وخلافاً للبيانات المفقودة، قد تستمر سماعات الرأس في تسجيل بيانات مستنتجة أو قديمة (مثل الوضعيات الأخيرة المعروفة) دون تحديدها صراحةً كبيانات غير صالحة في التسجيل. تعتمد الأدوات الحالية غالباً على وثائق الشركات المصنعة لمعرفة أعلام (flags) الحالة دون اختبار هذه الأعلام تجريبياً لمعرفة مدى دقتها في عكس فقدان التتبع تحت الضغط.
الافتقار إلى التقييس: تنتج أدوات جمع بيانات الواقع الممتد تنسيقات مخصصة غير متوافقة بين المختبرات. ورغم وجود هيكل بيانات تصوير الدماغ (BIDS) وامتداد Motion-BIDS الخاص به، إلا أن معظم أدوات الواقع الممتد لا تخرج البيانات بهذه التنسيقات المعيارية، مما يعيق إعادة التحليل والمشاركة.
التكاليف الهندسية العالية: يتطلب بناء تجارب الواقع الممتد خبرات متخصصة في محركات الألعاب (مثل Unity) ولغات البرمجة النصية (مثل C#)، مما يخلق منحنى تعلم حاداً يستبعد العديد من مجموعات البحث السلوكي.
المنهجية يقدم المؤلفون ResXR (البحث باستخدام الواقع الممتد)، وهو مجموعة أدوات مفتوحة المصدر مصممة لسد الفجوة من التجربة الغامرة إلى مجموعة بيانات معيارية وخاضعة لضبط الجودة. تم بناء النظام ليعمل على سماعات Meta Quest المستقلة (تم اختباره تحديداً على Quest Pro) ويتكون من مكونين مستقلين:
قالب Unity الأساسي (استحواذ البيانات):
البنية: إطار عمل "الصندوق الزجاجي" (glass-box) مبني على Unity 6 وMeta XR Core SDK (الإصدار 78). يستخدم بنية تحميل المشاهد الإضافية حيث يتولى "المشهد الأساسي" المستمر مسؤولية البنية التحتية للتسجيل، مما يسمح للباحثين بتحميل المحتوى التجريبي دون إعادة تشغيل المسجل.
التقاط البيانات: يقوم بتسجيل تتبع الرأس، واليد، والعين، والوجه (على Quest Pro) مباشرة عبر OVRPlugin الخاص بالشركة المصنعة، متجاوزاً التجريدات عالية المستوى للوصول إلى طوابع SDK الزمنية وأعلام الحالة الخام.
استراتيجية التسجيل: يتم تسجيل البيانات بمعدل ثابت قدره 100 هرتز عبر حلقة FixedUpdate في Unity، وهي منفصلة عن معدل إطارات الرندرة (rendering) لضمان الاتساق الزمني.
المخرجات: تُكتب البيانات الخام في ملفات CSV نصية بسيطة مع طوابع زمنية لكل عينة وأعلام حالة من الـ SDK، جنباً إلى جنب مع بيانات وصفية بصيغة JSON وجداول أحداث مخصصة.
خط معالجة Python (التحقق، المعالجة المسبقة، والتقييس):
التحقق: يقوم خط المعالجة بإجراء فحوصات جودة آلية، بما في ذلك اكتشاف فقدان تتبع اليد، واتساق معدل أخذ العينات، واكتشاف انقطاع الساعة، واكتشاف إغلاق العين (باستخدام أوزان تعبيرات الوجه). ومن المهم أن الإشارات المحددة المستخدمة لهذه الفحوصات تم اختيارها بناءً على اختبارات الضغط التجريبية بدلاً من وثائق الشركة المصنعة.
المعالجة المسبقة: يمكنه إنشاء مجموعات بيانات مشتقة حيث يتم قناع (masking) الفترات التي تم تحديدها (مثل فقدان التتبع) بقيم NaN بدلاً من حذفها، وذلك للحفاظ على الاستمرارية الزمنية وفقاً لاتفاقيات BIDS.
التقييس: يقوم خط المعالجة بتصدير البيانات بتنسيق Motion-BIDS، بما في ذلك طبقات البيانات الخام والمشتقة، وملفات JSON الجانبية لتعريف القنوات، وتقرير جودة HTML مستقل لكل جلسة.
المساهمات الرئيسية
التحقق التجريبي من أعلام الحالة: أجرى المؤلفون اختبارات ضغط منهجية على سماعات Meta Quest Pro لمراجعة أعلام الحالة الخاصة بالشركة المصنعة (مثل Valid وTracked). ووجدوا أن العديد من الأعلام تتصرف بشكل غير موثوق:
تتبع اليد: ظل علم Valid_Orientation قائماً حتى عند فقدان موضع اليد؛ حيث كان علم HandTracked فقط (من واجهة برمجة تطبيقات اليد المخصصة) يشير بوضوح إلى فقدان التتبع.
تتبع العين: ظلت أعلام صلاحية تتبع العين قائمة أثناء إغلاق العين أو الانسداد. تم اكتشاف إغلاق العين بدلاً من ذلك عبر أوزان أشكال الوجه (face-expression blend-shape weights) مثل Eyes_Closed_L/R.
واجهة برمجة تطبيقات الجسم (Body API): انتقلت مفاصل يد الـ Body API إلى وضعية ثابتة أثناء فقدان التتبع مع بقائها مصنفة كصالحة، مما يجعلها غير موثوقة للكشف عن الفقدان.
إزالة سماعة الرأس: لم يوجد إشارة واحدة تميز بوضوح بين إزالة السماعة وبين الانقطاعات الأخرى.
بنية تحتية مفتوحة المصدر: يوفر ResXR مساراً كاملاً وقابلاً للتكرار من تصميم التجربة إلى بيانات متوافقة مع BIDS. يتضمن ثلاثة نماذج جاهزة للتشغيل (الاختيار المنفصل، الملاحة المكانية، والاستكشاف البصري الحر) والتي لا تتطلب أي برمجة لاستخدامها ولكنها تعمل كنماذج للتخصيص.
قابلية التوسع المجتمعي: نُشرت بروتوكولات اختبار الضغط كدليل مفتوح، مما يسمح للمختبرات الأخرى بمراجعة أجهزتها وإصدارات SDK الخاصة بها. يقبل خط المعالجة البيانات من مصادر أخرى إذا التزمت باتفاقيات الملفات والأعمدة الخاصة بالقالب.
النتوات
الأداء: لم يؤدِ التسجيل المستمر بمعدل 100 هرتز على Meta Quest Pro إلى تعطيل التجربة. ظل معدل الإطارات مستقراً (~72 إطاراً في الثانية)، وزاد استهلاك الطاقة بشكل طفيف فقط (1.1%). كانت التكلفة الأساسية هي زيادة طفيفة في زمن الإطار عند المئين الـ 95، وزيادة صغيرة في الإطارات المتكررة (القديمة).
جودة البيانات: نجح خط المعالجة في معالجة جلسات العرض التوضيحي، مولداً مجموعات بيانات Motion-BIDS اجتازت نظام التحقق الرسمي من BIDS دون أخطاء. نجحت تقارير الجودة في عرض الفترات المحددة (مثل 104 أحداث فقدان تتبع اليد، و112 حدث إغلاق عين عبر ثلاث جلسات) بشكل فعال.
موثوقية الأعلام: أكدت اختبارات الضغط أن الاعتماد على وثائق الشركة المصنعة لضبط الجودة أمر غير كافٍ. إن المجموعة "الموثوقة" من الأعلام المستمدة تجريبياً (مثل استخدام HandTracked وأوزان الوجه) ضرورية لعملية القناع (masking) الدقيقة للبيانات.
الأهمية والادعاءات يضع البحث ResXR ليس كبديل للأدوات الموجودة، بل كركيزة أساسية لتجارب الواقع الممتد القابلة للتكرار. يجادل المؤلفون بأن التقييس في الواقع الممتد لا يمكن تحقيقه من خلال المواصفات وحدها؛ بل يجب إرساء معنى البيانات تجريبياً. ومن خلال توفير أساس شفاف وقابل للتوسع مجتمعياً يتضمن فحوصات جودة مختبرة بالضغط ومخرجات Motion-BIDS، يهدف ResXR إلى خفض حاجز الدخول للعلماء السلوكيين وتمكين إعادة تحليل بيانات الواقع الممتد عبر المختبرات المختلفة. تم تصميم هذه المجموعة لتتطور مع المجتمع، مما يسمح بإضافة مستشعرات جديدة، وفحوصات جودة، ودعم لأجهزة الواقع الممتد المستقبلية.