Offline Dynamic AOI Generation and Runtime Gaze Mapping for 360° Video in Virtual Reality: A Systems and Feasibility Study
تقدم هذه الورقة وتتحقق من صحة مسار عمل من مرحلة ما قبل التشغيل إلى وقت التشغيل لتتبع حركة العين في الواقع الافتراضي بزاوية 360 درجة، والذي يستخدم كواشف ذات مفردات مفتوحة لإنشاء مناطق اهتمام ديناميكية ويقوم برسم خرائط تتبع النظر المتزامن مع الإطارات، مع مقارنة نماذج مثل Grounding DINO وYOLO-World لتحقيق التوازن بين تغطية الكشف وكفاءة المعالجة مع تحديد التحديات التقنية الرئيسية للتحسين المستقبلي.
المؤلفون الأصليون:Alejandro Sanz-Huerta, José Miguel Mota Macías, Juan José Carrera-Herrera, Rubén Baena-Pérez, Ismael Traba Outes
تخيل أنك تحاول فهم ما ينظر إليه شخص ما بينما يرتدي سماعة رأس تعرض له عالماً كاملاً بزاوية 360 درجة. في فيلم مسطح، يمكنك بسهولة رسم مربع حول شخص أو سيارة والقول: "إنهم ينظرون إلى هذا". ولكن في الفيديو الكروي، يلتف العالم حول المشاهد؛ حيث يمكن للأجسام أن تتمدد، أو تتقلص، أو تنقسم إلى نصفين أثناء تحركها عبر حواف الصورة. ولدراسة كيفية تركيز الناس انتباههم في هذه البيئات الغامرة، يحتاج الباحثون إلى طريقة لتحديد هذه الأهداف المتحركة تلقائياً وتتبع عيون المشاهد وهي تتبعها. هذا هو التحدي الجوهري لتتبع حركة العين في الواقع الافتراضي: إنشاء خريطة موثوقة لما يهم في مشهد يتغير باستمرار ويلتف حول المستخدم.
قام فريق من الباحثين في جامعة قادس بإسبانيا ببناء نظام جديد لحل هذه المشكلة. لقد ابتكروا عملية مكونة من جزأين تفصل بين العمل الشاق المتمثل في تحديد الأجسام وبين اللحظة الفعلية لارتداء الشخص لسماعة الرأس. أولاً، يأخذون فيديو بزاوية 360 درجة ويستخدمون برامج كمبيوتر قوية لمسحه، بحثاً عن أشياء محددة مثل البشر أو الحيوانات أو الأشياء بناءً على أوصاف نصية بسيطة. ترسم هذه البرامج مربعات غير مرئية حول العناصر التي تجدها، ثم يحول الفريق هذه المربعات إلى خريطة رقمية خاصة يمكن لسماعة الرأس قراءتها. لاحقاً، عندما يرتدي المشارك سماعة الرأس لمشاهدة الفيديو، يستخدم النظام هذه الخريطة ليعرف فوراً أي جسم ينظر إليه الشخص، إطاراً تلو الآخر، دون الحاجة للقيام بالعمل الحسابي الثقيل أثناء تشغيل الفيديو.
ولاختبار مدى فعالية هذا النظام، جرب الباحثون تقنيتهم مع ثلاثة أنواع مختلفة من الفيديوهات: غرفة بها أشخاص وأجهزة كمبيوتر محمولة، ومشهد غابة، ومقطع للحياة البرية يضم أسودًا وغزلانًا. كما اختبروا ثلاثة برامج كمبيوتر مختلفة لمعرفة أيهم الأفضل في العثور على الأجسام. كان أحد البرامج، ويُدعى Grounding DINO، الأكثر دقة، حيث وجد أكبر عدد من الأجسام حتى في المشاهد الصعبة، لكنه استغرق وقتاً طويلاً لمعالجة الفيديو. أما برنامج آخر، وهو YOLO-World، فقد كان سريعاً للغاية — أسرع بنحو تسع مرات من الأول — ولكنه أغفل العديد من الأجسام، خاصة الحيوانات الصغيرة في مقطع الحياة البرية. ووقع الخيار الثالث، OWLv2، في منطقة وسط بينهما. ووجد الباحثون أنه لا يوجد برنامج واحد مثالي لكل موقف؛ فالاختيار الأفضل يعتمد كلياً على ما يحتويه الفيديو.
وعندما اختبروا النظام الكامل مع ثمانية متطوعين، عملت التكنولوجيا بسلاسة. نجحت سماعة الرأس في تتبع أين كان المشاركون ينظرون وربط تلك النظرات بالأجسام التي حددها الكمبيوتر. سجل النظام كل مرة ركز فيها الشخص على شيء ما، مما خلق سجلاً مفصلاً لانتباههم. ومع ذلك، كشفت الدراسة أيضاً عن مواضع تعثر النظام. ففي فيديو الحياة البرية، فشل النظام غالباً في ملاحظة الحيوانات. حدث هذا لأن الحيوانات كانت صغيرة، وتتحرك بسرعة، وتظهر أحياناً في أجزاء من الفيديو حيث تكون الصورة مشوهة بطبيعتها. واجهت برامج الكمبيوتر صعوبة في العث حد هذه الأهداف الصغيرة والمتحركة، مما يعني أن النظام فاته الكثير من الأوقات التي كان المشاركون ينظرون فيها بالفعل إلى الحيوانات.
خلص الباحثون إلى أن طريقتهم تشكل أساساً متيناً للدراسات المستقبلية. فهي تثبت أنه يمكنك تلقائياً إنشاء خرائط الانتباه هذه واستخدامها في تجارب الواقع الافتراضي في الوقت الفعلي. إن الفصل بين التحضير "خارج الخط" (offline) والتجربة المباشرة يجعل العملية موثوقة وقابلة للتكرار. ومع ذلك، فقد أوضحوا أيضاً أن التكنولوجيا ليست جاهزة بعد لكل أنواع الفيديوهات؛ فبينما تعمل بشكل جيد في المشاهد الواضحة والمنظمة مثل غرفة بها أشخاص، إلا أنها لا تزال بحاجة إلى تحسين للتعامل مع الأجسام الصغيرة سريعة الحركة في البيئات الطبيعية المعقدة. لا تدعي الدراسة أنها حلت مشكلة تتبع حركة العين في فيديو 360 درجة تماماً، لكنها قدمت مخططاً عملياً وقائمة واضحة بالعقبات المحددة التي لا تزال بحاجة إلى تجاوزها.
ملخص تقني: التوليد غير المتزامن للمناطق ذات الاهتمام (AOI) وتعيين تتبع حركة العين في وقت التشغيل لمقاطع الفيديو بـ 360 درجة في الواقع الافتراضي
بيان المشكلة
تواجه أبحاث تتبع حركة العين الغامرة باستخدام فيديو 360 درجة في الواقع الافتراضي (VR) عقبة حرجة: وهي الافتقار إلى مسارات عمل قابلة لإعادة الإنتاج لتأليف المناطق ذات الاهتمام الديناميكية (AOIs). بخلاف الدراسات الساكنة القائمة على الشاشات، تتطلب فيديوهات 360 درجة مناطق اهتمام تتحرك، وتتشوه، وتظهر أو تختفي بالتزامن مع المحتوى. تعتمد المنهجيات الحالية على تقريبات ساكنة أو تعليق يدوي لكل إطار على حدما، وهو ما لا يمكن توسيعه. علاوة على ذلك، فإن الخصائص الفريدة لنطاق 360 درجة — وتحديداً تشوه الإسقاط المستطيل المتساوي (equirectangular projection)، وانقسام الأجسام عند خط الالتقاء يميناً ويساراً، وغياب الأدوات المعيارية — تجعل الأتمتة أمراً غير بديهي. وبينما توفر كواشف الأجسام مفتوحة المفردات (open-vocabulary object detectors) مساراً للأتمتة، إلا أن مقايضاتها فيما يتعلق بالتغطية، وزمن معالجة البيانات المسبقة، والمتانة تجاه العيوب الكروية في سياق محفزات 360 درجة المحددة، لم يتم توصيفها بعد.
المنهجية
يقدم المؤلفون مسار عمل "من العمل غير المتزامن إلى وقت التشغيل" (offline-to-runtime) حتميًا يفصل بين تأليف مناطق الاهتمام (AOI) وبين التنفيذ التجريبي. ينقسم النظام إلى ثلاث مراحل:
1. توليد مناطق الاهتمام غير المتزامن (المرحلة 1)
العملية: يتم استخراج إطارات متباعدة من فيديو 360 درجة المصدر. يقوم كاشف مفتوح المفردات (text-prompt detector) بتحديد الأجسام، والتي يتم بعد ذلك تصفيتها وربطها عبر الإطارات الرئيسية باستخدام آلية تتبع خفيفة الوزن (الاتفاق على التسمية، وتقاطع الاتحاد IoU، واستمرارية المسافة المركزية).
عقد الهوية: يتم تخصيص معرف رقمي مستقر ولون دقيق فريد لكل حالة AOI مستمرة. يعمل هذا اللون كمفتاح بحث أساسي في وقت التشغيل.
المخرجات: يصدر النظام ملفات متزامنة: خرائط AOI بصيغة PNG لكل إطار رئيسي، ملفات بيانات وصفية بصيغة JSON، بيان تسلسل (sequence manifest)، وحزمة RGB ثنائية 24-بت لرفع الأنسجة بسرعة في محرك Unity.
الكواشف التي تم اختبارها: تم تقييم مرحلة العمل غير المتزامن باستخدام ثلاثة كواشف مفتوحة المفردات: Grounding DINO، و YOLO-World، و OWLv2، حيث تم تكوين كل منها باستخدام مطالبات نصية خاصة بالمحتوى.
2. التنفيذ في وقت التشغيل (المرحلة 2)
المنصة: تم التنفيذ في محرك Unity (Universal Render Pipeline) للعمل على أجهزة الرأس (HTC VIVE Focus Vision).
الوظيفة: يقوم وقت التشغيل بتشغيل فيديو 360 درجة كخلفية بانورامية (skybox)، ويستحوذ على بيانات تتبع العين عبر OpenXR (مع استخدام نظام HTC VIVE كبديل).
رسم خرائط التتبع (Gaze Mapping): يتم تحويل أشعة النظر من فضاء العالم إلى إحداثيات كروية (السمت، الارتفاع، وإحداثيات UV المستطيلة المتساوية).
البحث عن الـ AOI: يقوم النظام بعملية بحث متزامنة مع الإطار مقابل خريطة الـ AOI النشطة حالياً باستخدام عقدة الهوية ذات اللون الدقيق.
تصدير البيانات: بدلاً من تدفق بيانات النظر الخام المستمر، يقوم وقت التشغيل بتسجيل أحداث مستوى التثبيت (fixation-level events) بوتيرة زمنية قدرها 250 مللي ثانية. يتم تصدير هذه الأحداث كملفات CSV تحتوي على تعيينات الـ AOI، والإحداثيات الكروية، وأقطار حدقة العين.
3. التحليل البعدي (المرحلة 3)
المقاييس: تقوم حزمة تحليل برمجية بلغة Python بمعالجة ملفات CSV الخاصة بأحداث التثبيت لحساب مقاييس النظر القياسية (مثل: الوقت حتى أول تثبيت، مدة التثبيت، عدد الزيارات، إلخ).
التفسير: يشير المؤلفون صراحةً إلى أن هذه المقاييس هي نماذج تقريبية لأحداث التثبيت (fixation-commit proxies) مشتقة من نموذج وتيرة الـ 250 مللي ثانية، وليست تقديرات مباشرة من العينات الخام (I-DT/I-VT).
المساهمات الرئيسية
بنية النظام: مسار عمل كامل وقابل لإعادة الإنتاج يفصل بين تأليف الـ AOI غير المتزامن وبين التنفيذ في وقت التشغيل، مما يضمن الحتمية والقابلية للتدقيق.
اختبار الكواشف: تقييم تجريبي لكواشف Grounding DINO و YOLO-World و OWLv2 عبر خمسة محفزات متنوعة لفيديو 360 درجة (مركزة على البشر، الطبيعة، والحياة البرية).
تصنيف حالات الفشل: توصيف حالات الفشل الخاصة ببيئة 360 درجة: عبور خط الالتقاء (seam crossings)، التشوه القطبي، الأهداف الصغيرة، والانجراف الزمني.
التحقق التجريبي: دراسة جدوى تقنية شملت ثمانية مشاركين وثلاثة محفزات، مما أثبت قدرة المسار على تسجيل ورسم خرائط وتصدير البيانات في ظل ظروف واقعية.
النتائج
اختبار الكواشف
السرعة: كان YOLO-World هو الأسرع، حيث قلل وقت المعالجة المسبقة بنحو 9.1 ضعف مقارنة بـ Grounding DINO (8.86 ثانية مقابل 77.18 ثانية في المتوسط لكل فيديو). واحتل OWLv2 موقعاً متوسطاً (تسريع بمقدار 3.98 ضعف).
التغطية: وفر Grounding DINO أوسع تغطية للكشف، لا سيما في المشاهد الغامضة بصرياً أو الغنية بالحياة البرية. حافظ YOLO-World على حوالي 40% من عمليات الكشف التي حققها Grounding DINO بشكل عام، لكنه انخفض بشكل كبير في مشاهد الحياة البرية (على سبيل المثال، كشف عنصرين فقط مقابل 74 لـ Grounding DINO في عينة sampleWolves360).
التحقق المكاني: أظهر تحقق أولي من تقاطع الاتحاد (IoU) على 15 إطاراً تم تدوينها يدوياً أن Grounding DINO حقق أعلى متوسط IoU إجمالي (0.37). أظهر YOLO-World دقة عالية في المشاهد التي تركز على الكاميرا، لكنه فشل (0.00 IoU) في مجموعة الحياة البرية. أظهر OWLv2 نتائج مختلطة، حيث كان الأفضل في مجموعة الحياة البرية الصغيرة رغم أدائه الأضعف في المشاهد المتعلقة بالكاميرا.
الجدوى في وقت التشغيل والتجربة الأولية
الاستقرار: نجح وقت التشغيل في الحفاظ على نسبة تتبع صالحة تبلغ 1.0 عبر جميع جلسات المشاركين الـ 24.
تعيين الـ AOI: بلغ متوسط نسبة التعيين الصالح (assigned_valid_ratio) (نسبة صفوف النظر الصالحة المعينة لـ AOI) 0.2469 إجمالاً.
test1Camera360 (مستقر): 0.3133
test2Camera360 (متوسط): 0.2674
test3Lions360 (حياة برية/تحدي): 0.0896
تحليل الفشل: عُزي انخفاض معدل التعيين في مقطع الحياة البرية إلى الأهداف الصغيرة، وتشتت توزيع الـ AOI، والتتبع الهش زمنياً، وليس فقدان التتبع. حدد المسار هذه النقاط بشكل صحيح كقيود هيكلية للنهج الحالي القائم على صناديق الإحاطة (bounding boxes).
الأهمية والادعاءات
يدعي البحث بتواضع أنه يقدم وصفاً للنظام، ومعياراً مرجعياً، وتقييماً تقنياً بدلاً من إجراء مقارنة إحصائية واسعة النط النطاق بين المصادر الآلية واليدوية للـ AOI.
الجدوى: تثبت الدراسة أن مسار العمل الحتمي (من غير المتزامن إلى وقت التشغيل) يمكنه دعم تشغيل ديناميكي مستقر للـ AOI ورسم خرائط النظر المتزامنة مع الإطارات في بيئة VR 360 درجة.
الإرشاد العملي: يقدم الاختبار إرشادات هندسية: YOLO-World مناسب للتكرار السريع في المشاهد التي تركز على البشر، بينما يعد Grounding DINO الخيار الأكثر أماناً لضمان التغطية في المشاهد المعقدة أو الحياة البرية.
القصور كإسهام: يضع المؤلفون تحديد حالات الفشل (عبور خط الالتقاء، التشوه القطبي، الأجسام الصغيرة) كإسهام منهجي. ويجادلون بأن هذه التحديات هي عيوب هيكلية في نطاق الإسقاط المستطيل المتساوي لا يمكن حلها بمجرد هندسة المطالبات، بل تتطلب تحسينات مستقبلية للمسار (مثل: التجميع الواعي بخط الالتقاء، وأقنعة التجزئة).
العمل المستقبلي: يضع البحث هذا العمل كحجر أساس لأعمال مستقبلية يمكنها توسيع نطاق التحقق المكاني وتحديد ما إذا كانت مصادر الـ AOI الآلية تغير جوهرياً مقاييس النظر النهائية مقارنة بالتدوين اليدوي.
يخلص المؤلفون إلى أنه بينما يعد التنفيذ الحالي حلاً لجدوى تقنية، فإنه يظل "تقريباً من الدرجة الأولى" يتطلب مزيداً من الصقل للتعامل مع كامل تعقيدات محتوى 360 درجة قبل أن يمكنه استبدال التدوين اليدوي في الدراسات واسعة النطاق.