FleetScape: A Mixed Reality Sandtable for Spatial Supervision and Control of Scalable Drone Fleets
تقدم هذه الورقة نظام FleetScape، وهو نظام طاولة رملية للواقع المختلط مصمم لتعزيز الإشراف البشري على أسراب الطائرات بدون طيار القابلة للتوسع من خلال إخراج بيانات المهمة في الوقت الفعلي عبر التفاعل المكاني، وتقيم فعاليته من خلال دراسة مستخدم تكشف عن تحسن في الوعي بالموقف وظهور استراتيجيات إشرافية متميزة مع زيادة حجم الأسراب.
تخيل أنك قائد أوركسترا ضخمة، ولكن بدلاً من الكمان والفلوت، أنت تقود سرباً من الطائرات المسيرة الصغيرة الطنانة. في عالم الروبوتات والتفاعل بين الإنسان والحاسوب، يمثل هذا تحدياً متزايداً. فبينما ننتقل من قيادة طائرة مسيرة واحدة إلى إدارة العشرات في وقت واحد، تتغير الوظيفة من كونها وظيفة طيار إلى وظيفة مشرف. فكر في الأمر كفرق بين قيادة سيارة واحدة وإدارة نظام حركة المرور في مدينة بأكملها. الطريقة القديمة للقيام بذلك — وهي النظر إلى خريطة ثنائية الأبعاد مسطحة على شاشة بينما تحدق في مجموعة من لقطات الكاميرا الصغيرة — تشبه محاولة إدارة مطبخ مزدحم بالنظر فقط إلى قائمة الطلبات؛ فمن السهل أن تضيع، وتصاب بالارتباك، وتغرق في التفاصيل. يتساءل العلماء: كيف يمكننا منح هؤلاء المشرفين رؤية أفضل؟ كيف يمكننا تحويل قائمة بيانات مسطحة ومربكة إلى عالم ثلاثي الأبعاد تفهمه أدمغتنا بشكل طبيعي، حتى نتمكن من الحفاظ على سلامة الجميع وإبقاء المهمة في مسارها الصحيح؟
هذه هي قصة FleetScape، وهي أداة جديدة صُممت لحل تلك المشكلة تحديداً. لقد بنى الباحثون "طاولة رمال للواقع المختلط"، وهي في الأساس خريطة ثلاثية الأبعاد سحرية وعائمة يمكنك رؤيتها ولمسها بيديك أثناء ارتداء سماعة رأس خاصة. بدلاً من التحديق في شاشة مسطحة، تقف أمام مدينة مصغرة متوهجة حيث تمثل الطائرات المسيرة نماذج صغيرة متحركة. يمكنك التكبير لرؤية بث كاميرا طائرة واحدة، أو التصغير لرؤية السرب بأكمعه وهو يرقص حول المباني. يقوم النظام بوضع المعلومات في طبقات مثل الكعكة: لديك شكل المباني، والمسار الذي يُفترض أن تسلكه الطائرات، وحتى "السحابة النقطية" (سحابة من النقاط الرقمية) التي تُظهر بالضبط ما قامت الطائرات بمسحه حتى الآن.
اختبر الفريق هذا النظام مع ستة من طياري الطائرات المسيرة ذوي الخبرة. وطلبوا من هؤلاء الخبراء إدارة أسراب مكونة من 5 و10 و15 طائرة مسيرة في مدينة محاكية، بحثاً عن أي ثغرات في النظام أو علامات ارتباك. كانت النتائج مذهلة؛ فقد وجد الطيارون أن الطاولة الرملية ثلاثية الأبعاد كانت نقطة تحول في تتبع الصورة الكلية. لقد ساعدتهم على فهم مكان وجود الطائرات وماذا تفعل دون الحاجة إلى القيام بتمارين ذهنية لتدوير خريطة ثنائية الأبعاد في رؤوسهم. كان بإمكانهم التنقل بسهولة من مراقبة المجموعة بأكملها إلى التحكم المباشر في طائرة واحدة فقط لإصلاح مشكلة ما، ثم التصغير مرة أخرى لرؤية الأسطول بأكمله.
ومع ذلك، وجدت الورقة البحثية أيضاً حداً صعباً. فبينما استطاع الطيارون التعامل مع 5 إلى 10 طائرات مسيرة بسهولة ومعرفة ما يحدث بدقة، أصبحت الأمور معقدة عند الوصول إلى 15 طائرة مسيرة. عند هذا الحجم، أصبح "الازدحام البصري" كبيراً جداً؛ حيث بدأ الطيارون يفقدون التفاصيل الصغيرة، مثل فقدان طائرة لإشارة الـ GPS أو انخفاض بطاريتها. لقد تحولوا من مخططين استباقيين إلى "رجال إطفاء" رد فعل، يتدخلون فقط عندما يحدث خطأ ما. تشير الدراسة إلى أنه على الرغم من أن هذه الواجهة ثلاثية الأبعاد هي خطوة كبيرة للأمام، إلا أننا لا نستطيع الاستمرار في إضافة المزيد من الطائرات المسيرة إلى الأبد دون تغيير طريقة رؤيتنا لها. فمن أجل التعامل مع أسراب أكبر، قد نحتاج إلى تجميع الطائرات في فرق أو التخطيط لمساراتها بعناية أكبر قبل انطلاقها. لا تدعي الورقة البحثية أنها حلت مشكلة أسراب الطائرات اللانهائية، لكنها تُظهر أن منح البشر رؤية مكانية ثلاثية الأبعاد هو وسيلة أفضل بكثير للإشراف عليها من طرق الشاشات المسطحة القديمة، على الأقل حتى نقطة معينة.
ملخص تقني: FleetScape: طاولة رملية للواقع المختلط للإشراف والتحكم المكاني في أسراب الطائرات بدون طيار القابلة للتوسع
بيان المشكلة
مع انتقال عمليات نشر الطائرات بدون طيار ذاتية القيادة من الوحدات الفردية إلى التنسيق الجماعي (الأسراب)، يتحول دور المشغل البشري من الطيران المباشر إلى الإشراف رفيع المستوى. تعامل الواجهات الحالية غالباً التحكم في تعدد الطائرات كنسخة موسعة من تشغيل طائرة واحدة، معتمدة على رؤى ثنائية الأبعاد مجزأة (لقطات كاميرا منفصلة، لوحات بيانات عن بُعد، وخرائط) التي تفشل في دعم المتطلبات المكانية والزمنية ومعايير السلامة للمهمات المعقدة. هذا التجزؤ يزيد من الحمل المعرفي، ويخلق مشاكل في التدوير الذهني، ويقلل من الوعي بالموقف (SA)، لا سيما مع نمو حجم الأسطول. هناك نقص في الأبحاث حول كيفية تقديم الواجهات المكانية لمعلومات الأسطول والمهمة بشكل متزامن مع تسهيل الانتقال السلس بين الإشراف العالمي والتحكم المباشر.
المنهجية
تصميم النظام: FleetScape
يقدم المؤلفون FleetScape، وهي واجهة واقع مختلط (MR) تتمحور حول طاولة رملية ثلاثية الأبعاد (3D Sandtable). يقوم هذا النظام بتقديم بيانات المهمة، والسلامة، والبيئة متعددة الطبقات بشكل خارجي، مما يتيح انتقالات سلسة بين التدخل اليدوي والإشراف الذاتي.
الأجهزة والمنصة: يعمل النظام على سماعة Meta Quest 3 باستخدام وحدات تحكم Meta Touch Pro للإدخال.
المكونات الأساسية:
الطاولة الرملية ثلاثية الأبعاد: مساحة العمل المركزية التي تمثل نموذجاً مصغراً مكانياً لبيئة العمليات. تدمج طبقات متعددة من البيانات: حدود المباني، نقاط تفتيش المسار، السحب النقطية (Point Clouds) في الوقت الفعلي، ونماذج الطائرات المصغرة. وتستخدم تصميماً يعتمد على التركيز، حيث تعرض معلومات مفصلة للطائرة المختارة بينما تجرد المعلومات الأخرى لتقليل الازدحام.
العروض الداعمة: توفر خريطة مصغرة ثنائية الأبعاد (2D Minimap) نظرة عامة علوية مستقرة، بينما يوفر لوح حالة الأسطول (Fleet Status Board) بيانات نصية مدمجة عن بُعد وتنبيهات.
لوحة تحكم الطائرة: تبث بث الكاميرا الخاص بالطائرة التي يتم التركيز عليها وتسمح بتبديل الأنماط.
أنماط التفاعل:
التفاعل الحدودي (Bound Interaction): يضع المستخدمون العروض في الرؤية المحيطية.
انتقالات التحكم: يدعم النظام التبديل السلس بين التفتيش الذاتي، التحكم اليدوي المباشر (عبر بث الكاميرا)، وتخطيط المسار شبه المستقل (تعديل نقاط المسار التفاعلي). صُممت الانتقالات لتكون لطيفة (تكبير وتمركز) للحفاظ على سياق مستوى الأسطول.
بيئة المحاكاة
لتقييم النظام، طور المؤلفون محاكياً عالي الدقة لتفتيش المباني باستخدام طائرات متعددة.
الديناميكيات: تدمج ديناميكيات الطائرات (المقتبسة من UnityDroneSim)، ووحدات الاستشعار (SafeSpect)، وخوارزمية البحث عن المسار A-star.
اختبار الضغط: يتضمن بارامترات قابلة للضبط لحجم الأسطول، وحالات البطارية، وعدم اليقين في الملاحة (أخطاء GPS المحاكات وانحراف الرياح) لاستحثاث أحداث السلامة.
دراسة المستخدم
أُجريت دراسة استكشافية للمستخدمين مع ستة طيارين محترفين ذوي خبرة (خمسة مرخصين، وواحد لديه خبرة هواة واسعة).
الإجراء: أدار المشاركون أساطيل مكونة من 5، 10، و15 طائرة في مهمة تفتيش مدتها 7 دقائق.
المقاييس:
الوعي بالموقف (SA): تم قياسه باستخدام تقنية التقييم العالمي للوعي بالموقف (SAGAT) عبر تجميد المحاكاة عند ثلاثة مستويات (الإدراك، الاستيعاب، والتوقع) لكل من تقدم المهمة وحالة الطائرة.
الحمل العملي والوعي بالموقف الذاتي: تم قياسهما عبر مقياس بيدفورد للحمل (Bedford Workload Scale) وتقنية تقييم الوعي بالموقف (SART).
القبول: تم قياسه باستخدام نموذج قبول التكنولوجيا (TAM).
الأداء: تم تتبع الإنتاجية لكل طائرة (نقاط المسار المغطاة) وأنماط التفاعل.
المساهمات الرئيسية
نطاق التصميم للتفاعل المكاني: إطار عمل يدعم الوعي بالموقف للمهمة والسلامة للإشراف على الأسطول، باستخدام نهج متعدد الوسائط (طاولة رملية ثلاثية الأبعاد، خريطة مصغرة ثنائية الأبعاد، ولوح حالة أحادي البعد).
نموذج FleetScape الأولي: واجهة واقع مختلط وظيفية تتيح تصوراً مكانياً متعدد الطبقات وانتقالات سلسة عبر أنماط التحكم (يدوي، شبه مستقل، تلقائي) ضمن سياق مكاني موحد.
التقييم التجريبي: تقييم مع طيارين محترفين يحدد الحدود القصوى لحجم الأسطول القابل للإدارة، ويكشف عن استراتيجيات الإشراف، ويوجه التصميم للإشراف على أساطيل الطائرات القابلة للتوسع.
النتائج
النتائج الكمية
الوعي بالموقف (SA):
الوعي بمهمة العمل: زاد الإدراك (المستوى 1) مع زيادة حجم الأسطول (0.65 ← 0.80)، لكن الاستيعاب (المستوى 2) والتوقع (المستوى 3) انخفضا بشكل ملحوظ مع نمو الأسطول من 5 إلى 15 طائرة.
الوعي بسلامة الطائرة: انخفضت جميع المستويات مع زيادة حجم الأسطول. انخفض الوعي الإجمالي بسلامة الطائرة من 0.86 (5 طائرات) إلى 0.61 (15 طائرة).
الحمل العملي: زاد عبء العمل الذاتي (مقياس بيدفورد) بشكل مطرد (4.17 ← 6.33)، بينما انخفض الوعي بالموقف المدرك (SART) (7.67 ← 4.83).
الأداء: انخفضت إنتاجية كل طائرة مع زيادة حجم الأسطول (39.6 نقطة مسار لكل طائرة عند 5 طائرات مقابل 32.1 عند 15 طائرة).
القبول: أفاد المشاركون بسهولة استخدام مدركة عالية (5.5/7) ومواقف إيجابية (5.83/7)، رغم أن الفائدة المدركة كانت أقل قليلاً بسبب مخاوف سير العمل في الواقع.
النتائج النوعية
الاستراتيجيات: تحول الطيارون من التحسين الاستباقي (عند 5 طائرات) إلى المراقبة التفاعلية القائمة على الاستثناءات (عند 15 طائرة).
استخدام الواجهة: كانت الطاولة الرملية هي الواجهة الأساسية للاستدلال المكاني، بينما استخدمت الخريطة المصغرة للتوجيه عندما كانت إشارات العمق ثلاثية الأبعاد غير كافية.
القيود: أبلغ الطيارون عن صعوبة في اختيار الطائرات المتحركة في البيئات المزدحمة، ولاحظوا أن الازدحام البصري (مثل السحب النقطية) قد يكون مشتتاً للانتباه.
حدود القابلية للتوسع: اعتبر معظم الطيارين أن 5 إلى 10 طائرات هو الحد الواقعي للإشراف الفعال. تطلبت إدارة 15 طائرة تغييرات استراتيجية كبيرة، مثل وضع نقاط المسار مسبقاً أو تجميع الطائرات، وغالباً ما أدى ذلك إلى فقدان الوعي التفصيلي بالسلامة.
الأهمية والادعاءات
يدعي البحث أن إعادة صياغة الإشراف على أسطول الطائرات كـ تفاعل مكاني يدعم بفعالية الوعي بالموقف ويوضح انتقالات أنماط التحكم. ومع ذلك، يقر البحث بتواضع بأن هناك حداً للوعي بالموقف مع زيادة حجم الأسطول.
الحد التجريبي: تحدد الدراسة حداً تجريبياً يبلغ حوالي 10 طائرات للمشغل الواحد للحفاظ على وعي رفيع المستوى بالموقف. بعد هذا الحد، يزداد الحمل المعرفي، مما يؤدي إلى التحول نحو المراقبة التفاعلية.
الآثار التصميمية: يستخلص المؤلفون أربعة آثار تصميمية للواجهات القابلة للتوسع:
التمثيل المكاني: استخدام أطر ثلاثية الأبعاد مشتركة لتقليل التدوير الذهني، مع السما permitir طبقات قابلة للضبط لإدارة التفاصيل مقابل الازدحام.
الانتقالات السلسة: دعم التحديد السريع للمشكلات ضمن سياق مكاني مشترك، مع تحسين كفاءة الإدخال للبيئات المزدحمة.
التصور التكيفي: الموازنة الديناميكية بين التفاصيل والتجريد بناءً على حجم الأسطول (مثل تجميع الطائرات، أو الترميز اللوني).
إعادة هيكلة سير العمل: نقل الطلب المعرفي من التدخل في الوقت الفعلي إلى التخطيط المسبق للمهمة وتحديد الأولويات (مثل مجموعات التحكم، أو تنبيهات الاستثناءات).
يخلص المؤلفون إلى أنه بينما يوضح FleetScape قيمة الجداول الرملية في الواقع المختلط لتقليل التدوير الذهني ودعم الانتقالات، فإن الأنظمة القابلة للتوسع مستقبلاً يجب أن تتضمن آليات تجريد وتصورات تكيفية للتعامل مع الأساطيل التي تزيد عن 10 وحدات بفعالية.