EgoCogNav: Cognition-aware Human Egocentric Navigation

إليك ملخص تقني مفصل لورقة البحث بعنوان "EgoCogNav: الملاحة الإدراكية البشرية من منظور الشخص الأول (Egocentric)."

1. بيان المشكلة

الملاحة البشرية ليست مجرد عملية هندسية للانتقال من النقطة (أ) إلى النقطة (ب)؛ بل هي متأثرة بعمق بالحالات الإدراكية، وخاصة عدم اليقين المتصور في المسار (perceived path uncertainty). تعتمد طرق التنبؤ بالمسار الحالية بشكل كبير على ملاحظات الطرف الثالث (منظور عين الطائر)، وتاريخ الحركة، وسياق المشهد، وغالبًا ما تهمل المنظور من منظور الشخص الأول (egocentric) والعوامل النفسية الداخلية (مثل التردد، والمسح البصري، والرجوع إلى الوراء) التي تحرك اتخاذ القرار البشري.

تتمثل التحديات الجوهرية التي تعالجها هذه الورقة في:

• نقص النمذجة الإدراكية: تفشل معظم النماذج في فهم كيفية استجابة البشر عاطفيًا وإدراكيًا للبيئات، وتحديدًا حالة عدم اليقين حيث يتعين على الفرد الاختيار بين إجراءات بديلة.
• قيود منظور الشخص الأول: تفتقر نماذج وبيانات الملاحة من منظور الشخص الأول الحالية غالبًا إلى المدخلات متعددة الوسائط (حركة العين وحركة الرأس) والتعليقات الإدراكية (عدم اليقين المبلغ عنه ذاتيًا).
• القدرة على التعميم: تواجه النماذج صعوبة في التعميم على البيئات غير المرئية حيث يتم تحفيز سلوكيات البحث عن المسار (مثل المسح البصري أو الرجوع إلى الوراء) بسبب غموض بيئي محدد.

2. المنهجية: إطار عمل EgoCogNav

يقترح المؤلفون EgoCogNav، وهو إطار عمل متعدد الوسائط يتنبأ بشكل مشترك بالمسارات المستقبلية لمركز الجسم، ووضعيات الرأس، وعدم اليقين المتصور في المسار ($\hat{U}_t$) لحظة بلحظة.

أ. المدخلات وصياغة المشكلة

بالنظر إلى نافذة ماضية ($T_1 = 30$ خطوة، 3 ثوانٍ) من:

• فيديو من منظور الشخص الأول: إطارات RGB ($X_{1:T_1}$).
• تاريخ الحركة: تغيرات المسار في إطار الجسم ($\Delta x, \Delta y, \Delta \psi$).
• دورات الرأس: دورات مستمرة سداسية الأبعاد ($H_{1:T_1}$).
• نقطة النظر (Gaze): نقاط النظر المعيارية ($G_{1:T_1}$).
• الهدف: متجه هدف الملاحة ($q$).

يتنبأ النموذج بـ:

1. المسار المستقبلي ($\hat{S}_{T_1+1:T_2}$).
2. وضعيات الرأس المستقبلية ($\hat{H}_{T_1+1:T_2}$).
3. عدم اليقين المتصور الحالي ($\hat{U}_t \in [0, 1]$).

ب. البنية الهيكلية

يتكون إطار العمل من ثلاث وحدات رئيسية (كما هو موضح في الشكل 2 من الورقة):

1. وحدة الإدراك (Perception Module):

   • تعالج إطارات RGB الماضية باستخدام هيكل محول رؤية (Vision Transformer) من نوع DINOv2 مجمد.
   • تستخرج الميزات المكانية والزمانية التي يتم إسقاطها إلى أبعاد مشتركة.

2. وحدة الفعل (Action Module):

   • تشفر الإشارات المتزامنة: حركة الجسم، دوران الرأس، نقطة النظر، وهدف الملاحة.
   • تستخدم ترميز الموقع الجيبي (sinusoidal positional encoding) ومحول (Transformer) مكون من 4 طبقات.

3. وحدة الإدراك (Cognition Module - الابتكار الأساسي):
   تعمل هذه الوحدة كجسر بين الإدراك والفعل لنمذجة الحالات الداخلية، وتتكون من ثلاثة مكونات فرعية:

   • تقدير عدم اليقين المقترن بالتدرج (Gradient-Coupled Uncertainty Estimation): رأس يتنبأ بـ $\hat{U}_t$ من التمثيل المدمج باستخدام MLP وتنشيط (sigmoid). يتم تدريب هذه المهمة بشكل مشترك، مما يجبر المشفر على تعلم ميزات حساسة للحالات الإدراكية (مثل المسح البصري) عبر الانتشار العكسي (backpropagation).
   • التنبؤ المعزز بالذاكرة (Memory-Augmented Prediction): يقدم ناقلات أنماط ملاحة قابلة للتعلم ($M$) تعمل كبنك ذاكرة. تقوم الحالة الحالية باستعلام هذه الأنماط عبر الانتباه المتقاطع (cross-attention) لاسترجاع السياق من مواقف ماضية مماثلة، مما يوسع نافذة السياق الفعالة بما يتجاوز المدخلات المباشرة.
   • فك التشفير المشروط بعدم اليقين (Uncertainty-Conditioned Decoding - UCD): يستخدم التطبيع الطبقي التكيفي (Adaptive Layer Normalization) لتعديل الميزات الكامنة بناءً على عدم اليقين المتوقع $\hat{U}_t$. يسمح هذا لفك التشفير بتعديل سلوكه ديناميكيًا (على سبيل المثال، ليصبح أكثر "حذرًا" أو "استكشافيًا") بناءً على الحمل الإدراكي المقدر.

ج. أهداف التدريب

يتم تدريب النموذج باستخدام دالة خسارة متعددة المهام:

• خسارة المسار (Trajectory Loss): خسارة $\ell_1$ مخفضة + تنظيم التباين.
• خسارة الرأس (Head Loss): مسافة $\ell_1$ لمصفوفة الدوران.
• خسارة عدم اليقين (Uncertainty Loss): متوسط مربع الخطأ (MSE) مقابل التقارير الذاتية البشرية.

3. المساهمات الرئيسية

1. صياغة المهمة: تحديد مهمة جديدة لـ التنبؤ من منظور الشخص الأول المدرك للعمليات الإدراكية تتنبأ بشكل مشترك بالمسار، وحركة الرأس، وعدم اليقين المتصور.
2. بنية EgoCogNav: تطوير إطار عمل معياري يدمج الرؤية، والحركة، والنظر مع آلية فك تشفير معززة بالذاكرة ومشروطة بعدم اليقين. وهو يجسد بفعالية حلقة "الإدراك–القرار–الفعل".
3. مجموعة بيانات CEN: تقديم مجموعة بيانات الملاحة من منظور الشخص الأول المدركة للإدراك (CEN)، وهي مورد هام يحتوي على:
   • 6 ساعات من التسجيلات في العالم الحقيقي.
   • 17 مشاركًا عبر 42 موقعًا متنوعًا (داخلي/خارجي).
   • تدفقات متعددة الوسائط: فيديو، نظر، وضعية الرأس، وعدم يقين مُبلغ عنه ذاتيًا وبشكل مستمر (على مقياس 0–1) عبر وحدة تحكم.
   • تعليقات غنية للسلوكيات (التردد، الرجوع إلى الوراء، المسح البصري) وأنواع البيئات (التقاطعات، العوائق).

4. النتائج التجريبية

التقييم الكمي

تم التقييم على مجموعة اختبار غير مرئية من البيئات:

• المسار وحركة الرأس: حقق EgoCogNav أفضل أداء مقارنة بالنماذج السابقة (SOTA)، حيث قلل من متوسط خطأ الإزاحة (ADE) بنسبة 3.8% ومن خطأ الإزاحة النهائي (FDE) بنسبة 5.0% مقارًة بأقوى نموذج أساسي (EgoCast المعدل).
• التنبؤ بعدم اليقين: حقق النموذج ارتباط رتب سبيرمان ($\rho$) قدره 0.788 مع التقارير البشرية، متفوقًا بشكل كبير على النماذج القائمة على القواعد (EMU, PATH_U) التي كانت قريبة من مستوى الصدفة ($\rho < 0.2$).
• الحساسية السلوكية: أظهر النموذج حساسية عالية ($\Delta U$) تجاه السلوكيات الصعبة الموثقة (التردد، الرجوع إلى الوراء)، حيث تنبأ بقيم عدم يقين أعلى خلال هذه الأحداث المحددة مقارنة بالفقرات المحايدة.

دراسات الاستئصال (Ablation Studies)

• التنبؤ بعدم اليقين: أدت إضافة رأس التنبؤ بعدم اليقين وحدها إلى تقليل FDE بنسبة 9.2%، مما يثبت أن إشارة التدرج تجبر المشفر على تعلم تمثيلات إدراكية أفضل.
• التكامل (Complementarity): حقق الجمع بين الذاكرة (التي توفر السياق) و UCD (الذي يعدل السلوك بناءً على عدم اليقين) أكبر المكاسب، مما يثبت أنهما يعالجان قيودًا مختلفة في عملية التنبؤ.

التحليل النوعي

• أظهرت عمليات التصور أن النموذج يحدد بشكل صحيح مناطق عدم اليقين العالي (مثل التقاطعات المتعددة، المسارات المحجوبة) ويربطها بسلوكيات مثل المسح البصري والرجوع إلى الوراء.
• حالات الفشل: واجه النموذج أحيانًا صعوبة مع العوائق الكثيفة أو احتاج إلى ذاكرة طويلة المدى لحل خيارات المسار المعقدة، مما يشير إلى الحاجة إلى دمج أفضل للسياق العالمي.

5. الأهمية والأثر

• الذكاء الاصطناعي المتمحور حول الإنسان: ينقل هذا العمل التنبؤ بالمسار من مجرد التنبؤ الهندسي إلى النمذجة الإدراكية، مما يمكن الأنظمة من فهم لماذا يتردد الإنسان أو يغير اتجاهه.
• التقنيات المساعدة: القدرة على التنبؤ بعدم اليقين المتصور أمر بالغ الأهمية لـ أنظمة الملاحة المساعدة (مثل المكفوفين أو كبار السن) والروبوتات الاجتماعية، مما يسمح لها بتوقع ارتباك المستخدم وتقديم توجيه في الوقت المناسب وسياقي.
• معيار مجموعة البيانات: إن إصدار مجموعة بيانات CEN يسد فجوة حرجة في هذا المجال، حيث يوفر أول مجموعة بيانات واسعة النطاق ومتعددة الوسائط وموسومة إدراكيًا للملاحة من منظور الشخص الأول، مما يسهل الأبحاث المستقبلية في التفاعل بين الإنسان والحاسوب والروبوتات.

باختصار، يثبت EgoCogNav أن دمج العوامل الإدراكية (وتحديدًا عدم اليقين المتصور) في التعلم متعدد الوسائط يحسن بشكل كبير من دقة التنبؤ بالحركة البشرية، مما يؤدي إلى أنظمة ملاحة أكثر طبيعية وأمانًا.