Online Intention Prediction via Control-Informed Learning

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التنبؤ بالنية عبر الإنترنت عبر التعلم المستند إلى التحكم" (Online Intention Prediction via Control-Informed Learning).

1. تعريف المشكلة

تتناول الورقة البحثية تحدي التنبؤ بالنية عبر الإنترنت (online intention prediction) للأنظمة ذاتية القيادة التي تعمل في بيئات غير مستقرة وديناميكية. وتحديداً، يتمثل الهدف في تقدير حالة الهدف ($x^*_g$) للنظام في الوقت الفعلي بناءً على مسارات الحالة المرصودة.

يقدم صياغة المشكلة ثلاثة تعقيدات حرجة تفشل الطرق الحالية غالباً في التعامل معها في آن واحد:

• الأهداف المتغيرة زمنياً: قد يغير الوكيل ذاتي القيادة حالة هدفه في أوقات غير معروفة أثناء التنفيذ (على سبيل المثال، السلوك العدائي أو التغييرات الديناميكية في المهمة).
• معلمات النظام المجهولة: تحتوي ديناميكيات النظام ($f$) ودالة هدف التحكم (الأوزان $\omega$) على معلمات ثابتة مجهولة.
• فضاء الهدف المستمر: على عكس الطرق التي تختار من مجموعة محددة مسبقاً من الأهداف المنفصلة، يقوم هذا النهج بتقدير الهدف في فضاء حالة مستمر.

الهدف الجوهري هو تطوير خوارزمية لتحديث تقدير الهدف $\hat{x}_{g,t}$ بحيث يتقارب خطأ التقدير إلى الصفر ($||\hat{x}_{g,t} - x^*_{g,t}|| \to 0$) رغم وجود قياسات مشوشة واحتمالية تغيير الأهداف.

2. المنهجية

الحل المقترح، والذي يسمى التعلم المستند إلى التحكم عبر الإنترنت (OCIL) مع استراتيجية الأفق المتغير (Shifting Horizon)، يدمج التحكم الأمثل العكسي (IOC) مع تقدير الحالة عبر الإنترنت.

أ. استراتيجية الأفق المتغير (Shifting Horizon Strategy)

للتعامل مع الأهداف المتغيرة زمنياً، لا تقوم الخوارزمية بتحسين النموذج بناءً على كامل تاريخ الملاحظات. بدلاً من ذلك، تستخدم أفقاً متغيراً (نافذة منزلقة) بطول $T_m$.

• الآلية: في أي وقت $t$، يأخذ المتنبئ فقط الملاحظات من $\hat{t} = \max(t - T_m, 0)$ إلى $t$.
• الفائدة: هذه الاستراتيجية "تنسى" المعلومات القديمة المتعلقة بالأهداف السابقة، مما يسمح للمقدر بالتكيف بسرعة عند تغيير الوكيل لأهدافه. كما أنها تخفف من تراكم الضوضاء وانحراف المعلمات.

ب. صياغة المشكلة كتحكم أمثل عكسي (IOC/IRL)

يتم تصنيف التنبؤ بالنية كمسألة تحكم أملي عكسي (IOC) أو تعلم تعزيزي عكسي (IRL).

• يُعاملت حالة الهدف $x^*_g$ كمعلمة مجهولة داخل دالة الهدف، جنباً إلى جنب مع معلمات الديناميكيات المجهولة ($p$) وأوزان التكلفة ($\omega_r, \omega_f$).
• يحل النظام مسألة تحكم أمثل أمامي عبر الأفق المتغير باستخدام تقديرات المعلمات الحالية لتوليد مسار متوقع.
• يُستخدم التباين بين المسار المتوقع والملاحظة الفعلية المشوشة لتحديث المعلمات.

ج. تقدير المعلمات عبر الإنترنت بواسطة البرمجة التفاضلية بونترياغين (PDP)

يتم إجراء تقدير لمتجه المعلمات المشترك $\theta_t = \text{col}\{p, \omega_r, \omega_f, x_g\}$ باستخدام قانون تحديث تكراري مشتق من البرمجة التفاضلية بونترياغين (PDP).

• حساب التدرج: تحسب الخوارزمية حساسية مسار الحالة بالنسبة للمعلمات ($\frac{\partial x_t}{\partial \theta}$) باستخدام معادلات الهاميلتونيان والـ costate (التمهيدية) (التمهيدية 2). وهذا يسمح بحساب التدرج بكفاءة دون الحاجة إلى الانتشار العكسي عبر الزمن (backpropagation through time) بالمعنى التقليدي للتعلم العميق.
• قانون التحديث: يتم تطبيق قاعدة تحديث تشبه مرشح كالمان (التمهيدية 1). يتم حساب مصفوفة الكسب $K_t$ باستخدام جاكوبي دالة البواقي. يضمن ذلك التقارب التقاربي المحلي للمعلمات المقدرة إلى القيم الحقيقية، حتى عندما تتغير بمرور الوقت.

3. المساهمات الرئيسية

1. صياغة مبتكرة للمشكلة: تقدم الورقة صياغة للتنبؤ بالنية للأنظمة ذات الأهداف المتغيرة زمنياً والمعلمات المجهولة (سواء في الديناميكيات أو الأهداف)، متجاوزة بذلك فرضية الهدف الثابت التي اعتمدتها الأعمال السابقة.
2. استراتيجية الأفق المتغير: آلية محددة لتقليل أهمية بيانات المسار القديمة، مما يمكن النظام من تتبع تغييرات الأهداف بفعالية دون التأثر بالبيانات التاريخية.
   التعلم عبر الإنترنت المستند إلى التحكم: دمج الـ PDP لحساب التدرجات لتحديث المعلمات عبر الإنترنت، مما يسمح للنظام بتعلم الهدف والديناميكيات وأوزان التكلفة في آن واحد وفي الوقت الفعلي.
3. تقدير الهدف المستمر: القدرة على تقدير الأهداف في فضاء مستمر بدلاً من الاعتماد على مجموعة مرشحة محددة مسبقاً.

4. النتائج التجريبية

تحقق المؤلفون من صحة النهج من خلال عمليات المحاكاة والتجارب العتادية على طائرة بدون طيار (quadrotor drone).

• المحاكاة (المتانة ضد الضوضاء): في ظل مستويات متغيرة من الضوضاء الغاوسية، أظهرت الخوارزمية تقارباً سريعاً وتنبؤاً دقيقاً بالهدف. بلغ متوسط وقت التنبؤ 60 مللي ثانية لكل تحديث على وحدة معالجة مركزية قياسية، مما يؤكد جدوى العمل في الوقت الفعلي.
• المحاكاة (تبديل الأهداف):
  • في السيناريوهات التي تتضمن تبديل هدفين أو ثلاثة، نجحت الطريقة المقترحة في تقليل خسارة التنبؤ بسرعة بعد كل عملية تبديل.
  • المقارنة: مقارنة بـ OCIL القياسي (بدون الأفق المتغير)، تفوقت الطريقة المقترحة بشكل كبير على النموذج المرجعي. فقد فشل OCIL القياسي في التقارب عند تغير الأهداف لأنه كان متأثراً بشدة بالملاحظات القديمة.
  • حققت استراتيجية الأفق المتغير باستمرار خسائر تنبؤ أقل عبر فترات التبديل المختلفة.
• التجارب العتادية:
  • أكدت الاختبارات الواقعية على طائرة "كوادروتور" في بيئة التقاط الحركة متانة الخوارزمية.
  • بلغ متوسط وقت التنبؤ 92.3 مللي ثانية، وهو ضمن دورة الـ 100 مللي ثانية لنظام التقاط الحركة.
  • نجح النظام في التنبؤ بنية الطائرة لتجنب "منطقة حظر طيران" والوصول إلى هدف ما، حتى بينما كانت الطائرة تنفذ مناورات معقدة.

5. الأهمية

يمثل هذا العمل تقدماً كبيراً في مجال التفاعل بين الإنسان والروبوت والأنظمة التعاونية ذاتية القيادة.

• القدرة على التكيف: من خلال التعامل مع الأهداف المتغيرة زمنياً والديناميكيات المجهولة، يمكن للنظام الاستجابة للوكلاء العدائيين أو البيئات الديناميكية حيث تفشل النماذج المبرمجة مسبقاً.
• الأداء في الوقت الفعلي: تجعل الكفاءة الحسابية هذا النهج مناسباً للتطبيقات الحرجة للسلامة حيث يتطلب الأمر استجابة فورية لتغير نية الوكيل.
• التعميم: إن القدرة على تقدير الأهداف في فضاء مستمر دون مرشحين محددين مسبقاً تجعل الإطار قابلاً للتطبيق على نطاق واس من السيناريوهات الواقعية حيث تكون مجموعة الأهداف المحتملة مجهولة أو غير محدودة.

باخت_صار، توفر الورقة إطاراً قوياً ومبنياً على أسس رياضية للتنبؤ بنوايا الوكلاء ذاتيي القيادة في البيئات المعقدة والمتغيرة، مما يسد الفجوة بين التحكم الأمثل النظري والتطبيق العملي في الوقت الفعلي.