Digital Twins: McKean-Pontryagin Control for Partially Observed Physical Twins

إليك ملخص تقني مفصل لورقة البحث بعنوان "التوائم الرقمية: التحكم من نوع ماكـين-بونترياغين للأنظمة الفيزيائية المراقبة جزئياً" من تأليف مانفريد أوبر وسيباستيان رايش.

1. بيان المشكلة

تتناول الورقة تحدي التحكم الأمثل للأنظمة الفيزيائية المراقبة جزئياً (التوائم الفيزيائية) ضمن نموذج التوأم الرقمي.

• السيناريو: يتطور نظام فيزيائي وفقاً لمعادلة تفاضلية عشوائية (SDE) خاضعة للتحكم. ومع ذلك، فإن حالته الحقيقية ($X^\dagger_t$) غير معروفة، ولا يمكن استنتاجها إلا من خلال قياسات غير مباشرة، مشوشة، وذات زمن منفصل ($Y^\dagger_{t_n}$).
• الهدف: اشتقاق قوانين التحكم ($U_t$) التي تقلل دالة التكلفة المخصومة ذات الأفق اللانهائي. ومن الأهمية بمكان أن يعتمد التحكم على حالة الاعتقاد (توزيع الاحتمال الشرطي $\pi_t$ للحالة بناءً على الملاحظات)، بدلاً من الحالة الحقيقية نفسها.
• التحدي:
  • تفترض طرق التحكم الأمثل القياسية (مثل مبدأ بيلمان أو مبدأ بونترياغين الأقصى) المراقبة الكاملة.
  • بالنسبة للأنظمة المراقبة جزئياً، تؤدي هذه المشكلة نظرياً إلى معادلة هاميلتون-جاكوبي-بيلمان (HJB) على فضاء توزيعات الاحتمالات، أو معادلات تفاضلية عشوائية جزئية أمامية-خلفية (FB-SPDEs).
  • هذه المعادلات مستعصية حاسوبياً للأنظمة عالية الأبعاد، ولا تتوفر خوارزميات قابلة للتوسع حالياً.
  • تعتمد التقريبات الموجودة غالباً على مبدأ الفصل (تقدير الحالة أولاً، ثم تطبيق التحكم الأمثل لحالة المراقبة الكاملة)، وهو أمر غير أمثل للأنظمة غير الخطية.

2. المنهجية

يقترح المؤلفون إطار عمل جديد يجمع بين استيعاب البيانات (تحديداً مرشح كالمان للمجموعات - Ensemble Kalman Filter) ونهج ماكـين-بونترياغين للتحكم العشوائي الأمثل. ينتج عن ذلك نظام من الجسيمات المتفاعلة التي تمثل كلاً من الحالة والمتغير المساعد (co-state).

أ. المكونات الأساسية

1. مرشح كالمان للمجموعات (EnKF): يُستخدم لتحديث توزيع حالة التوأم الرقمي بناءً على قياسات التوأم الفيزيائي الواردة. تستخدم الورقة صيغة المجال المتوسط لـ EnKF (مرشح كالمان-بوسي للمجموعات للزمن المستمر، وEnKF للزمن المنفصل) لتقريب توزيع الترشيح $\pi_t$.
2. صيغة ماكـين-بونترياغين: بدلاً من حل معادلة HJB، يستخدم المؤلفون إعادة صياغة لمبدأ بونترياغين الأقصى للمشكلات ذات الأفق اللانهائي. يتضمن ذلك:
   • الحالات ($X_t$): تتطور للأمام في الزمن.
   • المتغيرات المساعدة ($P_t$): تتطور أيضاً للأمام في الزمن (على عكس التطور الخلفي في التحكم العشوائي الكلاسيكي)، وهي مرتبطة بتدرج دالة القيمة.
   • تفاعل المجال المتوسط: يعتمد تطور الجسيمات الفردية على التوزيع التجريبي للمجموعة بأكملها.

ب. الخوارزمية المقترحة

تبني الطريقة توأماً رقمياً كنظام من $M$ من الجسيمات المتفاعلة $(X^{(i)}_t, P^{(i)}_t)$:

1. تطور الحالة: تتطور جسيمات الحالة وفقاً للديناميكيات الفيزيائية، معززة بحد التحكم، وبحد تصحيح استيعاب البيانات (المدفوع بالفرق بين القياسات المرصودة والمتوقعة).
2. تطور المتغير المساعد: تتطور جسيمات المتغير المساعد وفقاً لمعادلة أمامية مشتقة من كثافة الهاملتوني. تتضمن هذه المعادلة حدوداً لعامل الخصم، وتدرج التكلفة الجارية، وحدود التفاعل المشتقة من تقريب جسر شرويدنجر.
3. قانون التحكم: يتم حساب التحكم $U^*_t$ كتحكم مفتوح الحلقة (open-loop) بناءً على متوسط المجموعة للمتغيرات المساعدة:
   $$U^*_t = -\frac{1}{M} \sum_{i=1}^M G(X^{(i)}_t)^T P^{(i)}_t$$
   يتم اشتقاق هذا التحكم بالتزامن مع تقدير الحالة، مما يتجنب مبدأ الفصل الصارم.
4. التقريبات:
   • انحدار نواة ناداريا-واتسون: يُستخدم لتقريب الدالة $\psi_t(x)$ (التي تربط الحالات بالمتغيرات المساعدة) من مجموعة الجسيمات.
   • جسر شرويدنجر: يُستخدم لتقريب حدود الانجراف الناشئة عن مولد عملية الانتشار.
   • توطين التباين (Covariance Localization): يُطبق للأنظمة عالية الأبعاد (حيث $M \ll dx$) لمنع مصفوفات التباين المنفردة وتقليل التكلفة الحسابية.

3. المساهمات الرئيسية

• إطار عمل موحد: تجسر الورقة الفجوة بين استيعاب البيانات (EnKF) والتحكم الأمثل ذي الأفق اللانهائي (McKean–Pontryagin) للتعامل مع الأنظمة المراقبة جزئياً.
• الحوسبة عبر الإنترنت (Online Computation): تسمح الطريقة المقترحة بالحوسبة المتزامنة عبر الإنترنت لتوزيع الترشيح وقانون التحكم. كلاهما يتطور للأمام في الزمن، مما يجعل النهج مناسباً لتطبيقات التوأم الرقمي في الوقت الفعلي.
• التنفيذ القائم على الجسيمات: تؤدي الاشتقاقات إلى نظام جسيمات متفاعل يمكن تنفيذه عددياً دون الحاجة لحل معادلات تفاضلية جزئية (PDEs) عالية الأبعاد.
• توسيع نظري: توسع نهج ماكـين-بونترياغين (الذي كان مخصصاً للأنظمة المراقبة كلياً في السابق) ليشمل حالة المراقبة الجزئية من خلال تعديل حد الانجراف في معادلة المتغير المساعد لاستيعاب تصحيح استيعاب البيانات.

4. النتائج العددية

يتحقق المؤلفون من المنهجية عبر ثلاثة أنظمة متميزة:

1. نظام لورنز-63 المتحكم به:

   • المهمة: تقييد المسار الفوضوي في النطاق الموجب لـ $x$ ($x_t \geq 0$).
   • النتائج: نجحت الطريقة في تثبيت النظام. مع عتبة تحكم أعلى ($|U| \leq 100$)، تم القضاء على الطبيعة الفوضوية واستقر النظام في مدار شبه دوري. مع عتبة أقل ($|U| \leq 50$)، حدثت بعض الانتقالات إلى القيم السالبة، لكن النظام ظل محدوداً.
   • المتانة: عمل النهج بفعالية مع حجم مجموعة صغير ($M=4$)، مما أظهر متانة حسابية.

2. البندول المقلوب:

   • المهمة: تثبيت البندول عند وضع التوازن غير المستقر (الرأسي $\theta = \pi$) بدءاً من الوضع المستقر (السفلي $\theta = 0$).
   • النتائج: نجح التوأم الرقمي في دفع النظام من التوازن المستقر إلى التوازن غير المستقر والحفاظ عليه هناك، حتى مع استخدام $M=3$ فقط من الجسيمات. ظل خطأ التقدير للزاوية والسرعة منخفضاً.

3. نظام لورنز-96 المتحكم به (عالي الأبعاد):

   • المهمة: تثبيت نظام فوضوي مكون من 40 بعداً عند الحالة الصفرية ($x=0$).
   • النتائج: نجحت الطريقة في كبح الديناميكيات الفوضوية، مما أدى إلى دفع معيار الطاقة إلى الصفر. أثبت هذا قابلية توسع النهج نحو الأبعاد الأعلى عند دمجه مع تقنيات توطين التباين والتضخم.

5. الأهمية والخاتمة

• القابلية للتطبيق في الوقت الفعلي: من خلال تجنب حل المعادلات التفاضلية العشوائية الجزئية (SPDEs) الخلفية أو معادلات HJB عالية الأبعاد، يوفر هذا الأسلوب مساراً قابلاً للتنفيذ حسابياً للتحكم في الأنظمة الفيزيائية المعقدة والمراقبة جزئياً.
• ما وراء مبدأ الفصل: على عكس النهج التقليدي الذي يفصل بين التقدير والتحكم (وهو أمر غير أمثل للأنظمة غير الخطية)، يدمج هذا النهج بينهما، مما يسمح لقانون التحكم بالتكيف ديناميكياً مع عدم اليقين المتطور (حالة الاعتقاد).
• نموذج التوأم الرقمي: تقدم هذه الدراسة مخططاً رياضياً وحسابياً ملموساً لـ "التوائم الرقمية النشطة" التي لا تكتفي بمحاكاة النظام الفيزيائي فحسب، بل تعمل أيضاً على تحسين سلوكه في الوقت الفعلي بناءً على بيانات الاستشعار المشوشة.
• العمل المستقبلي: يشير المؤلفون إلى أنه بينما تبدو النتائج العددية واعدة، فإن التحقيق الرياضي الصارم في التقارب وحدود الخطأ لهذا التقريب يظل مسألة مفتوحة. كما تتطلب التوسعات لأنظمة ذات أبعاد أعلى بكلاً من استراتيجيات التوطين أكثر دقة.

باختدال، يقدم أوبر ورايش استراتيجية تحكم قوية قائمة على الجسيمات توحد استيعاب البيانات والتحكم الأمثل، مما يوفر حلاً عملياً للتحكم في الأنظمة العشوائية المراقبة جزئياً في عصر التوائم الرقمية.