Learning Dynamics from Input-Output Data with Hamiltonian Gaussian Processes

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تعلم ديناميكيات التعلم من بيانات المدخلات والمخرجات باستخدام العمليات الغاوسية الهاملتونية" (Learning Dynamics from Input-Output Data with Hamiltonian Gaussian Processes).

1. بيان المشكلة

تتناول الورقة تحدي تعلم الأنظمة الديناميكية غير المحافظة والمتسقة فيزيائياً من بيانات المدخلات والمخرجات فقط، دون الوصول إلى قياسات الحالة الكاملة (تحديداً الزخم أو السرعة).

• السياق: غالباً ما يدمج التعلم الآلي المستند إلى الفيزياء (PIML) ميكانيكا هاملتون لضمان حفظ الطاقة والتفسير الفيزيائي.
• قصور الأعمال الحالية: تتطلب طرق العمليات الغاوسية الهاملتونية الحالية (مثل Beckers et al., 2022) بيانات تدريب تتضمن الزخم ($p$) أو السرعة ($\dot{q}$) بالإضافة إلى الموضع ($q$).
  • في العديد من التطبيقات العملية، تتوفر فقط بيانات الموضع (المدخلات والمخرجات).
  • تقريب السرعة عبر التفاضل العددي يكون شديد الحساسية للضجيج.
  • لا يمكن دائماً بناء الزخم المعمم من بيانات الموضع وحدها.
• الهدف: تطوير طريقة لتعلم نماذج ديناميكية توفر تقديراً لعدم اليقين، وتكون متسقة مع الطاقة (أو تبددية)، باستخدام بيانات المدخل ($u$) والمخرج ($y$، عادةً الموضع) فقط، مع تقدير المعلمات الهيكلية المجهولة (مثل معاملات التخميد) والحالات الكامنة في آن واحد.

2. المنهجية

يجمع النهج المقترح بين العمليات الغاوسية ذات الرتبة المنخفضة (Reduced-Rank Gaussian Processes) وميكانيكا هاملتون ضمن إطار عمل الاستدلال البايزي الكامل (Fully Bayesian Inference).

أ. صياغة النظام

يتم نمذجة النظام باستخدام ميكانيكا هاملتون القسرية:
$$\dot{x} = (J(x) - R(x)) \nabla_x H(x) + G(x)u + w$$
$$y = g(x) + e$$
حيث:

• $x = [q, p]^\top$ هو الحالة (المواضع والزخم).
• $H(x)$ هي دالة هاملتون المجهولة (مشهد الطاقة).
• $J(x)$ هي مصفوفة الترابط غير المتماثلة (الديناميكيات المحافظة).
• $R(x)$ هي مصفوفة التبديد المتماثلة وموجبة شبه محددة (فقدان الطاقة).
• $G(x)$ هي مصفوفة المدخلات.
• $w$ و $e$ هما ضجيج العملية والقياس.
• افتراض رئيسي: الأشكال الهيكلية لـ $J, R, G$ معروفة، ولكن معالمها المحددة (مثل معاملات التخميد) والدالة $H$ مجهولة.

ب. العملية الغاوسية الهاملتونية ذات الرتبة المنخفضة

لتجنب عدم القدرة على الحساب في العمليات الغاوسية القياسية (التي تتوسع تكعيبياً مع حجم البيانات، $O(T^3)$)، يستخدم المؤلفون عملية غاوسية ذات رتبة منخفضة (Solin and Särkkä, 2020).

• التقريب: يتم تقريب دالة هاملتون $H(x)$ باستخدام توسع دالة النمط (eigenfunction expansion) محدود الأبعاد للكثافة الطيفية للنواة (kernel):
  $$\hat{H}(x) \approx \sum_{k=1}^M a_k \phi_k(x) = a^\top \phi(x)$$
• نمذجة التدرج: بما أن الديناميكيات تعتمد على $\nabla_x H(x)$، فإن التدرج يتم نمذجته كتحويل خطي لدوال الأساس: $\nabla_x \hat{H}(x) = D_\phi(x) a$.
• المزايا:
  • الخطية: النموذج خطي في المعلمات $a$، مما يسمح بتحديثات ذات صيغة مغلقة.
  • التعقيد: تكلفة الحساب مستقلة عن عدد نقاط بيانات التدريب ($O(M)$ للتنبؤ، حيث $M$ هو عدد دوال الأساس)، مما يجعلها قابلة للتوسع.
  • التعامل مع الضجيج: يتم إدخال متغير مساعد $h_t = \nabla_x \hat{H}(x_t) + v_t$ لفصل تعلم هاملتون عن استنتاج الحالات الخفية.

ج. الاستدلال البايزي الكامل (Particle Gibbs)

يقترح المؤلفون مخطط مونت كارلو ماركوف بسلسلة جزئية (PMCMC)، وتحديداً خوارزمية Particle Gibbs، لتقدير التوزيع البعدي المشترك للحالات الكامنة ($x, h$) والمعلمات ($\theta, \vartheta$).

• المعلمات:
  • $\theta$: أوزان العملية الغاوسية (GP) ومقياس الضجيج.
  • $\vartheta_K$: المعلمات الفائقة للنواة (طول المقياس، التباين).
  • $\vartheta_S$: المعلمات الفائقة الهيكلية (مثل معاملات التخميد في $R$).
• خطوات الاستدلال:
  1. استنتاج الحالة (الخطوة i): استخدام الاستدلال التسلسلي الشرطي (SMC) لأخذ عينات من المسارات الكامنة $z_{0:T} = \{x_{0:T}, h_{0:T}\}$ بناءً على المعلمات الحالية.
  2. تعلم المعلمات (الخطوة ii):
     • تحديث بصيغة مغلقة: بالنسبة لـ $\theta$ (أوزان الـ GP)، يتم اشتقاق التوزيع البعدي تحليلياً باستخدام توزيعات Normal-Inverse-Gamma (NIG) المرافقة.
     • Metropolis-Hastings (MH): بالنسبة للمعلمات الفائقة غير المرافقة $\vartheta_K$ و $\vartheta_S$، تُستخدم خطوات MH داخل عينات Gibbs.
• النتيجة: توفر الطريقة تقديرات لكثافة الاحتمال الكاملة للحالات الخفية، ومعلمات النموذج، والمعلمات الفائقة الهيكلية، بدلاً من مجرد تقديرات نقطية.

3. المساهمات الرئيسية

1. التعلم من المدخلات والمخرجات فقط: أول إطار عمل لعملية غاوسية هاملتونية قادر على تعلم الديناميكيات غير المحافظة حصرياً من بيانات المدخلات والمخرجات، مما يلغي الحاجة إلى قياسات السرعة/الزخم.
2. كفاءة الرتبة المنخفضة: تقديم صياغة عملية غاوسية ذات رتبة منخفضة تضمن أن تعقيد الحساب مستقل عن حجم مجموعة البيانات، مما يعالج مشكلات القابلية للتوسع في العمليات الغاوسية الهاملتونية القياسية.
3. التعلم الهيكلي البايزي الكامل: يوفر مخطط موحد لتقدير ليس فقط الديناميكيات، بل أيضاً المعلمات الفائقة الهيكلية (مثل معاملات التخميد) والمعلمات الفائقة للنواة مع تقدير عدم اليقين، متجاوزاً التقديرات النقطية المتكررة المستخدمة في الأعمال السابقة.
4. نمذجة غير محافظة: تتعامل صراحة مع تبدد الطاقة والقوى الخارجية، مما يجعل النموذج قابلاً للتطبيق على الأنظمة الواقعية التي ليست محافظة تماماً.

4. النتائج

تم تقييم الطريقة على محاكاة مذبذب غير توافقي ($H(q, p) = q^2/2 + p^2/2 + 2\cos q$) مع تخميد مجهول.

• الدقة:
  • حققت الطريقة المقترحة (Input-Output) خطأ جذر متوسط مربعات (RMSE) لمقدار التدفق قدره 3.27 جول وخطأ RMSE لزاوية التدفق قدره 0.12 راديان.
  • هذه النتية تقارب ما حققه "Exact GP" المدرب على الحالة الكاملة (Input-State)، والذي حقق 3.09 جول و0.08 راديان على التوالي.
  • تفوقت الطريقة بشكل كبير على النهج القياسية التي تفشل بدون بيانات الزخم.
• تقدير عدم اليقين:
  • نجح الإطار البايزي في استنتاج التوزيعات البعدية لمعامل التخميد والمعلمات الفائقة للنواة.
  • بينما أظهر تقدير التخميد من بيانات المدخلات والمخرجات انحيازاً طفيفاً (بسبب تحديات التحديد في إعداد المحاكاة المحدد)، إلا أن الطريقة نجحت في التقاط الطبيعة متعددة الأنماط لفضاء الطور للنظام وتبدد الطاقة.
• الاتساق الفيزيائي:
  • طابقت عمليات المحاكاة الأمامية باستخدام النماذج المأخوذة من التوزيع البعدي مسارات النظام الحقيقية بشكل وثيق.
  • التقطت النماذج بشكل صحيح اضمحلال الطاقة (التبدد) عند إزالة المدخلات.
• الكفاءة الحسابية:
  • حافظ نهج الرتبة المنخفضة على تعقيد تنبؤ $O(M)$، بينما تتوسع العمليات الغاوسية الدقيقة كـ $O(T^3)$.

5. الأهمية والعمل المستقبلي

• سد الفجوة: يعمل هذا العمل على سد الفجوة بين التعلم المستند إلى الفيزياء (الذي يتطلب عادةً بيانات الحالة الكاملة) وبين تحديد الأنظمة العملية (حيث تتوفر فقط بيانات المدخلات والمخرجات).
• تطبيقات التحكم: من خلال توفير نماذج متسقة فيزيائياً مع تقدير لعدم اليقين من بيانات محدودة، تمكن هذه الطريقة من التحكم القائم على النموذج (مثل Stochastic MPC) بشكل أكثر أماناً ومتانة للأنظمة المعقدة حيث تفتقر الحساسات لقياس السرعة/الزخم أو تكون مشوشة.
• القيود والتوجهات المستقبلية:
  • التحديد (Identifiability): تطلبت المحاكاة قيد تناظر لضمان إمكانية تحديد هاملتون من بيانات المدخلات والمخرجات. يحتاج العمل المستقبلي إلى صياغة شروط التحديد للأنظمة العامة.
  • الأبعاد: تزدس التكلفة الحسابية للمخطط القائم على الجسيمات وتوسع دوال الأساس مع أبعاد النظام. يجب أن تعالج الأبحاث المستقبلية الأنظمة عالية الأبعاد.
  • قيود التناظر: تشير الحاجة إلى قيود تناظر يدوية إلى ضرورة وجود تعلم هيكلي مؤتمت أو صياغات سابقة أفضل.

باختصار، تقدم الورقة إطار عمل بايزي كامل وقوي وقابل للتوسع لتعلم الأنظمة الديناميكية المعقدة والتبددية من بيانات المدخلات والمخرجات المشوشة، متجاوزة عقبة رئيسية في تطبيق التعلم الهاملتوني على المشكلات الهندسية الواقعية.