Amortized Filtering and Smoothing with Conditional Normalizing Flows

إليك ملخص تقني مفصل لورقة البحث بعنوان "الترشيح والتنعيم الموزع مع التدفقات الطبيعية الشرطية" (AFSF).

1. بيان المشكلة

تعالج الورقة تحدي الترشيح والتنعيم البايزي (Bayesian filtering and smoothing) للأنظمة الديناميكية عالية الأبعاد وغير الخطية.

• الهدف: تقدير حالات النظام المتغيرة زمنياً والمخفية ($u_t$) من الملاحظات المشوبة بالضجيج ($y_t$). وتحديداً، الهدف هو تقريب توزيع الترشيح $p(u_t | y_{1:t})$ وتوزيع التنعيم (المسار بأكمله) $p(u_{1:t} | y_{1:t})$.
• محدودية الطرق الحالية:
  • التقريبات الغاوسية (مثل مرشحات كالمان): تفشل عندما تكون التوزيعات اللاحقة (posteriors) شديدة عدم الخطية أو غير غاوسية بسبب الاعتماد على افتراضات إغلاق العزوم (moment-closure).
  • طرق مونت كارلو المتسلسلة (مرشحات الجسيمات): تعاني من مشكلة "تدهور الجسيمات" (particle degeneracy) في الأبعاد العالية، مما يتطلب أعداداً ضخمة بشكل أسي من العينات للحفاظ على الدقة، خاصة عبر الآفاق الزمنية الطويلة.
  • النماذج التوليدية العميقة: رغم قدرتها على تمثيل التوزيعات اللاحقة المعقدة، إلا أنها غالباً ما تعامل الترشيح والتنعيم كمهام منفصلة أو تعتمد على تحسين (optimization) مكلف لكل حالة على حدة، مما يجعلها غير مناسبة للتطبيقات الضخمة والآنية (online).

2. المنهجية: إطار عمل AFSF

يقترح المؤلفون AFSF، وهو إطار عمل موحد وموزع (amortized) يجمع بين الشبكات العصبية المتكررة (RNNs) والتدفقات الطبيعية الشرطية (CNFs).

البنية الأساسية

1. مشفر الملخص المتكرر (Recurrent Summary Encoder):

   • بدلاً من الشرط على تاريخ الملاحظات الكامل والمتغير الطول $y_{1:t}$، يستخدم النموذج LSTM متعدد الطبقات لترميز التاريخ في إحصائية ملخص ثابتة الأبعاد $s_t$.
   • $s_t = \text{Enc}(y_{1:t}; \psi)$.
   • يضمن ذلك بقاء بُعد الشرط ثابتاً بغض النظر عن الأفق الزمني، مما يتيح القابلية للتوسع والاستقراء (extrapolation).

2. التدفقات الطبيعية الشرطية المزدوجة:
   يتعلم الإطار تدفقين متميزين يشتركان في نفس إحصائية الملخص $s_t$:

   • التدفق الأمامي ($p_{\theta_1}(u_t | s_t)$): يقرب توزيع الترشيح $p(u_t | y_{1:t})$. وهذا يتيح الاستنتاج اللحظي للحالة في الوقت الفعلي.
   • التدفق الخلفي ($p_{\theta_2}(u_t | u_{t+1}, s_t)$): يقرب نواة الانتقال الخلفي $p(u_t | u_{t+1}, y_{1:t})$.
   • التنعيم: يتم استعادة توزيع تنعيم المسار الكامل عن طريق دمج توزيع الترشيح النهائي مع التدفقات الخلفية المتعلمة عبر عملية تراجع خلفي قياسية (بأسلوب Rauch-Tung-Striebel).

3. هدف التدريب:

   • يتم تدريب النموذج على مسارات محاكاة باستخدام هدف الاحتمال الأقصى المشترك (joint maximum likelihood).
   • دالة الخسارة هي مجموع أوزان السوالب اللوغاريتمية للاحتمالات (negative log-likelihoods) لكل من التدفق الأمامي والتدفق الخلفي.
   • رؤية جوهرية: يعمل اشتراك شبكة الملخص ($\psi$) بين التدفقين الأمامي والخلفي كـ منظم ضمني (implicit regularizer). فهو يجبر التوزيعين الشرطيين على البقاء متسقين مع تمثيل موحد لتاريخ الملاحظات، مما يمنع تدهور دقة التنعيم الذي يُلاحظ غالباً في التدريب المنفصل.

4. متغير ترشيح الجسيمات القائم على التدفق:

   • طور المؤلفون أيضاً متغيراً لترشيح الجسيمات حيث تعمل التدفقات المتعلمة كـ:
     • توزيع اقتراح (proposal distribution) لنشر الجسيمات ($p(u_t | y_t, u_{t-1})$).
     • كثافة تنبؤية (predictive density) لإعادة وزن الجسيمات ($p(y_t | u_{t-1})$).
   • يقلل هذا النهج من تدهور الوزن مقارنة بمرشحات Bootstrap القياسية. وعند توفر عوامل النموذج الصريحة، يتم استخدام تشخيص حجم العينة الفعال (ESS) لقياس تدهور الجسيمات.

3. المساهمات الرئيسية

1. إطار عمل موحد وموزع (Amortized): يعد AFSF أول إطار عمل يتعلم توزيعات الترشيح والتنعيم بشكل مشترك باستخدام إحصائية ملخص مشتركة وتدفقات شرطية، مما يتيح ترشيحاً آنياً متسقاً وتنعيم المسار دون الحاجة لتحسين لكل حالة على حدة.
2. التنظيم الضمني عبر الملخصات المشتركة: من خلال ربط التدفقات الأمامية والخلفية عبر شبكة ملخص واحدة، يحفز الأسلوب الاتساق عبر مسارات الحالة الكامنة، مما يحسن أداء التنعيم بشكل كبير مقارنة بالأسالهم المنفصلة.
3. القدرة على الاستقراء (Extrapolation): لأن النموذج يتعلم بنية التطور الزمني الأساسية بدلاً من مجرد ملاءمة مسارات محددة، فإنه يستطيع التعميم والاستقراء خارج الأفق الزمني للتدريب.
4. ترشيح الجسيمات القائم على التدفق: يقدم متغيراً جديداً لترشيح الجسيمات يستفيد من التدفقات المتعلمة للاقتراح، مما يوفر بديلاً قوياً للاستنتاج اللحظي مع تشخيصات مدمجة (ESS) عندما تكون كثافات النموذج معروفة.

4. النتائج العددية

قيم المؤلفون AFSF في أربع مسائل اختبار متنوعة:

• النقل والانتشار الخطي أحادي البعد (1D Linear Advection-Diffusion):
  • تمت المقارنة مقابل الحلول التحليلية الدقيقة.
  • النتيجة: حقق AFSF دقة عالية (تباعد KL منخفض) وأظهر متانة مع زيادة أبعاد الحالة ($n=10$ إلى $50$). وقد نجح في الاستقراء خارج أفق التدريب.
• نموذج التقلب العشوائي ثنائي العوامل (Two-Factor Stochastic Volatility Model):
  • نموذج مالي شديد عدم الخطية.
  • النتيجة: تفوق AFSF ومرشح الجسيمات القائم على التدفق بشكل كبير على طريقة FBF المتطورة. كما تم اختبار الطريقة على بيانات حقيقية لمؤشر S&P 500، حيث نجحت في تتبع التقلبات الكامنة أثناء اضطرابات السوق (مثل تفشي كوفيد-19).
• معادلة بورجرز (Burgers' Equation - معادلة تفاضلية جزئية غير خطية):
  • مسألة ديناميكا سوائل عالية الأبعاد.
  • النتيجة: حافظ AFSF على ميزات طفيفة ولكن مستمرة على FBF عبر مستويات ضجيج مختلفة، مما أظهر الفعالية في استيعاب البيانات المقيدة بالمعادلات التفاضلية الجزئية المعقدة.
• أنظمة لورينز (Lorenz Systems - أحادية وثنائية المقياس):
  • أحادية المقياس: تفوق على FBF عبر الأبعاد من $K=10$ إلى $50$.
  • ثنائية المقياس: أظهر مرونة فائقة في التعامل مع الأنظمة التي تكون فيها كثافة الانتقال الفعالة غير قابلة للحل (بسبب تهميش المتغيرات السريعة)، وهو سيناريو يفشل فيه FBF.
  • التنعيم: ثبت أن إحصائية الملخص المشتركة كانت حاسمة؛ حيث أدى استخدام ملخصات مستقلة إلى تراكم كارثي للأخطاء في التنعيم.

5. الأهمية

• القابلية للتوسع: من خلال توزيع الاستنتاج (تعلم مجموعة واحدة من المعلمات لجميع الخطوات الزمنية والمسارات)، يتجنب AFSF الاختناق الحسابي الناتج عن التحسين لكل حالة، مما يجعله مناسباً للأنظمة الضخمة وعالية الأبعاد.
• المتانة: يتعامل الأسلوب مع عدم الخطية القوية، وعدم التوزيع الطبيعي، والأبعاد العالية حيث تفشل المرشحات التقليدية (مثل EnKF) ومرشحات الجسيمات.
• الواقعية: لا يتطلب الإطار سوى محاكي للتدريب (الاستدلال القائم على المحاكاة) ولا يتطلب معرفة صريحة بدوال الانتقال أو الملاحظة، مما يجعله قابلاً للتطبيق على الأنظمة المعقدة في العالم الحقيقي التي لا تتوفر لها نماذج تحليلية.
• الاستقراء: القدرة على التعميم لما بعد الأفق الزمني للتدريب تعد تقدماً حاسماً لتطبيقات التنبؤ طويل الأمد والتحكم.