Causal Optimal Coupling for Gaussian Input-Output Distributional Data

إليك ملخص تقني مفصل لورقة البحث بعنوان "Causal Optimal Coupling for Gaussian Input-Output Distributional Data" (الاقتران الأمثل السببي للبيانات التوزيعية المدخلة-المخرجة الغاوسية) من إعداد داران شو وأمير حسين تقوائي.

1. بيان المشكلة

تتناول الورقة مشكلة تحديد الأنظمة (System Identification) من البيانات التوزيعية حيث يكون الاقتران الأساسي بين ملاحظات المدخلات والمخرجات مجهولاً.

• السياق: بالنظر إلى عمليتين عشوائيتين مستقلتين، عملية مدخلات $U = \{U_t\}_{t=1}^T \sim \mu$ وعملية مخرجات $Y = \{Y_t\}_{t=1}^T \sim \nu$، مع معرفة التوزيعات الهامشية ولكن مع جهل بالقانون المشترك.
• الهدف: تحديد اقتران أمثل $\pi$ (توزيع احتمالي مشترك) بين $\mu$ و $\nu$ يمثل العلاقة بين المدخلات والمخرجات.
• القيود:
  1. القيود الهامشية: يجب أن يكون للاقتران هوامش $\mu$ و $\nu$.
  2. قيد السببية (Causality Constraint): يجب أن يحترم الاقتران البنية الزمنية للنظام. وتحديداً، يجب أن تكون المدخلات المستقبلية مستقلة عن المخرجات الماضية بشرط المدخلات الماضية:
     $$(Y_1, \dots, Y_t) \perp\!\!\!\perp (U_{t+1}, \dots, U_T) \mid (U_1, \dots, U_t)$$
     هذا يضمن أن النموذج غير استباقي (non-anticipative).
• هدف التحسين: إيجاد الاقتران $\pi$ الأقرب إلى نموذج أولي مرجعي $\gamma$ (الذي يرمز للافتراضات الهيكلية) من حيث تباعد كولباك-ليبلر (KL divergence)، مع مراع-ة القيود المذكورة أعلاه. يتم صياغة ذلك كمسألة نقل أمثل سببي إنتروبي (Entropic Causal Optimal Transport - ECOT):
  $$\min_{\pi \in \Pi_c(\mu, \nu)} D_{KL}(\pi, \gamma)$$
  حيث $\Pi_c(\mu, \nu)$ هي مجموعة الاقترانات السببية.

2. المنهجية

يقترح المؤلفون حلاً يعتمد على نظرية جسر شرودنغر (Schrödinger Bridge) وتكرارات سينكهورن (Sinkhorn iterations)، المتخصصة لحالة النماذج الغاوسية (Gaussian setting).

أ. النموذج المرجعي ودالة التكلفة

يتم استحثاث الاقتران المرجعي $\gamma$ بواسطة نموذج مدخلات-مخرجات غاوسي خطي:
$$Y_t = h_t^\top U_{1:t} + f_t^\top Y_{1:t-1} + b_t + w_t$$
حيث $w_t \sim \mathcal{N}(0, \epsilon_t^2)$.

• هذا الاختيار يحول تقليل تباعد KL إلى مسألة ذات دالة تكلفة تربيعية عامة تعتمد على الزمن:
  $$c(u_{1:T}, y_{1:T}) = \sum_{t=1}^T \frac{1}{2\epsilon_t^2} (y_t - h_t^\top u_{1:t} - f_t^\top y_{1:t-1} - b_t)^2$$
• تلتقط هذه التكلفة التبعيات والتفاعلات الزمنية، مما يعمم خسارة المربعات القياسية ($\sum (y_t - u_t)^2$).

ب. تكرارات سينكهورن في السياق الغاوسي

قام المؤلفون بتكييف خوارزمية سينكهورن المجردة (الإسقاط المتناوب) لتناسب الحالة التي تكون فيها الهوامش والنموذج الأولي غاوسية.

• خاصية الثبات (Invariance Property): مجموعة التوزيعات الغاوسية ثابتة تحت خطوات الإسقاط المطلوبة في خوارزمية سينكهورن. يسمح هذا بإجراء التكرارات بالكامل عبر تحديثات المعلمات الغاوسية (المتوسطات والتباينات) بدلاً من دالات الكثافة.
• هيكل الخوارزمية:
  1. التهيئة: البدء بالاقتران المرجعي $\pi^{(0)} = \gamma$.
  2. التكرار الفردي (الإسقاط السببي): الإسقاط على مجموعة الاقترانات ذات الهامش المدخلي الثابت $\mu$ والتي تحقق قيد السببية ($\Pi_c(\mu, *)$).
     • يظل الحل غاوسياً.
     • اشتق المؤلفون النظرية 1، التي توفر صيغاً صريحة للمعلمات الشرطية للاقتران المحدث. ومن الأهمية بمكان أن التوزيع الشرطي لـ $U_t$ بشرط الماضيات يتم تثبيته ليتوافق مع $\mu$، بينما يتم تحديث التوزيع الشرطي لـ $Y_t$ كتركيب خطي (convex combination) بين النموذج الأولي وحَد تصحيحي مشتق من قيود المستقبل.
  3. التكرار الزوجي (الإسقاط الهامشي): الإسقاط على مجموعة الاقترانات ذات الهامش المخرجي الثابت $\nu$ ($\Pi(*, \nu)$)، مع تجاهل قيد السببية في هذه الخطوة.
     • يظل الحل غاوسياً.
     • تُظهر النظرية 2 أنه في هذه الخطوة، يعود التوزيع الشرطي لـ $U$ بشرط $Y$ إلى النموذج الأولي $\gamma$، بينما يتم فرض الهامش لـ $Y$ ليتوافق مع $\nu$.
• التقارب: تتناوب الخوارزمية بين هاتين الخطوتين حتى التقارب، مما ينتج عنه اقتران غاوسي مشترك $\pi^*$.

ج. استعادة النموذج (Model Recovery)

بمجرد العثور على الاقتران الأمثل $\pi^*$، يوضح المؤلفون كيفية استعادة معلمات النموذج الغاوسي الخطي للمدخلات-المخرجات ($h_t, f_t, b_t, \epsilon_t$) عن طريق تكييف $Y_t$ على التاريخ $U_{1:t}, Y_{1:t-1}$ باستخدام الصيغ الشرطية الغاوسية القياسية (استخراج المتوسط والتباين).

3. المساهمات الرئيسية

1. صياغة الـ ECOT لتحديد الأنظمة: قامت الورقة بصياغة تحديد الأنظمة الديناميكية من البيانات التوزيعية كمسألة نقل أمثل سببي إنتروبي، مما يربط نظرية النقل الأمثل بنظرية التحكم وتحديد الأنظمة.
2. توصيف غاوسي قابل للمعالجة: بخلاف الأعمال السابقة التي تعتمد على تكرارات مجردة أو تقيد التكاليف بأشكال قابلة للفصل، توفر هذه الورقة توصيفاً صريحاً وكاملاً لتكرارات سينكهورن لكل من:
   • التكالما التربيعية العامة (بما في ذلك المدخلات والمخرجات ذات التأخير الزمني).
   • قيود السببية أحادية الجانب.
   • الهوامش الغاوسية.
3. التنفيذ الخوارزمي: يجعل اشتقاق قواعد التحديث المحددة للمتوسط ومصفوفات التباين الخوارزمية قابلة للتنفيذ حاسوبياً وفعالة، مما يتجنب الحاجة إلى تقسيم فضاء الحالة (discretization).
4. التمييز عن الأعمال السابقة:
   • توسع عمل Veraguas et al. (2017) الذي كان مقتصرًا على المدخلات المار كوفية والتكاليف القابلة للفصل.
   • تجعل تكرارات سينكهورن المجردة لـ Eckstein and Pammer (2023) ملموسة وقابلة للمعالجة في الحالة الغاوسية.
   • على عكس Gunasingam and Wong (2025) أو Acciaio et al. (2025)، تفرض هذه الورقة سببية أحادية الجانب (مدخل $\leftarrow$ مخرج)، وهو ما يعد أكثر ملاءمة لتحديد الأنظمة القياسي، بدلاً من القيود ثنائية السببية (bicausal).

4. النتائج

• مثال عددي: اختبر المؤلفون الخوارزمية على فترة زمنية متقطعة ($T=128$) مع هوامش غاوسية مستقرة.
  • الإعداد: تم تعريف عمليات المدخلات والمخرجات مع نواة تباين (covariance kernels) محددة. كان النموذج المرجعي عبارة عن نموذج حالة غاوسي خطي.
  • المقارنة: تمت مقارنة الحل السببي بالحل غير السببي (الـ OT الإنتروبي القياسي).
• الملاحظات:
  • الاقتران السببي: كان التباين المشترك الشرطي $Cov(U_t, Y_s | U_{1:\tau})$ يساوي صفراً لـ $s < \tau$ (المخرجات الماضية لا تعتمد على المدخلات المستقبلية)، مما يلتزم بصرامة بقيد عدم الاستباقية.
  • الاقتران غير السببي: أظهر الحل غير السببي تبعيات غير صفرية على المخرات الماضية بالنسبة للمدخلات المستقبلية (ارتباطات استباقية) وأظهر أنماطاً من تغير الإشارة/التماثل العكسي، مما ينتهك السببية الفيزيائية.
  • التقارب: تقارب مخطط الإسقاط المتناوب بسرعة (بنسبة سماحية $10^{-6}$).

5. الأهمية والتوجهات المستقبلية

• الأهمية: يوفر هذا العمل إطاراً رياضياً رصيناً لتعلم الأنظمة الديناميكية مباشرة من البيانات التوزيعية (على سبيل المثال، مجموعات المسارات) بدلاً من البيانات المقترنة نقطة بنقطة. وهو يضمن أن النموذج المتعلم يحترم القانون الفيزيائي الأساسي للسببية.
• التطبيقات: الإطار قابل للتطبيق في تحديد الأنظمة في نظرية التحكم، ومعالجة الإشارات، وأي مجال تتوفر فيه فقط الخصائص الإحصائية للمدخلات والمخرجات، ولكن مع فقدان الاقتران (pairing).
• العمل المستقبلي: يخطط المؤلفون لتوسيع الإطار ليشمل النماذج المرجعية غير الخطية والهوامش غير الغاوسية، بهدف تطبيق هذه الأساليب في النمذجة التوليدية لبيانات السلاسل الزمنية المعقدة.

باختدال، نجحت الورقة في سد الفجوة بين النقل الأمثل النظري وتحديد الأنظمة العملي من خلال توفير خوارزمية فعالة حاسوبياً وتحافظ على السببية للأنظمة الغاوسية.