Scalable Bi-causal Optimal Transport via KL Relaxation and Policy Gradients

ملخص تقني: النقل الأمثل ثنائي السببية القابل للتوسع عبر استرخاء KL وتدرجات السياسة

بيان المشكلة
يوفر النقل الأمثل (OT) ثنائي السببية إطارًا لمقارنة وربط العمليات العشوائية تحت قيود معلوماتية غير استباقية. وخلافًا للنقل الأمثل التقليدي، يفرض النقل الأمثل ثنائي السببية اقترانات مسموح بها بحيث يعتمد القانون الشرطي للحالة التالية لكل عملية فقط على التاريخ المشترك حتى الوقت الحالي، مما يضمن عدم استباق أي من العمليتين لمستقبل الأخرى. هذا الهيكل ضروري لتطبيقات مثل التمويل القوي (مثل التحوط في ظل عدم اليقين في النموذج) والتقدير الكمي المتسلسل لعدم اليقين (مثل تقليل دقة السلاسل الزمنية).

ومع ذلك، فإن التطبيق العملي للنقل الأمثل ثنائي السببية يعوقه التعقيد الحسابي. فالطرق الموجودة، مثل الانتظام الإنتروبي مع تكرارات سينكهورن أو تكرار القيمة الملائم، تعاني مع التوزيعات المستمرة، والأبعاد العالية للحالات، والآفاق الزمنية الطويلة. وتكمن الصعوبة الرئيسية في فرض قيود الهوامش الصارمة عبر فضاء المسار، مما يجعل التحسين المباشر صعبًا من الناحية التوليفية ومكلفًا حسابيًا.

المنهجية
يقترح المؤلفون إطار عمل للتحسين العشوائي قابل للتوسع يستبدل قيود الهوامش الصارمة بعقوبة "كولباك - ليبلر" (KL) قابلة للاشتقاق، مما يسمح باستخدام طرق تدرج السياسة.

1. الاسترخاء المرتخي بـ KL:
   يقوم المؤلفون بتخفيف مشكلة النقل الأمثل ثنائي السببية الأصلية عن طريق توسيع مجموعة الاقترانات المسموح بها لتشمل نوى انتقال مشتركة تعسفية. ويقدمون عقوبة تباعد "كولباك - ليبلر" (KL) لتنظيم الانحرافات عن انتقالات الهوامش المقررة ($T_n, T'_n$) والهوامش الأولية ($\mu_0, \mu'_0$). تعمل دالة الهدف المسترخية $W_{rel}$ على تقليل التكلفة التراكمية المتوقعة بالإضافة إلى حد العقوبة المرجح بمعامل $\beta$:
   $$W_{rel}(\mu, \mu') = \inf_{\pi \in \Pi_{rel}} \mathbb{E}_\pi \left[ \sum_{n=0}^N c_n(Y_n, Y'_n) + \beta \cdot \text{KL penalties} \right]$$
   يحافظ هذا الصياغة على الهيكل التكراري للمشكلة، مما يسمح بالبرمجة الديناميكية.

2. الأسس النظرية:

• البرمجة الديناميكية: يثبت البحث مبادئ البرمجة الديناميكية لكل من المشكلة المقيدة الأصلية والصيغة المسترخية. يقلل هذا من تحسين فضاء المسار العالمي إلى سلسلة من عمليات التحسين أحادية الخطوة فوق الاقترانات الأولية ونوى الانتقال.
• تقارب $\Gamma$: يثبت المؤلفون أنه مع اقتراب معامل العقوبة $\beta \to \infty$، تتقارب الدالة المسترخية واقتراناتها المثلى نحو مشكلة النقل الأمثل ثنائي السببية الأصلية وحلولها المثلى. وهذا يضمن أن الاسترخاء هو بديل مبدئي وليس مجرد وسيلة تجريبية.

3. خوارزمية تدرج السياسة:

• التمثيل البارامتري: يتم تمثيل الاقتران باستخدام نماذج شرطية تعبيرية، وتحديدًا طبقات "التدفق الطبيعي" (Normalizing Flows - Neural Spline Layers)، والتي تسمح بتقييم دقيق لكثافة اللوغاريتم.
• تمثيل التدرج: يشتق المؤلفون تمثيلًا صريحًا لتدرج السياسة للهدف المسترخٍ. ينقسم التدرج إلى مكونين:
  • مكون القيمة ($\nabla J_{val}$): وهو توقع تحت الاقتران المعلمي الحالي، مرجح بالتكلفة التراكمية المتبقية.
  • مكون KL ($\nabla J_{KL}$): وهو توقع تحت ديناميكيات الهوامش المقررة (مقياس المرجع)، والذي يلتقط حد العقوبة.
• التقدير: تستخدم الخوارزمية مقدرات تدرج الدفعات الصغيرة غير المتحيزة. ولتقليل التباين، تستخدم متغيرات تحكم تعتمد على الحالة ومجهزة من مسارات مساعدة.
• التقارب: تقدم الورقة ضمانات تقارب غير لامتناهية في الزمن، حيث تظهر أن متوسط الندم من رتبة $O(1/K)$ تحت شروط "بولياك-لوياسيك" (Polyak–Łojasiewicz)، حيث $K$ هو عدد التكرارات.

المساهمات الرئيسية

• نظرية الاسترخاء: وضع مبادئ البرمجة الديناميكية للمشكلة المسترخية بـ KL وإثبات تقارب $\Gamma$ للمشكلة المقيدة الأصلية.
• خوارزمية قابلة للتوسع: تطوير خوارزمية تدرج السياسة مع مقدرات غير متحيزة وتقليل التباين، قادرة على التعامل مع الهوامش العامة (بما في ذلك الحالات المستمرة وعالية الأبعاد) دون الحاجة إلى تقسيم فضاء الحالة أو الفعل إلى أجزلية.
• ضمانات التقارب: اشتقاق حدود الندم غير اللامتناهية في الزمن ($O(1/K)$) لطريقة التحسين العشوائي المقترحة.
• التحقق التجريبي: إثبات قدرة الطريقة على التقاط كل من القوانين الهامشية والاعتماد الزمني في الإعدادات الاصطناعية والتطبيقات الواقعية.

النتائج
تتحقق الورقة من الإطار من خلال التجارب الاصطناعية وتطبيقين محددين:

1. التجارب الاصطناعية:

   • تستعيد الطريقة التوزيعات الهامشية بدقة (سواء كانت توزيعات طبيعية أو غير طبيعية/بيتا) والارتباطات الزمنية (ارتباطات الخطوة المجاورة) في كل من الحالات أحادية النمط وثنائية النمط.
   • تظهر مقاييس الأداء (مسافة واسرستاين، مسافة KS، مسافة واسرستاين المقطعة) تفاوتًا منخفضًا بين التوزيعات المولدة والحقيقية.
   • تتوسع الطريقة بفعالية لتشمل أبعادًا أعلى ($d=3$) وآفاقًا زمنية أطول ($N=10$).

2. التحوط القوي (تطبيق مالي):

   • تم تطبيق الإطار لحساب أسعار التحوط الفرعي القوية للمشتقات المالية تحت قيود عدم الاستباقية.
   • يستعيد الاقتران المتعلم حدود التسعير القريبة من المثالية بأخطاء نسبية أقل من 1% مقارنة بالحلول المغلقة.
   • تحافظ الطريقة على ديناميكيات "مارتينجال" وتتفوق على النهج الموجودة من حيث السرعة الحسابية (على سبيل المثال، أسرع من طرق تكرار القيمة الملائمة).

3. التقليل الإحصائي لزمن السلالة (Downscaling):

   • تُستخدم الطريقة لتوليد سلاسل زمنية عالية الدقة من ملاحظات منخفضة الدقة عن طريق أولاً إزالة الانحياز من البيانات منخفضة الدقة عبر النقل الأمثل ثنائي السببية.
   • يتفوق نموذج التوليد الشرطي "المعدل بواسطة OT" بشكل كبير على التوليد غير المشروط والشرط المباشر على البيانات الخشنة، محققًا انحرافات توزيعية أقل وارتباطات زمنية أكثر دقة.

الأهمية والادعاءات
تدعي الورقة توفير نهج حسابي قابل للتوسع للنقل الأمثل ثنائي السببية، مما يسد الفجوة بين الأطر النظرية والتنفيذ العملي في الإعدادات التي تكون فيها قيود المعلومات غير الاستباقية ضرورية.

• الجدوى الحسابية: من خلال تحويل مشكلة فضاء المسار المقيدة إلى مشكلة تحسين عشوائي قابلة للاشتقاق، تجعل هذه الطة النقل الأمثل ثنائي السببية أمرًا ممكنًا للتوزيعات المستمرة والآفاق الطويلة، متجاوزة بذلك "لعنة الأبعاد" وتكاليف الذاكرة المرتبطة بالطرق السابقة.
• العمومية: الإطار قابل للتطبيق على الهوامش العامة، ولا يقتصر على العينات المنفصلة أو التجريبية.
• الفائدة العملية: تشير النتائج إلى أن النقل الأمثل ثنائي السببية يمكن أن يعمل كأداة حسابية عملية لعمليات التحسين الأكبر وسلاسل التقدير الكمي لعدم اليقين في بحوث العمليات والتمويل الكمي، خاصة لمهام مثل التحوط القوي والتقليل الإحصائي حيث يكون احترام تدفق المعلومات أمرًا حاسمًا لجودة القرار.

يحافظ المؤلفون على نبرة متواضعة فيما يتعلق بالعمل المستقبلي، مشيرين إلى أنه بينما يركز التحليل الحالي على إعداد "ماركوف"، يمكن توسيع الإطار ليشمل الإعدادات غير الماركوفية والتكاليف المعتمدة على المسار، رغم أن ذلك سيتطلب مزيدًا من التطوير النظري.