Robust Simulation Based Inference Through Robust Optimal Transport

ملخص تقني: الاستدلال القائم على المحاكاة المتين من خلال النقل الأمثل المتين

بيان المشكلة
الاستدلال القائم على المحاكاة (SBI) هو إطار عمل للاستدلال الإحصائي عندما يكون دالة الإمكان (likelihood function) لنموذج معلمي $\{P_\theta : \theta \in \Theta\}$ غير قابلة للحل تحليلياً، ولكن يمكن إجراء عمليات محاكاة من النموذج. تفترض طرق الـ SBI القياسية غالباً أن توزيع توليد البيانات $P$ هو عضو دقيق في النموذج ($P = P_{\theta^*}$). ومع ذلك، في الممارسة العملية، نادراً ما تكون النماذج دقيقة، وقد تكون البيانات عرضة للتلوث. تعالج الطرق المتينة الحالية إما "تلوث هوبر" (Huber contamination) (تلوث الكتلة حيث يتم استبدال كسر $\epsilon$ من البيانات بضجيج عشوائي) أو الاضطرابات الهندسية (حيث تُزاح نقاط البيانات لمسافة صغيرة). توجد فجوة كبيرة في الطرق التي يمكنها التعامل مع كلا النوعين من التلوث في آن واحد، لا سيما ضمن سياق الـ SBI حيث تكون الدوال الإمكانية غير متوفرة. علاوة على ذلك، تعتمد العديد من أساليب الـ SBI المتينة على تباعد متوسط المدى الأقصى (MMD) أو مسافة واسرستاين (Wasserstein distance)، والتي تعاني من الحساسية تجاه اختيار المعلمات الفائقة (مثل عرض نطاق النواة/kernel bandwidth) أو تفتقر إلى المتانة تجاه تلوث الكتلة، على التوالي.

المنهجية
يقترح المؤلفون إطار عمل Bootstrapped Minimum Robust Semi-constrained Wasserstein-2 (B-MRSW)، والذي يدمج مقياس تباعد جديد مع عملية البوتستراب المنتظمة للتقدير الكمي لعدم اليقين.

1. التباعد ($\ell_\lambda$): جوهر الطريقة هو تباعد $\lambda$-Robust Semi-constrained Wasserstein-2 ($\lambda$-RSW). بالنسبة للمقاييس الاحتمالية $P_1, P_2$، يُعرف بـ:
   $$\ell_\lambda(P_1, P_2) := \inf_{Q \ll P_1} \left[ \frac{1}{\lambda} KL(Q, P_1) + W_2^2(P_2, Q) \right]$$
   حيث $KL$ هو تباعد كولباك-ليبلر و $W_2$ هي مسافة واسرستاين-2. هذا الصياغة تخفف من القيد الهامشي الصارم للنقل الأمثل القياسي من خلال السماح بإعادة وزن الهامش الأول (عبر $Q$) بتكلفة يتم معاقبتها بواسطة $KL$. هذا مدفوع بـ "الاحتمالية التجريبية المقيدة توزيعياً".

• المتانة: يثبت المؤلفون أنه بالنسبة لقيم وسيطة لـ $\lambda$ (على سبيل المثال، $\lambda=1$)، فإن تقليل $\ell_\lambda(P, P_\theta)$ يعطي تقديراً للمعلمات متيناً تجاه نموذج التلوث الهندسي + هوبر (G+H)، حيث $P = (1-\epsilon)Q + \epsilon F$ و $W_2(Q, P_{\theta^*}) \le \rho$.
• الحدود: عندما $\lambda \to 0$، يتقارب $\ell_\lambda$ إلى $W_2^2$ (حساس لتلوث هوبر). وعندما $\lambda \to \infty$، يتقارب إلى متوسط مسافة أقرب جار (غير مفيد لتقدير التباين).

2. خوارما تقريب شبه منفصل (Semi-Discrete Approximation):
   بما أن $P_n$ (البيانات التجريبية) منفصلة و $P_\theta$ غالباً ما تكون مستمرة، فإن المسألة هي مسألة شبه منفصلة. يشتق المؤلفون صياغة مزدوجة (النظرية 3.1) تحول مسألة (min-min) إلى مسألة تعظيم مقعر فوق متجه $g \in \mathbb{R}^n$:
   $$\ell_\lambda(P_n, P_\theta) = \sup_{g \in \mathbb{R}^n} \mathbb{E}_{X \sim P_\theta} \left[ \min_{j \in [n]} (\|X - Y_j\|^2 - g_j) - \frac{1}{\lambda} \log \left( \frac{1}{n} \sum_{t=1}^n e^{-\lambda g_t} \right) \right]$$
   يقترحون الخوارزمية 1، وهي خوارزمية صعود التدرج الفرعي العشوائي (SGA) لتقريب هذه القيمة، مما يوفر ضمان تقارب قدره $O(\epsilon)$ من الخطأ المطلق المتوقع في زمن قدره $O(n^2/\epsilon^2)$.

3. مسار الاستدلال:

• اختيار $\lambda$: تختار طريقة استدلالية قائمة على البيانات قيمة $\lambda$ من خلال ملاحظة "نقطة الكوع" (elbow) في مخطط مسافة واسرستاين-2 بين النموذج الملائم والمقياس التجريبي المعاد وزنه عبر مجموعة من قيم $\lambda$.
• تقدير المعلمات: يتم إيجاد مقدر التباعد الأدنى $\hat{\theta}_\lambda$ باستخدام استراتيجية التطور التكيفي لمصفوفة التغاير (CMA-ES) لتحسين الدالة غير المحدبة $\ell_\lambda(P_n, P_\theta)$، والتي يتم تقييمها عبر الخوارزمية 1.
• التقدير الكمي لعدم اليقين: يتم تطبيق البوتستراب المنتظم فوق مقدر $\lambda$-RSW الأدنى. يتم إنشاء $M$ من مجموعات البيانات عبر البوتستراب، وتُشغل سلسلة (CMA-ES/SGA) لكل منها لإنتاج توزيع من التقديرات، مما يشكل فترات الثقة.

المساهمات الرئيسية

1. المتانة النظرية: يثبت البحث أن تباعد $\lambda$-RSW يوفر متانة نظرية تحت نموذج التلوث المشترك (الهندسي + هوبر)، وهو إعداد لم يتم معالجته من قبل بطريقة موحدة واحدة في سياق الـ SBI.
2. التطوير الخوارزمي: يقدم المؤلفون أول خوارزمية ذات ضمان تقارب لحساب النقل الأمثل شبه المنفصل المتين (Robust Semi-constrained Optimal Transport)، باستخدام نهج صعود التدرج الفرعي العشوائي.
3. الضبط القائم على البيانات: تم تقديم منهجية استدلالية قائمة على البيانات لاختيار معلم المتانة $\lambda$، مما يلغي الحاجة إلى تحديد عشوائي من قبل المستخدم.
4. التقدير الكمي لعدم اليقين: يدمج إطار العمل البوتستراب المنتظم لتوفيد مجموعات الثقة ذات التغطية التقاربية الصحيحة، مما يعالج نمط فشل شائع في الاستدلالات البيزية والمتكررة المتينة.

النتائج
تم تقييم الطريقة على معيارين:

1. التوزيع الطبيعي أحادي المتغير: تحت تلوث (G+H) (خلط توزيع $t$ لستودنت أو توزيع طبيعي منفصل مع كتلة ديراك)، ينجح B-MRSW في استعادة المتوسط والتباين. في المقابل، يفشل تقدير (Minimum Wasserstein-2) القياسي تحت تلوث هوبر.
2. توزيع G-and-K: توزيع معقد ذو أربعة معاملات يُستخدم كمعيار قياسي للـ SBI. يقارن المؤلفون B-MRSW بطريقة NPL-MMD (Dellaporta et al., 2022).
   • الحساسية: أداء NPL-MMD حساس للغاية لعرض نطاق نواة غاوس؛ حيث تؤدي التغييرات الصغيرة إلى أخطاء هائلة في تقدير الالتواء (skewness) وتغطية ضعيفة.
   • المتانة: يحافظ B-MRSE على خطأ متوسط مربعات (MSE) منخفض ومعدلات تغطية عالية عبر مجموعة واسعة من قيم $\lambda$ المختارة بواسطة المنهجية الاستدلالية.
   • الكفاءة: يتطلب B-MRSW استدعاءات أكثر للمحاكي مقارنة بـ NPL-MMD بسبب استخدام CMA-ES للتحسين العالمي (مقابل التدرج المحلي لـ NPL-MMD)، لكن المؤلفين يجادلون بأن هذا ضروري لتجنب النهايات الصغرى المحلية وضمان المتانة.

الأهمية والادعاءات
يزعم البحث أن B-MRSW يقدم بديلاً متيناً لـ SBI في السيناريوهات التي يكون فيها النموذج غير محدد بدقة والبيانات تحتوي على كل من التلوث الهندسي وتلوث الكتلة. يؤكد المؤلفون أنه على عكس الطرق الموجودة التي تعتمد على معلمات فائقة يصعب ضبطها (مثل عرض نطاق النواة في MMD)، فإن نهجهم يستخدم استراتيجية قائمة على البيانات لاختيار معلم المتانة. ويشيرون إلى أنه بينما تعتبر الطريقة مكثفة حوسبياً بسبب متطلبات البوتستراب والتحسين العالمي، إلا أنها قابلة للتوازي. لا يدعي العمل حل جميع مشكلات الـ SBI، بل يستهدف تحديداً الفجوة بين المتانة الهندسية ومتانة هوبر في سياقات خالية من الإمكان (likelihood-free)، مما يوفر أداة تستهدف المعلم الحقيقي (حتى حد التحديد) مع توفير مجموعات ثقة صالحة. ويُقترح كعمل مستقبلي تدريب بدائل غير معلمية (non-parametric surrogates) للمحاكي لتقليل التكلفة الحوسبية.