ملخص تقني: التدريب البايزي للنماذج البديلة على مصادر بيانات متعددة

بيان المشكلة

تُستخدم النماذج البديلة (Surrogate models) على نطاق واسع لتقريب نماذج المحاكاة المعقدة والمكلفة حاسوبياً لمهام مثل تقدير عدم اليقين، وتحليل الحساسية، وحل المسائل العكسية. ومع ذلك، يوجد قيد جوهري: يتم تدريب النماذج البديلة عادةً حصرياً على بيانات المحاكاة. وبما أن نموذج المحاكاة الأساسي غالباً ما يكون تبسيطاً غير مثالي للأنظمة الواقعية (يفتقر إلى بعض العمليات، أو يعاني من أخطاء في التوصيف، أو لديه شروط حدودية غير صحيحة)، فإن النموذج البديل يرث هذه الأخطاء. ومن ناحية أخرى، تحتوي بيانات القياسات في العالم الحقيقي على معلومات قيمة حول النظام الحقيقي، لكنها غالباً ما تكون نادرة، ومثيرة للضجيج، وتفتقر إلى المعرفة الكاملة بمدخلات المعاملات (مثل متغيرات القوة غير المعروفة) المطلوبة لنموذج المحاكاة.

تواجه الطرق الحالية لدمج مصادر البيانات هذه عدة تحديات:

1. عدم التماثل: بيانات المحاكاة لها مدخلات محددة بالكامل، بينما غالباً ما تكون مدخلات بيانات العالم الحقيقي غير معروفة.
2. افتراضات التجانس: تفترض العديد من النهج مصادر بيانات متجانسة أو تعتمد على عائلات محددة من النماذج البديلة (مثل العمليات الغاوسية) مع افتراضات تبسيطية.
3. الافتقار إلى استراتيجيات الوزن: هناك أدبيات محدودة حول كيفية وزن مصادر البيانات غير المتجانسة بشكل مناسب أثناء التدريب لتعكس مستويات متفاوتة من الثقة أو الموثوقية.
4. التكامل غير المباشر: لا تستخدم بعض الطرق بيانات العالم الحقيقي مباشرة لتدريب النموذج البديل، بل تستخدمها لعمليات المعايرة اللاحقة أو نمذجة التباين.

يقترح البحث إطار عمل عام لمعالجة هذه المشكلات من خلال تدريب نماذج بديلة بايزية على مصادر بيانات متعددة (المحاكاة والعالم الحقيقي) باستخدام استراتيجيات وزن مبتكرة تعمل بشكل مستقل عن عائلة النموذج البديل المختارة.

المنهجية

يقترح المؤلفون إطار عمل يجمع بين مصدرين متميزين للبيانات:

• بيانات المحاكاة ($D_S$): ناتجة عن نموذج قائم على الفيزياء $M$ مع مدخلات معروفة $x_S$ ومعاملات غير يقينية $\omega_S$.
• بيانات العالم الحقيقي ($D_R$): ناتجة عن عملية غير معروفة $G$ مع مدخلات معروفة $x_R$ ولكن معاملات غير معروفة $\omega_R$ وضجيج قياس.

يقدم إطار العمل نهجين احتماليين للتكامل الموزون، يتم التحكم فيهما بواسطة عامل وزن $\beta \in [0, 1]$:

1. الوزن التنبؤي اللاحق (Posterior Predictive Weighting - PW)

تدرب هذه الطريقة نموذجين بديلين منفصلين بشكل مستقل:

• نموذج بديل قائم على المحاكاة ($f_{M_S}$): يتم تدريبه على $D_S$ ويُستخدم لاستنتاج المعاملات غير المعروفة من $D_R$.
• نموذج بديل قائم على البيانات ($f_{M_R}$): يتم تدريبه فقط على $D_R$.

التنبؤ النهائي هو مجموع موزون لتوزيعات التنبؤ اللاحقة:
$$p_{pw, \beta}(\hat{y}_R | \hat{x}_R, D_S, D_R) = \beta \cdot p(\hat{y}_R | \hat{x}_R, D_S, D_R, f_{M_S}) + (1 - \beta) \cdot p(\hat{y}_R | \hat{x}_R, D_R, f_{M_R})$$
هنا، يتحكم $\beta$ في التأثير النسبي للنموذج القائم على المحاكاة. يسمماح هذا النهج بتصور التباين بين المصدرين من خلال مراقبة تراكب توزيعاتهم التنبؤية.

2. قياس القوة للاحتمالات (Power-Scaling of Likelihoods - PS)

تدرب هذه الطريقة نموذجاً بديلاً واحداً من خلال دمج كلا مصدري البيانات مباشرة في دالة الاحتمال عبر قياس القوة. يتم تعريف التوزيع اللاحق المشترك كالتالي:
$$p_{ps}^\beta(\omega'_R, \sigma', c | D_S, D_R) \propto p(y_R | x_R, \omega'_R, \sigma', c)^{\alpha_R} \cdot p(y_S | x_S, \omega_S, \sigma', c)^{\alpha_S} \cdot p(\omega'_R, \sigma') p(c)$$
يتم اشتقاق عوامل القياس $\alpha_R$ و $\alpha_S$ من $\beta$ لضمان أنه عندما يقترب $\beta$ من 0 أو 1، يتضاءل تأثير أحد مصادر البيانات بينما يظل الآخر مستخدماً بالكامل. وتستخدم الطريقة إجراء MCMC من خطوتين:

1. التدريب المشترك: تقدير معاملات النموذج البديل $c$ والمعاملات الوسيطة باستخدام دالة الاحتمال ذات قياس القوة.
2. الاستدلال المنقح: إعادة تقدير المعاملات غير المعروفة للعالم الحقيقي $(\omega_R, \sigma_R)$ باستخدام دالة الاحتمال الكاملة لبيانات العالم الحقيقي $D_R$ فقط، مشروطة بالتوزيع اللاحق لـ $c$ من الخطوة الأولى. يتجنب هذا "الازدواج في استخدام" (double dipping) بيانات العالم الحقيقي ويضمن استنتاج المعاملات بناءً على أدلة العالم الحقيقي.

التنفيذ

تم تصميم إطار العمل ليكون مستقلاً عن نوع النموذج البديل، بحيث يمكن تطبيقه على أي نموذج بديل احتمالي (مثل توسعات تشوس بولي نوميال (PCE)، أو العمليات الغاوسية، أو الشبكات العصبية) القابلة للتنفيذ في لغات البرمجة الاحتمالية مثل Stan أو PyMC. يستخدم المؤلفون خوارزمية هاميلتون مونت كارلو (HMC) لأخذ العينات.

المساهمات الرئيسية

1. استراتيجيات وزن مبتكرة: تقديم طريقتين متميزتين (PW و PS) لدمج مصادر البيانات غير المتجانسة أثناء تدريب النموذج البديل، مما يوفر استمرارية بين النماذج القائمة على البيانات والنماذج القائمة على المحاكاة.
2. معالجة عدم التماثل: تعالج طريقة PS تحديداً عدم التماثل في مصادر البيانات (المدخلات المعروفة مقابل غير المعروفة) من خلال إجراء استدلال من خطوتين يفصل بين تدريب المعاملات وتنقيح المعاملات.
3. الاستقلالية عن النموذج البديل: استراتيجيات الوزن المقترحة مستقلة عن عائلة النموذج البديل المحددة، مما يسمح بتطبيق واسع النطاق عبر سياقات نمذجة مختلفة.
4. القدرة التشخيصية: يوفر إطار العمل آلية لتشخيص القيود الهيكلية لنماذج المحاكاة من خلال تصور المعلومات المتنافسة من المحاكاة وبيانات العالم الحقيقي.

النتائج

قيم المؤلفون الطرق باستخدام دراستي حالة:

دراسة الحالة 1: مثال اصطناعي

• الإعداد: يلتقط نموذج المحاكاة اتجاهاً عالمياً، بينما تتضمن "البيانات الحقيقية" حداً دورياً إضافياً غير موجود في المحاكاة.
• النتائج:
  • خارج العينة (OOS): حقق النموذج البديل القائم على البيانات ($\beta=0$) أفضل أداء لأنه يناسب البيانات المحلية تماماً.
  • خارج التوزيع (OOD): حقق النموذج البديل القائم على المحاكاة ($\beta=1$) أفضل أداء بسبب قدرته على الاستقراء بناءً على القوانين الفيزيائية.
  • الأداء الهجين: بالنسبة لقيم $\beta$ المتوسطة، حققت طريقة قياس القوة (PS) عموماً أقل خطأ في جذر متوسط مربع الخطأ (RMSE) (الأقرب إلى الحقيقة الاصطناعية)، بينما وفرت طريقة الوزن التنبؤي اللاحق (PW) أفضل قيمة لـ ELPD (نمذجة عدم اليقين بشكل أفضل).
  • المقارنة مع KOH: تفوقت طريقة PS على إطار معايرة Kennedy-O'Hagan (KOH) القياسي في استعادة دالة المتوسط لبعض قيم $\beta$، رغم أن KOH تفوقت في تقدير كمي لعدم اليقين.

دراسة الحالة 2: النمذجة الوبائية (نموذج SIR)

• الإعداد الاصطناعي: نموذج SIR غير دقيق (معدل استشفاء ثابت) مقابل بيانات حقيقية بمعدل استشفاء مختلف.
  • النتائج: أظهرت طريقة PS تفوقاً في مناطق خارج التوزيع (OOD) من خلال استخدام بيانات المحاكاة كمنظم (regularizer) لمنع التنبؤات المتطرفة من النموذج القائم على البيانات. كما أظهرت طريقة PW تراكباً بصرياً للاتجاهات المتضاربة (انخفاض أكثر حدة في البيانات مقابل انخفاض أبطأ في المحاكاة).
• الإعداد الواقعي: بيانات كوفيد-19 من إيطاليا (الموجة الأولى).
  • النتائج: فشل النموذج القائم على البيانات في الاستقراء (توقع زيادة الإصابات)، بينما أظهر النموذج القائم على المحاكاة عدم يقين عالياً وتوقع انخفاض قوي جداً. حققت طريقة قياس القوة (PS) أفضل ELPD عند $\beta \approx 0.45$، حيث وازنت بين المصدرين. أظهرت طريقة PW تحسناً رتيباً مع $\beta$ لكنها لم تصل إلى ذروة أداء PS.

الأهمية والادعاءات

يدعي البحث أن مناهج النمذجة الهجينة هذه توفر طريقة مرنة لتحسين دقة التنبؤ والتغطية، خاصة في الأنظمة الصعبة التي تقع خارج التوزيع (out-of-distribution) حيث تفشل التدريبات أحادية المصدر.

• الرؤى التشخيصية: يؤكد المؤلفون أن تصور توزيعات التنبؤ اللاحقة (خاصة عبر PW) يعمل كأداة تشخيصية. فهي تسمح للمنمذجين بتحديد العمليات المفقودة أو أخطاء التوصيف في نموذج المحاكاة من خلال مراقبة أين تتباعد المحاكاة عن بيانات العالم الحقيقي.
• المقايضات: يشير البحث بتواضع إلى أن الطريقة المثلى وعامل الوزن يعتمدان على السيناريو المحدد ومقياس التقييم المستخدم.
  • يُوصى باستخدام قياس القوة (PS) لاستعادة الحقيقة الأساسية وتحقيق تنبؤات متوسطة قوية، لأنها تستخدم بيانات المحاكاة كمنظم أثناء التدريب.
  • يُوصى باستخدام الوزن التنبؤي اللاحق (PW) للأغراض التشخيصية والتفسير الحدسي للمعلومات المتنافسة، رغم أنها قد تكون أقل قوة إذا كان المكون القائم على البيانات ضعيف التقييد.
• الاتجاهات المستقبلية: يشير المؤلفون إلى أنه بينما ركزوا على مصدرين، يمكن توسيع إطار العمل ليشمل مصادر متعددة. كما يلاحظون أن إيجاد $\beta$ الأمثل عبر البحث الخطي (line search) قد يكون مكلفاً حاسوبياً لـ PS، مما يشيع الحاجة إلى أعمال مستقبلية حول أخذ عينات الأهمية (importance sampling) أو مطابقة العزوم (moment matching) لتقليل تكاليف إعادة التدريب.

باختصار، يقدم البحث إطار عمل ينقل النمذجة البديلة من كونها مجرد "بديل" للمحاكاة المكلفة إلى أن تصبح مكوناً لأداة تشخيصية للنمذجة الهجينة، قادرة على الاستفادة من المعرفة الميكانيكية والأدلة التجريبية معاً.