Prediction Uncertainty Controlled Computer Model Calibration

يعتمد العلماء غالبًا على النماذج الحاسوبية لفهم الأنظمة المعقدة، من انتشار الأمراض إلى سلوك الأنماط المناخية. هذه النماذج هي في الأساس عمليات محاكاة مفصلة تأخذ مجموعة من المدخلات وتنتج توقعًا لما سيحدث. ومع ذلك، لا تكون قيمة النموذج إلا بقدر قدرته على مطابقة الواقع. ولجعل النموذج يعمل، يجب على الباحثين "معايرته"، مما يعني ضبط إعداداته الخفية حتى يتوافق مخرجه مع الملاحظات الواقعية. والتحدي يكمن في أن هذه الإعدادات نادرًا ما تكون معروفة بدقة تامة. وعندما يحاول الباحثون تقديرها، يجب عليهم أيضًا مراعاة حقيقة أن أي نموذج ليس مثاليًا؛ فهناك دائمًا فجوة بين المحاكاة والحقيقة الفوضوية للعالم الحقيقي. وإذا تم تجاهل هذه الفجوة أو التعامل معها بشكل سيئ، فقد ينتج النموذج توقعات تبدو واثقة ولكنها في الواقع مضللة، حيث تقدم نطاقًا من الاحتمالات يكون إما ضيقًا جدًا لدرجة غير آمنة أو واسعًا جدًا لدرجة تجعله عديم الفائدة.

قام فريق من الإحصائيين في جامعة سيول الوطنية بتطوير طريقة جديدة لحل هذه المشكلة. يركز نهجهم على ضمان أن يكون نطاق التوقعات الذي يقدمه النموذج ليس ضيقًا جدًا ولا واسعًا جدًا، بل مناسبًا تمامًا لالتقاط ما يحدث بالفعل. اختبروا طريقتهم أولاً على نموذج حاسوبي اصطناعي، ثم على سيناريو من العالم الحقيقي: تتبع تفشي مرض الحصبة في ملاوي عام 2010. ومن خلال الجمع بين طريقة حديثة وسريعة للتعلم من البيانات وبين فحص إحصائي صارم، أنشأوا نظامًا ينتج توقعات أكثر حدة ودقة من الطرق التقليدية، مع الكشف أيضًا عن المواضع التي يفشل فيها النموذج الأساسي في تفسير الواقع.

تكمن جوهر المشكلة في كيفية تعامل العلماء حاليًا مع عدم اليقين. تعتمد الطرق التقليدية غالبًا على عملية تسمى المعايرة البايزية (Bayesian calibration)، والتي تستخدم تقنية تُعرف باسم "ماركوف تشين مونت كارلو" لاستكشاف الإعدادات الممكنة للنموذج. وبينما تعد هذه أداة قوية، إلا أنها مكلفة حاسوبيًا وبطيئة. والأهم من ذلك، أنها غالبًا ما تنتج نطاقات تنبؤ تكون حذرة للغاية. هذه النطاقات، التي تمثل مجموعة النتائج المحتملة، يمكن أن تصبح واسعة جدًا لدرجة تفقدها قيمتها العملية، خاصة عندما يصعب تحديد إعدادات النموذج أو عندما تكون للنموذج نفسه عيوب هيكلية. ووجد الباحثون أن مجرد الثقة في المخرجات الرياضية لهذه الطرق التقليدية يؤدي غالبًا إلى توقعات واسعة جدًا لدرجة لا تسم सकती لاتخاذ القرارات.

ولمعالجة ذلك، بنى الباحثون إطار عمل مكون من طبقتين. تستخدم الطبقة الأولى تقنية تسمى "مطابقة التدفق" (flow matching)، وهي نوع من الذكاء الاصطناعي المصمم لتعلم العلاقة بين مخرجات النموذج وإعداداته الخفية. وبدلاً من إجراء حساب متكرد وبطيء لكل معلومة جديدة، تتعلم هذه الطريقة النمط مرة واحدة ويمكنها بعد ذلك توليد مجموعة من الإعدادات المحتملة لأي ملاحظة جديدة فورًا. هذه السرعة أمر بالغ الأهمية لأنها تسمح للباحثين بإجراء آلاف عمليات المحاكاة في الوقت الذي تستغرقه الطريقة التقليدية لإجراء عملية واحدة فقط. ومع ذلك، فإن السرعة وحدها لا تضمن الدقة؛ فقد أدرك الباحثون أنه حتى الطريقة السريعة يمكن أن تنتج مجموعة من الإعدادات التي، عند تشغيلها عبر المحاكي، تؤدي إلى نطاق تنبؤ واسع جدًا أو ضيق جدًا.

وهنا يأتي دور الطبقة الثانية: شبكة أمان إحصائية تسمى "التحكم في المخاطر التأكيدية" (conformal risk control). فكر في هذا كفحص جودة يحدث بعد قيام الذكاء الاصطناعي بعمله. يأخذ الباحثون الإعدادات السريعة التي ولدها الذكاء الاصطناعي ويقومون بتشغيلها عبر المحاكي لرؤية نوع التوقعات التي تنتجها. ثم يقارنون هذه التوقعات بمجموعة منفصلة من البيانات الاصطناعية التي تحاكي العالم الحقيقي. يقوم النظام تلقائيًا بتعديل حجم نطاق التنبؤ حتى يصل إلى هدف محدد: وهو معدل خطأ ليس مرتفعًا جدًا ولا منخفضًا جدًا. إذا كان النطاق واسعًا جدًا، يقوم النظام بتقليصه؛ وإذا كان ضيقًا جدًا، يقوم بتوسيعه. تضمن هذه العملية أن تكون نطاقات التنبؤ النهائية معايرة وفقًا للأداء الفعلي للنموذج، وليس فقط وفقًا للافتراضات النظرية للرياضيات.

اختبر الباحثون هذا النظام على نموذج اصطناعي حيث كانت الإجابة الحقيقية معروفة. في هذه المحاكاة، أنتجت الطريقة الجديدة نطاقات تنبؤ كانت عرضها تقريبًا 20 بالمائة من عرض الطريقة التقليدية البطيئة، بينما ظلت تلتقط النتيجة الصحيحة بنسبة 90 بالمائة تقريبًا. وفي المقابل، أنتجت الطريقة التقليدية نطاقات واسعة جدًا لدرجة أنها غطت النتيجة في كل مرة، مما أخفى عدم يقين النموذج خلف جدار من الحذر المفرط. لقد نجحت الطريقة الجديدة في أن تكون أكثر حدة، حيث قدمت نطاقًا أضيق من النتائج المحتملة دون التضحية بالموثوقية.

ثم طبق الفريق الطريقة على تحدٍ من العالم الحقيقي: نمذجة تفشي الحصبة في ملاوي عام 2010. استخدموا نموذجًا يعتمد على البنية العمرية يتتبع كيفية انتقال المرض عبر الفئات العمرية المختلفة. وعندما قارنوا طريقتهم الجديدة بالنهج التقليدي، كانت النتائج مذهلة. أنتجت الطريقة التقليدية نطاق تنبؤ واسعًا جدًا ولم يخطئ البيانات نادرًا جدًا، حيث غطت الحالات المرصودة بنسبة 96 بالمائة تقريبًا. هذا التغطية الزائدة تعني أن النموذج كان متحفظًا للغاية. ومع ذلك، أنتجت الطريقة الجديدة نطاقًا أضيق بكثير أخطأ في البيانات بمعدل قريب جدًا من الهدف المحدد وهو 10 بالمائة. وهذا يعني أن التوقعات كانت أكثر دقة وفائدة لفهم المسار المحدد للتفشي.

ربما كان الجانب الأكثر كشفًا للطريقة الجديدة ليس دقتها فحسب، بل ما أظهرته عن حدود النموذج. في بيانات ملاوي، فشلت نطاقات التنبؤ الخاصة بالطريقة الجديدة في تغطية الحالات الفعلية خلال أسابيع معينة: ذروة التفشي والتراجع المتأخر. كانت هذه هي اللحظات التي تصرفت فيها البيانات الواقعية بطريقة غير متماثلة، وهو ما لم يستطع النموذج الرياضي، الذي افترض شكلًا أكثر تماثلًا، إعادة إنتاجه. ولأن الطريقة الجديدة تمت معايرتها لتكون صادقة بشأن عدم اليقين الخاص بها، فقد قلصت نطاق التنبؤ إلى حجمه الأكثر كفاءة، وبذلك أبرزت بالضبط أين تعطل النموذج. أما الطريقة التقليدية، بنطاقاتها الواسعة للغاية، فقد أخفت هذه الإخفاقات عبر تغطية كل شيء، مما جعل من المستحمل رؤية أن النموذج كان يعاني من التعامل مع الشكل المحدد لتراجع الوباء.

تثبت هذه الدراسة أنه من الممكن الجمع بين السرعة والصرامة الإحصائية في النمذجة الحاسوبية. فمن خلال استخدام خوارزمية تعلم سريعة لتوليد الاحتمالات وفحص إحصائي صارم لضبط النتيجة النهائية، يمكن للباحثين إنتاج توقعات تتسم بالحدة والموثوقية في آن واحد. هذا النهج لا يعطي رقمًا أفضل فحسب، بل يوفر أداة تشخيصية تخبر العلماء أين تعمل نماذجهم وأين تفشل. وفي عالم تُستخدم فيه النما الحاسوبية بشكل متزايد لتوجيه السياسات الصحية والبيئية العامة، فإن امتلاك طريقة يمكنها بوضوح تحديد حدود معرفة النموذج هو أمر لا يقل أهمية عن التنبؤ نفسه. لقد أظهر الباحثون أنه من خلال التركيز مباشرة على معدل الخطأ في التنبؤ النهائي، بدلاً من مجرد عدم اليقين في المدخلات، يمكنهم بناء نظام يتسم بالكفاءة والصدق بشأن الفجوات بين المحاكاة والواقع.