Quantifying advances in infectious disease forecast skill across seasons and pathogens
تقدم هذه الدراسة مقياساً جديداً لدرجة المهارة يقارن التوقعات مقابل التوقعات اللاحقة والمعايير المرجعية لإثبات أن توقعات المجموعات والفرق للإنفلونزا وكوفيد-19 قد تحسنت مهاراتها بشكل عام على مدى العقد الماضي، رغم النتائج المختلطة لـ كوفيد-19.
المؤلفون الأصليون:Bay, C., Moghaddas, N. R., Davis, J. T., Borchering, R., Biggerstaff, M., Vespignani, A., Johansson, M. A.
تخيل أنك تحاول التنبؤ بالطقس بعد شهر من الآن. أنت تعرف الأنماط العامة للفصول، لكن المسار المحدد لعاصفة ما، أو اليوم الذي ستمطر فيه بالضبط، أو مدى قوة الرياح، يظل مجرد تخمين. يعمل التنبؤ بالأمراض المعدية بطريقة مشابهة تماماً. فبدلاً من السحب والجبهات الهوائية، يتتبع العلماء الفيروسات والبكتيريا، مستخدمين بيانات حول عدد الأشخاص الذين يصابون بالمرض، وعدد الذين يدخلون المستشفيات، وعدد الذين يموتون. والهدف هو منح مسؤولي الصحة العامة فرصة للبدء مبكراً، مما يسمح لهم بتخزين الأدوية، وتجهيز أسرة المستشفيات، وتحذير المجتمعات قبل وصول موجة من المرض. ولأكثر من عقد من الزمان، أجرى باحثون في الولايات المتحدة تجربة تعاونية ضخمة لمعرفة ما إذا كان بإمكانهم تحسين دقة هذه التنبؤات. لقد جمعوا آلاف التوقعات من عشرات الفرق المختلفة، والتي غطت كل شيء بدءاً من الإنفلونزا الموسمية وصولاً إلى الجائحة العالمية لـ كوفيد-19. ولكن ظل هناك سؤال جوهري يلوح في الأفق: هل تتحسن هذه التوقعات بالفعل بمرور الوقت، أم أنها تكتفي بالدوران في مكانها؟
للإجابة على ذلك، طور فريق من الباحثين من جامعة نورث إيسترن ومراكز السيطرة على الأمراض والوقاية منها (CDC) طريقة جديدة لقياس النجاح. في الماضي، كان العلماء يقارنون التوقعات باستخدام درجات تخبرهم أي نموذج كان أفضل من الآخر لأسبوع محدد، لكن هذه الدرجات كان من الصعب مقارنتها عبر أمراض مختلفة أو سنوات مختلفة. فالدرجة التي قد تبدو جيدة لموسم إنفلونزا خفيف قد تبدو سيئة للغاية في عام جائحة فوضوي، ليس لأن النموذج فشل، بل لأن الموقف نفسه كان أصعب في التنبؤ. احتاج الباحثون إلى "مسطرة" يمكنها قياس التقدم بإنصاف، بغض النظر عن مدى تعقيد البيانات. لقد ابتكروا "درجة مهارة" (skill score)، وهي مقياس يقارن كل توقع بنقطتي مرجع محددتين. الأولى هي "التنبؤ الرجعي" (hindcast)، وهو نظرة مثالية للماضي. تخيل لو كان بإمكانك رؤية المستقبل ثم تدوين ما حدث بالضبط، مع مراعاة جميع الضجيج والأخطاء في جمع البيانات؛ هذا يمثل أفضل ما يمكن لأي شخص القيام به على الإطلاق. نقطة المرجع الثانية هي "الخط المرجعي" (baseline)، وهو تخمين بسيط يمكن لجهاز كمبيوتر القيام به دون أي نماذج معقدة. ومن خلال قياس مدى تفوق التوقع الحقيقي على التخمين البسيط، ومدى اقترابه من التنبؤ الرجعي المثالي، استطاع الباحثون أخيراً معرفة ما إذا كان المجال يتقدم حقاً.
طبق الفريق "مسطرة القياس" الجديدة هذه على أكثر من 2.5 مليون توقع تم إنتاجها على مدار عشر سنوات. نظروا في تنبؤات الأمراض الشبيهة بالإنفلونزا، وحالات دخول المستشفيات، والوفيات، بالإضافة إلى أهداف مماثلة لـ كوفيد-19. واختبروا هذه التوقعات مقابل ثلاثة أنواع مختلفة من الخطوط المرجعية البسيطة: أحدها اعتمد فقط على التاريخ الطويل للمرض، وآخر افترض أن الأسبوع القادم سيكون تماماً مثل الأسبوع الماضي، والثالث اتبع الاتجاه الأخير للبيانات. كانت النتائج واضحة بالنسبة للإنفلونزا الموسمية؛ فقد تفوق الجهد الجماعي لجميع فرق التنبؤ، المعروف باسم "المجموعة" (ensemble)، باستمرار على التخمينات البسيطة. والأهم من ذلك، أن مهارة هذه التوقعات تحسنت بشكل مطرد بمرور الوقت. فالتوقع الذي تم إعداده قبل أربعة أسابيع لموسم الإنفلونزا الأخير كان أكثر دقة من التوقع الذي تم إعداده قبل أسبوع واحد فقط خلال السنة الأولى من التحدي. وهذا يشير إلى أنه مع حصول الفرق على المزيد من الوقت، والمزيد من البيانات لدراستها، وأدوات أفضل لاستخدامها، فقد أصبحوا حقاً أفضل في رؤية مستقبل الإنفلونزا.
أما القصة المتعلقة بكوفيد-19 فكانت أكثر تعقيداً، مما يعكس التحديات الفريدة لمرض جديد. في الأيام الأولى للجائحة، عندما لم يكن هناك تقريباً أي بيانات تاريخية للتعلم منها، كانت التوقعات جيدة بشكل مفاجئ في التنبؤ بالحالات والوفيات، متفوقة على الخطوط المرجعية البسيطة. ومع ذلك، مع تطور الجائحة وتغير قواعد اللعبة - مثل تغير طرق الاختبار أو تحديث أنظمة الإبلاغ - انخفضت دقة التوقعات. عانت النماذج لمواكبة هذه التغييرات المفاجئة في كيفية جمع البيانات. وبينما أظهرت التوقعات الخاصة بحالات دخول المستشفيات علامات تحسن في نهاية المطاف، لم تظهر التنبؤات الخاصة بالحالات والوفيات اليومية نفس الاتجاه التصاعدي الواضح. يسلط هذا الض الضوء على درس رئيسي: يعمل التنبؤ بأفضل شكل عندما تكون أنماط المرض مستقرة والبيانات متسقة. وعندما تتحرك الأرض من تحت أقدام النماذج، فإن حتى أكثر الخوارزميات ذكاءً تكافح لإيجاد موطئ قدم لها.
وجد الباحثون أن التوقعات الأكثر نجاحاً لم تكن مجرد نتيجة لرياضيات أفضل أو حواسيب أسرع، بل كانت نتيجة لبيانات أفضل وتعاون مستدام. استفادت توقعات الإنفلونزا من عقود من التقارير المتسقة، مما سمح للنماذج بتعلم إيقاع المواسم. وفي المقابل، ارتبطت الصعوبات في توقعات حالات كوفيد-19 غالباً بالتغييرات في كيفية عد الحالات، مما أدى إلى إدخال حالة من الارتباك لم يستطع أي نموذج فك رموزها بسهولة. كما كشفت الدراسة أنه بينما كانت أفضل التوقعات الجماعية قوية جداً، إلا أن العديد من الفرق الفردية لا تزال تكافح للتفوق على أبسط الخطوط المرجعية. وهذا يشير إلى أنه بينما يتقدم المجال ككل، لا تزال هناك فجوة واسعة بين أفضل النماذح والمتوسط منها. يوفر إطار "درجة المهارة" الجديد طريقة لرؤية هذا التقدم بوضوح، من خلال الفصل بين صعوبة المهمة وجودة التنبؤ. إنه يوضح أن التنبؤ بالأمراض المعدية هو علم ناضج، يتعلم كيفية التنقل في الواقع المعقد للأمراض البشرية، ولكنه يذكرنا أيضاً بأن بعض اللحظات الأكثر عدم استقرار في الصحة العامة لا تزال بعيدة عن متناول اليد.
ملخص تقني: قياس التقدم في مهارة التنبؤ بالأمراض المعدية عبر المواسم والمسببات المرضية
بيان المشكلة تطور التنبؤ بالأمراض المعدية ليصبح جهداً تعاونياً ومنظماً في الولايات المتحدة على مدار العقد الماضي، مما يدعم التأهب للصحة العامة لمسببات الأمراض بما في ذلك الإنفلونزا، وكوفيد-19، وحمى الضنك، وإيبولا، وفيروس غرب النيل. وبينما تسمح مقاييس التقييم المعيارية (مثل درجة الفاصل الموزونة أو الدرجة اللوغاريتمية) بالمقارنة النسبية للنماذج في نتائج محددة، إلا أنها تفتقر إلى القدرة على تقييم الأداء عبر النتائج والمواسم والمسببات المرضية المختلفة. وتتأثر "الدرجات الملائمة" (proper scores) الحالية بالضجيج والتباين المتأصل في بيانات المراقبة؛ فعلى سبيل المثال، الموسم الذي يشهد ذروات غير نمطية أو بيانات أكثر ضجيجاً يسجل درجات أسوأ من الموسم النموذجي لنفس النموذج. وهذا التباين يعيق تقييم ما إذا كانت نماذج التنبؤ تتحسن حقاً بمرور الوقت. لذا، هناك حاجة إلى إطار عمل يقيس مهارة التنبؤ بالنسبة لمعايير مرجعية تأخذ في الاعتبار التباين الخاص بالنتائج وضجيج البيانات، مما يتيح تقييماً شاملاً للتقدم في هذا المجال.
المنهجية لمعالجة هذه التحديات، طور المؤلفون إطار عمل لدرجة المهارة مستوحى من التنبؤ بالطقس. يقيم هذا الإطار التنبؤات من خلال مقارنتها بنوعين من النماذج المرجعية: نموذج أمثل (يمثل الحد الأعلى) ونماذج مرجعية (تمثل الحدود الدنيا).
تعريف درجة المهارة: تُحسب درجة المهارة (SS) كما يلي: SS=Soptimal−SreferenceSmodel−Sreference حيث تمثل S مقياس تسجيل (تحديداً درجة الفاصل الموزونة، WIS). تشير الدرجة 1 إلى أداء يعادل النموذج الأمثل، و0 تشير إلى عدم وجود تحسن عن النموذج المرجعي، والقيم السالبة تشير إلى أداء أسوأ من النموذج المرجعي.
النماذج المرجعية:
النموذج الأمثل (التنبؤ الرجعي): بدلاً من افتراض التنبؤ المثالي (خطأ صفري)، قام المؤلفون بنمذجة ضجيج الملاحظات باستخدام تنبؤ رجعي. يعامل هذا النموذج النتائج المرصودة كتحققات صاخبة لسلسلة زمنية، حيث يقوم بملاءمة توزيع ثنائي الحدين السالب (أو التوزيع الطبيعي اللوغاريثمي لمرض ILI) لمتوسط متحرك مرجح لمدة 3 أسابيع من البيانات المرصودة. يعمل هذا كحد أقصى مثالي يأخذ في الاعتبار التباين الجوهري للبيانات.
النماذج المرجعية (الخطوط الأساسية): تم تنفيذ ثلاثة نماذج أساسية لتكون معايير أداء دنيا، تختلف في التعقيد واستخدام البيانات الحديثة:
الخط الأساسي الساذج (Naïve Baseline): يتنبأ بالملاحظات المستقبلية بناءً على التوزيع الكامل لجميع البيانات التاريخية الماضية دون التكيف مع الاتجاهات الأخيرة. وهو مستقل عن الأفق الزمني ويجسد السلوك طويل الأمد ولكنه يتجاهل الموسمية والديناميكيات الأخيرة.
خط الأساس للمسار العشوائي (Random Walk - RW): يربط التوقعات بآخر نقطة بيانات مرصودة، مع توسع حالة عدم اليقين بناءً على الاختلافات بمقياس اللوغاريتم للملاحظات السابقة. ويفترض احتمالية متساوية للزيادة أو النقصان.
خط الأساس للاتجاه (Trend Baseline): يستخدم نموذج التمهيد الأسي مع أخطاء مضافة واتجاه مضاف مخمد. وهو يدمك المسار المحلي للبيانات الأخيرة ولكنه يجبر الوسيط المتوقع على التسطح بمرور الوقت.
نطاق البيانات: قيمت الدراسة بأثر رجعي أكثر من 2.5 مليون تنبؤ عبر 19 مزيجاً من (السنة-الموسم-الهدف) تغطي عشر سنوات تقويمية (2015–2026). شملت الأهداف:
الإنفلونزا: زيارات حالات الإنفلونزا الشبيهة بالإنفلونزا (ILI) الأسبوعية (2015–2020) وحالات دخول المستشفيات الأسبوعية (2021–2026).
كوفيد-19: الحالات الجديدة الأسبوعية (2020–2021)، الوفيات الأسبوعية (2020–2022)، حالات دخول المستشفيات اليومية (2021–2023)، وحالات دخول المستشفيات الأسبوعية (2025). تم إنشاء التنبؤات بواسطة فرق نمذجة فردية وتجمعات غير موزونة عند آفاق زمنية تتراوح من أسبوع واحد إلى 4 أسابيع.
النتائج الرئيسية
أداء التجمعات (Ensemble Performance): تفوق التجمع غير الموزون لجميع التنبؤات المقدمة على الخط الأساسي الساذج في 99% من تركيبات (الموقع-الموسم-النتيجة). كما تفوق على نماذج RW والاتجاه الأكثر تعقيداً في 84–91% من الحالات.
التحسن الزمني:
الإنفلونزا: لوحظت تحسينات مستمرة في مهارة التنبؤ للتجمعات والفرق بمرور الوقت لكل من أهداف ILI ودخول المستشفيات. والجدير بالذكر أن تنبؤات الأفق الممتد لـ 4 أسابيع في السنة الأخيرة أظهرت درجات مهارة أعلى من تنبؤات الأفق لـ أسبوع واحد في السنة الأولى من التحديات المعنية.
كوفيد-19: كانت النتائج مختلطة. انخفضت مهارة التجمع للحالات والوفيات بالنسبة للنموذج الساذج في السنوات اللاحقة، ويرجع ذلك على الأرجبه إلى التغييرات في الإبلاغ (مثل زيادة الاختبارات المنزلية التي فصلت بيانات الحالات عن مقاييس الشدة) ونقص البيانات التاريخية خلال مرحلة الظهور. ومع ذلك، أظهرت تنبؤات دخول المستشفيات اليومية تحسناً في الآفاق الطويلة (3–4 أسابيع).
حساسية الخطوط الأساسية: يؤثر اختيار الخط الأساسي بشكل كبير على التفسير. تتدهور نماذج RW والاتجاه بسرعة مع زيادة آفاق التنبؤ، بينما يظل الخط الأساسي الساذج مستقراً نسبياً. وبناءً على ذلك، يمكن أن تبدو درجات المهارة بالنسبة لخطوط RW/الاتجاه وكأنها تتحسن عند الآفاق الطويلة حتى عندما تنخفض دقة التنبؤ المطلقة، لأن الخطوط الأساسية تتدهور بشكل أسرع من التجمع. لذا، يعد الخط الأساسي الساذج حاسماً لتقييم المهارة عبر الآفاق، بينما توفر خطوط RW والاتجاه اختبارات أكثر صرامة للمهارة قصيرة المدى.
مشاركة الفرق: زادت نسبة الفرق الفردية التي تفوقت على النماذج المرجعية بمرور الوقت لأهداف الإنفلونزا، وهو ما ارتبط بزيادة المشاركة وساهم على الأرجح في تحسين أداء التجمعات.
الأهمية والادعاءات يزعم البحث أن إطار درجة المهارة هذا يوفر صورة شاملة للتقدم في التنبؤ بالأمراض المعدية على مدار العقد الماضي. ومن خلال تطبيع الأداء بالنسبة لمعايير مرجعية تأخذ في الاعتبار ضجيج البيانات (التنبؤ الرجعي) ومستويات متفاوتة من التعقيد (الخطوط الأساسية)، يوضح المؤلفون أن:
قدرات التنبؤ قد تحسنت، لا سيما لأهداف الإنفلونزا حيث تتوفر مراقبة معيارية وبيانات تاريخية وفيرة.
تجاوز المجال مرحلة الاستقراء البسيط، حيث تتفوق التجمعات باستمرار على نماذج الأساس المتطورة التي تدمج البيانات الأخيرة.
يسمح إطار العمل بمقارنة جودة التنبؤ عبر مسببات الأمراض والمواسم المختلفة، مع التمييز بين التحسن الحقيقي للنموذج وبين نواتج تباين البيانات.
ويؤكد المؤلفون أنه على الرغم من تحسن التنبؤات، إلا أنه لا يزال هناك "مساحة واسعة للتحسين"، حيث نادراً ما تقترب درجات مهارة التجمعات من التنبؤ الرجيدي الأمثل (درجة 1). وتعكس الفجوة بين التجمعات الحالية والتنبؤ الرجيدي الإشارة التي لا تزال النماذج عاجزة عن التقاطها. وتخلص الدراسة إلى أن المبادرات المعيارية، وتحسن توافر البيانات، والتعاون المستدام، هي ما دفع هذه النجاحات، لكن فائدة التنبؤات تظل مرهونة بقابلية التنبؤ الخاصة بالنتيجة وجودة بيانات المراقبة المتاحة.