From Raw Data to Reliable Predictions: The Significance of Data Processing in COVID-19 Modelling
تُظهر هذه الدراسة أن مسار معالجة البيانات المخصص الذي يتميز بتحويل البيانات اليومي، والكشف المحلي عن القيم المتطرفة، وفحوصات الاتساق، والاختيار التكراري للميزات، يعزز بشكل كبير دقة التنبؤ لنماذج التعلم الآلي لوفيات كوفيد-19 مقارنة بالطرق القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بعدد الأشخاص الذين سيصابون بالمرض أو يتوفون أثناء جائحة ما. للقيام بذلك، ستقوم ببناء "كرة بلورية" باستخدام الرياضيات والحواسيب (تعلم الآلة). ولكن هناك عقبة: الكرة البلورية تكون بجودة الزجاج الذي صُنعت منه. إذا كان الزجاج متسخًا، أو مشققًا، أو مشوهًا، فستكون توقعاتك خاطئة، بغض بغض النظر عن مدى ذكاء عملياتك الحسابية.
هذه الورقة البحثية تتحدث عن تنظيف ذلك الزجاج. يرى المؤلفان، سانجيتا داس وسوبراجيوتي ماجي، أن معظم العلماء يقضون وقتًا طويلاً جدًا في بناء كرات بلورية فاخرة (نماذج معقدة) ولا يقضون وقتاً كافياً في تنظيف الزجاج (تحضير البيانات).
إليك قصة كيف قاموا بتنظيف البيانات للحصول على صورة أوضح بكثير للمستقبل.
1. المشكلة: خلل "التقرير الأسبوعي"
تخيل أنك تتبع سرعة عداء. ولكن بدلاً من تسجيل سرعته كل ثانية، تقوم فقط بتدوين إجمالي المسافة التي قطعها مرة واحدة في الأسبوع، يوم الأحد. ثم تحاول تخمين سرعته ليوم الاثنين، والثلاثاء، والأربعاء.
- الخطأ: قد تفترض أنه ركض صفر ميل من الاثنين إلى السبت، وأنه قام بكل الركض يوم الأحد. هذا بالطبع خطأ!
- الواقع: كانت بيانات كوفيد-19 تعاني من هذه المشكلة بالضبط. فغالباً ما كانت المستشفيات تبلغ عن حالات الوفاة الجديدة مرة واحدة فقط في الأسبوع. أظهرت البيانات "صفر وفيات" لمدة ستة أيام، ثم قفزة هائلة في اليوم السابع.
- الحل: ابتكر المؤلفان "موزعًا يوميًا" (Daily Distributor). بدلاً من ترك البيانات تقبع عند الصفر لمدة ستة أيام، أخذوا إجمالي العدد الأسبوعي ووزعوه بالتساوي على مدار الأيام السبعة. هذا أدى إلى تسوية تلك القفزات الوهمية وأعطى الكمبيوتر رؤية واقعية لما كان يحدث في كل يوم على حداء.
2. المشكلة: "العالمي" مقابل "المحلي" في تحديد القيم الشاذة
تخيل أنك تنظر إلى حشد من الناس.
- النهج القياسي (العالمي): تضع قاعدة: "أي شخص طوله أكثر من 7 أقدام هو خطأ". إذا رأيت لاعب كرة سلة بطول 7 أقدام وبوصتين، فقد تحذفه لأن طوله لا يتناسب مع "متوسط" الطول. ولكن في جائحة ما، قد تبدو الزيادة المفاجئة في الحالات مثل "عملاق" مقارنة بالمتوسط، لكنها في الواقع حقيقية!
- النهج المخصص (المحلي): استخدم المؤلفان "نافذة متحركة" (Rolling Window) (مثل النظر من خلال عدسة مكبرة تتحرك معك). لقد نظروا فقط إلى الأشخاص الموجودين بجوار الشخص المعني مباشرة. إذا حدثت قفزة مفاجئة، كانوا يتحققون مما إذا كانت غريبة مقارنة بالماضي القريب لعدة أيام، وليس مقارنة بالعام بأكمله. سمح لهم هذا بالاحتفاظ بالقفزات الحقيقية والمهمة مع إزالة الأخطاء الفعلية فقط.
3. المشكلة: "الآلة الحاسبة المعطلة"
أحياناً تتعارض أعمدة البيانات مع بعضها البعض.
- السيناريو: تخيل أن عموداً يقول إن "إجمالي التطعيمات" هو 100، بينما عمود "التطعيمات الجديدة" يقول إنها 50. إذا جمعت الأرقام، فلن يستقيم الحساب.
- الحل: بنى المؤلفان "محرك منطق" (Logic Engine). بدلاً من مجرد التخمين للأرقام المفقودة، استخدموا العلاقات بين الأعمدة. إذا كانوا يعرفون "الإجمالي"، فإنهم يحسبون "الجديد" عن طريق طرح إجمالي الأمس. وإذا كانوا يعرفون "الجديد"، فإنهم يحسبون "الإجمالي" عن طريق جمعه. ضمن هذا أن تكون البيانات مثالية رياضياً ومتسقة، مثل آلة تعمل بسلاسة.
4. المشكلة: الكثير من المكونات
تخيل أنك تخبز كعكة. لديك 60 مكوناً: دقيق، سكر، بيض، ولكن أيضاً "جوارب"، و"أعواد أسنان"، و"جرائد قديمة".
- الخطأ: رمي كل شيء في الوعاء يربك الخباز (الكمبيوتر). إنه يهدر الوقت ويجعل طعم الكعكة سيئاً.
- الحل: استخدم المؤلفان "مرشحاً ذكياً" (Smart Filter). لقد اختبروا كل مكون ليروا ما إذا كان يساعد الكعكة على الانتفاخ فعلياً. احتفظوا فقط بأفضل 5 مكونات كانت الأكثر أهمية (مثل "الحالات الجديدة" و"مؤشر الصرامة") ورموا الباقي. جعل هذا النموذج أسرع وأكثر دقة.
النتيجة: تحسن مذهل
لمعرفة ما إذا كان "فريق التنظيف" الخاص بهم قد نجح، اختبروا 10 نماذج حاسوبية مختلفة.
- الطريقة القياسية (الزجاج المتسخ): أفضل نموذج تمكنوا من الحصول عليه كان يشبه صورة ضبابية. سجل درجة (R²) بلغت 0.817. كان جيداً، لكنه افتقد الكثير من التفاصيل.
- الطريقة المخصصة (الزجاج النظيف): مع خطوات التنظيف الخاصة بهم، أصبح نفس نوع النموذج عبارة عن صورة عالية الدقة بدقة 4K. حقق درجة قدرها 0.991.
ماذا يعني هذا؟
كان النموذج القياسي يخمن بنسبة خطأ تقارب 20%. أما النموذج المخصص فكان يخمن بنسبة خطأ أقل من 1%. كان الأمر شبه مثالي.
الخلاصة الكبرى
الدرس الرئيسي من هذه الورقة ليس متعلقاً فقط بكوفيد-19. إنه درس لأي شخص يحاول التنبؤ بالمستقبل، سواء كان ذلك في أسواق الأسهم، أو الطقس، أو نتائج الرياضة.
يمكنك امتلاك أغلى وأقوى حاسوب في العالم، ولكن إذا غذّيته ببيانات فوضوية، أو منحازة، أو غير متسقة، فسيقدم لك إجابات تافهة.
من خلال تخصيص الوقت لـ:
- توزيع البيانات (إصلاح انحياز التقارير الأسبوعية)،
- النظر محلياً (إيجاد القفزات الحقيقية، وليس مجرد الأخطاء العالمية)،
- التحقق من الحسابات (ضمان توافق الأعمدة مع بعضها البعض)،
- اختيار أفضل المكونات (اختيار الميزات الصحيحة)،
...يمكنك تحويل تنبؤ متوسط إلى تنبؤ عالي الدقة. لقد أثبت المؤلفون أن كيفية تحضير البيانات لا تقل أهمية عن النموذج الذي تبنيه.
ملاحظة: تمت مراجعة هذه النسخة الأولية من قبل الأقران ونُشرت كـ: 'From Raw Data to Reliable Predictions: The Significance of Data Processing in COVID-19 Modelling,' Asian Journal of Research in Computer Science, 19(2), 75-96 (2026). DOI: https://doi.org/10.9734/ajrcos/2026/v19i2826. الكود: https://github.com/dassangita844/Preprocessing_COVID-19_Dataset_India
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.