A Hybrid Machine Learning Framework for Air Quality Classification Using Variational Mode Decomposition and Feature Optimization
تقترح هذه الورقة إطار عمل هجين لتعلم الآلة يدمج بين تفكيك الوضع المتغير لتفكيك الإشارة، وحذف الميزات المتكرر لاختيار الميزات، وتقنية SMOTE لموازنة الفئات، ومصنف CatBoost–SVM لتحقيق نظام تصنيف لجودة الهواء عالي الدقة (98.5%) باستخدام بيانات CPCB.
إن الهواء الذي نتنفسه نادراً ما يكون ساكناً؛ فهو يتغير مع الرياح، ويندفع مع حركة المرور، ويتفاعل مع الشمس والمطر بطرق معقدة وغير متوقعة. وبالنسبة للعلماء الذين يحاولون فهم جودة الهواء، فإن هذه الحركة المستمرة تخلق لغزاً صعباً. فالبيانات التي يجمعونها من أجهزة الاستشعار ليست خطاً مستقيماً ونظيفاً، بل هي سجل متعرج ومليء بالضجيج، مليء بالقفزات المفاجحة والأنماط الخفية التي تتغير من ساعة إلى أخرى. وغالباً ما تعاني الطرق التقليدية في تحليل هذه البيانات لأنها تتعامل مع الهواء كما لو كان ساكناً، مما يؤدي إلى تفويت التقلبات الطفيفة والسريعة التي تشير إلى التحول من الهواء النقي إلى التلوث الخطير. ولحل هذه المشكلة، لجأ الباحثون إلى مجال يُسمى تعلم الآلة، حيث تتعلم الحواسيب التعرف على الأنماط في كميات هائلة من البيانات. ومع ذلك، لكي تتعلم هذه الحواسيب بفعالية، يجب أولاً تفكيك إشارات العالم الحقيقي الفوضوية والمضطربة إلى أجزائها الأساسية، تماماً مثل فصل نغمة في بيانو إلى نوتات فردية لفهم الموسيقى.
في دراسة حديثة، واجه باحثون من معهد فيلور للتكنولوجيا في الهند هذا التحدي من خلال إنشاء نظام جديد لتصنيف جودة الهواء بدقة مذهلة. فقد ركزوا على بيانات من عشر مدن كبرى في الهند، جمعها المجلس المركزي للرقابة على التلوث. وتتتبع هذه البيانات مجموعة متنوعة من الملوثات، بما في ذلك جزيئات الغبار الدقيقة وغازات مختلفة، والتي تُستخدم لحساب مؤشر جودة الهواء. ويصنف المؤشر الهواء إلى مستويات تتراوح من "جيد" إلى "شديد"، وهو تمييز حيوي للتحذيرات المتعلقة بالصحة العامة. ووجد الباحثون أن البيانات الخام من أجهزة الاستشاس هذه فوضوية للغاية بحيث لا تستطيع نماذج الكمبيوتر القياسية التعامل معها بمفردها. ولإصلاح ذلك، استخدموا تقنية تسمى "تفكيك الوضع المتغير" (Variational Mode Decomposition). تخيل أنك تستمع إلى غرفة مزدحمة حيث يتحدث الكثير من الناس في وقت واحد؛ تعمل هذه الطريقة كمرشح متطور يفصل الأصوات المتداخلة إلى مسارات متميزة وواضحة، مما يسمح للمستمع بالتركيز على محادثة واحدة في كل مرة. وفي هذه الحالة، "المحادثات" هي الترددات والأنماط المختلفة للتلوث، والتي يقوم النظام بفصلها للكشف عن الاتجاهات الحقيقية الكامنة.
بمجرد فصل البيانات إلى هذه المسارات الأكثر وضوحاً، استخرج الفريق مجموعة واسعة من الخصائص لوصف سلوك الهواء. لقد نظروا إلى البيانات من ثلاثة زوايا مختلفة: كيف تغيرت مستويات التلوث بمرور الوقت، وكيف تصرفت من حيث التردد، وكيف تذبذبت في مزيج من كليهما. أنتجت هذه العملية مئات الأدلة المحتملة حول حالة الهواء. ومع ذلك، فإن امتلاك الكثير من الأدلة يمكن أن يربك الكمبيوتر بقدر ما يربكه امتلاك القليل منها. ولإيجاد أهم الإشارات، اختبر الباحثون أربع طرق مختلفة لاختيار أفضل الميزات. واكتشفوا أن طريقة محددة، تُعرف باسم "إزالة الميزة المتكررة" (Recursive Feature Elimination)، كانت الأكثر فعالية في تحديد حفنة من الأدلة التي تهم حقاً. قامت هذه العملية بتقليص القائمة الضخمة من المؤشرات المحتملة إلى عشرين ميزة رئيسية فقط يمكنها وصف جودة الهواء بدقة.
كما كان على الدراسة التعامل مع مشكلة شائعة في البيانات البيئية وهي: عدم التوازن. ففي العالم الحقيقي، الأيام التي تشهد تلوثاً "شديداً" هي أقل شيوعاً بكثير من الأيام ذات الهواء "المعتدل" أو "الجيد". وإذا تعلم الكمبيوتر من الأيام الشائعة في الغالب، فسيصبح سيئاً في التعرف على الحالات النادرة والخطيرة. ولحل هذه المشكلة، استخدم الباحثون تقنية تسمى "الإفراط في أخذ العينات من الأقلية الاصطناعية" (Synthetic Minority Over-sampling). تنشئ هذه الطريقة أمثلة جديدة واصطناعية لأحداث التلوث النادرة عن طريق مزج خصائص الأحداث الموجودة، مما يعلم الكمبيوتر بفعالية شكل التلوث الشديد دون الحاجة لانتظار حدوثه بشكل طبيعي. وأخيراً، دمج الفريق نموذجين قويين من تعلم الكمبيوتر في نظام هجين واحد. يعمل النموذج الأول، "كات بوست" (CatBoost)، كمصنف واسع النطاق يفهم العلاقات المعقدة بين الملوثات المختلفة. أما النموذج الثاني، وهو "آلة ناقلات الدعم" (Support Vector Machine)، فيعمل كأداة لضبط الدقة لاتخاذ القرار النهائي بشأن الفئة التي ينتمي إليها الهواء بالضبط.
كانت نتائج هذا النهج مذهلة. فعند اختبارها مقابل بيانات العالم الحقيقي من الهند، حدد النظام الجديد فئة جودة الهواء بشكل صحيح في 98.5% من الحالات. وقد أدى أداءً استثنائياً عبر جميع المستويات، من الأيام الأكثر نقاءً إلى الأكثر خطورة، مما أظهر قدرة عالية على التمييز بين الفئات المتشابهة التي غالباً ما تربك النماذج الأخرى. كما استخدم الباحثون أدوات متقدمة للنظر داخل "الصندوق الأسود" لنموذج الكمبيوتر الخاص بهم، مما أكد أنه يولي اهتماماً بالفعل للأشياء الصحيحة، مثل سلوك جزيئات الغبار الدقيقة ومستويات غازات معينة. ومن خلال تفكيك الإشارات الفوضوية للغلاف الجوي، واختيار الأدلة الأكثر حيوية، وموازنة بيانات التدريب، يوفر هذا الإطار وسيلة موثوقة وقابلة للتوسع لمراقبة الهواء. وهو يثبت أنه مع الجمع الصحيح بين معالجة الإشارات وتعلم الآلة، يمكننا تحويل البيانات البيئية المعقدة والمضطربة إلى معلومات واضحة وقابلة للتنفيذ لحماية الصحة العامة.
ملخص تقني: إطار عمل هجين لتعلم الآلة لتصنيف جودة الهواء باستخدام تفكيك النمط المتغير وتحسين الميزات
بيان المشكلة يمثل تلوث الهواء في الدول النامية بسرعة مثل الهند خطراً بيئياً وصحياً حرجاً، مما يستلي ذي الحاجة إلى تصنيف دقيق وفي الوقت المناسب لجودة الهواء. ومع ذلك، تفرض بيانات المراقبة الحالية تحديات كبيرة أمام طرق التصنيف التقليدية. فبيانات السلاسل الزمنية لجودة الهواء هي بطبيعتها غير خطية، وغير مستقرة، وعالية الأبعاد، ومليئة بالضجيج بسبب التقلبات الجوية، وتغيرات الانبعاثات، وعدم يقين أجهزة الاستشعار. علاوة على ذلك، تعاني مجموعات البيانات غالباً من عدم توازن الفئات، حيث تكون مستويات التلوث القصوى (مثل "شديد" أو "سيء جداً") ممثلة تمثيلاً ناقصاً مقارنة بالمستويات المتوسطة. وتفشل الطرق الإحصائية التقليدية واستخراج الميزات أحادي المجال في التقاط الديناميكيات الزمنية والمكانية المعقدة لهذه الملوثات، مما يؤدي إلى قدرة محدودة على التعميم والموثوقية في مهام التصنيف.
المنهجية تقترح الورقة إطار عمل قوياً ومتكاملاً لتصنيف جودة الهواء باستخدام بيانات من المجلس المركزي للرقابة على التلوث (CPCB) عبر عشر مدن هندية. تتبع المنهجية مساراً متعدد المراحل:
المعالجة المسبقة للبيانات: تخضع بيانات السلاسل الزمنية متعددة المتغيرات الخام (بما في ذلك PM2.5، PM10، NOx، SO2، CO، O3، إلخ) لعمليات التنظيف، وتعويض القيم المفقودة عبر الاستيفاء الخطي، والتقييس (Normalization).
تفكيك الإشارة (VMD): لمعالجة عدم الاستقرار والضجيج، استخدم المؤلفون "تفكيك النمط المتغير" (Variational Mode Decomposition - VMD). تقوم هذه التقنية بتفكيك إشارات الملوثات الأصلية إلى مجموعة محدودة من دوال النمط الجوهري (IMFs) محدودة النطاق. وبخلاف طرق التفكيك الأخرى، يتجنب VMD مشكلة خلط الأنماط (mode mixing)، مما يفصل بفعالية بين الضجيج والتقلبات المفاجئة (IMFs عالية التردد) والاتجاهات الأساسية للتلوث (IMFs منخفضة التردد).
استخراج الميزات متعدد المجالات: من دوال النمط الجوهري (IMFs) المفككة، يتم استخراج مجموعة شاملة من الميزات عبر ثلاثة مجالات:
مجال التردد: توزيع الطاقة عبر نطاقات التردد شديدة الانخفاض، والمنخفضة، والمتوسطة، والعالية.
المجال الزمني-الترددي: طاقة الجذر التربيعي لمتوسط المربعات (RMS)، وطاقة تيجر (Teager energy)، والاعتلاج الطيفي (spectral entropy) لالتقاط التغيرات العابرة. تنتج هذه العملية في البداية فضاء ميزات عالي الأبعاد (944 ميزة).
اختيار الميزات: لتقليل التكرار وتحديد الميزات الأكثر تمييزاً، تم تقييم أربع تقنيات هي: المعلومات المتبادلة (MI)، وLightGBM، وExtraTrees، وإزالة الميزات المتكررة (RFE). حددت الدراسة أن تقنية RFE هي الطريقة المتفوقة، حيث قلصت مجموعة الميزات إلى أكثر 20 متغيراً معلوماتية.
معالجة عدم توازن الفئات: تم تطبيق تقنية الإفراط في أخذ العينات الاصطناعية للأقلية (SMOTE) بعد عملية اختيار الميزات لتوليد عينات اصطناعية للفئات الأقلية (مثل التلوث "الشديد")، مما يضمن توزيعات تدريب متوازنة ويحسن حساسية النموذج للأحداث النادرة.
التصنيف الهجين: تم استخدام مصنف هجين ثنائي المرحلة يجمع بين CatBoost وآلة ناقلات الدعم (SVM).
المرحلة الأولى: يقوم CatBoost بإجراء تصنيف عام المستوى، مستفيداً من قدرته على نمذجة التفاعلات غير الخطية المعقدة والتعامل مع الضجيج.
المرحلة الثانية: يقوم SVM بتحسين حدود القرار للتصنيف دقيق المستوى، حيث يميز بين فئات مؤشر جودة الهواء (AQI) المتشابهة باستخدام المستويات الفائقة المثلى. يتم التحقق من صحة الإطار باستخدام التحقق المتقاطع k-fold (5 و10 طيات) ويتم تقييمه مقابل النماذج المرجعية باستخدام مقاييس مثل الدقة (Accuracy)، والضبط (Precision)، والاستدعاء (Recall)، ومقياس F1، ومعامل كوهنز كابا (Cohen's Kappa).
المساهمات الرئيسية
التفكيك القائم على VMD: تقدم الدراسة نهج VMD للتعامل بفعالية مع الطبيعة غير الخطية وغير المستقرة لبيانات جودة الهواء، متجاوزة مشاكل خلط الأنماط الشائعة في طرق التفكيك الأخرى.
هندسة الميزات متعددة المجالات: يستخرج الإطار تمثيلاً موحداً للميزات يجمع بين خصائص المجال الزمني، والترددي، والزمني-الترددي من الأنماط المفككة لالتقاط ديناميكيات الملوثات المعقدة.
تحسين اختيار الميزات: أظهر التقييم المنهجي لأربع تقنيات لاختيار الميزات أن تقنية إزالة الميزات المتكررة (RFE) توفر المجموعة الأكثر فعالية لهذا المجال تحديداً، مما يقلل الأبعاد مع الحفاظ على القدرة التمييزية.
بنية CatBoost-SVM الهجينة: تطوير مصنف هجين ثنائي المرحلة يستفيد من قدرات التعلم العالمي لـ CatBoost وقوة التمييز المحلية لـ SVM لتحقيق متانة عالية.
تخفيف حدة عدم التوازن: يضمن دمج SMOTE أداءً عادلاً عبر جميع فئات مؤشر جودة الهواء، وبالأخص معالجة ندرة نقاط بيانات التلوث القصوى.
النتائج التجريبية تم اختبار الإطار المقترح على مجموعة بيانات ضخمة من CPCB تغطي عشر مدن هندية رئيسية. تشير النتائج إلى ما يلي:
الدقة: حقق نموذج CatBoost-SVM الهجين متوسط دقة تصنيف بلغ 97.09% في جدول التقييم المقارن (الجدول 8)، متفوقاً على التركيبات الهجينة الأخرى التي تم تقييمها في الدراسة، بما في ذلك GNB+SVM، وLightGBM+Decision Tree، وLightGBment+Naive Bayes، وGNB+XGBoost.
مقاييس الأداء: أظهر النموذج دقة وضبطاً واستدعاءً ودرجة F1 عالية عبر جميع الفئات، مع أداء قوي بشكل خاص في التمييز بين مستويات AQI المتجاورة (مثل "متوسط" مقابل "سيء").
دراسات الاستئصال (Ablation Studies): أدى حذف الميزات الرئيسية، وخاصة الواصفات القائمة على الاعتلاج (entropy) والميزات المتعلقة بـ PM2.5، إلى انخفاض ملموس في الدقة (يصل إلى 5.71% لمجموعات PM2.5)، مما يؤكد الدور الحاسم لهذه الميزات.
القابلية للتفسير: وفر دمج تقنية LIME (التفسيرات المحلية المستقلة عن النموذج) رؤى شفافة على مستوى الحالة، مما أكد أن النموذج يعتمد على خصائص الملوثات ذات المعنى الفيزيائي (مثل إحصائيات PM2.5، وNOx، وSO2) لاتخاذ قراراته.
الأهمية والادعاءات تزعم الورقة أن الإطار المقترح يقدم حلاً موثوقاً وقابلاً للتوسع لتصنيف جودة الهواء الذكي. ومن خلال دمج التفكيك التكيفي للإشارة (VMD)، وهندسة الميزات متعددة المجالات، والاختيار الصارم للميزات، والتعلم الهجين، يعالج النظام بفعالية تحديات الضجيج، وعدم الاستقرار، وعدم توازن الفئات المتأصلة في البيانات البيئية. ويؤكد المؤلفون أن هذا النهج يوفر تحسيناً كبيراً مقارنة بالأساليب أحادية المجال أو أحادية النموذج، مما يجعله مناسباً لأنظمة مراقبة البيئة ودعم القرار في العالم الحقيقي. وتشدد الدراسة على أن الجمع بين هذه التقنيات يخلق نظاماً ليس فقط عالي الدقة، بل أيضاً قابلاً للتفسير، مما يعزز الثقة في تقييمات جودة الهواء المؤتمتة.