The impact of feature engineering and an optimisation framework for ocean colour machine learning
تقترح هذه الورقة إطاراً لتحسين هندسة الميزات مكوناً من سبع مستويات يعزز بشكل كبير دقة نماذج تعلم الآلة لتقدير معاملات لون المحيط مثل الكلوروفيل-أ وعمق قرص سيتشي في المياه الساحلية النرويجية، مما يثبت أن تحويل البيانات المصمم خصيصاً أمر بالغ الأهمية للتفوق على الخوارزميات القياسية.
المؤلفون الأصليون:Edson Silva, Julien Brajard, Simon Cappe, Lasse H. Pettersson, François Counillon
تعمل الأقمار الصناعية التي تدور عالياً فوق الأرض كعيون قوية، تمسح المحيطات لتكشف عن الحياة الكيميائية والبيولوجية غير المرئية المختبئة تحت الأمواج. ومن خلال قياس لون الماء المنعكس إلى الفضاء، يمكن للعلماء تقدير كمية الطحالب التي تنمو ومدى صفاء المياه، وهي علامات حيوية لصحة النظم البيئية البحرية. ومع ذلك، فإن النظر إلى المحيط من الفضاء لا يشبه التقاط صورة فوتوغرافية بسيطة؛ فالمياه القريبة من الساحل هي مزيج فوضوي من الطين، والمواد العضوية الذائبة من الأنهار، والنباتات المجهرية، وكلها تعمل على لوي وتشويه الضوء بطرق تربك البرامج الحاسوبية القياسية. ولعقود من الزمن، حاول الباحثون بناء نماذج حاسوبية أفضل لتفسير هذه الإشارات، وغالباً ما ركزوا على ضبط الإعدادات الداخلية للخوارزميات نفسها. لكن دراسة جديدة تشير إلى أن المفتاح الحقيقي لفك أسرار المياه الساحلية لا يكمن في عقل الكمبيوتر، بل في كيفية إعداد البيانات قبل وصولها إلى الآلة.
في المياه المعقدة، والتي غالباً ما تكون عكرة على طول سواحل النرويج، تفشل أدوات الأقمار الصناعية القياسية بشكل متكرر. فقد صُممت هذه الخوارزميات في الأصل للمحيطات المفتوحة، حيث تكون المياه أكثر صفاءً والمكونات أكثر قابلية للتنبؤ. وعند تطبيقها على المضائق النرويجية والتيارات الساحلية، حيث تختلط المياه الداكنة بلون الشاي القادمة من الأنهار مع ازدهار الطحالب المجهرية البيضاء والطباشيرية، غالباً ما تعطي الأدوات القياسية نتائج غير دقيقة تماماً. فقد ترى دوامة غير ضارة من المياه الداكنة وتخطئ في اعتبارها ازدهاراً طحلبياً ساماً هائلاً، أو قد تغفل عن وجود ازدهار حقيقي تماماً. ولحل هذه المشكلة، لجأ فريق من الباحثين إلى تعلم الآلة، وهو نوع من علوم الحاسوب حيث تتعلم البرامج من الأمثلة بدلاً من اتباع قواعد صارمة. وبينما حاولت دراسات عديدة تحسين هذه البرامج من خلال ضبط "مقابضها وأدوات التحكم" الداخلية، طرح هذا الفريق سؤالاً مختلفاً: ماذا لو كانت الطريقة التي نغذي بها البيانات للكمبيوتر هي المشكلة الحقيقية؟
ركز الباحثون على عملية تسمى "هندسة الميزات" (feature engineering)، وهي في الأساس فن تنظيف وإعادة تشكيل البيانات الخام حتى يتمكن الكمبيوتر من فهمها بشكل أفضل. تخيل أنك تحاول تعليم طفل التعرف على أنواع مختلفة من أوراق الشجر؛ يمكنك أن تعطيه كومة من الأوراق في حالات مختلفة — بعضها مبلل، وبعضها جاف، وبعضها ممزق، وبعضها سليم — وتتوقع منه أن يتعلم. أو، يمكنك أولاً فرزها حسب اللون، وتجفيفها، وترتيبها حسب الحجم لجعل الأنماط واضحة. وبنفس الطريقة، أخذ الباحثون قياسات الضوء الخام من قمر "سنتينل-3" (Sentinel-3) وأخضعوها لسلسلة من سبعة تحويلات متميزة. شملت هذه الخطوات اختيار ألوان محددة من الضوء لاستخدامها، وتعديل مستويات السطوع للتعامل مع الاختلافات القصوى، وإنشاء تركيبات رياضية جديدة تسلط الضوء على خصائص معينة للمياه. لقد بنوا مساحة بحث هائلة حيث يمكن اختبار كل تركيبة ممكنة من هذه الخطوات، مع معاملة إعداد البيانات بنفس الاهتمام الصارم الذي يُخصص عادةً لضبط نموذج الكمبيوتر نفسه.
ولاختبار فكرتهم، جمع الفريق آلاف القياسات الواقعية من محطات الرصد على طول الساحل النرويجي، وربطوها بصور الأقمار الصناعية الملتقطة في نفس الأيام. ودربوا نماذج تعلم الآلة الخاصة بهم للتنبؤ بشيئين حاسمين: تركيز الكلوروفيل-أ (chlorophyll-a)، الذي يشير إلى كمية الطحالب، وعمق "سيتشي" (Secchi depth)، وهو مقياس لمدى عمق رؤية قرص أبيض تحت الماء، والذي يخبرنا بمدى صفاء المياه. وقارنوا نهجهم الجديد والمحسن بالأساليب القياسية المستخدمة حالياً من قبل وكالات الأقمار الصناعية. وكانت النتائج مذهلة؛ فالنماذج التي استخدمت إعداد البيانات المحسن بعناية كانت أكثر دقة بكثير من الأدوات القياسية. في الواقع، حسن النهج الجديد الارتباط بين تقديرات الأقمار الصناعية والقياسات الحقيقية بمقدار يصل إلى ضعفين، وقلل متوسط الخطأ بنسبة تصل إلى 63 بالمائة. وكثيراً ما عانت الخوارزميات القياسية للتمييز بين أنواع المياه المختلفة، حيث كانت تبالغ في تقدير كمية الطحالب في المياه الداكنة الغنية بالمواد العضوية، بينما حددت النماذج الجديدة هذه المناطق بشكل صحيح على أنها ذات مستويات طحالب منخفضة.
ولعل الاكتشاف الأكثر إثارة للدهشة هو أنه لا توجد طريقة واحدة "مثالية" لإعداد البيانات لكل حالة. فقد اعتمد أفضل مزيج من تحويلات البيانات كلياً على نوع نموذج الكمبيوتر المستخدم وما يحاول التنبؤ به. فعلى سبيل المثال، كانت أفضل طريقة لإعداد البيانات لتقدير صفاء الطحالب مختلفة عن أفضل طريقة لتقدير عمق المياه. يتحدى هذا الاكتشاف فكرة وجود وصفة عالمية لمراقبة المحيطات عبر الأقمار الصناعية. وبدلاً من ذلك، يشير إلى أنه بالنسبة لكل منطقة جديدة أو كل هدف جديد، يجب على العلماء البحث بعناية عن طريقة إعداد البيانات المحددة التي تعمل بشكل أفضل. وتثبت الدراسة أنه من خلال معاملة البيانات نفسها كشيء يمكن تحسينه، بدلاً من مجرد مدخل ثابت، يمكننا بناء أدوات أكثر حدة وموثوقية لمراقبة مياهنا الساحلية. ويقدم هذا النهج مساراً واعداً للمراقبة البيئية، مما يضمن أن الأقمار الصناعية التي تراقب محيطاتنا ترى الحقيقة، حتى في أكثر المياه تعقيداً وتحدياً.
ملخص تقني: تأثير هندسة الميزات وإطار التحسين لنماذج تعلم الآلة الخاصة بألوان المحيطات
بيان المشكلة أصبح تعلم الآلة (ML) أداة سائدة لتقدير بارامترات جودة المياه، مثل تركيز الكلوروفيل-أ ([Chl-a]) وعمق قرص سيكي (Zsd)، من بيانات ألوان المحيطات المستمدة من الأقمار الصناعية. ومع ذلك، يركز البحث الحالي بشكل أساسي على تحسين المعلمات الفائقة (hyperparameters) وهندسة النماذج، بينما تظل عملية تحسين البيانات المدخلة نفسها — أي هندسة الميزات (Feature Engineering - FE) — عملية عشوائية وغير مستكشفة إلى حد كبير. في المياه الساحلية المعقدة بصرياً (Case-2)، غالباً ما تفشل الخوارزميات القياسية بسبب الطبيعة غير المتلازمة للمكونات النشطة بصرياً. وبينما تُستخدم تقنيات هندسة الميزات مثل اختيار النطاقات، والتحجيم، واستخراج المؤشرات بشكل شائع، فإن العدد الهائل من التوليفات الممكنة يشير إلى أن الاختيار اليدوي يكون دون المستوى الأمثل. يفترض المؤلفون أن التعامل مع هندسة الميزات كمسألة تحسين، على غرار ضبط المعلمات الفائقة، يمكن أن يحسن دقة النماذج بشكل كبير في البيئات الصعبة مثل المياه الساحلية والفيوردات النرويجية.
المنهجية تقترح الدراسة إطار عمل منهجي لتحسين هندسة الميزات (FE) يتم تطبيقه على ملاحظات أداة لون الأرض والمحيط (OLCI) من القمر الصناعي Sentinel-3. تتضمن المنهجية المكونات التالية:
منطقة الدراسة والبيانات: يركز البحث على المياه الساحلية النرويجية، التي تتميز بارتفاع المادة العضوية المذابة الملونة (CDOM) وازدهار كوكوليثوفور (coccolithophore). تتكون مجموعة البيانات من قياسات في الموقع لـ [Chl-a] (625 عينة) و Zsd (1,378 عينة) متطابقة مع بيانات الانعكاس من Sentinel-3 OLCI للفترة من 2016 إلى 2023. تمت معالجة البيانات مسبقاً باستخدام خوارزمية التصحيح الجوي Polymer.
فضاء هندسة الميزات (خط الأنابيب): يعرّف المؤلفون فضاءً مهيكلاً لهندسة الميزات يتكون من سبعة مستويات متسلسلة من تحويل البيانات:
اختيار النطاق (Band Choice - BC): اختيار نطاقات طيفية محددة (مثل الأزرق، الأحمر، المرئي، أو مجموعات بناءً على الدراسات السابقة).
تطبيع الشكل الطيفي (Spectral Shape - SS): تطبيع الانعكاس بالنسبة لمجموع النطاقات.
استخراج المؤشر (Index Extraction - IE): حساب نسب النطاقات، ومؤشر الكلوروفيل ذو الفرق الطبيعي (NDCI)، والمنحدرات، ونسبة النطاق القصوى (MBR).
تحليل المكونات الرئيسية (PCA): تقليل الأبعاد.
تحجيم الميزات (Feature Scaling - FS): التقييس باستخدام الانحراف المعياري (STD) أو المدى الربيعي (IQR).
التحجيم من صفر إلى واحد (Zero-to-One Scaling - ZOS): تحجيم الحد الأدنى والأقصى (Min-max scaling).
خوارزمية التحسين: يستخدم المؤلفون خوارزمية "شجرة مقدرات بارزن" (Tree of Parzen Estimators - TPE) للبحث في "فضاء خط الأنابيب" المدمج لتكوينات هندسة الميزات والمعلمات الفائقة لتعلم الآلة. تستخدم TPE نماذج الخليط الغاوسي للاختيار التكراري للتكوينات التي تزيد من معامل التحديد (R2) عبر التحقق المتقاطع.
نماذج تعلم الآلة: تم اختبار ثلاث بنيات متميزة لتعلم الآلة: الإدراك متعدد الطبقات (MLP)، وآلات ناقلات الدعم (SVM)، وتعزيز التدرج الفائق (XGBoost).
التصميم التجريبي: تقارن الدراسة نهج "هندسة الميزات المحسنة" مقابل تكوينات هندسة الميزات المقتبسة من ست دراسات سابقة (Brando et al., Joshi et al., Lapucci et al., Pahlevan et al., Shen et al., Zoffoli et al.) ومنتجات Sentinel-3 القياسية (CHL_OC4ME و CHL_NN).
النتائج الرئيسية
تباين هندسة الميزات الحالية: وجدت الدراسة أن الدقة تختلف بشكل كبير اعتماداً على تكوين هندسة الميزات المختار من الأدبيات السابقة. بالنسبة لـ [Chl-a]، تراوحت قيم R بين 0.01 و 0.55، وبالنسبة لـ Zsd، تراوحت بين 0.15 و 0.68، اعتماداً على هندسة الميزات المستخدمة.
أداء هندسة الميزات المحسنة: نجح إطار العمل في تحديد تكوينات هندسة الميزات التي تفوقت على كل من هندسة الميزات المقتبسة من الأدبيات والخوارزميات القياسية.
مقارنة بخوارزميات CHL_OC4ME و CHL_NN القياسية، حسنت نماذج تعلم الآلة ذات هندسة الميزات المحسنة معامل الارتباط (R) بمقدار يصل إلى ضعفين وقللت متوسط الخطأ المطلق (MAE) بنسبة تصل إلى 63%.
على وجه التحديد، زاد نموذج SVM المحسن (NOR_SVM) من قيمة R بمقدار 2.4 مرة لـ [Chl-a] و 1.9 مرة لـ Zsd مقارنة بـ CHL_OC4ME.
التبعية للنموذج والمتغير المستهدف: كان الاكتشاف الحاسم هو أنه لا يوجد تكوين واحد أمثل لهندسة الميزات لجميع المتغيرات المستهدفة أو نماذج تعلم الآلة.
بالنسبة لـ [Chl-a]، تقاربت معظم النماذج عند اختيارات النطاق المرئي، وبالنسبة لـ XGBoost، تقاربت عند التحجيم اللوغاريتمي.
بالنسبة لـ Zsd، تقاربت النماذج غالباً على النطاقات المرئية بما في ذلك الأشعة تحت الحمراء القريبة (NIR) والتحجيم اللوغاريتمي.
كانت خيارات هندسة الميزات المثلى محددة للغاية بالارتباط بين المتغير المستهدف وبنية تعلم الآلة.
الدقة الموسمية والمكانية: نجحت النماذج المحسنة في التقاط أنماط الازدهار الموسمي (قمم الربيع والخريف) والتباين الجغرافي (على سبيل المثال، التمييز بين المياه الداكنة الغنية بـ CDOM وازدهار الكوكوليثوفور السيان) بشكل أفضل مقارنة بالخوارزميات القياسية، التي تميل إلى المبالغة في تقدير [Chl-a] في المناطق التي يسودها CDOM.
الأهمية والادعاءات يدعي البحث أن هندسة الميزات هي عامل حاسم، وغالباً ما يتم تجاهله، في دقة نماذج تعلم الآلة الخاصة بألوان المحيطات، وهي تفوق في تأثيرها المحتمل اختيار بنية تعلم الآلة نفسها. ومن خلال اقتراح إطار عمل يعامل اختيار هندسة الميزات كمسألة تحسين باستخدام خوارزميات البحث مثل TPE، يثبت المؤلفون أن:
التحسين ضروري: الاختيار اليدوي لهندسة الميزات بناءً على الدراسات السابقة غير كافٍ للبيئات الساحلية المعقدة؛ حيث يؤدي التحسين المنهجي إلى نتائج متفوقة.
خصوصية السياق: يجب إجراء تحسين هندسة الميزات بشكل فردي لكل تطبيق (متغير مستهدف محدد ونموذج تعلم آلة محدد)، حيث لا يوجد حل "واحد يناسب الجميع".
تحسين المراقبة: يوفر إطار العمل المقترح مساراً لتعزيز موثوقية مراقبة جودة المياه في المياه الساحلية والفيوردات المعقدة بصرياً بشكل كبير، مما يعالج مشكلات المبالغة في التقدير الناجمة عن CDOM والتي تعاني منها الخوارزميات البيولوجية البصرية القياسية.
يخلص المؤلفون إلى أنه بينما قد تحد طبيعة "الصندوق الأسود" للميزات المحولة من التفسير الفيزيائي، فإن المكاسب الكبيرة في دقة الاسترجاع تبرر هذا النهج، خاصة مع نمو قواعد البيانات الرصدية والحاجة المتزايدة للنماذج الإقليمية الدقيقة.