Benchmarking Deep Learning Models for Raman Spectroscopy Across Open-Source Datasets
تقدم هذه الدراسة معياراً شاملاً يقيم خمس بنيات للتعلم العميق وطريقتين من طرق التعلم الآلي التقليدية عبر ثلاث مجموعات بيانات مفتوحة المصدر لمطيافية رامان، وذلك لتوفير مقارنة عادلة وقابلة للتكرار لأداء التصنيف الخاضع للإشراف لتحديد المواد والمواد البيولوجية.
تخيل أنك تحاول التعرف على أغنية بمجرد الاستماع إلى مقطع صغير ومتقطع منها. هذا هو بالضبط ما يفعله العلماء باستخدام تقنية تسمى مطيافية رامان (Raman spectroscopy). فبدلاً من الموجات الصوتية، يستخدمون الليزر لارتداد الضوء عن مادة ما. يرتد الضوء عائداً ببصمة "اهتزازية" فريدة تعمل كبصمة إصبع للجزيئات. هذه القدرة هي بمثابة قوة خارقة للعلماء لأنها تسمح لهم بتحديد كل شيء، من المخدرات الخطيرة إلى البكتيريا في جسمك، دون لمس العينة أو كسرها.
ومع ذلك، هناك عقبة؛ فالضوء في العالم الحقيقي لا يسلك دائماً سلوكاً مثالياً. فأحياناً تصبح الإشارة مشوشة، مثل محطة راديو بها ضجيج، أو تغطيها "أتربة" تخفي الأجزاء المهمة من البصمة. ولتفسير هذه الإشارات الفوضوية، استخدم العلماء برامج حاسوبية لتعلم كيفية رصد الأنماط. ولفترة طويلة، استخدموا حيلًا رياضية بسيطة وقديمة. ولكن مؤخراً، أصبح الجميع متحمسين بشأن التعلم العميق (Deep Learning)، وهو نوع من الذكاء الاصطناعي يحاكي الدماغ البشري لتعلم الأنماط المعقدة. والسؤال الكبير هو: هل تعمل هذه الأدمغة الجديدة والمتطورة فعلياً بشكل أفضل من الحيل الرياضية القديمة، وهل تعمل جيداً عندما تكون الإشارة مشوشة؟
هذه الورقة البحثية تشبه "اختبار تذوق" ضخم ومنظم لإيجاد الإجابة. فقد جمع الباحثون خمسة أنواع مختلفة من نماذج التعلم العميل المصممة خصيصاً لقراءة هذه البصمات الجزيئية، جنباً إلى جنب مع طريقتين حاسوبيتين تقليديتين أكثر بساطة. وقد أخضعواهم جميعاً لنفس التدريب والاختبار الصارم على ثلاث مجموعات بيانات مفتوحة المصدر (مجموعات من البيانات) تغطي المعادن والبكتيريا والأدوية. أرادوا معرفة أي نموذج يمكنه تحديد المادة بشكل صحيح في أغلب الأحيان، خاصة عندما تكون البيانات صعبة أو قادمة من جهاز مختلف عن الجهاز المستخدم في التدريب.
إليكم ما وجدوه. عندما كانت البيانات نظيفة وظروف التدريب والاختبار متشابهة، حتى الطرق الحاسوبية البسيطة والقديمة قامت بعمل جيد جداً، وغالباً ما كانت تضاهي نماذج الذكاء الاصطناعي المتطورة. ومع ذلك، عندما أصبح الوضع أصعب — مثل عندما تكون البيانات "مغبرة" أو قادمة من إعداد مختلف — بدأت الطرق البسيطة في التعثر. وفي تلك السيناريوهات الواقعية الصعبة، أثبتت نماذج التعلم العميق، وتحديداً نموذج SANet وآخر يسمى Deep CNN، أنهما الأفضل؛ فقد كانا أكثر قدرة على تجاهل الضجيج وإيجاد الإشارة الحقيقية.
ومن المثير للاهتمام، اكتشف الباحثون أن بعض نماذج الذكاء الاصطناعي الأكثر شهرة وعالية التقنية (تلك القائمة على "المحولات" أو الـ Transformers، المشهورة بتشغيل روبوتات الدردشة) لم تؤدِ بشكل جيد مثل النماذج المتخصصة في هذا الاختبار المحدد. يبدو أنه بالنسبة لقراءة هذه البصمات الجزيئية، فإن النموذج المبني خصيصاً للمهمة يعمل بشكل أفضل من دماغ ضخم عام لم يتم ضبطه لهذه المهمة بدقة. كما أظهرت الدراسة أنه عندما كانت البيانات فوضوية (مثل عينات المعادن "المغبرة")، ساء أداء كل النماذج، مما يثبت أنه رغم قوة الذكاء الاصطناعي، إلا أنه لا يزال يعاني عندما يكون المدخل مختلفاً بشكل كبير عما تعلمه.
باخت-القول، تشير الورقة إلى أنه بينما تكون الأدوات البسيطة رائعة في البيئات النظيفة والمسيطر عليها، فإن نماذج التعلم العميق المتخصصة هي "العمال الثقال" اللازمون للواقع الفوضوي وغير المتوقع. لم يجد المؤلفون حلاً سحرياً يحل كل المشكلات فوراً، لكنهم قدموا خريطة واضحة توضح أي الأدوات هي الأفضل لأي مهمة، مما يساعد العلماء في المستقبل على تجنب استخدام المطرقة الضخمة عندما تكون هناك حاجة لاستخدام المشرط، أو العكس.
ملخص تقني: تقييم أداء نماذج التعلم العميق في مطيافية رامان
بيان المشكلة
غالبًا ما يُذكر أن مصنفات التعلم العميق (DL) لمطيافية رامان تتفوق على أساليب الكيمياء القياسية (chemometrics). ومع ذلك، يعاني المجال من نقص في التقييم المعياري؛ حيث تُقيم الدراسات الحالية النماذج بشكل منعزل، وتقارنها فقط بالنماذج التقليدية للتعلم الآلي (ML) أو بهياكل الرؤية الحاسوبية المُعدلة بشكل سطحي والتي لم تُصمم أصلاً للبيانات الطيفية. علاوة على ذلك، تُجرى التقييمات غالبًا على مجموعات بيانات تجريبية صغيرة أو بيانات اصطناعية، مما يحد من تقييم المتانة في العالم الحقيقي. وبناءً على ذلك، فإن المقارنات المباشرة بين عدة نماذج تعلم عميق منشورة ومخصصة لرامان على مجموعات بيانات مفتوحة المصدر هي أمور نادرة، مما يعيق تحديد الاستراتيجيات الهيكلية الفعالة.
المنهجية
تؤسس هذه الدراسة معيارًا موحدًا لمقارنة خمسة نماذج تعلم عميق خاضعة للإشراف مع طريقتين من طرق التعلم الآلي التقليدية عبر ثلاث مجموعات بيانات مختلفة مفتوحة المصدر لمطيافية رامان.
نماذج المعيار (Benchmark Models)
تقيم الدراسة خمسة هياكل تعلم عميق مخصصة لرامان تمثل فلسفات تصميم متنوعة:
الشبكة العصبية التلافيفية العميقة [31] (Deep CNN): شبكة CNN أحادية الأبعاد مستوحاة من LeNet-5 ذات أحجام نواة ثابتة.
شبكة SANet [5]: شبكة متكيفة مع المقياس تستخدم كتل متعددة المقاييس ذات أحجام نواة متغيرة لالتقاط القمم ذات العروض المختلفة.
نموذج RamanNet [20]: نموذج مصمم لتجنب التكافؤ الانتقالي باستخدام نوافذ منزلقة متداخلة مع طبقات MLP فريدة لكل نافذة.
المحول (Transformer) [30]: محول رؤية (ViT) مُعدل للبيانات الطيفية أحادية الأبعاد باستخدام ترميز قائم على الرقع (patch-based tokenization) وآلية الانتباه الذاتي.
نموذج RamanFormer [23]: بنية محول معدلة بأبعاد تضمين مخفضة وتلافيف بخطوة (strided convolutions) لتحقيق التسلسل الهرمي المكاني.
كما تم تضمين نموذجين تقليديين للتعلم الآلي كخطوط أساس: الغابة العشوائية (Random Forest) ومصنف متجه الدعم (SVC).
مجموعات البيانات
تم اختيار ثلاث مجموعات بيانات مفتوحة المصرض لتغطية مجالات مختلفة وتحديات انزياح التوزيع:
MLROD (المعادن): تحتوي على أطياف المعادن والمزيجات. وتتضمن نظام اختبار "مغبر" (يحاكي ظروف المريخ) لتقييم الأداء تحت تأثير انزياح توزيع كبير وتداخل الخلفية.
Bacteria-ID (المجال الحيوي): تحتوي على أطياف لعزلات بكتيرية وعلاجات مضادة للميكروبات. وتتميز بمجموعة مرجعية للتدريب المسبق ومجموعة ضبط دقيق تعاني من تدهور بصري مشابه لمجموعة الاختبار.
API (الصيدلانية): تحتوي على أطياف للمكونات الصيدلانية النشطة. تم سحب تقسيمات التدريب والاختبار من نفس التوزيع، مما يمثل مهمة تصنيف قياسية داخل التوزيع (in-distribution).
البروتوكول التجريبي
المعالجة المسبقة: لضمان قابلية التكرار وعزل أداء النموذج، تم تطبيق تغيير مقياس الشدة فقط. لم يتم إجراء أي تصحيح للخلفية، أو إزالة الضجيج، أو إزالة الفلورة. ৰ التدريب: تم تدريب جميع النماذج باستخدام بروتوكول موحد (محسن Adam، وفقدان Cross-Entropy) مع ضبط مستقل للمعلمات الفائقة (البحث الشبكي عبر حجم الدفعة ومعدل التعلم) لكل زوج من (النموذج-مجموعة البيانات).
التقيść: تم قياس الأداء باستخدام الدقة (Accuracy) ومقياس F1 المتوسط الكلي (Macro-averaged F1 Score) عبر خمس جولات مستقلة. وقد تجنبت الدراسة صراحةً استخدام AUC-ROC كمقياس أساسي، مع التركيز على دقة تعيين الفئة النهائية.
النتائج الرئيسية
1. الأداء على انزياح التوزيع (MLROD)
على مجموعة بيانات MLROD، أظهرت جميع النماذج تدهورًا كبيرًا في الأداء على عينات الاختبار "المغبرة" مقارنة بالعينات "النظيفة"، مما يسلط الضوء على الحساسية تجاه تداخل الخلفية وانزياحات الاستحواذ.
أفضل النماذج أداءً: أظهرت كل من SANet وDeep CNN أقوى متانة إجمالية. حققت SANet أعلى دقة إجمالية بنسبة (80.34%)، متفوقة على أسوأ نموذج تعلم عميق (Transformer) بأكثر من 7 نقاط مئوية.
المقارنة مع خط الأساس: في هذه المجموعة الكبيرة والمتنوعة، تفوقت نماذج التعلم العميق المخصصة لرامان عمومًا على نماذج التعلم الآلي التقليدية (الغابة العشوائية وSVC)، مما يشير إلى أن هياكل التعلم العميق أفضل في التقاط الأنماط الطيفية المميزة في البيئات المعقدة والمنزاحة.
2. التصنيف متعدد المهام (Bacteria-ID)
تصنيف العزلات: حققت جميع نماذج التعلم العميق دقة تتراوح بين 83% و86%. وكان أداء المحول (Transformer) أقل قليلاً من النماذج القائمة على CNN.
التنبؤ بالعلاج: أدت جميع النماذج أداءً استثنائيًا (96-98% دقة)، مع تفوق طفيف لنماذج التعلم العميق على التعلم الآلي التقليدي.
ملاحظة: كانت الفجوة في الأداء بين التعلم العميق والتعلم الآلي أضيق هنا مقارنة بـ MLROD، لكن نماذج التعلم العميق حافظت على تفوق طفيف.
3. التصنيف داخل التوزيع (API)
الأداء: حققت جميع النماذج، بما في ذلك التعلم الآلي التقليدي، أداءً يقترب من السقف (99-100% دقة) على مجموعة بيانات API.
غموض التسمية: لاحظت الدراسة أن فئتين (4-Methyl-2-pentanone و Methyl Isobutyl Ketone) متطابقتان كيميائيًا. وعند دمج هاتين التسميتين (في إعداد 31 فئة)، وصلت الدقة إلى 100% لعدة نماذج، مما يشير إلى أن الأخطاء في إعداد 32 فئة كانت ناتجة أساسًا عن غموض التسمية (label aliasing) وليس فشل النموذج.
التعلم الآلي مقابل التعلم العميق: في هذه المجموعة الأصغر وداخل التوزيع، كان أداء نماذج التعلم الآلي التقليدية (خاصة SVC والغابة العشوائية) مشابهًا لأداء نماذج التعلم العميق.
المساهمات الرئيسية
أول معيار متعدد النماذج: يقدم هذا العمل واحدة من أولى الدراسات التي تقارن ثلاثة أو أكثر من مصنفات التعلم العميق المنشورة والمخصصة لرامان عبر مجموعات بيانات متعددة مفتوحة المصدر تحت بروتوكول واحد قابل للتكرار.
إطار تقييم موحد: من خلال فرض معالجة مسبقة متسقة (في حدها الأدنى)، وبروتوكولات تدريب، ومساحات بحث عن المعلمات الفائقة، توفر الدراسة مقارنة عادلة تعزل الاختلافات الهيكلية عن العوامل التجريبية الاصطناعية.
تحليل انزياح التوزيع: تقيس الدراسة صراحةً مدى هشاشة النماذج الحالية تجاه انزياحات النطاق (مثل التلوث بالغبار، واختلافات الأجهزة)، موضحة أنه بينما تتفوق النماذج داخل التوزيع، فإنها تعاني بشكل كبير عندما تختلف ظروف الاختبار عن ظروف التدريب.
تأسيس خطوط الأساس: تضع الورقة خطوط أساس شفافة (بما في ذلك الغابة العشوائية وSVC) لسياق ضرورة استخدام هياكل التعلم العميق المعقدة.
الأهمية والادعاءات
يزعم المؤلفون أن هذا المعيار يوفر أساسًا ضروريًا للتقدم في مجال مطيافية رامان. وتخلص الدراسة بتواضع إلى ما يلي:
الهيكلية مهمة: توفر الهياكل المخصصة لرامان (مثل SANet وDeep CNN) مزايا على النماذج العامة أو القائمة على الانتباه البحت (مثل المحول القياسي) عند التعامل مع مجموعات بيانات كبيرة ومتنوعة وانزياحات التوزيع.
البساطة مقابل التعقيد: تظل طرق التعلم الآلي الأبسط منافسة عندما تتضمن مهمة التصنيف انزياحًا محدودًا بين التدريب والاختبار وفي مجموعات البيانات الصغيرة.
جودة البيانات فوق الهيكلية: يشير الانخفاض الكبير في الأداء على عينات MLROD "المغبرة" إلى أن النماذج الحالية حساسة للغاية لتباين الاستحواذ. ويجادل المؤلفون بأن التقدم المستقبلي يعتمد أقل على الابتكار الهيكلي وأكثر على تطوير مجموعات بيانات تجريبية ضخمة ومتنوعة ومنسقة لتدريب نماذج تأسيسية قادرة على التعامل مع التباين في العالم الحقيقي.
لا تدعي الورقة أنها حلت مشكلة انزياح التوزيع، بل تسلط الضوء عليها كعائق حرج، وتقترح أن العمل المستقبلي يجب أن يركز على التكيف غير الخاضع للإشراف مع النطاق (unsupervised domain adaptation)، والتعلم ذاتي الإشراف (self-supervised learning)، والنماذج التأسيسية المدربة على مكتبات طيفية ضخمة ومتنوعة.