Mask-Aware MLP and Entropy-Weighted MCDM for Robust Multiclass Paper Ranking
تقترح هذه الورقة إطار عمل قوياً يجمع بين مدرك للقناع من نوع "المدرك متعدد الطبقات" (multilayer perceptron) لتعويض مقاييس التقييم المفقودة، وطريقة اتخاذ القرار متعدد المعايير الموزونة بالإنتروبيا لتصنيف المقالات العلمية، مما يظهر أداءً فائقاً في الدقة، وتقليل خطأ التعويض، والحفاظ على التصنيف في ظل حالات الفقدان المتوسطة إلى العالية مقارنة بالتقنيات الحالية.
في المشهد الواسع للعلوم الحديثة، يعتمد الباحثون باستمرار على تعلم الآلة لحل المشكلات المعقدة، بدءاً من اكتشاف العلامات المبكرة للمرض وصولاً إلى التعرف على الأشياء في الصور. ولكي يعرف العلماء ما إذا كانت هذه البرامج الحاسوبية تعمل بشكل جيد، فإنهم يقيسون نجاحها باستخدام أرقام محددة، مثل عدد المرات التي تكون فيها صحيحة أو مدى جودة العثور على الإجابة الصحيحة عندما تكون نادرة. وعادة ما تُشتق هذه القياسات من جدول يتتبع كل نجاح وفشل للنموذج. ومع ذلك، فإن مشكلة مستمرة تؤرق المجتمع العلمي: فعندما ينشر الباحثون نتائجهم، غالباً ما يتركون أجزاءً من هذه البيانات، أو يبلغون عن أرقام لا تتطابق تماماً، أو يرتكبون أخطاء حسابية بسيطة. وعندما تكون هذه الأجزاء مفقودة أو خاطئة، يصبح من شبه المستحيل على العلماء الآخرين التحقق من النتائج أو مقارنة دراسة بأخرى بشكل عادل. وبدون صورة كاملة ودقيقة، يمكن تقويض موثوقية المجال بأكمله، مما يجعل من الصعب معرفة أي الطرق هي الأفضل حقاً.
ولمعالجة هذا التحدي، طور فريق من الباحثين نظاماً جديداً صُمم لإصلاح التقارير المكسورة أو غير المكتملة، ومن ثم استخدامها لتصنيف الدراسات العلمية بشكل عادل. لقد أنشأوا برنامجاً حاسوبياً يعمل كمحرر دقيق، قادراً على رصد الحالات التي تكون فيها مجموعة الأرقام المبلغ عنها غير متسقة أو ينقصها جزء ما. يعمل النظام من خلال توليد آلاف الأمثلة المثالية والمحاكية لكيفية ظهور أرقام الأداء هذه عندما يكون كل شيء صحيحاً. ثم يقوم بتعليم شبكة عصبية، وهي نوع من "الأدمغة الحاسوبية"، التعرف على أنماط هذه التقارير الصحيحة مع تعلم تحديد متى تكون الأرقام قد تعرضت للفساد بسبب خطأ أو أنها مفقودة ببساساً. والأمر الجوهري هنا هو أن البرنامج لا يكتفي بمجرد التخمين للأرقام المفقودة؛ بل يولي اهتماماً كبيراً لحقيقة أنها مفقودة. فهو يستخدم مؤشراً خاصاً، وهو عبارة عن "علامة رقمية" تحدد بدقة القيم الموجودة والقيم الغائبة، لمساعدة الحاسوب على فهم سياق البيانات. وهذا يسمح للنظام بملء الفجوات بدقة أكبر من الطرق القديمة، خاصة عندما يغيب جزء كبير من البيانات.
بمجرد تقدير الأرقام المفقودة والتحقق من صلاحية التقرير، ينتقل النظام إلى المرحلة الثانية: التصنيف. حيث يأخذ مجموعة الأرقام التي أصبحت الآن كاملة ويطبق طريقة لاتخاذ القرار تزن كل مقياس بناءً على مدى تباينه عبر الدراسات المختلفة. يضمن هذا أن التصنيف النهائي يعكس الأداء الحقيقي للنماذج بدلاً من أن يتأثر بطريقة الإبلاغ عن البيانات. وقد اختبر الباحثون هذا النهج باستخدام بيانات محاكية حيث كانوا يعرفون الإجابات الصحيحة مسبقاً. ووجدوا أن النظام يمكنه بنجاح تحديد التقارير غير الصالحة وملء القيم المفقودة بدقة عالية. وعندما كانت كمية البيانات المفقودة منخفضة، كان أداء النظام الجديد يضاهي الطرق الموجودة. ومع ذلك، عندما زادت البيانات المفقودة إلى ثلاثين أو أربعين بالمائة، تفوق النظام الجديد على جميع التقنيات الأخرى، محققاً أدق التقديرات والحفاظ على الترتيب الصحيح للتصنيفات بشكل أفضل من أي طريقة أخرى.
كما طبق الفريق أداته على أمثلة من العالم الحقيقي من الدراسات المنشورة في مجال التصوير الطبي والكشف عن أمراض القلب. وفي هذه الاختبارات، رصد النظام تقارير محددة لم تتوافق فيها الأرقام، مثل دراسة لم يتطابق فيها الرقم المبلغ عنه للنجاح مع أرقان الدقة والاستدعاء المقدمة. وفي حالة أخرى، حدد مجموعة من المقاييس التي لم يكن من الممكن العثور عليها في المصدر الأصلي على الإطلاق. تشير هذه النتائج إلى أن الأداة يمكن أن تعمل كآلية فحص قوية، تساعد المحررين والباحثين على رصد التقارير التي تحتاج إلى مزيد من التحقق بسرعة قبل قبولها كحقائق. وقد بنى الباحثون تطبيقاً سهل الاستخدام يتيح لأي شخص رفع بياناته، ومعرفة القيم التي تم تقديرها، وتلقي قائمة مرتبة للدراسات بناءً على أدائها المصحح.
توضح الدراسة أنه لا توجد طريقة واحدة هي الأفضل في كل موقف. فبينما لا تزال التقنيات القديمة جيدة جداً عندما يغيب عدد قليل فقط من الأرقام، فإن النهج الجديد يتألق عندما تكون البيانات شحيحة أو غير مكتملة بشكل كبير. والرؤية الأساسية هي أن إخبار الحاسوب صراحةً بالأرقام المفقودة يساعده على تقديم تخمينات أفضل لما يجب أن تكون عليه تلك الأرقام. وهذا مهم بشكل خاص لأن مجرد ملء رقم فارغ ليس كافياً؛ فالهدف هو ضمان أن تظل المقارنة النهائية بين النماب العلمية المختلفة عادلة ودقيقة. ومن خلال الجمع بين القدرة على إصلاح البيانات المكسورة وطريقة قوية للتصنيف، قدم الباحثون وسيلة لاستعادة الثقة في المقارنات العلمية، مما يضمن الاعتراف بأفضل الأساليب حتى عندما تكون التقارير الأصلية غير مثالية. ويشير العمل إلى أنه في عالم غالباً ما تكون فيه البيانات غير مكتملة، فإن الإقرار بما هو مفقود لا يقل أهمية عن تحليل ما هو موجود.
ملخص تقني: الشبكة العصبية ذات الطبقات المتعددة المدركة للقناع والترتيب الموزون بالإنتروبيا باستخدام عملية اتخاذ القرار متعددة المعايير لترتيب الأوراق العلمية متعددة الفئات بمتانة
بيان المشكلة يعتمد التقييم العلمي لنماذج التصنيف بشكل كبير على مقاييس الأداء مثل الدقة (Accuracy)، والدقة التنبؤية (Precision)، والاستدعاء (Recall)، والنوعية (Specificity)، ودرجات F1. ومع ذلك، تبرز في الأدبيات مشكلة مستمرة تتمثل في التقارير غير المكتملة أو الخاطئة لهذه المقاييس. فكثير من الدراسات تغفل مصفوفات الارتباك (Confusion Matrices) أو تكتفي بالإبلاغ عن مجموعة فرعية فقط من المقاييس الأساسية، مما يعيق التحقق المستقل والمقارنة العادلة بين الدراسات. علاوة على ذلك، قد تحتوي القيم المبلغ عنها على أخطاء حسابية أو تناقضات ناتجة عن عيوب في التنفيذ. وتتعامل النهج الحالية للتعامل مع البيانات المفقودة (مثل: Mean Imputation، وKNN، وMICE، وMissForest) مع القيم العددية كمصدر أساسي للمعلومات، وتفشل في تمثيل نمط "الغياب" (Missingness pattern) بشكل صريح. بالإضافة إلى ذلك، وبينما تُستخدم طرق اتخاذ القرار متعددة المعايير (MCDM) لترتيب النماذج، إلا أنها نادراً ما تُدمج مع إعادة بناء قوية للقيم المفقودة تأخذ في الاعتبار العلاقات الهيكلية المحددة لمقاييس التصنيف. ونتيجة لذلك، هناك نقص في الأطر المؤتمتة التي يمكنها في آن واحد فحص ملفات المقاييس غير المتسقة، وتعويض القيم المفقودة مع احترام أنماط الغياب، والحفاظ على سلامة ترتيب النماذج اللاحقة.
المنهجية يقترح المؤلفون إطار عمل متكامل يتكون من ثلاث مراحل رئيسية: توليد مجموعة بيانات محاكية، وإعادة بناء المقاييس المدركة للقناع، والترتيب الموزون بالإنتروبيا.
توليد مجموعة البيانات المحاكية: لتدريب وتقييم النظام، قام المؤلفون بتوليد مجموعة بيانات مضبوطة مستمدة من مصفوفات الارتباك لسيناريوهات التصنيف الثنائي ومتعدد الفئات (من 2 إلى 10 فئات).
بناء البيانات: تم إنشاء مصفوفات الارتباك باستخدام توزيعات احتمالية (توزيع Dirichlet لنسب الفئات، وتوزيع Beta لاحتمالات التنبؤ) لضمان الاتساق الداخلي. واستُخلصت المقاييس القياسية من هذه المصفوفات.
الضجيج والغياب: لمحاكاة العيوب في العالم الحقيقي، تمت إضافة ضجيج غاوسي (Gaussian noise) لإنشاء ملفات تعريف "مشوشة" (خاطئة)، وتم تطبيق قناع ميزات عشوائي (Random feature masking) لإنشاء ملفات تعريف "غير مكتملة" بمستويات متفاوتة من الغياب (من 10% إلى 40%).
العلامات (Labels): تم تصنيف كل سجل كـ "صالح" (متسق داخلياً) أو "غير صالح" (مشوش/خاطئ).
الشبكة العصبية ذات الطبقات المتعددة المدركة للقناع (MaskAwareMLP):
البنية: تم تطوير شبكة عصبية عميقة تتكون من خمس طبقات كثيفة، مع تطبيع الدفعة (Batch Normalization)، ووظائف تنشيط LeakyReLU.
آلية الإدخال: على عكس نماذج التعويض القياسية، تستقبل MaskAwareMLP مدخلين: متجه الميزات (حيث يتم ملء القيم المفقودة مبدئياً عبر KNN لاستقرار التدريب) وقناع ملاحظة ثنائي (Binary observation mask). يشير هذا القناع صراحةً إلى القيم التي تمت ملاحظتها أصلاً (1) والقيم التي كانت مفقودة (0).
الهدف المزدوج: يتم تدريب النموذج لأداء مهمتين: (أ) تصنيف السجلات كصحيحة أو غير صحيحة لفحص التقارير غير المتسقة، و(ب) تقدير قيم المقاييس المفقودة.
استراتيجية التعويض (Imputation): بالنسبة للقيم المفقودة، يتم استخدام إجراء بحث متعدد المراحل (خشن، دقيق، وفائق الدقة) لتوليد قيم مرشحة، والتي يتم تقييمها بعد ذلك بواسطة درجات ثقة النموذج لاختيار التقدير الأمثل.
الترتيب الموزون بالإنتروبيا باستخدام MCDM:
يتم ترتيب المقالات الموثقة (تلك التي صنفها الـ MLP كـ "صحيحة") باستخدام نهج TOPSIS الموزون بالإنتروبيا.
الوزن بالإنتروبيا: تُشتق أوزان المعايير بشكل موضوعي بناءً على تشتت قيم المقاييس عبر المقالات، مما يقلل من التحيز الذاتي.
الترتيب: يتم تجميع المقاييس الموزونة لإنتاج الترتيب النهائي للمقالات العلمية.
المساهمات الرئيسية
البنية المدركة للقناع (Mask-Aware Architecture): تكمن الجدة المنهجية الأساسية في الدمج الصريح لقناع غياب ثنائي في عملية تعلم الـ MLP. يسمح هذا للنموذج بالتمييز بين القياسات المرصودة والقيم المستعاضة (Imputed values)، مما يستفيد من نمط الغياب كمصدر إضافي للمعلومات.
سير العمل المتكامل: يدمج البحث عملية تعويض القيم المفقودة، وفحص الصلاحية، والترتيب القائم على MCDM في سير عمل مؤتمت واحد، مما يعالج الفجوة بين إعادة بناء البيانات وأهداف مستوى اتخاذ القرار.
مقياس التقييم المزدوج: يقيم الإطار الأداء ليس فقط على مستوى الخلية (باستخدام MAE، وRMSE، وR2) ولكن أيضاً على مستوى القرار، حيث يقيس الحفاظ على ترتيب النماذج (باستخدام Kendall's τ-b وSpearman's ρ) مقابل مرجع البيانات الكاملة.
المقارنة المرجعية المنضبطة: إن إنشاء مجموعة بيانات محاكية مخصصة ذات اتساق حقيقي معروف وأنماط غياب مضبوطة يتيح تقييماً صارماً وقابلاً للتكرار لمتانة التعويض والترتيب.
أداة سهلة الاستخدام: تم تنفيذ المنهجية كتطبيق واجهة رسومية (GUI) يدعم إدخال البيانات، والتعويض الآلي، وتقييم الموثوقية، والترتيب المرئي.
النتائج التجريبية
تصنيف الصلاحية: حققت MaskAwareMLP دقة تصنيف تتراوح بين 0.8961 و0.9274، ودرجات F1 تتراوح بين 0.90 و0.93 عبر 17 تكويناً مختلفاً للفئات (2-10 فئات)، مما أظهر متانة في التمييز بين ملفات المقاييس المتسقة وغير المتسقة.
أداء التعويض (Imputation):
عند مستويات الغياب المنخفضة (10-20%)، كان أداء الطرق التكرارية التقليدية مثل MissForest وMICE تنافسياً، وغالباً ما حققت معدلات خطأ أقل من الطريقة المقترحة.
عند مستويات الغياب المتوسطة إلى العالية (30-40%)، تفوقت MaskAwareMLP على جميع الطرق المنافسة (بما في ذلك KNN، وMICE، وMissForest، وMLP القياسي)، محققة أدنى قيم لـ MAE وRMSE وأعلى قيمة لـ R2.
دراسة الاستئصال (Ablation Study): بمقارنة MaskAwareMLP مع MLP قياسي (بدون القناع)، أظهر متغير "المدرك للقناع" باستمرار انخفاضاً في أخطاء إعادة البناء وتحسناً في R2، مع اتساع فجوة الأداء مع زيادة نسبة الغياب.
الحفاظ على الترتيب:
في تجارب الحفاظ على الترتيب، حققت MaskAwareMLP أعلى قيم لـ Kendall's τ-b (0.7879 عند 30% غياب؛ 0.7165 عند 40% غياب) وSpearman's ρ بين جميع الطرق عند مستويات الغياب العالية.
بينما برعت الطرق التكرارية عند مستويات الغياب المنخفضة (10-20%)، أظهر النهج المدرك للقناع قدرة فائقة على الحفاظ على الترتيب النسبي للنماذج عندما كانت البيانات غير مكتملة بشكل كبير.
التطبيق في العالم الحقيقي: عند تطبيق الإطار على دراسات منشورة في مجالات الطب ومعالجة الصور، نجح الإطار في تحديد التناقضات المحتملة، مثل عدم توافق درجات F1 مع الدقة والاستدعاء المبلغ عنهما، وحدد المقالات التي تعذر فيها العثور على المقاييس المبلغ عنها في النص المصدر.
الأهمية والادعاءات يزعم البحث أن مساهمته الرئيسية لا تكمن في تقديم خوارزمية تعويض جديدة جذرياً أو طريقة MCDM جديدة بمعزل عن غيرها، بل في تكامل التعلم المدرك للقناع، وتقييم اتساق المقاييس، والترتيب الموزون بالإنتروبيا. ويجادل المؤلفون بأن التمثيل الصريح لنمط الغياب يوفر معلومات غير متاحة للنماذج التقليدية، وهو أمر مفيد بشكل خاص في ظروف الغياب المتوسط إلى العالي.
تؤكد الدراسة أن إعادة البناء الدقيقة على مستوى الخلية لا تضمن بالضرورة الحفاظ على الترتيبات اللاحقة. لذلك، تكمن أهمية الإطار المقترح في قدرته على ربط إعادة بناء البيانات مباشرة بهدف مستوى القرار المتمثل في التقييم المقارن للنماذج. وتشير النتائج إلى أنه بينما قد لا تكون طريقة تعويض واحدة مثالية عالمياً عبر جميع مستويات الغياب، فإن MaskAwareMLP تقدم حلاً قوياً للحفاظ على سلامة الترتيب عندما تكون البيانات غير مكتملة، مما يدعم مقارنات علمية أكثر شفافية وموثوقية. ويشير المؤلفون بتواضع إلى أن أداء النموذج يعتمد على توليد بيانات محاكة، وأن العمل المستقبلي يجب أن يركز على التحقق من الصحة باستخدام مجموعات بيانات أكبر من العالم الحقيقي ومحققة بشكل مستقل وآليات غياب أكثر تنوعاً.