Dynamic ensemble approach for multi-class classification based on neighborhood rough sets and sequential three-way decisions
تقترح هذه الورقة إطار عمل EM-S3WD، وهو إطار عمل تجميعي ديناميكي يدمج المجموعات التقريبية للجوار مع القرارات الثلاثية المتتالية واستراتيجية تكامل ديناميكية شرطية للتغلب على قيود الرموز المرجعية الثابتة والقيود الثنائية في نموذج Xu وآخرون الأصلي، مما يحقق أداءً تنافسيًا وتكيفيًا في التصنيف متعدد الفئات.
في عالم علوم الحاسوب، هناك صراع مستمر لتعليم الآلات كيفية اتخاذ القرارات عندما تكون المعلومات التي تتلقاها غير كاملة أو مشوشة. تخيل محاولة تحديد نوع فاكهة في سلة حيث تكون بعض الثمار بها كدمات، وبعضها مخفي جزئيًا، والإضاءة ضعيفة. إن الإجابة البسيطة بـ "نعم" أو "لا" غالبًا ما تفشل لأن البيانات تكون غير مؤكدة للغاية. وللتعامل مع هذا، طور الباحثون طريقة تسمى "القرار ثلاثي المسارات" (three-way decision). وبدلاً من فرض خيار ثنائي، يسمح هذا النهج للنظام بقول "نعم"، أو "لا"، أو "انتظر وانظر". وخيار "الانتظار" أمر بالغ الأهمية؛ فهو يقر بأن الأدلة الحالية ليست قوية بما يكفي لاتخاذ قرار نهائي، مما يمنع الآلة من التخمين العشوائي. وقد تم صقل هذا المفهوم بشكل أكبر ليصبح عملية متسلسلة، حيث ينظر النظام إلى البيانات من خلال سلسلة من العدسات، كل واحدة منها مختلفة قليلاً، لتضييق الاحتمالات تدريجيًا حتى يمكن اتخاذ قرار واثق.
بناءً على هذا الأساس، عالج فريق من الباحثين في جامعة شيديان في الصين قيدًا محددًا في كيفية تعامل هذه الأنظمة مع الفئات المتعددة في آن واحد. وبينما كانت الطرق الموجودة تعمل جيدًا للتمييز بين خيارين، إلا أنها واجهت صعوبة عندما طُلب منها الاختيار من بين فئات عديدة، مثل تحديد أنواع مختلفة من البذور أو الحالات الطبية. اعتمد النهج القديم على قواعد صارمة تعامل نقاط البيانات إما كمتطابقة تمامًا أو مختلفة تمامًا، وهو ما فشل غالبًا في التقاط الاختلافات الدقيقة الموجودة في الأرقام الواقعية. علاوة على ذلك، عندما كان النظام يحاول تخمين الفئة الصحيحة من بين فئات عديدة، كان يصطدم أحيانًا بحالة من الجمود حيث تظهر فئتان أو أكثر كخيارات متساوية الاحتمال، مما يترك الحاسوب عالقًا. اقترح الباحثون إطار عمل جديدًا، أطلقوا عليه اسم EM-S3WD، صُمم لجعل هذه القرارات أكثر مرونة وحل حالات الجمود هذه دون فقدان وضوح الطريقة الأصلية.
يكمن جوهر إطار العمل الجديد هذا في كيفية بناء نقاط مرجعية. في الأنظمة القديمة، كان الحاسوب ينشئ قائمة ثابتة من الأمثلة "المثالية" من بيانات التدريب، وبمجرد إنشاء هذه القائمة، لم تكن تتغير أبدًا، بغضًا عن كيفية توزيع البيانات أو مدى ضجيج البيئة المحيطة. ويستبدل النهج الجديد هذه الصلابة بالقدرة على التكيف. فبدلاً من استخدام المساواść الصارم، يستخدم النظام مفهومًا يسمى "المجموعات التقريبية للجوار" (neighborhood rough sets)، والذي يسمح له بتجميع نقاط البيانات بناءً على مدى قربها من بعضها البعض، وليس بناءً على كونها متطابقة تمامًا. فكر في الأمر كتعريف حي أو منطقة ليس بسياج صلب، بل بمدى المسافة التي يمكنك المشي فيها من نقطة مركزية قبل أن تتغير طبيعة المنطقة. ومن خلال ضبط حجم هذا "الجوار"، يمكن للنظام اختيار أمثلة مرجعية تناسب البيانات المحددة التي ينظر إليها، مما يجعل النموذج أكثر قوة في مواجهة الضجيج والتباين.
بمجرد أن يمتلك النظام هذه النقاط المرجعية المرنة، يواجه تحدي فرز البيانات إلى فئات عديدة. استخدم الباحثون استراتيجية تُعرف باسم "واحد مقابل الكل" (one-versus-all)، حيث يبني الحاسوب صانع قرار منفصل لكل فئة، متسائلًا: "هل هذا العنصر جزء من هذه المجموعة، أم أنه شيء آخر؟". ويقوم كل صانع قرار من هؤلاء بإخراج درجة ثقة. ومع ذلك، تبرز مشكلة عندما تعطي فئتان أو أكثر نفس أعلى درجة بالضبط. في الماضي، كان الحاسوب قد يختار واحدة منهما عشوائيًا، وهو أمر غير موثوق به. يقدم إطار العمل الجديد آلية إنقاذ شرطية ذكية؛ فهي لا تفعل المساعدين الإضافيين — وهم مصنفات ثانوية أبسط — إلا عندما يكتشف النظام وجود حالة تعادل. إذا كانت الدرجات واضحة، يلتزم النظام بقراره الأساسي الأصلي، ولكن إذا حدث تعارض، فإنه يستعين بالمساعدين لتقديم رأي ثانٍ، مع وزن مدخلاتهم بناءً على مدى اتفاقهم مع النظام الأساسي ومدى دقة أدائهم في الماضي. وهذا يضمن أن النظام لا يضيف التعقيد إلا عند الضرورة القصوى.
اختبر الباحثون هذا النهج على تسعة مجموعات بيانات عامة مختلفة، تتراوح من تحديد أنواع البذور والحيوانات إلى تشخيص أمراض الجلد وتحليل الأوراق النقدية. ووجدوا أن الطريقة الجديدة نجحت في حل مشكلات كسر التعادل التي كانت تعاني منها الأنظمة القديمة. وفي الحالات التي كان فيها النظام الأساسي عالقًا بين إجابتين متساويتين في الاحتمالية، تمكنت استراتيجية التكامل الديناميكي الشرطي من استخدام الأدلة الإضافية لاختيار الفئة الصحيحة بشكل أكثر دقة بكثير من التخمين العشوائي أو طرق الوزن الثابت. على سبيل المثال، في مجموعة بيانات تتعلق بالفاصوليا الجافة، حددت الطोध الجديدة الصراع بشكل صحيح واستخدمت المعلومات المساعدة لتحسين الدقة النهائية. كما أظهرت الدراسة أنه من خلال جعل النقاط المرجعية تكيفية، أصبح النظام أفضل في التعامل مع البيانات التي تعرضت للفساد بسبب الضجيج، محافظًا على أدائه حتى عندما كانت البيانات المدخلة غير مثالية.
وعلى الرغم من هذه النجاحات، فإن المؤلفين حذرون من الادعاء بأن طريقتهم هي حل عالمي يتفوق على كل التقنيات الأخرى الموجودة. ففي المقارنات المباشرة مع خوارزميات تعلم آلي أخرى معروفة، كان إطار العمل الجديد تنافسيًا، وغالبًا ما تصدر في مقاييس محددة مثل الدقة والاتساق، لكنه لم يهيمن إحصائيًا على جميع الطرق الأخرى عبر جميع مجموعات البيانات. وأشار الباحثون إلى أن فوائد نهجهم تظهر بوضوح عندما تكون البيانات معقدة أو عندما يواجه النظام حالات كسر التعادل الصعبة تلك بشكل متكرر. كما أن التكلفة الحسابية هي عامل مهم، حيث يتطلب النظام قدرة معالجة أكبر لحساب علاقات الجوار وإدارة عمليات التحقق الشرطية. وفي النهاية، يوضح هذا العمل أنه من خلال جعل النقاط المرجعية مرنة وبالاستعانة بالموارد الإضافية فقط عند حدوث تعارض، من الممكن بناء مصنف متعدد الفئات يكون أكثر قدرة على التكيف وأكثر موثوقية في المواقف غير المؤكدة.
ملخص تقني: نهج المجموعة الديناميكية للتصنيف متعدد الفئات القائم على المجموعات الخشنة للجوار والقرارات الثلاثية المتتالية (EM-S3WD)
1. بيان المشكلة تعالج هذه الورقة مشكلتين محددتين في مصنف القرارات الثلاثية المتتالية (S3WD) الثنائي المقترح من قبل Xu وآخرون [19] عند توسيعه ليشمل مهام التصنيف متعدد الفئات:
التمثيل المرجعي الثابت: يعتمد النموذج الأصلي على المجموعات الخشنة الكلاسيكية (CRS) لتوليد الصفوف المرجعية (reference tuples). ونظرًا لأن المجموعات الخشنة الكلاسيكية تعتمد على علاقات تكافؤ صارمة، فإن هذه الصفوف المرجعية تصبح ثابتة بمجرد تحديد مجموعة التدريب. وتحد هذه الصلابة من قدرة المصنف على التكيف مع البيانات ذات القيم المستمرة وتوزيعات البيانات المتغيرة، حيث لا يمكن للتمثيل المرجعي أن يتكيف بناءً على أداء التحقق (validation performance).
صراعات الثقة في التوسع متعدد الفئات: إن التوسيع الطبيعي لمصنف ثنائي إلى مشكلات متعددة الفئات هو استراتيجية التفكيك "واحد مقابل الكل" (One-Versus-All - OVA). ومع ذلك، فإن تطبيق استراتيجية OVA على مصنفات S3WD غالبًا ما يؤدي إلى "صراعات الثقة"، حيث تخصص عدة مصنفات ثنائية نفس درجة الثقة القصوى لعينة اختبار واحدة. ويمكن لطرق كسر التعادل القياسية (مثل الاختيار العشوائي أو الأوزان الثابتة) أن تقلل من استقرار القرار أو تتجاهل الأدلة الخاصة بكل عينة.
2. المنهجية: إطار عمل EM-S3WD يقترح المؤلفون EM-S3WD، وهو إطار عمل للمجموعات الديناميكية يدمج المجموعات الخشنة للجوار (NRS)، وتفكيك OVA، واستراتيجية التكامل الديناميكي الشرطي. تسير المنهجية عبر ثلاث مراحل رئيسية:
بناء الصفوف المرجعية التكيفية القائمة على NRS: بدلاً من استخدام CRS، يستخدم إطار العمل المجموعات الخشنة للجوار (NRS) لبناء الصفوف المرجعية. في NRS، تعتمد التقريبات الدنيا على نصف قطر الجوار (δ)، مما يسمح للصفوف المرجعية بالتكيف مع هياكل البيانات المحلية في البيانات ذات القيم المستمرة.
الاختيار الموجه بالتحقق: لا يتم تحديد نصف قطر الجوار (δ) وعتبة التشابه (σ) يدويًا. بدلاً من ذلك، يتم إجراء بحث شبكي (grid search) على مجموعة التحقق لاختيار الزوج الأمثل (δ∗,σ∗) الذي يعظم دقة التحقق. ثم يتم توليد الصفوف المرجعية بناءً على δ∗ الأمثل.
التوسع متعدد الفئات القائم على OVA: يبني إطار العمل m من مصنفات S3WD الثنائية القائمة على NRS لمشكلة ذات m من الفئات. يميز كل مصنف فئة واحدة عن بقية الفئات.
الثقة ذات القيم المحدودة: يكشف التحليل النظري (الفرضية 2) أن درجات الثقة التي تولدها هذه المصنفات تنتمي إلى مجموعة محدودة يحددها عدد السمات المتطابقة ومستوى القرار. هذا الخصيصة الهيكلية تفسر سبب إنتاج مصنفات مختلفة لنفس الدرجات القصوى بشكل متكرر، مما يؤدي إلى صراعات الثقة.
التكامل الديناميكي الشرطي لحل الصراعات: يقدم إطار العمل استراتيجية شرطية للتعامل مع صراعات الثقة دون استبدال آلية القرار الأساسية:
حالات عدم الصراع: إذا أنتجت مصنفات OVA درجة ثقة قصوى فريدة، يتم الحفاظ على القرار الأصلي.
حالات الصراع: إذا تشاركت فئتان أو أكثر في درجة الثقة القصوى، يتم استدعاء مصنفات مساعدة (تحديدًا SVM و Naive Bayes).
آلية الوزن: يتم اتخاذ القرار النهائي من خلال وزن مخرجات مصنفات S3WD الرئيسية والمصنفات المساعدة ديناميكيًا. يتم تحديد الأوزان بناءً على:
دقة التحقق للمصنفات المساعدة.
تباعد كولباك-ليبلر (KL divergence) بين مخرج S3WD الرئيسي ومخرج المصنف المساعد في الفئات المتصارعة.
يضمن ذلك استخدام الأدلة المساعدة فقط عند الضرورة ووزنها وفقًا لاتساقها مع النموذج الرئيسي وموثوقيتها الخاصة.
3. المساهمات الرئيسية تحدد الورقة أربع مساهمات رئيسية:
بناء المرجع التكيفي: تطوير آلية قائمة على NRS حيث تعتمد الصفوف المرجعية على حبيبية الجوار. تم تقديم إجراء موجه بالتحقق للاختيار المشترك لنصف قطر الجوار وعتبة التشابه، مما يعزز القدرة على التكيف مع توزيعات البيانات.
التحليل الهيكلي للصراعات: تحليل نظري يوضح أن صراعات الثقة في توسعات S3WD القائمة على OVA تنشأ طبيعيًا من الطبيعة ذات القيم المحدودة لدرجات الثقة (المحددة بعدد السمات المتطابقة ومستويات القرار).
التكامل الديناميكي الشرطي: استراتيجية مبتكرة تحل صراعات الثقة عن طريق تفعيل المصنفات المساعدة فقط لعينات الصراع. يقوم التكامل بوزن مخرجات هذه المصنفات المساعدة ديناميكيًا بناءً على تباعد KL والأداء في التحقق، مع الحفاظ على قرار S3WD الأصلي لعينات عدم الصراع.
التقييم الشامل: إثباتات نظرية فيما يتعلق بإنهاء الخطوات المحدودة والحفاظ على القرار، إلى جانب تجارب مكثفة على تسع مجموعات بيانات مرجعية لتقييم حساسية المعلمات، وحل الصراعات، والمتانة تجاه الضوضاء، والأداء العام.
4. النتائج التجريبية أجريت التجارب على تسع مجموعات بيانات مرجعية من UCI (مثل Iris, Seeds, DryBean, PageBlocks) باستخدام MATLAB.
حساسية المعلمات: تؤكد الدراسة أن كلاً من نصف قطر الجوار (δ) وعتبة التشابه (σ) هما معلمات شديدة الحساسية. وتختلف القيم المثلى بشكل كبير عبر مجموعات البيانات، مما يؤكد ضرورة عملية الاختيار الموجهة بالتحقق.
حل الصراعات: عند التقييم خصيصًا للعينات التي بها صراعات ثقة، حقق EM-S3WD أعلى متوسط دقة في ثماني من مجموعات البيانات التسع مقارنة بكسر التعادل العشوائي (SM-S3WD) والتكامل ذي الوزن الثابت (MM-S3WD).
المتانة تجاه الضوضاء: أظهر بناء الصفوف المرجعية التكيفية متانة محسنة ضد ضوضاء غاوس (Gaussian noise) في عدة مجموعات بيانات (خاصة Iris, Seeds, Dermatology, Abalone) مقارنة بطرق الصفوف المرجعية الثابتة.
الأداء العام: في المقارنات مع ستة مصنفات ممثلة (بما في ذلك Random Forest, AdaBoost, KNN, و 3WD-NRS)، حقق EM-S3WD نتائج تنافسية. وقد تفوق على جميع المنافسين في مجموعة بيانات DryBean عبر جميع المقاييس، وتصدر في مقاييس Accuracy و Kappa في مجموعتي Balance-scale و Abalone.
الأهمية الإحصائية: بينما أظهر EM-S3BD أداءً قويًا، أشارت اختبارات Friedman و Holm-adjusted Wilcoxon إلى أنه يضاه de إحصائيًا أقوى النماذج المرجعية، لكنه لا يظهر تفوقًا ذا دلالة إحصائية على كل منافس فردي عبر جميع مجموعات البيانات والمقاييس.
5. الأهمية والادعاءات تضع الورقة EM-S3WD كموديل توسيع مستهدف لمصنف S3WD الثنائي الخاص بـ Xu وآخرون. تكمن أهميته الأساسية في:
القدرة على التكيف: الانتقون من الصفوف المرجعية الثابتة القائمة على CRS إلى صفوف مرجعية قائمة على NRS تتكيف مع توزيع البيانات عبر اختيار المعلمات الموجه بالتحقق.
التعامل الصريح مع الصراعات: توفير آلية مهيكلة تعتمد على العينة لحل صراعات الثقة في سيناريوهات S3WD متعددة الفئات، بدلاً من الاعتماد على كسر التعادل التعسفي.
القابلية للتفسير: الحفاظ على قابلية التفسير لإطار عمل S3WD مع توسيعه ليشمل مشكلات متعددة الفئات.
يدعي المؤلفون بتواضع أن مساهمة الإطار تكمن في التمثيل المرجعي التكيفي وآلية اتخاذ القرار الواعية بالصراع. وهم يقرون بأنه بينما الطريقة تنافسية، إلا أنها لا تتفوق عالميًا على جميع المصنفات الموجودة أو المصنفات القائمة على المجموعات الخشنة في جميع السيناريوهات. كما تمت ملاحظة أن التكلفة الحسابية هي أحد القيود بسبب حسابات الجوار وعمليات البحث عن المعلمات، مما يشير إلى عمل مستقبلي في آليات البحث الفعالة واختيار النماذج المساعدة البديلة.