A Relative Probabilistic Density Weighted Granular-Ball Twin Support Vector Machine for Robust Classification
تقترح هذه الورقة البحثية طريقة RPDLDGBTWSVM، وهي طريقة تصنيف قوية تعمل على تعزيز آلات المتجهات الداعمة التوأم من خلال توليد كرات حبيبية من عينات حقيقية عالية الكثافة وتطبيق وزن كثافة احتمالية نسبي قائم على KLIEP عند مستوى مركز الكرة الحبيبية لتحسين الدقة والكفاءة في مجموعات البيانات المعقدة.
في عالم تعلم الآلة، غالباً ما يُطلب من الحواسيب تصنيف الأشياء إلى فئات، مثل التمييز بين الأنسجة السليمة والأنسجة المصابة في الفحص الطبي أو الفصل بين المعاملات المصرفية المشروعة وتلك الاحتيالية. ومن أكثر الأدوات موثوقية لهذه المهمة طريقة تُسمى "آلة ناقلات الدعم" (Support Vector Machine). تخيل حاسوباً يحاول رسم خط يفصل بين مجموعتين من النقاط المتناثرة على ورقة؛ النهج التقليدي يرسم خطاً واحداً يبقي المجموعتين متباعدتين قدر الإمكان. ومع ذلك، فإن هناك نوعاً أكثر حداثة يُعرف باسم "آلة ناقلات الدعم المزدوجة" (Twin Support Vector Machine)، وهي ترسم خطين منفصلين؛ حيث يلتصق أحد الخطين بالمجموعة الأولى من النقاط، بينما يلتصق الآخر بالمجموعة الثانية، تاركاً فجوة واسعة بينهما. هذا النهج غالباً ما يكون أسرع وأكثر مرونة، لكنه لا يزال يواجه عقبة كبيرة عند التعامل مع البيانات الواقعية الفوضوية.
نادراً ما تكون البيانات الواقعية مثالية؛ فهي تحتوي على أخطاء، وقيم متطرفة، وعينات تقع تماماً على الحدود بين الفئات، مما يجعل من الصعب على الحاسوب تقرير مكان رسم الخطوط. وللتعامل مع هذا، يحاول الباحثون غالباً تبسيط البيانات عن طريق تجميع النقاط القريبة معاً، ومعاملة كل مجموعة كوحدة واحدة بدلاً من آلاف النقاط الفردية. هذه التقنية، المعروفة باسم "حوسبة الكرات الحبيبية" (granular-ball computing)، تشبه النظر إلى غابة من مسافة بعيدة: فبدلاً من عد كل ورقة شجر على حدة، ترى شكل الأشجار. وبينما تسرع هذه العملية، إلا أن الطرق السابقة لتجميع هذه النقاط غالباً ما خلقت مراكز اصطناعية لا تمثل البيانات الأصلية حقاً، خاصة عندما كانت البيانات معقدة أو متفرقة. علاوة على ذلك، فإن الطريقة التي تُوزن بها هذه المجموعات للتعامل مع الضجيج اعتمدت على قياسات مسافة بسيطة يمكن أن تفشل في المساحات عالية الأبعاد.
لقد طور فريق من الباحثين في جامعة جينان نهجاً جديداً لحل هذه المشكلات المحددة، مبتكرين نظاماً أطلقوا عليه اسم RPDLDGBTWSVM. يعمل منهجهم على تحسين التقنيات الموجودة من خلال تغيير كيفية تشكيل مجموعات البيانات وكيفية تقييم قيمتها أثناء عملية التعلم. فبدلاً من حساب المتوسط الرياضي لإيجاد مركز المجموعة، وهو ما قد يؤدي إلى نقطة افتراضية لا توجد فعلياً في البيانات، يقوم نظامهم باختيار عينات حقيقية تمتلك تركيزاً عالياً من الجيران. تصبح هذه النقاط الحقيقية والكثيفة هي "المرتكزات" للمجموعات. وبمجرد تشكيل هذه المجموعات، يقيم النظام مدى اتساق كل مجموعة مع فئتها الخاصة مقابل الفئة المقابلة. فالمجموعات التي تقع بوضوح ضمن فئتها الخاصة تُمنح أهمية أكبر، بينما تُمنح المجموعات الغامضة أو تلك التي تقع بالقرب من حدود الفئة الأخرى وزناً أقل. يضمن هذا تركيز الحاسوب على المعلومات الأكثر موثوقية وتجاهل الضجيج المربك.
اختبر الباحثون هذا النظام الجديد على تسعة عشر مجموعة بيانات مختلفة، تتراوح من تصنيف الائتمان والبيانات الجزيئية إلى تحليل الصور الطبية. وأظهرت النتائج أن منهجهم حقق أعلى دقة أو أعلى دقة مشتركة في ثمانية عشر مجموعة من البيانات، بمتوسط دقة بلغ 90.39%. وفي حالات محددة، مثل مجموعة بيانات تتعلق بتشخيص مرض باركنسون، حسّن المنهج الجديد الدقة بأكثر من ثلاث نقاط مئوية مقارنة بأفضل بديل تالٍ له. وبعيداً عن الدقة، أثبت النظام كفاءة عالية؛ ففي مجموعة بيانات كبيرة تتعلق بكشف الرسائل المزعجة (Spam)، أكمل المنهج الجديد المهمة في أقل من ثانية، بينما استغرقت الأساليب القديمة عدة ثوانٍ أو حتى دقائق. تأتي هذه الميزة في السرعة من حقيقة أن النظام يقلل من عدد العناصر التي يحتاج الحاسوب لمعالجتها دون فقدان التفاصيل الجوهرية للبيانات.
ومع ذلك، حددت الدراسة أيضاً حدود هذا النهج. فعندما تعرضت البيانات لضجيج شديد، مثل الحالات التي تعرضت فيها سمات البيانات لتشويه كبير، تضاءلت قدرة النظام على ضغط البيانات. وفي حالة معينة تتعلق ببيانات مرض باركنسون ذات مستويات عالية من الضجيج، لم يعد بإمكان النظام تجميع البيانات بفعالية واضطر للتعامل مع كل عينة بشكل فردي، مما أدى إلى إبطائه وتقليل دقته. يشير هذا إلى أنه على الرغم من أن المنهج قوي ضد الأخطاء العادية، إلا أنه يعتمد على بقاء الهيكل الأساسي للبيانات سليماً إلى حد ما. كما لاحظ الباحثون أنه بالنسبة لمجموعات البيانات الصغيرة جداً أو البسيطة، كانت فوائد التجميع أقل وضوحاً، لأن البيانات كانت سهلة التصنيف بالفعل.
تؤكد الأسس النظرية لهذا العمل أن المنهج الجديد سليم رياضياً. فقد أثبت الباحثون أن خطأ التقريب الناتج عن تجميع البيانات يتم التحكم فيه من خلال حجم المجموعات؛ حيث تؤدي المجموعات الأصغر والأكثر تماسكاً إلى نتائج تكاد تكون مطابقة لتحليل كل نقطة على حدة. كما أثبتوا أن مشكلات الأمثلة (optimization problems) التي أنشأها منهجهم تظل قابلة للحل ومستقرة، مما يعني أن الحاسوب لن يتوقف أو ينتج نتائج متذبذبة. ومن خلال الجمع بين اختيار نقاط البيانات الحقيقية والكثيفة وطريقة متطورة لوزن أهميتها، يقدم هذا النموذج الجديد طريقة أكثر موثوقية وكفاءة لتعلم الآلات من المعلومات المعقدة والمشوشة. إنه يمثل خطوة للأمام في جعل أدوات تعلم الآلة أكثر عملية للتطبيقات الواقعية حيث نادراً ما تكون البيانات نظيفة ومثالية.
ملخص تقني: آلة متجه الدعم التوأم الحبيبية ذات الأوزان الكثافية الاحتمالية النسبية لتعزيز المتانة في التصنيف
1. بيان المشكلة
تقوم آلات متجه الدعم التوأم (TWSVM) الكلاسيكية ببناء مستويين فائقين غير متوازيين للتصنيف الثنائي، لكنها تعاني من تعقيد حسابي عالٍ عند معالجة مجموعات البيانات واسعة النطاق، لأنها تتعامل مع العينات الفردية كوحدات إدخال. وبينما تعالج آلات متجه الدعم التوأم الحبيبية (GBTWSVM) هذه المشكلة عن طريق استبدال المدخلات على مستوى النقاط بمدخلات على مستوى الكرات الحبيبية (عناقيد من العينات)، تواجه الطرق الحالية قصورين رئيسيين:
تمثيل غير دقيق للبيانات: تعتمد معظم طرق توليد الكرات الحبيبية على مراكز متوسطة افتراضية (مثل k-means). وقد تنحرف هذه المراكز الافتراضية عن توزيع البيانات الأصلي، لا سيما في مجموعات البيانات ذات البنى المتفرقة، أو الحدود المعقدة، أو الأبعاد العالية.
آليات وزن غير كافية: تعمل معظم طرق الوزن بالكتافة النسبية على مستوى النقطة. وهناك نقص في الاستقصاء حول آليات الوزن المدركة للتوزيع على مستوى مركز الكرة الحبيبية، وهو أمر بالغ الأهمية للتعامل مع العينات الضوضائية، والقيم المتطرفة، ومناطق تداخل الفئات بفعالية.
2. المنهجية: RPDLDGBTWSVM
يقترح البحث نموذج RPDLDGBTWSVM (آلة متجه الدعم التوأم القائمة على توليد الكرات الحبيبية ذات الكثافة المحلية والوزن الكثافي الاحتمالي النسبي). تدمج المنهجية ثلاثة مكونات أساسية:
أ. توليد الكرات الحبيبية ذات الكثافة المحلية (LDGBG)
بدلاً من استخدام المراكز المتوسطة الافتراضية، يختار LDGBG عينات حقيقية ذات كثافات محلية عالية نسبياً لتكون مراكز للكرات الحبيبية.
اختيار المركز: يتم حساب الكثافة المحلية بناءً على عدد الجيران ومدى تماسكهم ضمن نصف قطر جوار محدد.
تحديد نصف القطر: يتم تحديد نصف قطر كل كرة حبيبية بناءً على المسافة إلى أقرب مركز لفئة مختلفة (أو نفس الفئة، اعتماداً على الكثافة)، مما يضمن تماسك الفئة الواحدة والقدرة على الفصل بين الفئات.
الفائدة: يحافظ هذا النهج على توزيع البيانات الأصلي بدقة أكبر من الطرق القائمة على المتوسط، خاصة للبيانات المتفرقة أو غير الكروية.
ب. الوزن بالكتافة الاحتمالية النسبية (RPD)
لتعيين الأوزان للكرات الحبيبية، تستخدم الطريقة إجراء تقدير الأهمية باستخدام "كولباك-ليبلر" (KLIEP) لتقدير الكثافة الاحتمالية النسبية على مستوى مركز الكرة الحبيبية.
الآلية: يقوم KLIEP بتقدير نسبة الكثافات الاحتمالية بين الفئتين الموجبة والسالبة (r(x)=pnu(x)/pde(x)) مباشرة دون تقدير الكثافات الفردية، مما يتجنب تراكم الخطأ.
تعيين الوزن: يكون وزن الكرة الحبيبية عكسياً مع درجة الـ RPD الخاصة بها (si=1/(RPD(ci)+ϵ)). الكرات الحبيبية التي تتوافق مع توزيع الفئة المعاكسة (والتي يُحتمل أن تكون حدودية، أو ضوضائية، أو مصنفة خطأً) تحصل على أوزان أقل، مما يقلل من تأثيرها على المستوى الفائق للتصنيف.
ج. صياغة التحسين
يبني النموذج المقترح مستويين فائقين غير متوازيين. وتختلف مسائل التحسين عن TWSVM القياسية في ثلاث نقاط:
المدخلات: تستخدم مراكز الكرات الحبيبية بدلاً من العينات الفردية.
القيود: تدمج أنصاف أقطار الكرات الحبيبية في القيود، مما يضمن أن المستويات الفائقة تفصل أسطح الكرات وليس فقط مراكزها.
العقوبة: تدمج أوزان RPD في حدود متغيرات الفراغ (slack-variable).
يوفر البحث براهين نظرية تثبت أن:
خطأ التقريب بين خسارة الوزن بـ RPD على مستوى الكرة الحجمية وخسارة الوزن على مستوى النقطة يتم التحكم فيه بواسطة أنصاف أقطار الكرات الحبيبية.
يمكن توسيع النموذج إلى التصنيف غير الخطي عبر طرق النواة (kernel methods).
3. المساهمات الرئيسية
إطار عمل مدرك للتوزيع: إطار عمل جديد يجمع بين LDGBG و RPD و TWSVM. يستخدم عينات حقيقية عالية الكثافة كمراكز لتقليل الانحراف عن توزيع البيانات الأصلي، ويستخدم الكرات الحبيبية لتقليل حجم المدخلات.
نموذج موزون بـ RPD: تطوير نسخة من TWSVM حيث يقوم KLIEP بتقدير نسب الكثافة النسبية على مستوى الكرة الحبيبية. يتم دمج هذه الأوزان في عقوبات متغيرات الفراغ وحدود المتغيرات المزدوجة للتخفيف من تأثير الكرات الحبيبية غير الموثوقة.
التحقق النظري والتجريبي:
يحدد التحليل النظري حد التقريب وتحدب النموذج.
أظهرت التجارب المكثفة على 19 مجموعة بيانات (بما في ذلك معايير UCI ومجموعات صور طبية) أداءً فائقاً من حيث الدقة، والكفاءة الحسابية، والمتانة تجاه الضوضاء مقارنة بـ TWSVM و GBTWSVM و GBFTWSVM و RPDGBTWSVM و RPDTWSVM.
4. النتائج التجريبية
دقة التصنيف: حقق RPDLDGBTWSVM أعلى دقة أو تساوى في أعلى دقة في 18 من أصل 19 مجموعة بيانات، بمتوسط دقة بلغ 90.39%. لوحظت تحسينات كبيرة في مجموعات بيانات مثل Parkinson (93.13%)، و Darwin (89.71%)، و Mammographic (85.83%).
الكفاءة الحسابية: حققت الطة أفضل رتبة في متوسط وقت التشغيل. في مجموعات البيانات الكبيرة مثل Spambase، قللت وقت التدريب من حوالي 14 ثانية (في RPDTWSVM) إلى حوالي 0.7 ثانية. ومع ذلك، في مجموعات البيانات عالية الأبعاد ذات الضغط الضعيف (مثل Parkinson و Med-Pneumonia)، تظل تكلفة تقدير الكثافة عاملاً مؤثراً.
المتانة: تحت ضوضاء الميزات الغاوسية، حافظ النموذج على دقة عالية في معظم مجموعات البيانات. ومع ذلك، في مجموعة بيانات Parkinson مع ضوضاء شديدة (t=0.30)، دُمرت بنية الكثافة المحلية، مما أدى إلى نسبة كرات حبيبية تصل إلى 100% (لا يوجد ضغط) وانخفاض حاد في الدقة، مما يسلط الضوء على أحد القيود تحت الاضطراب الشديد.
الدلالة الإحصائية: أكدت اختبارات Friedman و Nemenyi أن RPDLDGBTWSVM أفضل بشكل ملحوظ من TWSVM و GBTWSVM و GBFTWSVM و RPDGBTWSVM. وكان أداؤه متقارباً إحصائياً مع RPDTWSVM.
5. الأهمية والادعاءات
يزعم البحث أن RPDLDGBTWSVM يقدم حلاً قوياً لمهام التصنيف المعقدة، والضوضائية، وواسعة النط scales من خلال الموازنة بفعالية بين الكفاءة الحسابية (عبر ضغط الكرات الحبيبية) ومتانة النموذج (عبر مراكز الكثافة المحلية والوزن المدرك للتوزيع).
يقر المؤلفون بوجود قيود، وتحديداً أن كفاءة الطريقة تعتمد على نسبة ضغط الكرات الحبيبية. في مجموعات البيانات عالية الأبعاد ذات البنى المحلية المعقدة، قد يكون الضغط منخفضاً، ويمكن للضوضاء الشديدة في الميزات أن تضعف بنية الجوار للكثافة المحلية، مما يؤدي إلى تدهور تمثيل الكرة الحبيبية نحو مدخلات مستوى النقطة. ويُقترح أن يركز العمل المستقبلي على التحكم التكيفي في الحبيبات والوزن الأكثر استقراراً لنسب الكثافة في حالات البيانات شديدة التلف.