Feature space reduction method for ultrahigh-dimensional, multiclass data: Random forest-based multiround screening (RFMS)

ملخص تقني: الفرز متعدد الجولات القائم على الغابة العشوائية (RFMS)

بيان المشكلة
تتناول الورقة البحثية تحدي تقليص فضاء الميزات في مجموعات البيانات فائقة الأبعاد التي تحتوي على مئات الآلاف من الميزات وآلاف الفئات. وبينما توجد العديد من طرق الفرز للبيانات فائقة الأبعاد، فإن معظمها يفشل في التعامل مع متغيرات الاستجابة متعددة الفئات بشكل فعال. تظهر هذه المشكلة تحديدًا في مجالات المصادقة البيومترية (مثل التحقق من التوقيع، وتحليل مشية الإنسان) وعلوم الأعصاب، حيث يجب أن تقوم نماذج التنبؤ بالمصادقة على المستخدمين بناءً على بيانات متعددة القنوات. غالبًا ما تعاني طرق اختيار المتغيرات التقليدية في تحديد المجموعة المثلى من المتنبئات النشطة في مثل هذه المساحات عالية الأبعاد، كما أُفيد بأن تقنيات تقليص الأبعاد مثل تحليل المكونات الرئيسية (PCA) تعطي نتائج غير مرضية. علاوة على ذلك، تفتقر طرق الفرز الحالية غالبًا إلى القدرة على فحص الهياكل التفاعلية وغير الخطية من الرتب العليا المتأصلة في هذه المجموعات من البيانات.

المنهجية
يقترح المؤلفون الفرز متعدد الجولات القائم على الغابة العشوائية (RFMS)، وهو خوارزمية مبتكرة مصمم للتعامل مع البيانات متعددة الفئات وفائقة الأبعاد. تعمل الطريقة عن طريق تقسيم فضاء الميزات إلى مجموعات فرعية أصغر وتنفيذ سلسلة من عمليات بناء النماذج الجزئية لاستخلاص مجموعة فرعية عالية الأداء من الميزات بشكل تكراري.

تسير الخوارزمية كما يلي:

1. التحضير: يتم تغيير ترتيب متجه الميزات المدخل $x$ (الذي يحتوي على $n$ من الميزات) عشوائيًا وتقسيمه إلى $m$ من المجموعات الفرعية بحجم $\alpha$.
2. التكرار (الفرز القائم على التصفيات): تعالج الخوارزمية هذه المجموعات الفرعية بالتتابع. في كل جولة $i$، تقوم بدمج المجموعة الفرعية الحالية مع أفضل $\beta$ من الميزات المختارة من الجولة السابقة ($z_{i-1}$). يتم تدريب مصنف الغابة العشوائية (RF) على هذه المجموعة المدمجة لتحديد أهمية الميزة بناءً على تكرار الاختيار (عدد المرات التي تظهر فيها الميزة في غابة التصنيف).
3. الاختيار: يتم الاحتفاظ بأفضل $\beta$ من الميزات الأكثر أهمية من الجولة الحالية وتمريرها إلى التكرار التالي.
4. النتيجة: بعد معالجة جميع المجموعات الفرعية، تمثل المجموعة النهائية من $\beta$ ميزة أكثر المجموعات المعلوماتية التي حددتها الخوارزمية.

تم تنفيذ الطريقة في حزمة لغة جوليا (Julia) متاحة للعموم. ولتحديد معايير RFMS، استخدم المؤلفون BiometricBlender، وهو مولد بيانات اصطناعية ينشئ فضاءات ميزات متعددة الفئات وفائقة الأبعاد مع معرفة الحقيقة الأرضية ومعاملات فائدة الميزات. تألفت مجموعة بيانات الاختبار من 100 فئة، و64 عينة لكل فئة، و10,000 ميزة (100 حقيقية، 300 مزيفة، وغيرها)، وهياكل مترابطة فيما بينها.

المساهمات الرئيسية

• خوارزمية مبتكرة: تقديم RFMS، وهي طريقة مصممة خصيصًا للمشكلات متعددة الفئات وفائقة الأبعاد حيث تفشل الطرق التقليدية.
• التحسين التكراري: على عكس الفرز الثابت، يستخدم RFMS نهجًا يعتمد على الجولات ونظام التصفيات لتحسين اختيار الميزات بشكل تكراري، مما يسمح بتحديد الهياكل غير الخطية والتفاعلية.
• مخرجات خالية من التحويل: على عكس التحليل العاملي (FA) أو تحليل المكونات الرئيسية (PCA)، ينتج RFMS مجموعة فرعية من الميزات الأصلية بدلاً من فضاء ميزات محول، مما يحافظ على قابلية التفسير ويسمح بحساب الميزات المختارة فقط في بيئات الإنتاج.
• تحديد المعايير: تقييم شامل مقابل الطرق القياسية في الصناعة (PCA، FA، k-best) باستخدام مصنفات: ك-أقرب جار (kNN)، ومصنف متجه الدعم (SVC)، والغابة العشوائية (RF).

النتائج
قارنت الدراسة RFMS مقابل PCA وFA وk-best باستخدام ثلاثة مصنفات: k-Nearest Neighbors (kNN)، وSupport Vector Classifier (SVC)، وRandom Forest (RF).

• الدقة: تفوقت RFMS وFA على PCA وk-best. تم تحقيق أعلى دقة (61.4%) بواسطة كل من تركيبات RFMS–SVC وFA–RF. ومن الجدير بالذكر أن RFMS أظهرت قدرة فائقة على الصمود عبر المصنفات المختلفة؛ فبينما قدم FA–RF أداءً جيدًا، أدى دمج FA مع kNN أو SVC إلى دقة أقل بكثير (10% و42% على التوالي). في المقابل، حافظت RFMS على أداء عالٍ عبر المصنفات الثلاثة (على سبيل المثال، 38.1% لـ kNN، و61.4% لـ SVC).
• المتانة: أظهرت RFMS استقرارًا أكبر فيما يتعلق بعدد الميزات التي تم فرزها. حيث أدى تقليل عدد الميزات من 500 إلى 100 إلى انخفاض طفيف فقط في دقة RFMS (من ~61% إلى 55.4%)، بينما انخفضت دقة FA بشكل حاد (من ~61% إلى 25%) تحت تقليص مماثل.
• الكفاءة: بينما كان وقت الفرز الأولي لـ RFMS أطول (حوالي 11,000 ثانية) مقارنة بـ FA أو PCA، يشير المؤلفون إلى أن الفرز يتم بشكل غير متكرر مقارنة بملاءمة النموذج. علاوة على ذلك، يمكن تعديل المعلمات الفائقة لـ RFMS لتقليل وقت الفرز بشكل كبير (إلى ~2,143 ثانية) مع تأثير ضئيل على الدقة.
• البيانات المملوكة: في مجموعة بيانات مملوكة (10,000 فئة، 81,000 عينة)، حققت الميزات المفلترة بواسطة RFMS دقة تصنيف تصل إلى 93%، متفوقة على الميزات المحولة بواسطة FA (حوالي 82%)، وإن كان ذلك بوقت فرز أطول.

الأهمية والادعاءات
تدعي الورقة أن RFMS "تضاهي طرق فرز الميزات القياسية في الصناعة" مع تقديم مزايا متميزة في المرونة والمتانة والتشغيل. تكمن الأهمية الأساسية في قدرتها على فرز البيانات فائقة الأبعاد ومتعددة الفئات بفعالية—وهو مجال لا تنطبق عليه معظم الطرق الموجودة.

يؤكد المؤلفون أن RFMS توفر حلاً خاليًا من التحويل، وهو أمر بالغ الأهمية في أنظمة الإنتاج حيث تكون التكلفة الحسابية وقابلية التفسير من الأولويات القصوى. ومن خلال اختيار مجموعة فرعية من الميزات الأصلية، تتجنب الطريقة الحاجة إلى حساب مجموعة الميزات الكاملة لكل عينة جديدة، مما يوفر الوقت والموارد بشكل كبير.

تختتم الورقة بتواضع، مقرة بأن مولد البيانات الاصطناعية (BiometricBlender) لا يعيد إنتاج جميع خصائص البيانات الحقيقية التي تتحدى مفرزات الميزات بشكل كامل حتى الآن، خاصة فيما يتعلق بأداء التحليل العاملي. وبناءً على ذلك، يقترح المؤلفون أن العمل المستقبلي يجب أن يركز على تحسين مولد البيانات وتحسين المعلمات الفائقة لـ RFMS (مثل التحديد التلقائي للاحتفاظ بالميزات، والتوازي، وطرق تسجيل التصفيات البديلة) لتحسين الدقة والكفاءة الحسابية بشكل أكبر.