POSSE-kNN: Pathwise Out-of-Bag Selected Subspace Ensembles for Binary Classification

تخيل أنك تحاول إيجاد أفضل طريق عبر غابة كثيفة وضبابية للوصول إلى وجهة محددة. في عالم علوم الحاسوب، يشبه هذا إلى حد ما "تعلم الآلة" (machine learning)، حيث تحاول الخوارزميات تقديم تخمينات ذكية بناءً على البيانات. إحدى الطرق الشائعة للقيام بذلك تسمى "الجيران الأقرب $k$" (k-nearest neighbors أو kNN). فكر في kNN كأنها سائح يسأل أقرب خمسة أشخاص يراهم عن الاتجاهات. إذا قال معظم الخمسة منهم "انعطف يسارًا"، فإن السائح ينعطف يسارًا. هذه الطريقة بسيطة وتعمل بشكل جيد في الحقول المفتوحة، لكنها قد تصاب بالارتباك في غابة ذات مسارات متعرجة. فإذا كان الأشخاص الذين يقولون "انعطف يسارًا" يقفون في خط طويل ومنحنٍ، فقد يخطئ السائح الذي ينظر فقط إلى من هم الأقرب إليه في خط مستقيم، ويغفل عن المجموعة بأكملها ويضيع في الطريق.

تتناول هذه الورقة البحثية هذه المشكلة تحديدًا: كيف نساعد سائحنا الرقمي على التنقل عبر المسارات المنحنية والمتعرجة في غابة البيانات دون أن يعلق؟ يقوم الباحثون ببناء نسخة أفضل من استراتيجية "اسأل الجيران". فهم لا يبحثون فقط عن الأشخاص الأقرب، بل يبحثون عن الأشخاص المتصلين في سلسلة منطقية، مثل أحجار الخطوات عبر جدول مائي. كما يستخدمون حيلة ذكية تسمى "خارج الحقيبة" (Out-of-Bag أو OOB) للفحص، وهي تشبه وجود مجموعة من الكشافة يختبرون خرائطهم الخاصة في جولة تدريبية قبل الرحلة الحقيقية، مع الاحتفاظ فقط بالخرائط التي لم تجعلهم يضلون الطريق.

قصة الورقة البحثية: طريقة أفضل لإيجاد المسار

قدم الباحث، زرداد خان وفريقه، طريقة جديدة تسمى POSSE-kNN. يمكنك التفكير في هذه الطريقة كأنها فريق خارق من المستكشفين يحاول حل لغز. بدلاً من مستكشف واحد ينظر إلى الخريطة، يقومون بإنشاء 500 "مستكشف مرشح" مختلف. كل واحد منهم مختلف قليلاً: فهم ينظرون إلى الغابة من خلال عدسة مختلفة قليلاً (فضاءات ميزات عشوائية) ويسلكون مسارًا فريدًا للعثور على جيرانهم.

إليك كيف تعمل طريقتهم الخاصة "المسارية" (Pathwise). تخيل أنك المستكشف الواقف عند نقطة الاستعلام (المكان الذي تحتاج فيه لاتخاذ قرار):

1. الخطوة الأولى: تنظر حولك وتجد الشخص الأقرب إليك بمفرده.
2. تفاعل السلسلة: بدلاً من البحث عن الشخص التالي الأقرب إليك، تبحث عن الشخص الأقرب إلى الشخص الأول الذي وجدته للتو. ثم تجد الشخص الأقرب إلى ذلك الشخص.
3. المسار: تستمر في القيام بذلك حتى يكون لديك سلسلة من $k$ من الأشخاص. هذا ينشئ "مسارًا" يتبع الشكل المحلي للحشد، حتى لو كان ذلك الحشد منحنيًا أو ملتويًا. هذا أذكى بكما من مجرد اختيار الأشخاص الخمسة الأقرب إليك في خط مستقيم، والذين قد يقفون جميعًا في تجمع غريب وغير مفيد.

ولكن انتظر، 500 مستكشف هو عدد كبير من الضجيج. قد يكون بعضهم سيئًا في التنقل. لذا، يستخدم الفريق فحص "خارج الحقيبة" (OOB). قبل السباق النهائي، يرسل الفريق كل مستكشف من الـ 500 في جولة تدريبية باستخدام مجموعة من البيانات التي لم يتدربوا عليها. إذا ضل المستكشف طريقه أثناء التدريب، يتم استبعاده من الفريق. احتفظ الباحثون بأفضل 25% من المستكشفين (أفضل 125 من أصل 500) وسمحوا لهم بالتصويت على الإجابة النهائية. إنه يشبه برامج الواقع حيث يستبعد الحكام المتسابقين الذين يفشلون في التحدي، تاركين فقط الأبطال ليقرروا الفائز.

ما وجدوه

اختبر الفريق طريقة POSSE-kNN الجديدة على عشر مجموعات بيانات مختلفة (وهي مثل عشرة أنواع مختلفة من الغابات، تتراوح من السجلات الطبية الصغيرة إلى البيانات الهندسية الأكبر). وقارنوها بست طرق أخرى راسخة، بما في ذلك kNN القياسي، والغابات العشوائية (Random Forests)، وآلات ناقلات الدعم (SVM).

كانت النتائج واعدة للغاية. عبر جميع الاختبارات، جاءت طريقة POSSE-kNN في الصدارة في التصنيفات العامة.

• الدقة: حصلت على الإجابة الصحيحة بنسبة 0.740 في المتوسط. وكانت هذه أعلى درجة بين جميع الطرق المختبرة.
• الموثوقية: سجلت أيضًا أفضل نتيجة في معامل كوهين كابا (0.412)، وهو مقياس لمدى توافق الطريقة مع الحقيقة، وفي درجة براير (0.175)، التي تقيس مدى ثقة وصحة توقعاتها الاحتمالية.

فازت الطريقة بالمركز الأول أو تعادلت فيه في ثماني من أصل عشر مجموعات بيانات. ومع ذلك، فإن الورقة البحثية حريصة على عدم القول إنها حل سحري لكل شيء. ففي مجموعتي بيانات محددتين (إحداهما تسمى ILPD والأخرى تسمى Chscase Vine)، كان أداء الطرق الأخرى أفضل قليلاً. على سبيل المثال، في بيانات Chscase Vine، كانت طريقة خطية تسمى SVM أفضل، مما يشير إلى أنه في بعض الأحيان تكون "الغابة" عبارة عن خط مستقيم، ولا حاجة لمسار معقد.

سؤال "كم عدد الجيران؟"

لعب الباحثون أيضًا بحجم المجموعة، حيث غيروا عدد الجيران ($k$) إلى 3 أو 5 أو 7. ووجدوا أنه بالنسبة لبعض الغابات (مثل مجموعة بيانات "القلب")، عملت الطريقة بشكل رائع بغض النظر عن العدد الذي اختاروه. ولكن بالنسبة لآخرين (مثل "ILPD")، لم يساعد تغيير العدد كثيرًا، وأحيانًا كانت هناك استراتيجية مختلفة أفضل. وهذا يشير إلى أنه بينما تعد الطريقة المسارية قوية، إلا أنك لا تزال بحاجة إلى ضبط إعداداتك اعتمادًا على المشكلة المحددة التي تحلها.

الخلاصة

تخلص الورقة البحثية إلى أن POSSE-kNN هي أداة قوية وتنافسية. وهي تشير إلى أنه من خلال الجمع بين طريقة "حجر الخطوات" لإيجاد الجيران وبين فلتر "الجولة التدريبية" الصارم، يمكننا بناء مصنفات أفضل للبيانات المعقدة والمتعرجة. لا تدعي الطريقة أنها حلت كل مشكلة في عالم تعلم الآلة، لكنها تظهر أنه عندما تكون البيانات منحنية ومعقدة، فإن اتباع مسار غالبًا ما يكون فكرة أفضل من مجرد النظر إلى من هم الأقرب في خط مستقيم. ويشير المؤلفون إلى أن العمل المستقبلي يجب أن ينظر في كيفية جعل هذه العملية أسرع وحتى كيفية ضبط الإعدادات تلقائيًا، ولكن في الوقت الحالي، هي خطوة صلبة للأمام في مساعدة الحواسيب على التنقل عبر الغابات الملتوية والفوضوية لبيانات العالم الحقيقي.