What composition selection buys in heterogeneous ensembles, and why oracle bounds overstate it
تُثبت هذه الورقة أنه في حين أن اختيار تركيبة مثالية من أعضاء المجموعات غير المتجانسة يحقق مكاسب هامشية مقارنة بالمزيج الموحد، إلا أنه يفشل في التفوق على مجرد اختيار أفضل عائلة منفردة، مما يكشف أن الإمكانات المتصورة للتحسين هي إلى حد كبير نتاج انحياز الاختيار وليس أداءً حقيقياً غير مستغل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم تعلم الآلة، حيث تتعلم الحواسيب التعرف على الأنماط وتقديم التنبؤات، توجد استراتيجية شائعة تُسمى "التعلم الجمعي" (ensemble learning). تخيل فريقاً من الخبراء يحاولون حل لغز صعب؛ فبدلاً من الاعتماد على متخصص واحد، يجمع الفريق إجابات العديد من الأفراد للوصول إلى استنتاج أكثر دقة. يعمل هذا النهج لأن أخطاء شخص واحد غالباً ما يتم تصحيحها بفضل حكمة المجموعة. في بعض الأحيان، تتكون هذه الفرق من أعضاء يستخدمون جميعاً نفس الطريقة في التفكير، مثل مجموعة من الإحصائيين. وفي أحيان أخرى، يكون الفريق مختلطاً، حيث يجمع بين خبراء يستخدمون أدوات ومناهج مختلفة تماماً. يُعرف هذا المزيج من الأساليب المختلفة باسم "المجموعة غير المتجانسة" (heterogeneous ensemble). وكان السؤال المركزي للباحثين لفترة طويلة هو كيفية بناء مثل هذا الفريق بأفضل طريقة ممكن عند محدودية الموارد. إذا كانت لديك ميزانية لتدريب ثلاثمائة نموذج حاسوبي، فكم يجب أن تنفق على نوع الخبير الأول، وكم للثاني، وكم للثالث؟ يبدو أن إيجاد التوازن المثالي هو وسيلة منطقية لاستخراج أداء إضافي، وقد أمضى العديد من الباحثين سنوات في تطوير خوارزميات معقدة للبحث عن ذلك المزيج المثالي.
تتحدى دراسة جديدة أجراها محمد تالب إردم من جامعة طرابزون هذا الافتراض ذاته. فقد سعى الباحث لاختبار ما إذا كان الجهد المبذول في البحث عن النسبة المثالية لأنواع النماذج المختلفة يؤدي بالفعل إلى أي فائدة حقيقية. وللقيام بذلك، بنى تجربة ضخمة باستخدام ثلاثين مجموعة بيانات عامة مختلفة، تتراوح من السجلات الطبية إلى البيانات المالية، وأجرى الاختبارات عشر مرات على كل منها لضمان أن النتائج ليست مجرد ضربة حظ. وقد حدد العدد الإجمالي للنماذج الحاسوبية عند ثلاثمائة، وقسمها بين ثلاث عائلات متميزة من خوارزميات التعلم: الغابات العشوائية (random forests)، والأشجار شديدة العشوائية (extremely randomized trees)، والجيران الأقرب المعبأين (bagged nearest neighbors). وهذه أدوات قياسية ومعروفة جيداً في هذا المجال. قارنت الدراسة ست طرق مختلفة لتقرير كيفية تقسيم الثلاثمائة نموذج؛ استخدمت بعض الطرق قاعدة ثابتة وبسيطة، بينما استخدمت طرق أخرى عمليات بحث متطورة لإيجاد المزيج الأفضل بناءً على أدائهم في مجموعة اختبار.
كانت النتائج واضحة ومفاجئة. أكدت الدراسة أن الفريق الذي يتكون من مزيج ثابت ومتساوٍ من الأنواع الثلاثة للنماذج كان أداؤه أسوأ من أي طريقة حاولت اختيار مزيج محدد. في المتوسط، أدى مجرد محاولة اختيار مزيج إلى تحسين الدقة بنحو سبعة أعشار في المائة مقارنة بالتقسيم العشوائي الموحد. أثبت هذا أن تكوين الفريق أمر مهم بالفعل. ومع ذلك، تبين أن البحث عن التكوين المثالي كان طريقاً مسدودًا. فلم تستطع أي من طرق البحث المتطورة، بما في ذلك تلك التي حاولت تنعيم الأخطاء أو متوسط العديد من التخمينات المختلفة، التفوق على استراتيجية أبسط بكmuch: وهي اختيار العائلة الأفضل وتخصيص الميزانية بأكملها لهذا النوع الواحد فقط. في الواقع، كان أداء أكثر طرق البحث تعقيداً مماثلاً إحصائياً لمجرد اختيار أفضل عائلة واحدة. ووجد الباحثون أن الجهد الإضافي لإيجاد مزيج من النماذج المختلفة لم يوفر أي مكسب ملموس في الدقة.
تذهب الورقة البحثية إلى أبعد من ذلك لتشرح سبب حدوث ذلك، كاشفة أن الإمكانات المتصورة للتحسن كانت إلى حد كبير وهماً ناتجاً عن الطريقة التي يقيس بها الباحثون النجاح. في العديد من الدراسات، يتم حساب النتيجة "الأفضل الممكنة" من خلال النظر في جميع المزيجات المرشحة واختيار الأكثر تسجيلاً للدرجات في بيانات الاختبار. وهذا ما يسمى غالباً بـ "الحد الأعلى للأوراكل" (oracle bound)، وهو يمثل سقفاً نظرياً يجب أن تحاول الأساليب الواقعية الوصول إليه. أظهر إردم أن هذا السقف مرتفع بشكل مصطنع؛ لأنه نظراً لأن المزيجات المختلفة من النماذج متشابهة جداً مع بعضها البعض — حيث تختلف بفارق نماذج قليلة فقط من أصل المئات — فإن درجات أدائها مترابطة للغاية ومليئة بالضجيج. وعندما تختار الدرجة القصوى من مجموعة كبيرة من التقديرات المليئة بالضجيج والمتشابهة، فأنت تضمن تقريباً اختيار رقم أعلى من الإمكانات الحقيقية. قدمت الدراسة طريقة أكثر أمانة لقياس هذه الإمكانات من خلال تقسيم بيانات الاختبار إلى نصفين: استخدام نصف لاختيار المزيج الأفضل والنصف الآخر لمعرفة أدائه الفعلي. وعند تطبيق هذا الاختبار الأكثر عدلاً، تلاشى "هامش التحسن" المزعوم تماماً. لقد تبين أن الميزة الظاهرية لإيجاد مزيج مثالي كانت بالكامل ناتجة عن "تحيز الاختيار" (selection bias)، وهو أثر إحصائي وليس فرصة حقيقية.
كما استكشفت الدراسة ما إذا كان إضافة المزيد من التنوع إلى الفريق سيغير النتيجة. أضاف الباحثون نوعاً رابعاً من النماذج، وهو عائلة خطية (linear family)، لمعرفة ما إذا كان جعل المجموعة أكثر تنوعاً سيجعل البحث عن مزيج أمراً يستحق العناء. وحتى مع إضافة هذا التنوع، ظلت النتائج ثابتة. وبينما أصبحت الاختلافات المحتملة بين المزيجات أكبر قليلاً، إلا أن طرق البحث الأكثر تعقيداً لم تستطع التفوق على الاستراتيجية البسيطة المتمثلة في اختيار أفضل عائلة واحدة. في الواقع، مع زيادة عدد المزيجات الممكنة، نمت الميزة الظاهرية لإيجاد مزيج مثالي، لكن الميزة الحقيقية الواقعية ظلت سالبة. أكد هذا أن المشكلة لم تكن في نقص التنوع في النماذج، بل في الصعوبة الجوهرية في التمييز بين الخيارات المتشابهة جداً عندما تكون البيانات مليئة بالضجيج. إن مشهد الأداء ليس قمة حادة حيث يبرز مزيج معين بوضوح؛ بل هو هضبة واسعة ومسطحة حيث تؤدي العديد من المزيجات المختلفة بشكل متطابق تقريباً، والفرق الضئيل بينها يسهل إغراقه في الضجيج العشوائي.
بالنسبة لأي شخص يبني هذه النماذج الحاسوبية، فإن النصيحة العملية مباشرة. لا تضيع الوقت أو الجهد الهندسي في محاولة حساب النسبة المثالية لأنواع النماذج المختلفة. بدلاً من ذلك، اختر أفضل عائلة نماذج متاحة واستخدم ميزانيتك بالكامل لبناء فريق كبير من ذلك النوع وحده. الخيار الوحيد الذي يهم حقاً هو تجنب المزيج المتساوي الافتراضي لكل شيء، والذي يعد دائماً الخيار الأسوأ. تشير الدراسة إلى أن مجال التعلم الجمعي كان يطارد سراباً. إن الاعتقاد بأن البحث المعقد عن التكوين المثالي ضروري مبني على خطأ في القياس يبالغ في المكاسب المحتملة. ومن خلال استخدام طريقة اختبار أكثر صرامة، تظهر الأبحاث أن إشارة المزيج الأفضل غالباً ما تكون أضعف من أن توجد فوق ضجيج البيانات. المسار الأكثر فعالية للمضي قدماً ليس البحث عن مزيج معقد، بل اختيار الأداة الأقوى واستخدامها بالكامل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.