Confidence intervals for the random forest generalization error

في عالم علوم البيانات الحديثة، غالباً ما تُطلب من الحواسيب تقديم تنبؤات حول المستقبل بناءً على أنماط وُجدت في الماضي. وسواء كان الأمر يتعلق بالتنبؤ بسعر منزل، أو تشخيص حالة طبية، أو تخمين ما إذا كان العميل سيتوقف عن استخدام خدمة ما، فإن هذه الأنظمة تعتمد على نماذج معقدة تم تدريبها على مجموعات ضخمة من المعلومات. ويتمثل التحدي المركزي لأي شخص يستخدم هذه الأدوات في معرفة مدى الثقة التي يمكن وضعها في التنبؤ. فمجرد أداء النموذج بشكل جيد على البيانات التي تدرّب عليها لا يضمن أنه سيعمل بشكل جيد في المواقف الجديدة وغير المرئية. ولقياس مدى الموثوقية هذه، قام العلماء تقليدياً بتقسيم بياناتهم إلى مجموعتين: واحدة لتعليم النموذج والأخرى لاختباره. ورغم أن هذا الأسلوب فعال، إلا أنه عملية بطيئة ومكلفة تتطلب قطع البيانات إلى نصفين وغالباً ما تتطلب إعادة تدريب النموذج مرات عديدة للحصول على صورة واضحة لدقته.

لقد قدم نوع محدد من النماذج يُعرف باسم "الغابة العشوائية" (Random Forest) لفترة طويلة اختصاراً ذكياً لتقدير مدى أدائه. تخيل غابة حيث كل شجرة هي صانع قرار تم تدريبه على نسخة مختلفة قليلاً من البيانات. وبسبب الطريقة التي تنمو بها هذه الأشجار، تتجاهل كل شجرة فردية جزءاً صغيراً وعشوائياً من بيانات التدريب. وهذا يعني أنه مقابل كل قطعة من المعلومات في مجموعة البيانات، هناك مجموعة من الأشجار لم ترَ تلك القطعة أثناء التدريب. ويمكن بعد ذلك سؤال هذه الأشجار للتنبؤ بتلك المعلومة المحددة، مما يوفر اختباراً داخلياً للدقة دون الحاجة أبداً إلى تقسيم البيانات أو تشغيل محاكاة جديدة. هذه الطريقة، المعروفة باسم "تقدير خارج العبوة" (Out-of-bag estimate)، كانت أداة قياسية لعقود، حيث وفرت طريقة سريعة، ومجانية تقريباً، للحصول على رقم واحد يمثل الخطأ المحتمل للنموذج. ومع ذلك، لفترة طويلة، قدمت هذه الطريقة فقط تقديراً نقطياً واحداً، مما ترك المستخدمين دون إحساس واضح بنطاق عدم اليقين المحيط بهذا الرقم.

في ورقة بحثية نُشرت في أواخر عام 2021، اقترح الباحث باولو سي. ماركيز إف. من معهد إنسبر للتعليم والبحث في البرازيل طريقة لتحويل هذا الرقم الواحد إلى نطاق كامل من الثقة. كان الهدف هو استخدام النواتج الجانبية الموجودة لعملية تدريب الغابة العشوائية لبناء "فاصل ثقة" (Confidence Interval) — وهو نطاق إحصائي يشير إلى المكان الذي من المرجح أن يقع فيه معدل الخطأ الحقيقي — دون التكلفة الحسابية العالية لتقسيم البيانات أو إعادة تدريب النماذج. تتعامل منهجية الباحث مع بيانات التدريب، جنباً إلى جنب مع سجل توضح فيه أي الأشجار تجاهلت أي من نقاط البيانات وماذا تنبأت به تلك الأشجار، كحزمة كاملة. ومن خلال إعادة أخذ العينات المتكررة من هذه الحزمة باستخدام تقنية إحصائية تسمى "البوتستراب" (Bootstrapping)، تولد الطريقة توزيعاً لمعدلات الخطأ المحتملة. وهذا يسمح ببناء فاصل ثقة يعكس عدم اليقين في أداء النموذج، وكل ذلك باستخدام نفس البيانات التي دربت النموذج في المقام الأول.

تُظهر الورقة البحثية أن هذه الطريقة ليست فعالة حسابياً فحسب، بل هي سليمة إحصائياً أيضاً. ومن خلال عمليات محاكاة حاسوبية مكثفة باستخدام مهام الانحدار (Regression)، حيث يكون الهدف هو التنبؤ برقم مستمر، ومهام التصنيف (Classification)، حيث يكون الهدف هو فرز العناصر إلى فئات، اختبر الباحث مدى تكرار التقاط فواصل الثقة الجديدة لمعدل الخطأ الحقيقي. وفي مثال للانحدار يتضمن دالة رياضية معقدة بعشرة متغيرات مدخلة، ومثال للتصنيف يتضمن عشرين متغيراً، أظهرت عمليات المحاكاة أن الفواصل عملت تماماً كما هو مخطط لها. فعندما طلب الباحث مستوى ثقة بنسبة 95 بالمائة، وقع الخطأ الحقيقي ضمن النطاق المحسوب في حوالي 95 بالمائة من الحالات عبر آلاف التجارب المحاكاتية. علاوة على ذلك، تقلص عرض هذه الفواصل بمعدل يمكن التنبؤ به مع زيادة كمية بيانات التدريب، مما يؤكد أن الطريقة تصبح أكثر دقة مع مجموعات البيانات الأكبر.

ولإثبات نجاح الطريقة في المشكلات الواقعية، طبقت الدراسة التقنية على أربع مجموعات بيانات متميزة. الأولى كانت مجموعة كلاسيكية من البيانات حول كفاءة وقود السيارات، حيث كان على النموذج التنبؤ بالأميال لكل جالون بناءً على خصائص المركبة. والثانية تضمنت مجموعة ضخمة من رسائل البريد الإلكتروني للتمييز بين الرسائل المشروعة والرسائل المزعجة (Spam). والثالثة كانت سجلاً مفصلاً لمبيعات المنازل في مدينة آميس بولاية أيوا، استُخدم للتنبؤ بأسعار البيع، والرابعة تتبعت سلوك العملاء لشركة اتصالات لتحديد أولئك المحتمل إلغاؤهم للخدمة. لكل مجموعة بيانات، قام الباحث بحساب فواصل الثقة عند مستويات مختلفة من اليقين. فبالنسبة لبيانات المنازل، على سبيل المثال، تراوح فاصل الثقة بنسبة 95 بالمائة لخطأ التنبؤ بين حوالي ثلاثة وعشرين ألف دولار وسبعة وعشرين ألف دولار. وبالنسبة لمهمة اكتشاف الرسائل المزعجة، كان الفاصل لمعدل الخطأ نطاقاً ضيقاً بين حوالي 4.1 بالمائة و5.4 بالمائة. وأظهرت هذه النتائج أن الطريقة يمكن أن توفر حدوداً ذات معنى وقابلة للتفسير للخطأ في تطبيقات عملية متنوعة.

تتمثل إحدى المزايا الكبيرة لهذا النهج في سرعته وبساطته. ولأنه يعتمد على البيانات التي تم إنتاجها بالفعل أثناء التدريب الأولي للغابة العشوائية، فإنه يتجنب الحاجة إلى العملية المرهقة لتقسيم البيانات وإعادة تدريب النماذج بشكل متكرر. اختبر الباحث وقت تشغيل الإجراء على جهاز كمبيوتر محمول قياسي ووجد أنه حتى بالنسبة لأكبر مجموعة بيانات تحتوي على أكثر من أربعة آلاف رسالة بريد إلكتروني، استغرقت العملية بأكملها لتوليد فواصل الثقة ما يزيد قليلاً عن ثانية واحدة. تجعل هذه الكفاءة الطريقة متاحة للاستخدام اليومي، مما يسم un لعلماء البيانات لقياس موثوقية نماذجهم بأقل جهد إضافي. كما يسلط العمل الضوء على خاصية فريدة للطريقة: نظرًا لأنها تعتمد على توزيع الأخطاء نفسها، يمكنها بسهء ترجمة النتائج إلى الوحدات الطبيعية للمشكلة، مثل الدولارات لأسعار المنازل أو الأميال لكل جالون للسيارات، مما يجعل عدم اليقين سهلاً للفهم من قبل غير المتخصصين.

تختتم الورقة البحثية بالإشارة إلى أن الكود البرمجي لإجراء هذه الحسابات متاح مجاناً كمكتبة مفتوحة المصدر، مما يسمح للآخرين بتطبيق التقنية على الفور. ومن خلال تحويل النواتج الجانبية الخفية لعملية تدريب قياسية إلى مقياس قوي لعدم اليقين، يوفر هذا العمل مساراً مباشراً لفهم حدود تعميم النموذج. إنه يؤكد أنه مع الأدوات الإحصائية الصحيحة، يمكن اشتقاق فواصل الثقة لأداء الغابة العشوائية مباشرة من بيانات التدريب، مما يوفر طريقة موثوقة ومنخفضة التكلفة لتقييم مدى صمود النموذج التنبئي في العالم الحقيقي.