Improving Random Forests by Smoothing

ملخص تقني: تحسين الغابات العشوائية عبر التنعيم

بيان المشكلة
يعد انحدار الغابة العشوائية طريقة قوية غير معلمية تتكيف مع خصائص البيانات المحلية من خلال التقسيم القائم على البيانات. ومع ذلك، فإن تنبؤاتها هي بطبيعتها ثابتة مجزأة، مما يؤدي إلى عدم استمرارية عند حدود التقسيم. هذا الافتقار إلى النعومة يمثل مشكلة خاصة في أنظمة البيانات الصغيرة، حيث تؤدي عدم القدرة على مشاركة المعلومات عبر فضاء المدخلات إلى أداء دون المستوى الأمثل. وبينما توجد طرق التنعيم الكلاسيكية (مثل مقدرات النواة) ومتغيرات الأشجار "الناعمة"، إلا أنها غالبًا ما تعاني من مشاية القياس في الأبعاد العالية، أو زيادة التعقيد الحسابي، أو فقدان خوارزميات نمو الأشجار الفعالة التي تجعل الغابات العشوائية جذابة. التحدي الجوهري يكمن في إدخال النعومة والقابلية للاشتقاق على تنبؤات الغابة العشوائية دون التضحية بالتكيف المكاني أو الكفاءة الحسابية.

المنهجية
يقترح المؤلفون آلية تنعيم قائمة على النواة (kernel-based) تتم بعد عملية التعلم، وتعمل على مخرجات غابة عشوائية مدربة بدلاً من تغيير عملية بناء الشجرة نفسها.

1. التنعيم الاحتمالي: تُعرف الطريقة التنبؤ المُنعم $\tilde{f}(x_0)$ كمتوقع لدالة التنبؤ الأصلية الثابتة مجزأً $f(z)$ عبر متغير كامن $z$ يتوزع وفقًا لنواة احتمالية $k(\cdot | x_0, \lambda)$. رياضياً، $\tilde{f}(x_0) = \mathbb{E}_{z \sim k}[f(z)]$.
2. التنفيذ الثابت مجزأً: بالنسبة لأشجار القرار أو الغابات، حيث يتم تقسيم المجال إلى مستطيلات فائقة متوازية مع المحاور، يتبسط هذا المتوقع إلى مجموع مرجح للقيم الثابتة في كل منطقة. ويتم حساب الأوزان (وهي احتمالات وقوع المتغير الكامن في كل منطقة) بكفاءة باستخدام دالات التوزيع التراكمي (CDFs) للنواة المختارة.
3. اختيار النواة: يستخدم المؤلفون نوى الضرب (product kernels)، وتحديداً توزيعات "جوسيان" (Gaussian) و"السكانت الزائدي" (Hyperbolic Secant - Hypsec). تم اختيار هذه النوى لضمان أن تكون دالة التنبؤ الناتجة قابلة للاشتقاق في كل مكان. ويُلاحظ أن السكانت الزائدي يتميز بتلاشي ذيل أسي، مما يحاكي السلوك التقاربي لتوزيع "لابلاس" المستمد من التحليل النظري لتباين نقاط تقسيم الشجرة.
4. التبرير النظري: يوضح البحث أن إجراء التنعيم هذا يمكن تفسيره على أنه التقاط للتباين أو عدم اليقين في نقاط تقسيم الشجرة تحت إعادة أخذ عينات من مدخلات التدريب؛ حيث يتبع التوزيع الحدي لتقدير نقطة الكسر للشجرة تحت إعادة أخذ العينات توزيع "لابلاس". عملية التنعيم المقترحة تحاكي هذا من خلال دمج التنبؤ مع نواة تقرب هذا التباين.
5. تطبيق المجموعة (Ensemble): بما أن الغابات العشوائية هي مجموعات تراكمية (additive ensembles)، فإن عامل التنعيم (لكونه خطياً) يمكن تطبيقه على الأشجار الفردية ثم متوسطها، مما يتجنب التعقيد الحسابي لتنعيم هيكل المناطق الأسّي للغابة الكاملة.
6. اختيار النموذج: يتم اختيار معاملات التنعيم (المقياس $\lambda$) ومعاملات إعادة المعايرة الأفينية ($\beta_0, \beta_1$) عن طريق تقليل خسارة "خارج العينة" (Out-of-Bag - OOB). يستخدم المؤلفون التحسين القائم على التدرج (مثل L-BFGS و AdamW) للتعامل مع الطبيعة غير المحدبة لمساحة خسارة OOB.

المساهمات الرئيسية

• إطار عمل التنعيم لما بعد التعلم: يقدم نهجاً احتمالياً عاماً لتزويد أي دالة ثابتة مجزأة مُتعلمة بنعومة اختيارية مع الاحتفاظ بالتكيف المكاني للنموذج الأصلي.
• التفسير النظري: يوفر رابطاً نظرياً بين تنعيم النواة وعدم اليقين في نقاط تقسيم الأشجار تحت إعادة أخذ عينات البيانات، مما يبرر استخدام أشكال محددة للنواة.
• التنفيذ الفعال: يثبت أن التنعيم يمكن تطبيقه على الغابات العشوائية بكفاءة من خلال الاستفادة من خطية المجموعة، مما يقلل التعقيد من أسي (بالنسبة للمناطق) إلى خطي (بالنسبة لمناطق الأشجار الفردية).
• التحقق التجريبي: يظهر أن غابة عشوائية مُنَعمة بعدد صغير من الأشجار (مثلاً 10 أشجار) يمكن أن تتفوق على الغابات العشوائية القياسية ذات المجموعات الأكبر بكثير (تصل إلى 100 شجرة) وعلى انحدار العملية الجاوسية (Gaussian Process regression) عبر مجموعات بيانات متنوعة.

النتائج التجريبية
تم تقييم النهج باستخدام 10 مجموعات بيانات من UCI بأحجام تدريب تتراوح بين 50 إلى 500 ملاحظة.

• الأداء: تفوق نموذج "مجموعة الأشجار المُنَعمة مع معاملات لكل بُعد" (EST-PD) باستخدام نوى "جوسيان" أو "السكانت الزائدي" باستمرار على الغابة العشوائية الأساسية (10 أشجار) في 93-94% من الحالات.
• المقارنة مع النماذج المرجعية: تفوقت متغيرات EST-PD على الغابات العشوائية القياسية بـ 20 و50 و100 شجرة في 81% و69% و64% من الحالات على التوالي. كما تفوقت بشكل كبير على انحدار العملية الجاوسية (الفوز في 88% من الحالات).
• الدلالة الإحصائية: أكدت الاختبارات غير المعلمية (Friedman و Nemenyi) أن المتغيرات المُنعمة تشكل مجموعة تكافؤ متفوقة إحصائياً مقارنة بالغابات العشوائية القياسية والعمليات الجاوسية.
• نظام البيانات الصغيرة: أظهرت الطريقة قوة خاصة في بيئات البيانات الشحيحة (مثلاً $n=50$)، حيث حققت تحسينات مئوية كبيرة في متوسط مربع الخطأ (MSE) مقارنة بالنماذج المرجعية القياسية.
• اختيار النواة: قدمت نوى "جوسيان" و"السكانت الزائدي" ملفات أداء متشابهة للغاية، مما يشير إلى أن اختيار نوع النواة له تأثير عملي ضئيل على الفعالية.

الأهمية والادعاءات
يزعم البحث أن التنعيم اللاحق (post-hoc smoothing) يوفر طريقة قابلة للتطبيق حسابياً لتحسين دقة التنبؤ للغابات العشوائية، خاصة عندما تكون البيانات محدودة. ومن خلال الجمع بين قدرة طرق الأشجار على التكيف وافتراضات النعومة لنوات المنهجيات، يعالج هذا النهج مشكلة عدم الاستمرارية المتأصلة في الغابات القياسية دون الحاجة إلى مخططات الملاءمة المعقدة للأشجار الناعمة. يشير المؤلفون إلى أنه بينما يركز إطار العمل على الانحدار (تقدير المتوسط الشرطي)، فإن المفهوم يمكن أن يمتد ليشمل تقدير عدم اليقين (التباين الشرطي) ومهام التصنيف، وإن كان ذلك يظل موضوعات للبحوث المستقبلية. كما يسلط العمل الضوء على أنه بينما يمكن توسيع الطريقة نظرياً لتشمل تعزيز التدرج (gradient boosting)، فإن الطبيعة التسلسلية لأشجار التعزيز تفرض تحديات أمام نهج المعايرة العالمي المستخدم هنا.