📊 statistics

Maximum Risk Minimization with Random Forests

تقدم هذه الورقة متغيرات من الغابات العشوائية (Random Forest) فعالة حاسوبياً ومتسقة إحصائياً تعمل على تقليل الحد الأقصى للمخاطر عبر بيئات متنوعة لتحسين التعميم خارج نطاق التوزيع، مقدمةً ضمانات جديدة لمتوسط مربع الخطأ، والمكافأة السالبة، والمخاطر القائمة على الندم.

المؤلفون الأصليون: Francesco Freni, Anya Fries, Linus Kühne, Markus Reichstein, Jonas Peters

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Francesco Freni, Anya Fries, Linus Kühne, Markus Reichstein, Jonas Peters

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ تحاول ابتكار وصفة واحدة تعمل بشكل مثالي لثلاث مجموعات مختلفة تماماً من الناس:

عشاق التوابل الحارة: يعيشون في مناخ حار ويعشقون النكهات القوية.
آكلو الأطعمة الخفيفة: يعيشون في مناخ بارد ويفضلون الطعام البسيط والهادئ.
عشاق الحلويات: يعيشون في منطقة استوائية ولا يأكلون سوى الحلويات.

الطريقة القديمة (تعلم الآلة القياسي):
معظم الطهاة (نماذج الذكاء الاصطناğı القياسية) سيأخذون كمية ضخمة من مكونات المجموعات الثلاث، ويمزجونها معاً ويطبخون "يخنة متوسطة".

المشكلة: هذه اليخنة ستكون مقبولة للجميع، لكنها لن تكون رائعة لأي أحد. عشاق التوابل الحارة سيجدونها باهتة جداً. آكلو الأطعمة الخفيفة سيجدونها حارة جداً. وعشاق الحلويات سيشعرون بالارتباك بسبب وجود الخضروات. إذا قدمت هذه اليخنة لمجموعة جديدة من الناس (بيئة اختبار) كانوا أكثر تطرفاً في أذواقهم مما تدربت عليهم، فقد تكون الطبخة كارثة حقيقية.

الفكرة الجديدة (MaxRM Random Forests):
يقترح المؤلفون استراتيجية أذكى تسمى تقليل المخاطر القصوى (Maximum Risk Minimization - MaxRM). بدلاً من محاولة صنع طبق "متوسط"، يتساءلون: "ما هو أسوأ رد فعل ممكن أن تبديه أي من هذه المجموعات تجاه اليخنة الخاصة بي، وكيف يمكنني تغيير الوصفة لجعل هذا الرد الأسوأ أفضل ما يمكن؟"

إنهم يريدون تقليل الحد الأقصى من خيبة الأمل. لا يهمهم أن يكون عشاق التوابل الحارة سعداء للغاية؛ ما يهمهم هو ألا يكون آكلو الأطعمة الخفيلة "غير راضين".

كيف يفعلون ذلك: "غابة" الطهاة

لحل هذه المشكلة، يستخدمون أداة تسمى الغابة العشوائية (Random Forest). تخيل أنك لا تملك طاهياً واحداً فحسب، بل لديك غابة كاملة من 100 طاهٍ مختلف.

كل طاهٍ يتذوق الطعام ويقوم بتعديله الصغير الخاص به.
في الغابة القياسية، تأخذ فقط متوسط آراء الـ 100 طاهٍ.
في هذه الغابة الجديدة (MaxRM Forest)، يعمل الطهاة معاً بشكل مختلف. إنهم ينظرون إلى المجموعات التي من المرجح أن تكره الطعام (سيناريوهات "الحالة الأسوأ") ويعدلون الوصفة خصيصاً لإنقاذ تلك المجموعات، حتى لو كان ذلك يعني تغيير الوصفة قليلاً بالنسبة للآخرين.

الاستراتيجيات الثلاث (طريقة التنفيذ)

اختبرت الورقة ثلاث طرق لتعديل الوصفة:

الإصلاح "البعدي" (التعديل الذكي):

التشبيه: يطبخ الطهاه اليخنة بشكل طبيعي أولاً. ثم يتذوقونها مع التركيز تحديداً على عشاق التوابل الحارة. إذا كره عشاق التوابل الحارة الطبخة، يعودون لتعديل التوابل فقط في الجزء الذي يأكله عشاق التوابل الحارة، دون العبث ببقية القدر.
النتيجة: هذه هي الفائزة. إنها سريعة، غير مكلفة، وتعمل بشكل رائع. إنها تشبه امتلاك "شبكة أمان" تلتقط أسوأ النتائج بعد انتهاء عملية الطبخ الرئيسية.

الإصلاح "المحلي":

التشبيه: في كل مرة يضيف فيها طاهٍ مكوناً جديداً، يتحقق فوراً مما إذا كان ذلك سيزعج عشاق التوابل الحارة ويقوم بإصلاحه في تلك اللحظة.
النتيجة: هذا يعمل بشكل جيد ولكنه يستغرق وقتاً طويلاً في الطبخ (مكلف حاسوبياً).

الإصلاح "الشامل":

التشبيه: في كل مرة يضيف فيها طاهٍ رشة ملح واحدة، يتوقف ويعيد تقييم القدر بأك Total لجميع المجموعات ليرى ما إذا كان التوازن مثالياً.
النتيجة: هذا هو الأكثر دقة ولكنه أيضاً الأبطأ. إنه يشبه محاولة حل مكعب روبيك عبر فحص كل حركة ممكنة مقابل كل نتيجة محتملة.

لماذا يهم هذا (اختبار العالم الحقيقي)

اختبر المؤلفون هذا على مشكلة من العالم الحقيقي: التنبؤ بأسعار المنازل في كاليفورنيا.

المشكلة: أسعار المنازل في سان فرانسيسكو تختلف تماماً عن أسعار المنازل في المقاطعات الريفية. النموذج الذي يتم تدريبه على الولاية بأكملها عادة ما يفشل في المناطق الأكثر غلاءً أو تميزاً.
النتيجة: كانت "غابة MaxRM" الجديدة أفضل بكثير في التنبؤ بأسعار المنازل في المقاطعات "الأصعب" (سيناريوهات الحالة الأسوأ) مقارنة بالنماذج القياسية. لم تكتفِ بالتخمين المتوسط؛ بل حرصت على ألا تفشل فشلاً ذريعاً في الأماكن التي يكون فيها الفشل مكلفاً للغاية.

الخلاصة الكبرى

في عالم تأتي فيه البيانات من مصادر مختلفة ومتغيرة (مثل أنماط الطقس المختلفة، أو سلوكيات العملاء المختلفة، أو الحالات الطبية المختلفة)، فإن الطريقة القديمة المتمثلة في "متوسط كل شيء" تعتبر مخاطرة.

تقدم لنا هذه الورقة أداة جديدة: طريقة تبني نموذجاً مصمماً خصيصاً للنجاة في أسوأ أيامه. إنها تضمن أنه حتى لو بدا المستقبل مختلفاً تماماً عن الماضي، فإن تنبؤك لن ينهار ويفشل. إنه الفرق بين بناء منزل يبدو جميلاً في المتوسط، وبناء منزل لن ينهار في وجه إعصار.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقليل المخاطر القصوى باستخدام الغابات العشوائية" (Maximum Risk Minimization with Random Forests) من إعداد Freni وآخرون.

1. بيان المشكلة

تتناول الورقة تحدي التعميم خارج التوزيع (OOD) في مسائل الانحدار. تفترض التعلم الآلي التقليدي أن بيانات التدريب والاختبار مستمدة من نفس التوزيع (i.i.d). ومع ذلك، في السيناريوهات الواقعية، غالبًا ما تأتي البيانات من عدة بيئات (environments) متميزة (مثل المجموعات السكانية الفرعية، أو الفترات الزمنية، أو الظروف التجريبية)، حيث قد يتغير التوزيع المشترك $P(X, Y)$ .

الهدف هو تعلم متنبئ $f$ يقلل من المخاطر القصوى عبر مجموعة من بيئات التدريب المرصودة $\mathcal{E}_{tr}$ . هذا المبدأ، المعروف باسم تقليل المخاطر القصوى (MaxRM)، يسعى إلى التحسين لأقصى سيناريو سوء بين بيئات التدريب، مما يوفر متانة ضد تحولات التوزيع إلى بيئات الاختبار غير المرئية التي تقع ضمن الغلاف المحدب لتوزيعات التدريب.

يهدف المؤلفون تحديدًا إلى تكييف الغابات العشوائية (RF)، وهي طريقة تجميع غير معلمية فعالة للغاية، لحل مشكلة تحسين MaxRM. تعتمد نهج MaxRM الحالية غالبًا على الشبكات العصبية (التي تتأثر بالهندسة المعمارية والمعلمات الفائقة) أو النماذج الخطية (التي تفتقر إلى المرونة للبيانات المعقدة والضوضائية).

2. المنهجية: غابات MaxRM العشوائية (MaxRM-RF)

يقترح المؤلفون عائلة من الخوارزميات، MaxRM-RF، والتي تعدل الغابات العشوائية القياسية لتقليل أقصى خطر عبر البيئات. هم ينظرون في ثلاثة تعريفات للمخاطر:

متوسط مربع الخطأ (MSE): معيار الانحدار القياسي.
المكافأة السالبة (NRW): متوسط مربع الخطأ بالنسبة لنموذج صفري (يُستخدم في سياقات الحد الأقصى الخطي).
الندم (Regret): متوسط مربع الخطأ بالنسبة لأفضل متنبئ ممكن ضمن فئة الدوال $\mathcal{F}$ .

تتم صياغة مشكلة التحسين كالتالي:
$\min_{f \in \mathcal{F}} \max_{e \in \mathcal{E}_{tr}} \mathbb{E}_{P_e}[\ell(X, Y; f)]$

يقدم البحث ثلاث استراتيجيات رئيسية لتحقيق ذلك:

أ. التعديل اللاحق (MaxRM-RF-posthoc)

الآلية: يتم أولاً تنمية أشجار الغابة العشوائية القياسية باستخدام عينات Bootstrap ومعايير تقسيم قياسية. بعد تثبيت هيكل الشجرة (تقسيم فضاء المدخلات)، يتم إعادة تحسين قيم الأوراق ( $\theta$ ).
التحسين: يتم تحديد قيم الأوراق عن طريق حل مشكلة تحسين محدبة (تحديدًا برنامج مخروط من الدرجة الثانية، SOCP) التي تقلل أقصى خطر تجريبي عبر جميع البيئات.
الميزة: فعال حاسوبيًا ويتوسع بشكل جيد مع مجموعات البيانات الكبيرة.

ب. استراتيجية التقسيم المحلي (MaxRM-RF-local)

الآلية: أثناء بناء الشجرة، وعند النظر في تقسيم مرشح، تقوم الخوارزمية بتحسين قيم الأوراق للعقد الأبناء الجديدة مع إبقاء جميع قيم الأوراق الموجودة الأخرى ثابتة.
العملية: تختار التقسيم الذي يحقق أكبر انخفاض في أقصى خطر عبر البيئات.

ج. استراتيجية التقسيم العالمي (MaxRM-RF-global)

الآلية: مشابهة للاستراتيجية المحلية، ولكن بعد كل عملية تقسيم، تقوم الخوارزمية بإعادة تحسين قيم الأوراق لـ جميع المناطق في الشجرة في آن واحد، وليس فقط المناطق المنشأة حديثًا.
المقايضة: بينما هي أقوى نظريًا، إلا أن هذا النهج مكلف حاسوبيًا.

د. وزن الأشجار (MaxRM-RF-w)

بدلاً من حساب متوسط تنبؤات الأشجار بالتساوي ( $w_b = 1/B$ )، يقترح المؤلفون تحسين أوزان الأشجار $w$ لتقليل أقصى خطر للمجموعة. يتم ذلك عن طريق تقسيم البيانات إلى مجموعتين: واحدة لتدريب الأشجار والأخرى لتحسين الأوزان.

خوارزميات التحسين:
لحل مشكلة تحسين قيم الأوراق (والتي قد تكون واسعة النطاق)، يقترح المؤلفون:

طرق النقطة الداخلية (Interior-point methods): المحلل الافتراضي (مثل CLARABEL، ECOS).
طريقة المتدرج الإضافي (Extragradient Method): بديل في حالات فشل أو بطء المحللات النقطية الداخلية.
التحسين بالتنسيق الكتلي (Block-Coordinate Descent - BCD): يقوم بتحديث كتل قيم الأوراق بشكل تكراري.

3. المساهمات الرئيسية

الضمانات النظرية

التكافؤ مع Group DRO: يثبت المؤلفون (النظرية 3) أن تقليل أقصى خطر عبر بيئات التدريب يكافئ تقليل أقصى خطر عبر الغلاف المحدب لتوزيعات التدغيل ( $\mathcal{P}_{CVXH}$ ). وهذا ينطبق على MSE، وNegative Reward، وRegret (امتداد جديد للغابات العشوائية).
التعميم على التوزيعات غير المرئية: تحت افتراض أن توزيع المتغيرات المستقلة لا يتغير عبر البيئات، يثبتون أن حل MaxRM يقلل المخاطر عبر أي بيئة يقع متوسطها الشرطي ضمن الغلاف المحدب للمتوسطات الشرطية للتدريب (الخاصية 6).
الاتساق (Consistency): يثبتون أن قيم الأوراق التي يتم الحصول عليها عبر استراتيجية التعديل اللاحق هي مقدرات متسقة إحصائيًا لمعدلات المجتمع (النظرية l2). عندما تقترب حجم العينة $n \to \infty$ ، يقترب الحل التجريبي من حل المجتمع.
قصور Magging: يوضحون (الملحق B) أن مقدر Magging (وهو حالة سابقة متقدمة لـ MaxRM) يفشل في تقليل أقصى خطر عندما تتغير توزيعات المتغيرات المستقلة ( $P_X$ ) عبر البيئات، بينما ينجح MaxRM-RF.

الابتكارات الخوارزمية

تكييف الغابات العشوائية مع إطار عمل Minimax دون الاعتماد على الشبكات العصبية.
تطوير محللات فعالة (Extragradient، BCD) لمشكلة تحسين أوراق MaxRM.
تمديد مبادئ MaxRM إلى مقياس خطر الندم (Regret) ضمن إطار غير خطي وغير معلمي.

4. النتائج التجريبية

البيانات المحاكات (Simulated Data)

المقارنة مع النماذج المرجعية: يتفوق MaxRM-RF (تحديدًا نسخة التعديل اللاحق) باستمرار على:
- الغابات العشوائية القياسية (التي تقلل متوسط الخطر، وتتجاهل أسوأ بيئات الحالة).
- Group Distributionally Robust Optimization (Group DRO) المنفذ باستخدام الشبكات العصبية (والذي كان أداؤه ضعيفًا وحساسًا للمعلمات الفائقة).
- Magging: يتفوق MaxRM-RF بشكل كبير على Magging عندما تتغير توزيعات المتغيرات المستقلة ( $P_X$ ) بين البيئات. يؤدي Magging أداءً جيدًا فقط عندما يكون $P_X$ ثابتًا.
مقارنة الاستراتيجيات: توفر استراتيجية التعديل اللاحق (Post-Hoc) أفضل مقايضة بين الأداء والتكلفة الحاسوبية، حيث تحقق نتائج قريبة جدًا من الاستراتيجية العالمية الأكثر تكلفة ولكن بجزء بسيط من وقت التشغيل.
المتانة: يحافظ MaxRM-RF على خطأ أسوأ حالة منخفض حتى مع زيادة عدد البيئات ( $K$ ).

البيانات الواقعية (California Housing)

مجموعة البيانات: التنبؤ بقيم المنازل المتوسطة باستخدام 20,640 مجموعة بلوكات، مع اعتبار المقاطعات (counties) كبيئات متميزة.
الإعداد: التحقق المتقاطع (Cross-validation) حيث يتم تدريب النماذج على 20 مقاطعة واختبارها على مقاطعات محجوزة.
النتائج: حقق MaxRM-RF (باستخدام MSE) أدنى أسوأ خطأ اختبار (worst-case test MSE) في 4 من أصل 5 طيات (folds)، مع وجود 3 تحسينات ذات دلالة إحصائية مقارنة بالغابات العشوائية القياسية. لقد نجح في الحماية من "البيئات الصعبة" (مثل سان فرانسيسكو، ومارين) التي تسببت في أخطاء عالية للغابات العشوائية الخطية والقياسية.

5. الأهمية والتأثير

الربط بين السببية والمتانة: يربط هذا العمل بين مفهوم الثبات في الاستدلال السببي (عبر MaxRM) وبين أداة الغابات العشوائية عالية الأداء والعملية.
التعامل مع انزياح المتغيرات المستقلة (Covariate Shift): على عكس طرق MaxRM السابقة (مثل Magging) التي تفترض ثبات المتغيرات المستقلة، فإن هذه الطريقة متينة تجاه التحولات في كل من التوزيع الشرطي $P(Y|X)$ والتوزيع الهامشي $P(X)$ .
القابلية للتطبيق العملي: من خلال توفير خوارزميات فعالة حاسوبيًا وإثبات الاتساق، تجعل هذه الورقة MaxRM متاحًا لمسائل الانحدار واسعة النطاق والضوضائية حيث قد تكون الشبكات العصبية مبالغًا فيها أو غير مستقرة.
تقليل الندم (Regret Minimization): يسمح تمديد تقليل الندم للنموذج بقياس أدائه بالنسبة لأفضل متنبئ ممكن ضمن الفئة، مما يوفر ضمانًا أكثر دقة للمتانة.

باخت-صار، تثبت الورقة أن غابات MaxRM العشوائية هي بديل متفوق، ذو أساس نظري، وقابل للتنفيذ حاسوبيًا لطرق التعميم خارج التوزيع (OOD) الحالية، خاصة في السيناريوهات التي تتضمن توزيعات بيانات غير متجانسة وانزياحات في المتغيرات المستقلة.