🤖 machine learning

Extending Explainable Ensemble Trees (E2Tree) to regression contexts

توسع هذه الورقة منهجية أشجار التجميع القابلة للتفسير (E2Tree)، المصممة أصلاً للتصنيف، لتشمل سياقات الانحدار من خلال الاستفادة من مقاييس عدم التشابه لتمثيل العلاقات بين المتنبئ والاستجابة، وكذلك الارتباطات بين المتنبئات، بيانياً، مما يعزز شفافية نماذج الغابات العشوائية.

المؤلفون الأصليون: Massimo Aria, Agostino Gnasso, Carmela Iorio, Marjolein Fokkema

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Massimo Aria, Agostino Gnasso, Carmela Iorio, Marjolein Fokkema

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقاً من المحققين الأذكياء للغاية (غابة عشوائية - Random Forest) يعملون معاً لحل لغز ما. ينظر كل محقق إلى قطعة صغيرة من الأدلة ويضع تخميناً. وعندما يصوتون جميعاً، يكون تخمينهم المشترك دقيقاً للغاية. ومع ذلك، نظرًا لوجود الكثير من المحققين وتداخل أصواتهم، فمن المستحيل معرفة كيف توصلوا بالضبط إلى استنتاجهم النهائي. الفريق عبارة عن "صندوق أسود" — تحصل على الإجابة، لكنك لا ترى المنطق وراءها.

تقدم هذه الورقة أداة جديدة تسمى E2Tree (أشجار التجميع القابلة للتفسير) تعمل كمترجم. فهي تأخذ القرارات المعقدة والفوضوية لفريق المحققين وتنظمها في مخطط انسيابي واحد واضح وسهل القراءة.

إليك تفصيل ما تفعله الورقة، باستخدام تشبيهات بسيطة:

1. المشكلة: "الصندوق الأسود"

في عالم تعلم الآلة، تعتبر أدوات مثل "الغابات العشوائية" رائعة في التنبؤ بالأشياء (مثل تكلفة سيارة أو سرعة نمو نبات ما). لكنها تشبه كرة ضخمة متشابكة من الخيوط. يمكنك سحب طرفها والحصول على نتيجة، لكن لا يمكنك رؤية النمط بداخلها.

الهدف: يريد المؤلفون فك تشابك تلك الخيوط دون فقدان قوة العقدة. إنهم يريدون الحفاظ على الدقة العالية للغابة العشوائية ولكن جعلها تبدو كشجرة قرار بسيطة يمكن للإنسان فهمها.

2. الحل: E2Tree

قام المؤلفون سابقاً بابتكار E2Tree لمهام "التصنيف" (فرز الأشياء إلى فئات، مثل "قط" مقابل "كلب"). في هذه الورقة، يعلمون E2Tree كيفية التعامل مع مهام الانحدار (Regression).

تشبيه الانحدار: بدلاً من فرز الأشياء في صناديق، يشبه الانحدار التنبؤ برقم محدد، مثل السرعة الدقيقة لسيارة أو سعر منزل.
الخدعة السحرية: لا تنظر E2Tree إلى متغير واحد في كل مرة، بل تنظر إلى كيفية "رقص" المتغيرات معاً. إنها تستخدم خدعة رياضية خاصة تسمى مصفوفة عدم التشابه (dissimilarity matrix).
- فكر في الأمر كجدول جلوس: تخيل أن لديك غرفة مليئة بالناس. لقد قامت الغابة العشوائية بالفعل بتجميع الأشخاص المتشابهين معاً في طاولات مختلفة. تنظر E2Tree إلى عدد المرات التي انتهى فيها الأمر بشخصين محددين جالسين على نفس الطاولة عبر جميع المجموعات المختلفة التي شكلها المحققون. إذا جلسا معاً كثيراً، فهما "متشابهان". وإذا نادراً ما جلسا معاً، فهما "مختلفان".

3. كيف تعمل (الوصفة)

تصف الورقة عملية خطوة بخطوة لبناء هذه الشجرة الجديدة والواضحة:

قياس التشابه: تحسب عدد المرات التي ينتهي بها المطاف بأزواج من نقاط البيانات (مثل سيارتين محددتين أو زهرتين محددتين) في نفس "المجموعة" داخل الغابة العشوائية.
التحقق من "الملاءمة": تتحقق مما إذا كانت المجموعات منطقية. في عالم التنبؤ بالأرقام (الانحدار)، تسأل: "هل الأرقام في هذه المجموعة قريبة من بعضها البعض؟" إذا كانت الأرقام مبعثرة في كل مكان، فإن المجموعة ليست مفيدة جداً.
بناء الشجرة: تبدأ في تقسيم البيانات، تماماً مثل الشجرة العادية، لكنها تستخدم درجات التشابه تلك لتقرر أين تقوم بالقطع.
قواعد التوقف: تعرف متى تتوقف عن التقسيم. تتوقف إذا كانت المجموعات بالفعل متشابهة جداً أو إذا كان تقسيمها أكثر لن يغير النتيجة (مثل التحقق مما إذا كانت مجموعتان من الناس لديهما نفس متوسط الطول قبل محاولة فصلهما أكثر).

4. الإثبات: مثالان

اختبر المؤلفون "المترجم" الجديد الخاص بهم على مجموعتي بيانات من العالم الحقيقي لإثبات نجاحه:

اختبار الزهور (مجموعة بيانات Iris):
- حاولوا التنبؤ بطول بتلة الزهرة بناءً على قياسات أخرى لها.
- النتيجة: نجحت E2Tree في إعادة إنشاء المنطق المعقد للغابة العشوائية. لقد أظهرت مساراً واضحاً: "إذا كان عرض البتلة صغيراً وَ النوع هو X، فإن طول البتلة هو Y".
- التحقق: قارنوا "الخريطة" التي صنعتها الغابة العشوائية مع "الخريطة" التي صنعتها E2Tree. كانت متشابهتين بنسبة 90%، مما يثبت أن المترجم لم يفقد المعنى الأصلي.
اختبار السيارات (مجموعة بيانات Auto MPG):
- حاولوا التنبؤ بعدد الأميال لكل جالون (MPG) التي تقطعها السيارة بناءً على وزنها، وحجم محركها، وسنتها.
- النتيجة: أنشأت E2Tree خريطة مرئية توضح بالضبط كيف تؤدي عوامل مثل "الوزن الثقيل" أو "المحرك الكبير" إلى خفض كفاءة الوقود. لقد أظهرت قواعد "إذا-فإن" بوضوح (مثلاً: "إذا كانت السيارة ثقيلة وَ قديمة، فإنها تحصل على MPG منخفض").
- التحقق: حتى مع بيانات أكثر تعقيداً (ميزات سيارة أكثر)، طابقت خريطة E2Tree منطق الغابة العشوائية بنسبة 75% من الوقت تقريباً.

5. لماذا هذا مهم؟

تزعم الورقة أن E2Tree هي أداة قوية لأنها:

شفافة: تحول "الصندوق الأسود" المربك إلى مخطط انسيابي واضح.
دقيقة: تحافظ على قوة التنبؤ العالية للغابة العشوائية الأصلية.
تظهر العلاقات: هي لا تكتفي بالقول "الوزن مهم"، بل توضح كيف يتفاعل الوزن مع عوامل أخرى (مثل حجم المحرك) لإنتاج النتيجة النهائية.

باخت-القول: لقد بنى المؤلفون جسراً بين "الغابة العشوائية" الذكية جداً ولكن المربكة، وبين حاجة الإنسان إلى تفسيرات واضحة ومنطقية. وقد أثبتوا أن هذا الجسر يعمل ليس فقط لفرز الأشياء في فئات، بل أيضاً للتنبؤ بأرقام محددة.

ملخص تقني: توسيع أشجار المجموعات التفسيرية (E2Tree) إلى سياقات الانحدار

بيان المشكلة

لقد أحدثت أساليب المجموعات (Ensemble methods)، ولا سيما الغابات العشوائية (Random Forests - RF)، ثورة في التعلم الخاضع للإشراف من خلال تقديم دقة تنبؤية عالية عبر تجميع المتعلمين الضعفاء. ومع ذلك، تعمل هذه النماذج كـ "صناديق سوداء"، حيث تفتقر إلى الشفافية فيما يتعلق بكيفية معالجة قيم المدخلات لتوليد التنبؤات. هذا الغموض يعيق فهم المستخدم وثقته، خاصة في المجالات الحرجة مثل الطب والتمويل. وبينما توجد مقاربات حالية للتفسير — تتراوح بين النماذج القابلة للتفسير بطبيعتها (مثل أشجار القرار) وأدوات التفسير البعدي (مثل أهمية المتغيرات وقيم شابلي) — إلا أنها غالبًا ما تعاني في الموازنة بين دقة النموذج والقدرة على توضيح التفاعلات المعقدة وغير الخطية بين الميزات.

التحدي المحدد الذي تعالجه هذه الورقة هو توسيع منهجية أشجار المجموعات التفسيرية (E2Tree). اقترح Aria وآخرون (2024) منهجية E2Tree في الأصل لمهام التصنيف، وهي توفر تمثيلًا رسوميًا يشبه الشجرة لنماذج الغابات العشوائية، يأخذ في الاعتبار كلاً من تأثيرات المتنبئات والارتباطات بين المتنبئات. ويشير المؤلفون إلى أنه بينما نجحت E2Tree في تفسير نماذج التصنيف، فإن هناك منهجية مقابلة لـ سياقات الانحدار (نماذج المخرجات المستمرة) كانت مفقودة.

المنهجية

تقترح الورقة توسيع إطار عمل E2Tree للتعامل مع مشكلات الانحدار. الهدف الجوهري هو اشتقاق بنية واحدة تشبه الشجرة وقابلة للتفسير تمثل بصدق منطق اتخاذ القرار لنموذج انحدار الغابة العشوائية المدرب.

1. بناء مصفوفة عدم التشابه

تبدأ المنهجية بتعريف مصفوفة عدم تشابه $D$ مشتقة من نموذج الغابة العشوائية. ليكن $H = \{H_1, \dots, H_B\}$ عبارة عن غابة عشوائية مكونة من $B$ من المتعلمين الضعفاء المدربة على عينة بحجم $n$ . لأي ملاحظتين $u_i$ و $u_j$ ، يتم تعريف عدم التشابه $d_{ij}$ كـ $1 - O_{ij}$ ، حيث $O_{ij}$ هو مقياس حدوث مشترك مرجح.

يقيس $O_{ij}$ مدى تكرار وقوع زوج من الملاحظات في نفس العقدة عبر تسلسل الأشجار، موازنًا بمقياس جودة الملاءمة المحلي $W(t)_{ij|b}$ للعقدة $t$ في الشجرة $b$ :
$O_{ij} = \frac{\sum_{b=1}^{B} I(u_i \land u_j) \cdot W(t)_{ij|b}}{\max(\sum_{b} u_i W(t)_{i|b}; \sum_{b} u_j W(t)_{j|b})}$

2. جودة الملاءمة الخاصة بالانحدار

تتمثل المساهمة الرئيسية لهذه الورقة في تكييف مقياس جودة الملاءمة المحلي $W(t)_{ij|b}$ لسياق الانحدار. في سياق التصنيف، كان هذا المقياس يعتمد على النقاء؛ أما في الانحدار، فيقترح المؤلفون استخدام متوسط مربع الخطأ الموحد (NMSE):
$NMSE(t)_{ij|b} = \frac{MSE(t)_{ij|b}}{MSE_{max} \cdot p(t)}$
حيث أن:

$MSE(t)_{ij|b}$ هو متوسط مربع الخطأ عند العقدة $t$ .
$p(t)$ هو نسبة الملاحظات في العقدة $t$ .
$MSE_{max}$ هو الحد الأقصى النظري لـ $MSE$ ، والذي يتم حسابه بناءً على نطاق متغير الاستجابة $Y$ داخل العقدة (اتباعًا لـ Jacobson, 1969): $MSE_{max} = \frac{(\max(Y|b) - \min(Y|b))^2}{9}$ .

يتم بعد ذلك تعريف مقياس الملاءمة المحلي كالتالي:
$W(t)_{ij|b} = \begin{cases} 0 & \text{إذا كان } 1 - NMSE(t)_{ij|b} \le 0 \\ 1 - NMSE(t)_{ij|b} & \text{خلاف ذلك} \end{cases}$

3. بناء الشجرة وقواعد التوقف

تقوم الخوارزمية ببناء E2Tree من خلال تقسيم البيانات بشكل متكرر بناءً على مصفوفة عدم التشابه $D$ . ولمنع الإفراط في التخصيص (overfitting) وضمان أن تكون الشجرة الناتجة موجزة، قدم المؤلفون معايير توقف محددة تتجاوز تقسيمات الغابة العشوائية القياسية:

عتبة NMSE ( $\gamma$ ): تصبح العقدة نهائية إذا انخفض $NMSE(t)_{ij|b}$ المحسوب عن عتبة محددة $\gamma$ (تم ضبطها عند 0.05 في التجارب).
التكافؤ التوزيعي: لكل تقسيم محتمل، يتم إجراء اختبار Mann-Whitney للتحقق مما إذا كانت توزيعات القيم المتوقعة في العقد الأبناء متطابقة. إذا لم تكن التوزيعات مختلفة بشكل كبير، يتم رفض التقسيم، وتُعامل العقدة الأب كعقدة نهائية.

المساهمات الرئيسية

التوسيع المنهجي: المساهمة الأساسية هي التوسيع الرسمي لـ E2Tree من التصنيف إلى الانحدار. يتضمن ذلك إعادة تعريف مقياس جودة الملاءمة المحلي لاستخدام NMSE بدلاً من نقاء التصنيف.
التمثيل الموحد: توفر الطريقة بنية واحدة تشبه الشجرة تلتقط المنطق العالمي للغابة العشوائية، بما في ذلك التفاعلات المعقدة بين المتنبئات، مع الحفاظ على الدقة التنبؤية للغابة الأصلية.
القدرة المزدوجة على التفسير: توفر E2Tree الناتجة كلاً من التفسيرات العالمية (الأنماط والقواعد التي يتبعها النموذج) والتفسيرات المحلية (المنطق التفصيلي لحالات محددة)، مما يسد الفجوة بين أداء الصندوق الأسود وقابلية التفسير البشري.
التنفيذ مفتوح المصدر: يوفر المؤلفون حزمة R (e2tree) وتوافر الكود، مما يسهل إعادة إنتاج الطريقة وتطبيقها المستقبلي.

النتائج التجريبية

تحقق المؤلفون من صحة الطريقة المقترحة باستخدام مجموعتي بيانات من مستودع UCI لتعلم الآلة: مجموعة بيانات Iris (المكيفة للانحدار على طول البتلة) ومجموعة بيانات Auto MPG (التنبؤ بكفاءة الوقود).

مجموعة بيانات Iris: نجحت E2Tree في إعادة بناء هيكل مصفوفة التواجد المشترك للغابة العشوائية. أدى تحليل العنقودة الهرمي الذي قارن بين مصفوفة الغابة العشوائية الأصلية ( $O_{ij}$ ) والمصفوفة المقدرة بواسطة E2Tree ( $\hat{O}_{ij}$ ) إلى الحصول على مؤشر Fowlkes-Mallows (FMI) بنسبة تقارب 90%، مما يشير إلى درجة عالية من التشابه في هيكل العنقودة.
مجموعة بيانات Auto MPG: على الرغم من حجم مجموعة البيانات الأكبر والعلاقات غير الخطية، نجحت E2Tree في تصور مسارات القرار بفعالية. أدت مقارنة الخرائط الحرارية لـ $O_{ij}$ و $\hat{O}_{ij}$ إلى FMI بنسبة تقارب 75%.
القابلية للتفسير: في كلتا الحالتين، قدمت E2Tree مسارات واضحة من نوع "إذا-إذن". بالنسبة لبيانات Auto MPG، صورت الشجرة التأثيرات السلبية للإزاحة (displacement)، والوزن (weight)، والقوة الحصانية (horsepower) على MPG، والتأثيرات الإيجابية لسنة الطراز (model year) والمنشأ (origin)، مما قدم رؤى لا يمكن الوصول إليها مباشرة من نموذج غابة عشوائية قياسي.

الأهمية والادعاءات

تدعي الورقة أن E2Tree تضمن بقاء نماذج تعلم الآلة "أدوات تمكين" من خلال تقديم عملية صنع قرار مفهومة دون التضحية بدقة المجموعة. ويؤكد المؤلفون أن نهجهم:

يفسر عملية المجموعة من خلال بنية شجرية واحدة متماسكة.
يحافظ على أداء الدقة للغابة العشوائية الأساسية.
يوفر أداة قوية لتفسير التفاعلات بين المتنبئات التي تحدد تنبؤات العقد النهائية.

يخلص المؤلفون إلى أن هذا التوسيع يعالج قضايا التفسير والوضوح في كل من سياقات التصنيف والانحدار. ويشيرون إلى أن العمل المستقبلي يهدف إلى تعميم النهج على منهجيات الأشجار المجموعات الأخرى وتطوير مقاييس إضافية لتقييم دقة نتائج E2Tree مقابل مخرجات المجموعة الأصلية. لا تدعي الورقة استبدال نماذج الصندوق الأسود، بل تهدف إلى توفير طبقة تفسير بعدي شفافة تحافظ على فائدة النموذج.