ملخص تقني: أشجار القرار الثلاثية ذات مناطق عدم اليقين التكيفية محلياً

بيان المشكلة

تستخدم أشجار القرار القياسية، ولا سيما تلك القائمة على خوارزمية CART، تقسيمات فضاء الميزات باستخدام عتبات ثنائية صلبة. وتخصص هذه الآلية نفس درجة الثقة للعينات بغض النظر عن قربها من حد القرار. وبناءً على ذلك، فإن العينة الواقعة بعيداً عن العتبة المثلى $\theta$ تُعامل بنفس درجة اليقين التي تُعامل بها العينة الموجودة مباشرة فوقها. هذا "الالتزام الصلب" يخلق نقطة ضعف معروفة: فهو يبالغ في تقدير اليقين للعينات القريبة من الحدود حيث يكون التقسيم المتعلم هو الأقل موثوقية، ويفشل في إرسال إشارات للتطبيقات اللاحقة بأن التنبؤ قد يكون غامضاً.

تعتمد الأساليب الحالية لمعالجة عدم اليقين على مواصفات ضوضاء خارجية (مثل أخطاء الاستشعار المعروفة) أو عتبات عالمية مشتقة من إحصائيات مستوى مجموعة البيانات. ولا تكيف هذه الطرق نفسها محلياً مع جودة التقسيم المحدد أو توزيع البيانات عند كل عقدة. علاوة على ذلك، فإن الأساليب مثل أشجار القرار الضبابية (fuzzy) أو أشجار القرار الناعمة (soft) تفتقر غالما إلى منطقة عدم يقين صريحة وقابلة للتفسير مشتقة من إحصائيات التقسيم المحلية.

المنهجية

تقدم الورقة البحثية أشجار القرار الثلاثية، والتي تعزز التقسيمات الثنائية القياسية بمنطقة عدم يقين تكيفية محلياً بنصف عرض $\delta$ متمحورة حول العتبة المثلى $\theta^*$.

التقييم الثلاثي

بالنسبة لميزة $x_f$ وعتبة $\theta^*$، يتم تعريف منطق القرار كما يلي:

• صحيح (حاسم): $x_f > \theta^* + \delta$
• خطأ (حاسم): $x_f \leq \theta^* - \delta$
• غير مقرر (غير مقرر عند الحد): $\theta^* - \delta < x_f \leq \theta^* + \delta$

العينات التي تقع في منطقة غير المقرر (Undec) لا تمتنع عن التنبؤ، بل تتلقى تنبؤاً يتكون من مزيج مرجح بالمسافة من مخرجات الاحتمالات لكلا الشجرتين الفرعيتين. ومن الأهمية بمكان أن هذه العينات يتم تمييزها كـ "غير مستقرة عند الحد"، مما يسمح للأنظمة اللاحقة بمعاملتها بشكل مختلف (على سبيل المثال، التوجيه للمراجعة البشرية) دون حجب تنبؤ الفئة.

حساب $\delta$ محلياً

المساهمة التقنية الجوهرية هي اشتقاق $\delta$ محلياً عند كل عقدة باستخدام الإحصائيات المحسوبة بالفعل أثناء عملية إيجاد التقسيم القياسية لـ CART، مما لا يتطلب أي بيانات خارجية أو نماذج ضوضاء. تقترح الورقة وتقيم خمس طرق:

1. هضبة الجودة ($\delta_{QP}$): تقيس عرض "الهضبة" في منحنى معيار التقسيم (مثل ربح جيني) حول $\theta^*$. تشير الهضبة الواسعة إلى أن البيانات لا تقيد موقع التقسيم الأمثل بدقة.
2. تداخل الفئات ($\delta_{CO}$): تحسب عرض المنطقة التي تتداخل فيها توزيعات الميزات المشروطة بالفئة، بناءً على المئويات التجريبية.
3. نسبة الربح ($\delta_{GR}$): تقوم بتغيير نطاق الميزة عكسياً بالنسبة لنسبة الربح (ربح المعلومات بالنسبة لإنتروبيا التقسيم). تشير نسب الربح المنخفضة إلى تقسيمات غامضة، مما يؤدي إلى قيم $\delta$ أكبر.
4. بوتستراب العقدة ($\delta_{NB}$): تقيس الانحراف المعياري للعتبة المثلى $\theta^*$ عبر عينات البوتستراب المتكررة لبيانات عقدة التدريب. وهذا يقيس مباشرة عدم استقرار العتبة.
5. الهامش ($\delta_{M}$): مستوحى من آلات ناقلات الدعم (SVM)، حيث يعرّف $\delta$ كالمسافة من $\theta^*$ إلى أقرب مثال تدريبي متقاطع الفئات (متجه الدعم عند تلك العقدة). إذا كان التقسيم نظيفاً تماماً، فإنه يستخدم الفجوة الفيزيائية بين نقاط البيانات المتجاورة.

بنيات التوجيه

تم تقييم بنيتين للتوجيه لنشر العينات غير المستقرة:

• التوجيه الاحتمالي: تظل بنية الشجرة ثنائية. أثناء التنبؤ، يتم توجيه العينات في منطقة عدم اليقين إلى كلا الطفلين بأوزان تتناسب عكسياً مع مسافتها من العتبة، ويتم دمج المخرجات.
• الفرع الأوسط الصلب: يتم إضافة عقدة طفل ثالثة إلى بنية الشجرة، يتم تدريبها حصرياً على العينات داخل منطقة عدم اليقين.
  أشارت النتائج التجريبية إلى أن التوجيه الاحتمالي تفوق عموماً على نهج الفرع الأوسط الصلب، لأن الأخير يزيل الأمثلة غير المستقرة من مجموعات التدريب للفرعين الأيسر والأيمن، مما يؤدي إلى تدهور جودتهما.

المساهمات الرئيسية

1. الإطار العملي: تقديم أشجار قرار ثلاثية توفر منطقة عدم يقين تكيفية محلية لكل تقسيم.
2. خمس طرق للتقدير: اشتقاق خمس طرق لحساب $\delta$ باستخدام إحصائيات تقسيم CART القياسية فقط، مما يلغي الحاجة إلى نماذج ضوضاء خارجية.
3. تقييم التوجيه: تحليل مقارن بين التوجيه الاحتمالي والتوجيه بالفرع الأوسط الصلب، مما يثبت تفوق الدمج الاحتمالي لمعظم الطرق.
4. التقييم التجريبي المكثف: التقييم عبر 72 مجموعة بيانات من OpenML-CC18، وثلاثة معايير بريمان الاصطناعية (ذات أخطاء بايز معروفة)، وأربع مجموعات بيانات طبية/مالية عالية المخاطر.
5. الإطار التشخيصي: تقديم إطار نسبة غير المقرر/بايز (U/B) لتقييم مدى توافق معدل التمييز (flagging rate) لطريقة ما مع الخطأ غير القابل للاختزال النظري لمجموعة البيانات.

النتائج

الصلاحية الواسعة (OpenML-CC18)

عبر 72 مجموعة بيانات، تفوقت جميع الطرق الخمس باستخدام التوجيه الاحتمالي بشكل كبير على خط الأساس لـ CART في دقة القرارات (الدقة المقتصرة على الحالات غير غير المستقرة) بقيمة $p \leq 0.001$.

• طريقة الهامش: حققت أفضل كفاءة (زيادة الدقة لكل وحدة من معدل التمييز، $\eta = 0.104$). فازت في 42 من أصل 72 مجموعة بيانات، ولم تميز سوى 16.7% من الحالات كغير مستقرة، ولم تتطلب أي معاملات فائقة (hyperparameters) إضافية.
• تداخل الفئات ونسبة الربح: حققتا دقة قرارات عالية ولكن مع تمييز نسبة كبيرة من الحالات (71% و58% على التوالي)، مما أدى إلى كفاءة أقل.
• بوتستراب العقدة: أدى أداءً جيداً ولكنه كان مكلفاً حوسبياً وتم استبعاده من مجموعات البيانات التي يزيد عدد عينات $N$ فيها عن 20,000.

التحليل النظري (معايير بريمان)

في مجموعات البيانات الاصطناعية ذات أخطاء بايز المعروفة:

• الهامش: أظهر سلوكاً ذاتي المعايرة في البيانات النظيفة هندسياً، حيث ميز حالات قليلة جداً كغير مستقرة (نسب U/B < 0.5)، وتصرف بفعالية مثل CART عندما تكون الحدود واضحة.
• بوتستراب العقدة وجودة الهضبة: أظهرا معايرة تناسبية، حيث ميزا حالات أكثر في مجموعات البيانات الأصعب (خطأ بايز أعلى)، رغم أن جميع الطرق بالغت في التمييز مقارنة بخطأ بايز النظري (U/B > 1).
• فجوة المعايرة: لم تحقق أي طريقة نسبة U/B قدرها 1.0، مما يشير إلى أن عدم يقين العتبة المحلية لا يتوافق مباشرة مع خطأ بايز العالمي.

التطبيقات المجالِيّة

• تصوير الثدي (Mammography): ميز بوتستراب العقدة 10.8% من الحالات كغير مستقرة مع تحسين دقة القرارات بنسبة 0.71% عن CART. وهذا أمر قيم لتحديد الحالات التي تحتاج إلى مراجعة ثانوية.
• مرض السكري: حقق بوتستراب العقدة زيادة في الدقة بنسبة +9.8% ولكنه ميز 63.4% من المرضى، مما يشير إلى وجود مقايضة بين الدقة ومعدل التمييز. قدمت طريقة الهامش نقطة تشغيل أكثر تحفظاً وعملية (+0.4% زيادة، 9.5% تمييز).
• القيود: في مجموعة بيانات أمراض القلب في كليفلاند الصغيرة ($N=303$)، أدى بوتستراب العقدة إلى أداء ضعيف بسبب عدم موثوقية تقديرات التباين. وفي مجموعة بيانات الائتمان الألماني، كان أداء طريقة الهامش أقل من الخط الأساسي، مما يشير إلى قيود تتعلق بالتفاعلات المعقدة للميزات الاقتصادية.

الأهمية والادعاءات

تدعي الورقة أنها أرست دعائم الشجرة الثلاثية كـ أصل مبدئي لإدراك عدم اليقين في التصنيف. وتكمن أهميتها في:

• الفائدة العملية: توفير آلية لتمييز التنبؤات غير المستقرة عند الحدود دون الامتناع عن التنبؤ، مما يسمح للأنظمة اللاحقة (مثل الفحص الطبي أو تقييم الائتمان) بتطبيق استراتيجيات معالجة مختلفة.
• القابلية للتطبيق الحوسبي: اشتقاق مناطق عدم اليقين من إحصائيات التقسيم الموجودة دون الحاجة إلى بيانات خارجية أو إعادة تدريب معقدة.
• التأسيس النظري: تقديم إطار حيث يكون حكم "غير مقرر" (Undec) بمثابة وصف لجودة التنبؤ وليس رفضاً للتنبؤ نفسه.

يشير المؤلفون بتواضع إلى أنه بينما تحسن الطرق من دقة القرارات، إلا أنها لم تعاير بعد معدل التمييز بدقة مع خطأ بايز النظري، معتبرين أن هذه المعايرة تمثل مشكلة مفتوحة وملموسة للعمل المستقبلي.