ملخص تقني: ما وراء التفكيكات الجمعية: القابلية للتفسير من خلال القابلية للفصل

بيان المشكلة

تواجه قابلية التفسير في تعلم الآلة توتراً جوهرياً بين الدقة التنبؤية والشفافية الهيكلية. فبينما تحقق النماذج "الصندوق الأسود" (مثل الشبكات العصبية العميقة، وتجمعات تعزيز التدرج) أداءً يضاهى مستويات التقدم، إلا أنها تفتقر إلى الهياكل القابلة للقراءة. وفي المقابل، تقدم النماذج "الزجاجية" مثل النماذج الجمعية المعممة (GAMs) الشفافية، لكنها غالباً ما تفشل في التقاط التفاعلات المعقدة أو تعتمد على افتراضات معلمية غير دقيقة.

تعتمد طرق التفسير الحالية، بما في ذلك التفسيرات اللاحقة (مثل SHAP، وIntegrated Gradients) والنماذج الزجاجية، بشكل كبير على التفكيكات الجمعية. ويجادل المؤلفون بأن التمثيلات الجمعية تعاني من أوضاع فشل حرجة في وجود تفاعلات قوية:

1. إلغاء الإشارة: يمكن لتفسيرات SHAP المحلية أن تلغي التأثيرات الرئيسية والتفاعلية، مما يؤدي إلى صفرية العزو للميزات النشطة.
2. حجب التفاعل: تعمل مخططات الاعتماد الجزئي (PDPs) على تهميش الميزات الأخرى، مما يؤدي فعلياً إلى التخلص من معلومات التفاعل ذات الرتب العليا واستعادة التأثيرات الرئيسية فقط.
3. الاستقراء خارج النطاق (Off-Support Extrapolation): يمكن أن يؤدي المتوسط الهامشي في فضاءات الميزات المترابطة إلى أنماط زائفة في المناطق ذات الكثافة المنخفضة.

يفترض البحث أن هذه القيود تنبع من عدم القدرة المتأصلة في الإسقاطات الجمعية على تمثيل الهياكل التفاعلية الضربيه أو القابلة للفصل بأمانة دون فقدان للمعلومات.

المنهجية: تعلم فصل التنسور (TSL)

يقترح المؤلفون تعلم فصل التنسور (TSL)، وهو نموذج انحدار مصمم لتعلم مجموع رتب من المنتجات من الدرجة الأولى (rank-1) للدوال أحادية المتغير لكل ميزة. وخلافاً للنماذج القابلة للفصل القياسية، يفرض TSL قيوداً هيكلية محددة لضمان الاستقرار والقابلية للتفسير.

صياغة النموذج

يُعرف مُقدّر TSL بـ $\hat{m}(x)$ كأنه مجموع $R$ من المراحل، حيث كل مرحلة $\ell$ هي الفرق بين منتجين قابلين للفصل وموجبين:
$$\hat{m}(x) = \sum_{\ell=1}^{R} \left( \lambda^{(\ell)}_+ \prod_{j=1}^p \hat{m}^{(\ell)}_{+,j}(x_j) - \lambda^{(\ell)}_- \prod_{j=1}^p \hat{m}^{(\ell)}_{-,j}(x_j) \right)$$
وتشمل القيود الرئيسية ما يلي:

• الموجبية: يتم تقييد جميع الدوال المكونة $\hat{m}^{(\ell)}_{\pm,j}(x_j)$ لتكون موجبة تماماً ($>0$). يضمن هذا أن كل مكون يعزز أو يثبط ناتجه بشكل لا لبس فيه، مما يزيل غموض الإشارة المتأصل في المنتجات غير المقيدة.
• الفرق المرتب: كل مرحلة هي فرق بين حدين موجبين، مما يسمح للنموذج بتمثيل المساهمات الموقعة مع الحفاظ على العوامل الموجبة.

المعلمة: العمود الفقري والميل (Backbone and Tilt)

لتعزيز القابلية للتفسير، يقدم المؤلفون إعادة معلمة العمود الفقري/الميل لكل زوج من الميزات في كل مرحلة:
$$\hat{m}^{(\ell)}_{\pm,j}(x_j) = b^{(\ell)}_j(x_j) e^{\pm d^{(\ell)}_j(x_j)}$$

• العمود الفقري ($b$): يمثل القدر المشترك أو "بوابة النشاط" للمرحلة. وهو يحدد أين تكون المرحلة نشطة (القيم القريبة من الصفر توقف المرحلة).
• الميل ($d$): يمثل عدم التوازن الموقّع بين الفروع الموجبة والسالبة. وهو يتحكم في اتجاه المساهمة.
  يفصل هذا التفكيك بين مقدار التأثير واتجاهه الموقّع، مما يسمح بتصور أمين حتى عندما يكون صافي المساهمة الموقعة قريباً من الصفر بسبب الإلغاء.

إجراء الملاءمة

يستخدم TSL إجراءً جشعاً مرحلياً مع إعادة الملاءمة المتعامدة:

1. الملاءمة المرحلية: في كل مرحلة $\ell$، يقوم النموذج بملاءمة البواقي الحالية باستخدام نهج صقل التنسور الشبكي المستوحى من أشجار القرار (CART). يتعلم دوال أحادية المتغير ثابتة جزئياً على تقسيم تكيفي.
2. التجميع والتدوير (Bagging and Aggregation): لتقليل التباين، يتم ملاءمة عدة تنسورات شبكية بالتوازي على عينات بوتستراب، ويقوم مخطط تجميع يعتمد على التشابه (بالارتكاز إلى شبكة مرجعية وتصفية القيم المتطرفة) بدمج هذه النماذج في متنبئ مرحلة واحد.
3. إعادة الملاءمة المتعامدة: بعد ملاءمة مرحلة جديدة، يتم تحسين جميع معاملات المرحلة $\{\lambda^{(k)}_\pm\}$ بشكل مشترك عبر المربعات الصغرى مقابل الهدف $y$. تضمن عملية إعادة الملاءمة هذه أن المعاملات تكون مثالية بالنسبة لمجموعة المراحل الحالية.

المساهمات الرئيسية

1. تعلم فصل التنسور (TSL): خوارزمية انحدار مبتكرة تقدر المتوسط الشرطي كمجموع فروق لمنتجات قابلة للفصل من الدرجة الأولى وموجبة.
2. القابلية للتفسير الأصلية للنموذج: يثبت المؤلفون أنه بالنسبة لـ TSL، يمكن إعادة بناء النموذج بدقة من دوال الاعتماد الجزئي من الدرجة الأولى (حتى عوامل ثابتة). وخلافاً للطرق اللاحقة، فإن تصورات TSL (منحنيات الاعتماد الجزئي أحادية البعد) ليست تقريبات بل هي تمثيلات أمينة للمكونات الملائمة. يسمح تفكيك العمود الفقري/الميل للممارسين بالتمييز بين المقدار (النشاط) والاتجاه (عدم التوازن الموقّع).
3. نظرية التقريب: يضع البحث معدل تقريب قدره $O(1/\sqrt{r})$ لفئة فرضية TSL على الدوال ذات المشتقات الجزئية المختلطة المحدودة (تحديداً في فضاء سوبولف $W^{(1,1)}_{mix}$)، باستخدام إطار عمل التقريب الجشع المتعامد (OGA).

النتائج التجريبية

قيم المؤلفون TSL على مجموعة OpenML CTR 23 (27 مجموعة بيانات) مقابل خطوط الأساس المتطورة:

• خطوط الأساس: نماذج الصندوق الأسود (XGBoost, LightGBM, Random Forest) ونماذج قابلة للتفسير (EBMs، وSepALS — وهو نموذج قابل للفصل بدون قيود TSL).
• الأداء: يحقق TSL أداءً تنبؤياً تنافسياً. في المجموعة القابلة للتفسير، يحتل TSL المرتبة الثلاث الأولى في 17 من أصل 27 مجموعة بيانات، وهو أفضل نموذج قابل للتفسير في 5 منها.
• التحليل المقارن:
  • يتفوق TSL على EBM وتجمعات الأشجار في مجموعات البيانات ذات الهياكل القابلة للفصل منخفضة الرتبة (مثل socmob، وCalifornia housing).
  • في California housing، يلتقط TSL التفاعلات المكانية الموضعية غير الرتيبة (مثل علاوات المناطق الساحلية) التي تقوم نماذج EBM وXGBoost بتنعيمها أو تفشل في عزلها في ملخصات أحادية البعد.
  • دراسة حالة اصطناعية: في مثال اصطناعي حيث يتم حجب تأثير تربيعي قوي بواسطة تفاعل من الدرجة الثالثة (مما يؤدي إلى صفرية الاعتماد الجزئي أحادي البعد)، ينجح TSL في استعادة المقدار الأساسي عبر منحنيات العمود الفقري، بينما تفشل منحنيات PDP وICE القياسية في كشف الإشارة دون تجميع معقد.
  • دراسة الاستبعاد (Ablation): يؤدي إزالة قيد الموجبية وهيكل الفرق المرتب (TSL 1-product) إلى تدهور الأداء بشكل كبير، مما يؤكد أن هذه القيود حاسمة للمرونة التمثيلية والاستقرار.

الأهمية والادعاءات

يزعم البحث أن TSL يقدم مساراً متميزاً للقابلية للتفسير من خلال الانتقال "ما وراء التفكيكات الجمعية". تكمن أهميته الأساسية في:

• التصور الأمين: من خلال فرض الفصل والموجبية، يضمن TSL أن مخططات الاعتماد الجزئي تستعيد الشكل الدقيق للعوامل الملائمة، متجنباً فقدان المعلومات والحجب المتأصل في الإسقات الجمعية للنماذج التفاعلية.
• التعامل مع التفاعلات: يوفر TSL آلية لتصور وفهم التفاعلات عالية الرتبة من خلال ملخصات أحادية البعد (العمود الفقري والميل) دون اللجوء إلى تفسيرات الصندوق الأسود الغامضة أو المخططات عالية الأبعاد.
• الدقة التنافسية: يثبت أنه يمكن لنموذج زجاجي ذي هيكل قابل للفصل أن ينافس صناديق الأشجار القوية في مهام الانحدار، مما يتحدى الفكرة القائلة بأن الدقة العالية تتطلب التضحية بالقابلية للتفسير.

يظل المؤلفون متواضعين فيما يتعلق بالقيود، حيث يقرون بأن معدلات التقريب لـ TSL تعتمد على افتراضات النعومة المختلطة، وأن التمثيل القابل للفصل يعاني من عدم تحديد الهوية (non-identifiability) (مما يتطلب إجراءات التجميع/التصفية المحددة الموصوفة). كما يشيرون إلى أنه في المسائل الجمعية البحتة، قد تظل الطرق الموجودة مثل EBM خطوط أساس أقوى.