Generalized Functional ANOVA in Closed-Form: A Unified View of Additive Explanations

ملخص تقني: تحليل التباين الوظيفي المعمم في صيغة مغلقة

بيان المشكلة
تعمل نماذج تعلم الآلة الحديثة، ولا سي‌ما المجموعات (ensembles) المعقدة والشبكات العصبية، غالبًا كـ "صناديق سوداء" غامضة، مما يجعل خرائط الإدخال والإخراج الخاصة بها صعبة التفسير. وبينما أنتجت الذكاء الاصطناعي القابل للتفسير (XAI) العديد من طرق التفسير البعدية (مثل SHAP وLIME) والنماذج القابلة للتفسير جوهريًا (مثل GAMs وEBMs)، إلا أن هذه النهج تواجه انتقادات أساسية: فهي غالبًا ما تعتمد على بناءات استدلالية تفتقر إلى نظريات تمثيل دقيقة، كما يمكن أن تكون مكلفة حاسبيًا أو غير قابلة للحل بشكل رسمي.

يتمثل التحدي المركزي في قابلية التفسير في تحليل التباين الوظيفي (Functional ANOVA decomposition) (أو تحليل هوفدينج)، والذي يفكك المتنبئ إلى تأثيرات رئيسية وتفاعلات من درجات أعلى. وبينما يكون هذا التحليل صريحًا ومتعامدًا للمدخلات المستقلة، فإن الحصول على تمثيل قابل للتتبع للمدخلات المعتمدة يظل أمرًا صعبًا. تتطلب الطرق الموجودة للمدخلات المعتمدة معرفة بكثافة المدخلات، وتقتصر على أنواع معينة من النماذج (مثل مجموعات الأشجار)، أو تم حلها مؤخرًا فقط للبيانات الفئوية. هناك حاجة لإطار عمل موحد، مستقل عن النموذج، يوفر حلاً صريحًا في صيغة مغلقة للمدخلات المستمرة المعتمدة ويسمح بالتقدير الفعال من البيانات.

المنهجية
يقترح المؤلفون إطار عمل موحد لـ تحليل التباين الوظيفي المعمم للمتغيرات العشوائية المستمرة والمحدودة. تسير المنهجية عبر ثلاث مراحل:

1. الصياغة النظرية (الأساس ذو الصيغة المغلقة):
   تثبت الورقة أن تحليل التباين الوظيفي المعمم، المعرف كحل لمشكلة تحسين المربعات الصغرى المقيدة في فضاء هيلبرت، يقبل حلاً صريحًا في صيغة مغلقة للميزات المستمرة المحدودة.

• الافتراض: متجه المدخلات $X$ مدعوم على مستطيل فائق $[-1, 1]^p$ بكثافة $f$ محدودة بعيدًا عن الصفر واللانهاية.
• بناء الأساس: يبني المؤلفون أساس ريز (Riesz basis) $\Xi$ لفضاء $L^2([−1, 1]^p, \mu_f)$ باستخدام كثيرات حدود ليجاندر المعيرة وآلية توزين احتمالية عكسية. وتحديدًا، يتم تعريف دالات الأساس لمجموعة فرعية من المتغيرات $S$ كالتالي:
  $$\xi^{(m_S)}_S(x) := \frac{1}{\sqrt{2^{p-|S|}}} \cdot \frac{\prod_{j \in S} \tilde{P}_{m_j}(x_j)}{f_S(x_S)}$$
  حيث $\tilde{P}_m$ هي كثيرات حدود ليجاندر المعيرة و$f_S$ هي الكثافة الهامشية لـ $X_S$.
• التعامد: يضمن هذا البناء تعامدًا هرميًا، مما يعني أنه لأي مجموعة فرعية صارمة $T \subset S$، يكون المكون $\nu_S$ متعامدًا مع أي دالة لـ $X_T$. وهذا يستعيد التفكيك المتعامد الكلاسيكي في حالة الاستقلال ويتصل طبيعيًا بقيم شابلي (Shapley values) عبر حصص هارساني (Harsanyi dividends).

2. خوارزمية التقدير:
   بما أن الأساس متاح في صيغة مغلقة، فإن تقدير التفكيك يختزل إلى تقدير معاملات توسيع الأساس عبر انحدار المربعات الصغرى.

• القطع (Truncation): للتعامل مع الطبيعة ذات الأبعاد اللانهائية للمشكلة، يستخدم المؤلفون مجموعة قطع $I^K_d$ التي تحد من رتبة التفاعل إلى $K$ ودرجة كثير الحدود إلى $d$. وهذا يستفيد من مبادئ "ندرة التأثيرات" و"الامتناع".
• تقدير الكثافة: يتم تقدير الكثافات الهامشية $f_S$ المطلوبة للأساس من البيانات باستخدام توسيعات ليجاندر الموترة المقطوعة.
• خط الإنتاج (Pipeline): تتضمن الخوارزمية قياس الميزات (Scaling) إلى $[-1, 1]$، وتقدير الكثافة، وبناء مصفوفة التصميم باستخدام دالات الأساس، ثم حل النظام الخطي (باستخدام LARS لاختيار النموذج وSVD للحل). هذه العملية مستقلة عن النموذج، وتتطلب فقط أزواج المدخلات والمخرجات.

3. التحقق التجريبي:
   تم تقييم الطريقة على حالات تحليلية اصطناعية وست مجموعات بيانات من العالم الحقيقي (Bike Sharing, California Housing, Census Income, إلخ) باستخدام أربع عائلات من النماذج: XGBoost، وMLP، وEBM، وNAM. وتمت مقارنتها مع أفضل الطرق المتاحة (KernelSHAP، DeepSHAP، TreeSHAP، TreeHFD) والتفكيكات الأصلية للنماذج القابلة للتفسير.

المساهمات الرئيسية

1. حل صريح في صيغة مغلقة: تثبت الورقة أن تحليل التباين الوظيفي المعمم للميزات المستمرة المحدودة يقبل حلاً صريحًا، مما يحول مشكلة التحسين غير المعلمية إلى مشكلة انحدار مربعات صغرى.
2. إطار عمل موحد: يستعيد هذا الصياغة طبيعيًا حالة الاستقلال الكلاسيكية، وتوسيعات كثيرات الحدود المتعامدة، والاتصال بقيم شابلي. كما يوفر أساسًا رياضيًا صارمًا للتفسيرات الجمعية في وجود مدخلات معتمدة.
3. مُقدِّر فعال ومستقل عن النموذج: يقترح المؤلفون خوارزمية بسيطة ذات زمن تشغيل حدودي لتقدير التفكيك من عينة بيانات دون الوصول إلى البنية الداخلية للنموذج. تستغل الطريقة مبدأ الندرة لتظل قابلة للتنفيذ عمليًا.
4. التوحيد التجريبي: تُظهر التجارب أن طرق التفسير الموجودة (متغيرات SHAP) والنماذج القابلة للتفسير جوهريًا (مثل GAMs وEBM) تقترب بدقة من مكونات محددة من تحليل التباين الوظيفي، مما يشير إلى أن الإطار المقترح يوحد هذه النهج المتباينة.

النتائج

• الدقة: يحقق المُقدِّر المقترح دقة إعادة بناء عالية ($R^2 \geq 0.85$) عبر جميع مجموعات البيانات وعائلات النماذج.
• التعامد: على الرغم من استخدام تقديرات كثافة "الاستبدال" (plug-in)، فقد تم الحفاظ بوفاء على التعامد الهرمي بين المكونات (قيم MaxCorr منخفضة).
• الكفاءة: الطريقة فعالة حاسبيًا، حيث تقدر التفكيكات لمجموعات بيانات تضم عشرات الآلاف من العينات في ثوانٍ معدودة (على سبيل المثال، ~0.6 ثانية لـ 48 ألف عينة في Census Income).
• المقارنة: تشير المقارنات البصرية (الأشكال 1-4) إلى أن التأثيرات الرئيسية للطريقة المقترحة تتوافق وثيقًا مع المكونات النظرية في الإعدادات الاصطناعية ومع التأثيرات الأصلية لـ EBM/NAM، بينما توفر تفكيكًا أكثر صرامة من متغيرات SHAP الاستدلالية.

الأهمية والادعاءات
تدعي الورقة تقديم منظور توحيدي للتفسيرات الجمعية. ومن خلال ترسيخ أساليب الذكاء الاصطناعي القابل للتفسير في الكائن الرياضي الصارم لتحليل التباين الوظيفي المعمم، يجادل المؤلفون بأن:

• التفسيرات الجمعية ليست مجرد بناءات استدلالية بل هي مكونات لكائن رياضي محدد جيدًا ذي خصائص هيكلية.
• يمكن إعادة صياغة العديد من طرق التفسير البعدية والنماذج القابلة للتفسير جوهريًا كتقريبات لمكونات محددة من هذا التفكيك.
• يوفر النهج المقترح أداة عملية، فعالة، وسليمة نظريًا لتفكيك النماذج "الصندوق الأسود"، لا سيما في الإعدادات ذات المدخلات المعتمدة حيث كانت الطرق السابقة محدودة أو غير قابلة للحل.

يقر المؤلفون بوجود قيود، بما في ذلك افتراض المدخلات المستمرة المحدودة والاعتماد على القطع (truncation) للمشكلات عالية الأبعاد، مشيرين إلى أن توسيع الإطار ليشمل أنواع البيانات غير المحدودة أو المختلطة يظل تحديًا للعمل المستقبلي.