ملخص تقني: خليط من خبراء عنق زجاجة المفاهيم (M-CBEs)

بيان المشكلة

برزت نماذج عنق الزجاجة للمفاهيم (CBMs) كنهج واعد لمواءمة نماذج التعلم العميق مع التفكير البشري من خلال تفكيك التنبؤات إلى مرحلتين: مشفر مفاهيم يربط المدخلات الخام بمتغيرات مفهومة بشرياً (المفاهيم)، ومتنبئ مهمة يربط هذه المفاهيم بالمخرج النهائي. ومع ذلك، فإن نماذج CBMs الحالية تقيد عادةً متنبئ المهمة بـ دالة عالمية واحدة ذات شكل وظيفي محدد مسبقاً (مثل طبقة خطية واحدة أو تعبير منطقي Boolean ثابت).

هذا الجمود يفرض قيوداً حرجة اثنين:

1. قدرة تعبيرية محدودة: غالباً ما تفشل الدالة العالمية الواحدة في التقاط عملية توليد العلاقة بين المفهوم والمهمة، والتي قد تكون معقدة، مما يؤدي إلى دقة تنبؤية دون المستوى الأمثل.
2. قابلية تفسير غير مرنة: قابلية التفسير تعتمد بطبيعتها على المستخدم. إن تثبيت الشكل الوظيفي (على سبيل المثال، فرض نموذج خطي بينما العلاقة غير خطية، أو نموذج Boolean بينما العلاقة مستمرة) قد يضحي بلا ضرورة بالأداء التنبؤي أو يفشل في المواءمة مع النماذج الذهنية المختلفة للمستخدمين.

غالباً ما توجه النهج الحالية المدخلات إلى خليط من الخبراء (MoE) لتحسين الدقة، ولكن هذه النهوج عادة ما توجه المدخلات إلى متنبئات "صندوق أسود" أو تثبت الشكل الوظيفي للخبراء، مما يفشل في معالجة التحسين المشترك للدقة وقابلية التفسير المتوافقة مع المستخدم.

المنهجية

يقترح المؤلفون خليط من خبزاء عنق زجاجة المفاهيم (M-CBEs)، وهو إطار عمل موحد يعمم نماذج CBM عبر بُعدين:

1. عدد الخبراء: بدلاً من دالة عالمية واحدة، يتم نمذجة متنبئ المهمة كخليط من $M$ من الدوال المتخصصة (الخبراء).
2. الشكل الوظيفي: يسمح الإطار بالتحكم الصريح في الشكل الوظيفي لكل خبير، بدءاً من التعبيرات الخطية البسيطة وصولاً إلى التعبيرات الرمزية المعقدة المحددة بواسطة مفردات العمليات التي يحددها المستخدم.

الإطار الأساسي

تمثل نماذج M-CBEs متنبئ المهمة كمتغير عشوائي $T$ (شجرة تعبير) مشروط بالمدخل $x$. يتوزع التوزيع المشترك كالتالي:
$$p(y, c | x) = p(c | x) \sum_{m=1}^{M} p(m | x) p(y | c, t_m)$$
حيث أن:

• $p(c | x)$ هو مشفر المفاهيم.
• $p(m | x)$ هو مُحدد (موجه/router) قابل للتعلم يخصص المدخل $x$ لفهرس خبير محدد $m$.
• $t_m$ هي شجرة تعبير فريدة وثابتة مرتبطة بالخبير $m$.
• $p(y | c, t_m)$ هو متنبئ المهمة الذي ينفذ التعبير $t_m$ المختار على المفاهيم $c$.

من خلال فرض مجموعة محدودة من أشجار التعبير، تضمن نماذج M-CBEs قابلية تفسير عالمية، مما يسمح للمستخدمين بفحص جميع مسارات الاستدلال في وقت محدد، على عكس النماذج التي تولد تعبيرات فريدة لكل مدخل (والتي تؤدي إلى تعقيد لانهائي).

نموذجان مبتكران

يقدم البحث نموذجين محددين لاستكشاف مساحة التصميم هذه:

1. النموذج الخطي (Lin-M-CBE):

   • البنية: يقيد أشجار التعبير إلى شكل وظيفي خطي ($y = w^T c + b$).
   • الآلية: يتعلم مجموعة محدودة من $M$ من التعبيرات الخطية المتميزة. يقوم الموجه بتوجيه المدخلات إلى الخبير الخطي الأكثر ملاءمة.
   • الهدف: يوفر توازناً قوياً لمهام التصنيف عالية الأبعاد حيث تكون التركيبات الخطية للمفاهيم كافية، ولكن النموذج الخطي العالمي الواحد غير كافٍ.

2. النموذج الرمزي (Sym-M-CBE):

   • البنية: يستفيد من الانحدار الرمزي (Symbolic Regression) لاكتشاف بنية أشجار التعبير.
   • الآلية: يحدد المستخدمون مفردة من العمليات القابلة للتفسير $W$ (مثل $\{+, -, \times, \sin, \exp\}$). يقوم النموذج أولاً بتدريب "صندوق أسود مؤقت" (مثل MLP) لكل خبير. بعد ذلك، يتم تطبيق الانحدار الرمزي على مجموعات البيانات المخصصة لكل خبير لتقطير الشجرة التعبيرية الرمزية المثلى $t_m$ باستخدام مفردة العمليات المحددة من قبل المستخدم.
   • القابلية للتكيف: يدعم التكيف اللاحق (post-hoc adaptation). بمجرد تدريب المشفر والموجه، يمكن للمستخدمين تغيير مفردة العمليات $W$ لتوليد تعبيرات رمزية جديدة تتماشى مع خبراتهم في المجال دون إعادة تدريب النموذج بأكره.

المساهمات الرئيسية

1. إطار عمل موحد: تستوعب نماذج M-CBEs طرق CBM الحالية (مثل CBM القياسي، CMR، DCR) كحالات خاصة، بينما تكشف عن مساحة تصميم غير مستكشفة إلى حد كبير ثنائية الأبعاد (عدد الخبراء $\times$ الشكل الوظيفي).
2. ضمانات نظرية: يقدم المؤلفون مقترحات تثبت أن:
   • أي خبير غير خطي واحد يمكنه تقريب أي دالة مستمرة (التقريب الشامل/Universal Approximation).
   • خليط من الخبراء الخطيين يمكنه تقريب أي دالة مستمرة إذا كان $M$ كبيراً بما يكفي، مع انخفاض أخطاء التقريب مع زيادة $M$.
3. قابلية التفسير العالمية: من خلال التعلم من مجموعة محدودة من التعبيرات، تتجنب نماذج M-CBE مشكلة "الذاكرة اللانهائية" للنماذج الخاصة بكل حالة (مثل LICEM أو DCR)، مما يتيح الفحص والتحقق الكامل للنموذج.
4. القابلية للتكيف اللاحق: تتيح نماذج Sym-M-CBE للمستخدمين تعديل تعقيد ونوع التعبيرات (على سبيل المثال، الانتقال من الأشكال المثلثية إلى كثيرات الحدود) بعد التدريب الأولي، مما يلبي مستويات الخبرة المتنوعة للمستخدمين.

النتائج التجريبية

تم تقييم الإطار على أربع مجموعات بيانات اصطناعية وخمس مجموعات بيانات من العالم الحقيقي (تشمل MNIST-Arithm، dSprites-Exp، Pendulum، MAWPS، AWA2، CUB-200، و CIFAR-10) تغطي مهام التصنيف والانحدار.

• المقايضة بين الدقة وقابلية التفسير: استكشاف مساحة التصميم يسمح بإيجاد جبهة باريتو (Pareto frontier).
  • يتفوق النموذج الرمزي (Sym-M-CBE) في مهام الانحدار (مثل Pendulum)، حيث يكتشف تعبيرات مدمجة وعالية الدقة تهيمن على جبهة باريتو.
  • يوفر النموذج الخطي (Lin-M-CBE) توازناً قوياً لمهام التصنيف عالية الأبعاد، حيث يتفوق على المنطق الـ Boolean الجامد (مثل CMR، DCR) الذي يتدهور بشكل كبير مع زيادة عدد المفاهيم (مثل في CUB-200 و CIFAR-10).
• القابلية للتوسع: تفشل الأشكال الوظيفية الـ Boolean في التوسع مع مساحات المفاهيم عالية الأبعاد بسبب هشاشة القواعد الاقترانية. أما الأشكال الجبرية (الخطية والرمزية) فتحافظ على أداء قوي.
• القابلية للتدخل (Intervenability):
  • يحقق Sym-M-CBE قابلية تدخل مثالية تقريباً في مهام الانحدار، حيث يستعيد الآليات الحقيقية (مثل $8.0 \sin(\theta) + 10.0$) ويظهر انخفاضات حادة في الخطأ عند تصحيح المفاهيم.
  • يتميز Lin-M-CBE باستجابة عالية للتدخلات في مهام التصنيف، متفوقاً على النماذج الأخرى القابلة للتفسير عالمياً.
• التعامل مع المفاهيم غير المكتملة: يعمل زيادة عدد الخبراء ($M > 1$) على تعويض نقص مفاهيم عنق الزجاجة أو اختلاف منطق المهمة عبر مساحة المدخلات، مما يستعيد الأداء التنبؤي حيث تفشل النماذج ذات الخبير الواحد.
• التعقيد: غالباً ما تضاهي نماذج M-CBE أو تتجاوز دقة نماذج MLP "الصندوق الأسود" مع كونها أقل تعقيداً بشكل كبير (عدد عقد أقل في أشجار التعبير).

الأهمية والادعاءات

يزعم البحث أن نماذج M-CBEs تضع نهجاً مبدئياً لتطوير نماذج قابلة للتفسير تتكيف مع متطلبات المهمة واحتياجات المستخدمين المتنوعة.

• دمقرطة الذكاء الاصطناعي: من خلال تمكين المستخدمين من مواءمة آليات التنبؤ للنموذج مع الحسابات التي يمكنهم تفسيرها (من التعبيرات الرياضية المعقدة لخبراء المجال إلى كثيرات الحدود المبسطة للمستخدمين العاديين)، فإن هذا الإطار يعمل على دمقرطة الوصول إلى الذكاء الاصطناعي.
• الذكاء الاصطناائي المسؤول: يعزز البحث نشر الذكاء الاصطناعي المسؤول من خلال ضمان بقاء التنبؤات قائمة على مجموعات محدودة وقابلة للفحص من التعبيرات القابلة للتفسير، مما يعالج غموض نماذج الصندوق الأسود في المجالات عالية المخاطر.
• المقايضة المثلى: يؤكد المؤلفون أنه لا يوجد خيار معماري واحد متفوق عالمياً؛ بل إن القدرة على التنقل في مساحة التصميم بين عدد الخبراء والشكل الوظيفي هي أمر أساسي لإيجاد المقايضة المثلى بين الدقة وقابلية التفسير لمشكلة معينة.

القيود المعترف بها:

• تعمل شبكة الموجه $p(m | x)$ كصندوق أسود، مما يحد من الشفافية فيما يتعلق بـ لماذا تم اختيار خبير معين.
• الانحدار الرمزي مكثف حسابياً، خاصة مع مفردات العمليات الكبيرة.
• يجب تحديد عدد الخبراء $M$ كمعلمة فائقة (hyperparameter)، مما يتطلب توازناً يدوياً بين القدرة التعبيرية وقابلية التفسير.