ملخص تقني: عزوّات في كل المستويات؟ الميتا-لعبة (Metagame) للتفسيرية

بيان المشكلة

تُعد طرق العزو (Attribution methods) أساسية في تفسير تعلم الآلة، حيث تقيس مدى تأثير متغيرات محددة (مثل رموز الإدخال أو بيانات التدريب) على سلوك النموذج. وبينما تُستخدم الطرق من الدرجة الأولى (مثل قيم شابلي، والتدرجات المتكاملة، والاهتمام) على نطاق واسع، إلا أنها تقتصر على التقاط تأثير المتغيرات الفردية، وغالبًا ما تغفل عن الديناميكيات من الرتب العليا مثل التآزر (synergies) والتضاد (antisynergies).

تحاول طرق التفاعل الحالية معالجة هذا الأمر من خلال قياس التأثيرات من الدرجة الثانية (مثل تفاعلات شابلي، وهيسيان التدرج المتكامل)، ومع ذلك تواجه هذه النهج قيودًا كبيرة:

1. تسرب التفاعل (Interaction Leakage): تفشل الطرق التسلسلية (تطبيق طريقة عزو على مخرجاتها الخاصة) في الفصل بوضوح بين التأثيرات الفردية النقية وتأثيرات التفاعل، مما يؤدي إلى تسرب حدود التفاعل إلى المكونات الفردية.
2. الاتجاهية (Directionality): تعامل مؤشرات التفاعل القائمة على المجموعات (مثل تفاعلات شابلي) التفاعلات كأجزاء غير موجهة $\{i, j\}$، مما يفشل في التقاط الهيكل الهرمي الموجه لكيفية تأثير ميزة واحدة على عزو ميزة أخرى.
3. القيود الحسابية والهيكلية: تتطلب الطرق التي تعتمد على "هيسيان" المدخلات تعديلات في البنية، وتتحمل تكاليف حسابية باهظة للمدخلات الكبيرة، وغالبًا ما تتلاشى في شبكات ReLU القياسية.
4. التعقيد التوليفي (Combinatorial Complexity): ينمو عدد حدود التفاعل بشكل توليفي ($O(d^k)$)، مما يجعل التفاعلات من الرتب العليا صعبة التفسير.

يتساءل البحث عما إذا كان يمكن تعميم أي طريقة عزو من الدرجة الأولى من المبادئ الأولى لالتقاط التفاعلات من الرتب العليا دون هذه القيود.

المنهجية: إطار عمل METAGAME

يقدم المؤلفون METAGAME، وهو إطار عمل مفاهيمي يعامل طريقة العزو نفسها كـ "لعبة تعاونية" لقياس تأثيرات التفاعل من الدرجة الثانية.

المفهوم الجوهري: العزوّات الميتا (Meta-Attributions)

لأي عزو من الدرجة الأولى $\phi_i(f)$ يفسر نموذجًا $f$، يُعرف الإطار العزو الميتا $\phi_{j \to i}(f)$، والذي يمثل التأثير الموجه للميزة $j$ على عزو الميزة $i$.

1. بناء الميتا-لعبة (The Metagame Construction):

   • بدلاً من تقييم النموذج $f$ مباشرة، يقيم الإطار العزو من الدرجة الأولى $\phi_i$ كدالة قيمة للعبة تعاونية جديدة.
   • "اللاعبون" في هذه اللعبة هم ميزات الإدخال (أو الرموز/Tokens).
   • تُعرَّف قيمة التحالف $S$ في الميتا-لعبة بأنها عزو الميزة $i$ عندما تكون الميزات الموجودة في $S \cup \{i\}$ حاضرة بينما يتم حجب الميزات الأخرى (باستخدام خط أساس/baseline).

2. التفكيك الموجه (Directional Decomposition):

   • يتم حساب العزو الميتا $\phi_{j \to i}$ كقيمة شابلي للميزة $j$ ضمن هذه الميتا-لعبة، مما يقيس بدقة المساهمة الهامشية لـ $j$ في $\phi_i$ مع تثبيت $i$.
   • الكفاءة الهرمية: يثبت الإطار أن العزو الأصلي من الدرجة الأولى هو بالضبط مجموع تأثيره الفردي النقي وتفاعلاته الموجهة:
     $$\phi_i(f, x) = \phi_{i \to i}(f, x) + \sum_{j \neq i} \phi_{j \to i}(f, x)$$
   • يقوم هذا التفكيك بعزل التأثيرات الفردية النقية (الحدود القطرية) عن تأثيرات التفاعل (الحدود غير القطرية)، مما يحل مشكلة التسرب الملاحظة في الطرق التسلسلية.

3. التوحيد النظري:

   • يثبت المؤلفون أن مؤشرات التفاعل القائمة على المجموعات الموجودة هي في الواقع تفكيكات هرمية ضمنية لعزو الدرجة الأولى.
   • على وجه التحديد، تبيّن أن قيم شابلي الميتا هي النسخ الموجهة من مؤشر تفاعل "شابلي-تايلور" (STII)، وأن تدرجات التكامل الميتا هي النسخ الموجهة من مؤشر "مجموع القوى" (SOP).
   • على عكس الطرق القائمة على المجموعات، تحافظ العزوّات الميتا على الاتجاهية (على سبيل المثال، $\phi_{j \to i} \neq \phi_{i \to j}$ بالنسبة للطرق القائمة على التدرج)، مما يكشف عن التأثيرات غير المتماثلة.

التنفيذ العملي

صُمم الإطار ليكون غلافًا (wrapper) عالميًا لطرق العزو الحالية (مثل AttnLRP، وGrad-ECLIP، وConceptAttention).

• الكفاءة: بالنسبة للألعاب الصغيرة ($d < 20$)، يتم حساب قيم شابلي الدقيقة. بالنسبة للألعاب الأكبر، يوصي المؤلفون باستخدام المقربات الحديثة (مثل أخذ العينات بطريقة مونت كارلو أو المقدرات القائمة على الانحدار من مكتبة shapiq).
• المحولات (Transformers): تم تكييف الطريقة مع البنى الحديثة عبر تجميع عزو الرموز عبر التسلسلات المولدة (للنماذج اللغوية الكبيرة LLMs) أو حساب التفاعلات عبر الوسائط (cross-modal) بين رموز النصوص وقطع الصور (لمشفرات الرؤية واللغة).

المساهمات الرئيسية

1. التعميم المبدئي: طريقة لتعميم أي عزو من الدرجة الأولى لقياس التفاعلات من الدرجة الثانية عبر قيمة شابلي، والتي تسمى العزوّات الميتا.
2. التفكيك الهرمي: منظور يتغلب على التعقيد التوليفي عبر تفكيك العزوّات إلى تفاعلات موجهة، مع إثبات أن المؤشرات الموجودة مثل تفاعلات شابلي و"هيسيان التدرج المتكامل" تقوم ضمنيًا بهذا التفكيك.
3. التوسيع الموجه: تقديم METAGAME والعزوّات الميتا كمؤشر تفاعل موجه جديد، ثبت أنه امتداد موجه لمؤشرات STI وSOP القائمة على المجموعات.
4. التحقق التجريبي: إثبات فائدة الإطار عبر ثلاثة مجالات مختلفة من الذكاء الاصطناو:
   • قياس تفاعلات الرموز في النماذج اللغوية الكبيرة (LLMs) المضبطة بالتعليمات.
   • تفسير التشابه عبر الوسائط في مشفرات الرؤية واللغة (Vision–Language Encoders).
   • تفسير مفاهيم النص-إلى-الصورة في نماذج الانتشار متعددة الوسائط (Multimodal Diffusion Transformers).

النتائج التجريبية

يتحقق البحث من صحة METAGAME عبر ثلاثة سيناريوهات تطبيقية:

1. النماذج اللغوية (Gemma 3):

   • باستخدام Meta-AttnLRP، يحدد الإطار تفاعلات الرموز الموجهة (على سبيل المثال، كيف تؤثر كلمة "honey" على عزو كلمة "butter" في سياق نباتي) والتي تغفلها طرق الدرجة الأولى.
   • يكتشف أن النماذج تولي اهتمامًا أكبر لكلمة "pulmonary" عند وجود كلمة "embolism"، بينما يؤدي إزالة "pulmonary" إلى زيادة أهمية "embolism".
   • أظهر التقييم الكمي تحسنًا في استدعاء (recall) اكتشاف التفاعلات البشرية المصنفة مقارنة بأساليب الدرجة الأولى.

2. مشفرات الرؤية واللغة (CLIP, SigLIP-2, MetaCLIP-2):

   • تم تطبيق Meta-Grad-ECLIP و Meta-MaskSigLIP لتفسير خرائط التشابه.
   • في مقياس التعرف على التفاعل الموجه ImageNet-1k، تفوقت العزوّات الميتا باستمرار على طرق الدرجة الأولى (Attention, MaskCLIP, Grad-ECLIP) وحتى على خط الأساس الأسود (black-box) من الدرجة الثانية وهو FIxLIP.
   • بشكل ملحوظ، حققت Meta-MaskSigLIP أعلى درجة من الأمانة (faithfulness) لنموذج SigLIP-2، وتفوقت Meta-Attention على Meta-Grad-ECLIP في نموذج MetaCLIP-2 الكبير.

3. محولات الانتشار متعددة الوسائط (FLUX.1):

   • تم استخدام Meta-ConceptAttention لتفسير المفاهيم في توليد الصور من النصوص.
   • خففت الطريقة من محدودية الاعتماد على السياق التي كانت تعاني منها ConceptAttention الأصلية.
   • في اختبارات تقسيم (segmentation) Pascal VOC و MS COCO، تفوق Meta-ConceptAttention على الطريقة الأصلية (Pareto-dominated) من حيث الدقة، و mIoU، و mAP، حتى مع زيادة عدد المفاهيم داخل السياق.

الأهمية والادعاءات

يزعم البحث أن إطار عمل METAGAME يوفر مسارًا مبدئيًا رياضيًا لفهم التفاعلات من الدرجة الثانية دون مشاكل التسرب والاتجاهية التي شابت الطرق السابقة. من خلال معاملة العزوّات كألعاب تعاونية، يجسّر الإطار الفجوة بين المبادئ نظرية الألعاب المنفصلة والديناميكيات المستمرة لطرق التفسير الحديثة.

يضع المؤلفون هذا العمل كخطوة نحو أنظمة تعلم آلي أكثر مصداقية. ويؤكدون أنه بينما يزيد الإطار من التكلفة الحسابية والعبء المعرفي، فإنه يوفر تفكيكًا هرميًا صارمًا للعزوّات يكشف بدقة كيف تؤثر الميزات على مساهمات بعضها البعض. يتسم العمل بالتواضع في نطاقه، مشيرًا إلى أن تحليل النماذج اللغوية يعمل كحالة توضيحية، وأن قياسات الأمانة الصارمة (مثل منحنيات الإدخال/الحذف) للمقارنات الأوسع تظل ضرورة مستقبلية. يتم تقديم الإطار كأداة عامة قابلة للتطبيق على أي طريقة عزو من الدرجة الأولى، متجاوزة الأمثلة المحددة المقدمة.