ملخص تقني: رؤية توزيعية للتفسير الآلي البصري

1. بيان المشكلة

تواجه النماذج الحالية في التفسير الآلي البصري (Visual Mechanistic Interpretability - MI) صعوبة في الموازنة بين الأمانة (تعكس بدقة كيفية تنشيط النموذج لميزات محددة) والقابلية للتفسير (إنتاج تصورات مفهومة بشرياً). تعتمد الطرق الموجودة عادةً على نهج استدلالي يواجه مقايضة جوهرية:

• البحث في مجموعة البيانات: يسترجع أمثلة ذات تنشيط عالٍ من مجموعات بيانات محدودة. ورغم أنها تبدو مقبولة إدراكياً، إلا أن هذا النهج يعاني من تحيز الحدود وعدم استقرار العتبة، وغالباً ما يفشل في التقاط التوزيع الكامل لدلالات الميزة.
• التحسين باستخدام التنظيم (تعظيم التنشيط): يقوم بتخليق مدخلات لتعظيم تنشيط الميزة. وبينما تكون هذه الطرق أمينة جداً لدرجة التنشيط، إلا أنها غالباً ما تنتج "محفزات فائقة" (super-stimuli) أو عيوباً عالية التردد تبتعد بشكل كبير عن توزيع الصور الطبيعية، مما يجعلها غير قابلة للتفسير إدراكياً.
• التوليد الموجه بالوكيل (مثل الانتشار الموجه بالوصف النصي): يستخدم الأوصاف النصية لتوجيه نماذج الانتشار (Diffusion Models). وهذا يؤدي إلى حدوث اختناق معلوماتي وفجوة دلالية، حيث لا يمكن للأوصاف النصية التقاط الميزات الداخلية الدقيقة أو غير اللفظية أو متعددة المعاني (مثل ميزات SAE) بشكل كامل.

تكمن المشكلة الجوهرية في أن هذه الطرق تعامل تفسير الميزة كمهمة التعرف على الأنماط على مستوى العينة، بدلاً من كونها مسألة استدلال توزيعي، مما يؤدي إلى تفسيرات تكون إما غير أمينة آلياً أو غير قابلة للتفسير إدراكياً.

2. المنهجية

2.1. الرؤية التوزيعية

يقترح المؤلفون إعادة صياغة التفسير الآلي البصري كمسألة تحسين دنيا لـ تباعد كولباك - ليبلر (KL). بدلاً من البحث عن صورة واحدة "مثلى"، فإن الهدف هو تحديد توزيع مستحث $q$ يلبي هدفين متنافسين:

1. الأمانة: يجب أن يتركز $q$ على المدخلات التي تنشط بقوة الدرجة الجوهرية $s(x)$ (مثل تنشيط ميزة SAE).
2. القابلية للتفسير: يجب أن يظل $q$ قريباً من التوزيع المسبق للصور الطبيعية $p(x)$ لضمان القابلية للإدراك البشري.

هذه الرؤية تفكك نماذج التفسير الآلي البصري إلى ثلاثة أبعاد متعامدة:

• محل الدراسة: ما الذي يتم تفسيره (على سبيل المثال، الخلايا العصبية مقابل ميزات SAE).
• صياغة القيود: كيف يتم فرض الأمانة (قيود صلبة مقابل قيود ناعمة).
• منهجية أخذ العينات: كيف يتم تجسيد التوزيع المستحث (الاسترجاع، التحسين، أو الانتشار).

2.2. مبدأ القيد الناعم لتقليل KL (KLSC)

لحل انحيازات الطرق السابقة، يقدم البحث مبدأ KLSC. بخلاف طرق القيود الصلبة (التي تقطع التوزيع عند عتبة $m$، أي $s(x) > m$)، يستخدم KLSC قيداً ناعماً يتطلب أن يلبي التنشيط المتوقع مستوى معيناً: $\mathbb{E}_{q}[s(X)] \geq m$.

نظرياً، الحل الفريد لتقليل $KL(q \| p)$ تحت هذا القيد الناعم هو توزيع أسي مائل:
$$q_{\beta}(x) \propto p(x) \exp(\beta s(x))$$
حيث $\beta$ هو معامل لاغرانج الذي يتحكم في قوة التوجيه.

المزايا النظرية لـ KLSC مقارنة بالقيود الصلبة:

• تقليل تحيز الحدود: تركز القيود الصلة الكتلة الاحتمالية في غلاف رقيق بالقرب من العتبة (منطقة "التنشيط بالكاد"، own "just-barely-activated")، بينما يوزع KLSC الكتلة بشكل أكثر سلاسة، مما يقلل من الحساسية لتغيرات العتبة الصغيرة.
• استقرار العتبة: تسبب القيود الصلبة قفزات غير مستمرة في تباعد KL ومسافة التباين الكلي (TV distance) عند تغيير العتبة. بينما يشكل KLSC عائلة أسية سلسة، مما يضمن الاستمرارية المحلية.
  la فجوة القابلية للتفسير: حتى عند مطابقة الأمانة المتوقعة، يقلل حل KLSC من الانحراف عن التوزيع المسبق الطبيعي $p$ بشكل أكثر فعالية من الحلول المقطوعة صلبة.

2.3. تجنب حقن المهام واختناقات الوكيل

يجادل البحث ضد حقن أهداف مهام خارجية (مثل تسميات التصنيف أو الأوصاف النصية) في عملية التفسير.

• انحراف الهدف (Object Drift): إن حقن درجة مهمة $f_c(x)$ (مثل المحاذاة مع CLIP) يشوه التوزيع المستحث الأصلي. يثبت البحث أن تحقيق مطلب المهمة يتضمن تكلفة KL موجبة تماماً، مما يؤدي إلى تفسيرات تعكس المهمة بدلاً من الآلية الجوهرية.
• اختناق الوصف النصي (Prompt Bottleneck): تقيد الطرق الموجهة بالوصف النصي مساحة البحث في عائلة معلمة بالوصف $Q_{prompt}$. ويوضح البحث أن هذه العائلة غالباً لا تستطيع تمثيل الميزات الدقيقة أو متعددة المعاني، مما يؤدي إلى عينات غير أمينة.

2.4. أخذ عينات الانتشار الموجه بالطاقة (EnergyDPS)

لتحقيق مبدأ KLSC عملياً، يقترح المؤلفون خوارزمية EnergyDPS.

• الآلية: تعامل $s(x)$ (مثل تنشيط ميزة SAE) كدالة طاقة.
• العملية: تستفيد من أخذ عينات الانتشار اللاحق (DPS). بدلاً من تحسين وصف نصي، يقوم EnergyDPS بحقن تدرج الدرجة الجوهرية، $\nabla_x s(\hat{x}_0)$، مباشرة في عملية الانتشار العكسي في كل خطوة.
• الميزة: يسم-ح هذا بأخذ عينات مباشرة من التوزيع المستحث بواسطة KLSC دون فقدان المعلومات المرتبط بالأوصاف النصية أو تحيز البحث عن النمط (mode-seeking bias) في التحسين النقطي. وهي طريقة لا تتطلب تدريباً وتطبق على أي درجة جوهرية قابلة للاشتقاق.

3. المساهمات الرئيسية

1. الرؤية التوزيعية للتفسير الآلي البصري: يضع البحث إطاراً نظرياً ينمذج تفسير الميزات كمسألة استدلال توزيعي لتقليل KL، مع تحديد الانحيازات الإحصائية المنهجية (تحيز الحدود، عدم استقرار العتبة، وفجوات القابلية للتفسير) في النماذج الحالية.
2. مبدأ القيد الناعم لتقليل KL (KLSC): صياغة قيد جديدة توازن نظرياً بين الأمانة والقابلية للتفسير من خلال البحث عن التوزيع الأقرب إلى التوزيع المسبق الطبيعي مع تلبية قيد التنشيط المتوقع.
3. خوارزمية EnergyDPS: أداخذ عينات عملي لا يتطلب تدريباً يحقق مبدأ KLSC باستخدام نماذج الانتشار. يتجنب الاختناقات المعلوماتية للطرق الموجهة بالوصف النصي وعيوب التحسين النقطي.
4. التصنيف الموحد: تصنيف منهجي لطرق التفسير الآلي البصري بناءً على محل الدراسة، وصياغة القيود، ومنهجية أخذ العينات، مما يوضح سبب فشل الطرق السابقة في تحقيق الأمانة والقابلية للتفسير في آن واحد.

4. النتائج التجريبية

قام المؤلفون بتقييم EnergyDPS على ميزات DINOv3 ResNeXt Large باستخدام Transcoder (وهو نوع من أنواع SAE).

• المقاييس الكمية:
  • الأمانة: حقق EnergyDPS مستويات تنشيط مماثلة للنماذج المرجعية (MACO, DiffExplainer) عند معايرته.
    la القابلية للتفسير: تفوق EnergyDPS بشكل كبير على النماذج المرجعية في مقياسي QualiCLIP (القابلية للتفسير الإدراكي) و NRQM (مقياس الجودة بدون مرجع). على سبيل المثال، في الميزات العشوائية، حقق EnergyDPS درجة 0.5791 في QualiCLIP مقارنة بـ 0.4228 لـ MACO و 0.3259 لـ DiffExplainer.
• دراسة التفسير المعماة:
  • قام مقيمون بشريون وآليون (GPT-5.4, Gemini-3-flash-lite) بتقييم مجموعات الصور المولدة بحثاً عن مفاهيم دلالية مشتركة.
  • حصل EnergyDPS على أعلى درجات القابلية للتفسير (على سبيل المثال، 2.92 من البشر مقابل 1.92 لـ MACO) وأقل تباين مرجح في الأوصاف الدلالية، مما يشير إلى مفاهيم مشتركة أكثر اتساقاً ووضوحاً.
• التحقق من النموذج التجريبي:
  • أكدت التجارب على نموذج الخليط الغاوسي ثنائي الأبعاد (GMM) التوقعات النظرية: أظهرت القيود الصلبة كتلة حدودية أعلى وعدم استقرار في مسافة TV مقارنة بمسار KLSC السلس.
• دراسات الاستئصال (Ablation Studies):
  • متانة الطبقة: ظل EnergyDPS فعالاً عبر طبقات الشبكة المختلفة.
  • الاعتماد على التوزيع المسبق: أدى استخدام توزيع مسبق منحاز (وجوه FFHQ) إلى تدهور النتائج، مما يؤكد أهمية وجود توزيع مسبق طبيعي متوافق مع توزيع تدريب النموذج.
  • انحراف الهدف: أظهرت التجارب أن إضافة حقن المهام (مثل أوصاف CLIP أو المراجع على مستوى البكسل) تسبب انزياحات دلالية كبيرة حتى عند مطابقة التنشيط الجوهري، مما يؤكد الحاجة إلى أهداف جوهرية فقط.

5. الأهمية والادعاءات

يدعي البحث أن مساهمته الأساسية هي تحول جذري في المنظور من التصور الهيورستي (الاستدلالي) إلى الاستدلال التوزيعي.

• الرصانة النظرية: يجادل المؤلفون بأن الإخفاقات السابقة في التفسير الآلي البصري تنبع من الانحيازات الهيكلية في صياغة القيود (صلبة مقابل ناعمة) وفي أخذ العينات (الاسترجاع/التحسين مقابل أخذ العينات التوزيعي). يوفر مبدأ KLSC أساساً رياضياً صارماً للموازنة بين الأمانة والقابلية للتفسير.
• الفعالية العملية: يثبت EnergyDPS أنه من الممكن توليد تصورات تكون أمينة جداً للميكانيكا الداخلية للنموذج وطبيعية إدراكياً في آن واحد، متفوقاً على أحدث الطرق في ميزات DINOv3.
• القيود: يقر المؤلفون بتواضع بأن بينما توفر الصور الطبيعية مساحة مرجعية ذات خسارة دنيا، إلا أنها قد لا تشمل جميع المفاهيم المفهومة بشرياً (مثل الأدلة غير الطبيعية ولكنها ذات صلة بالنموذج). بالإضافة إلى ذلك، يتكبد EnergyDPS تكلفة حوسبية بسبب عملية أخذ عينات الانتشار، مما يجعله أبطأ من النماذج المرجعية القائمة على التحسين.

باختصار، يرى البحث أن فهم الميزات البصرية يتطلب نمذجة كيفية إعادة تشكيلها لتوزيع الصور الطبيعية، وأن مبدأ KLSC مع EnergyDPS يقدم حلاً مستنداً إلى أسس نظرية وفعالاً عملياً لهذا التحدي.