Universal Sparse Autoencoders: Interpretable Cross-Model Concept Alignment

إليك ملخص تقني مفصل لورقة البحث بعنوان: "المشفّرات التلقائية المتفرقة العالمية: محاذاة المفاهيم عبر النماذج القابلة للتفسير."

1. بيان المشكلة

تعمل طرق التفسير الحالية للشبكات العصبية العميقة (DNNs)، وخاصة المشفّرات التلقائية المتفرقة (SAEs)، عادةً بطريقة أحادية النموذج ولاحقة للحدث (post-hoc). فهي تتعلم قاموساً من المفاهيم لنموذج ومهمة محددين. ويؤدي هذا النهج إلى عدة قيود:

• الافتقار إلى التوحيد: من الصعب مقارنة التمثيلات الداخلية عبر بنيات مختلفة (مثل ViT مقابل CNN)، أو نماذج تدريبية مختلفة (مثل التعلم الخاضع للإشراف مقابل التعلم ذاتي الإشراف)، أو مجموعات بيانات مختلفة.
• عدم الكفاءة: تتضمن الطرق الحالية لإيجاد الميزات "العالمية" عمليات مطابقة أو تصفية مكلفة حاسوبياً للمفاهيم التي تم اكتشافها بشكل مستقل في كل نموذج.
• قابلية التوسع: لا يوجد إطار عمل موحد لإعادة بناء وتفسير التنشيطات الداخلية لعدة نماذج في آن واحد، مما يعيق تحليل مفاهيم "الأساس" المشتركة.

يقترح المؤلفون إطار عمل لاكتشاف فضاء مفاهيم عالمي يعمل على محاذاة التمثيلات الداخلية لعدة نماذج متنوعة، مما يتيح التفسير والتحليل المتزامن عبر النماذج.

2. المنهجية: المشفّرات التلقائية المتفرقة العالمية (USAEs)

الابتكار الجوهري هو المشفّر التلقائي المتفرق العالمي (USAE)، وهو إطار عمل يتعلم بشكل مشترك قاموساً مشتركاً وفائق الامتداد (overcomplete) للمفاهيم من نماذج متعددة.

البنية والتدريب

على عكس الـ SAEs القياسية التي تربط تنشيطات نموذج واحد بفضاء كامن ثم تعود منه، تم تصميم USAEs للتعامل مع $M$ من النماذج المختلفة، حيث قد تختلف أبعاد الميزات ($d_i$) لكل منها.

• الفضاء الكامن المشترك: يتعلم النموذج فضاء ترميز متفرقاً واحداً $Z \in \mathbb{R}^{n \times m}$ (حيث $m$ هو حجم القاموس).
• المشفرات الخاصة بكل نموذج: يمتلك كل نموذج $i$ مشفراً خاصاً به $\Psi^{(i)}_\theta$ يقوم برسم خرائط تنشيطاته الخاصة $A^{(i)}$ إلى الفضاء المشترك $Z$.
• المفككات الخاصة بكل نموذج: يمتلك كل نموذج $i$ مفككاً خاصاً به (قاموساً) $D^{(i)}$ يعيد بناء تنشيطاته الأصلية من الكود المشترك $Z$.
• هدف التدريب: يقلل التدريب من خسارة عالمية تجمع أخطاء إعادة البناء عبر جميع النماذج.
  • في كل تكرار، يتم اختيار نموذج واحد $i$ لتشفير دفعة من التنشيطات إلى $Z$.
  • بعد ذلك، يتم فك تشفير هذا الـ $Z$ المشترك بواسطة جميع المفككات $M$ لإعادة بناء تنشيطات كل نموذج $j$.
  • الخسارة هي مجموع معايير "فوروبنيوس" لأخطاء إعادة البناء:
    $$L_{Universal} = \sum_{j=1}^{M} \| A^{(j)} - \hat{A}^{(j)} \|_F = \sum_{j=1}^{M} \| A^{(j)} - \Psi^{(i)}_\theta(A^{(i)}) D^{(j)} \|_F$$
  • يتم تحديث المشفر $\Psi^{(i)}_\theta$ والمفكك $D^{(i)}$ الخاص بالنموذج المختار فقط في تلك الخطوة، لكن الـ $Z$ المشترك يفرض المحاذاة.

التطبيق الرئيسي: تعظيم التنشيط المنسق (CAM)

يقدم المؤلفون تقنية تصور مبتكرة يتيحها الفضاء المشترك. بدلاً من تعظيم مفهوم في نموذج واحد، يقومون بتحسين المدخلات لجميع النماذج في وقت واحد لتنشيط نفس بُعد المفهوم $k$. وهذا يكشف كيف تقوم البنيات المختلفة بترميز نفس المفهوم الدلالي (مثل "وجه كلب") ويسلط الض light على التحيزات البنيوية.

3. الإعداد التجريبي

• النماذج: تم استخدام ثلاثة نماذج رؤية متنوعة:
  1. DinoV2: تعلم تمييزي ذاتي الإشراف على مستوى الصورة والقطع (patches).
  2. SigLIP: تعلم تبايني بين الرؤية واللغة.
  3. ViT (ImageNet): تصنيف خاضع للإشراف.
• البيانات: تم التدريب على مجموعة بيانات ImageNet؛ والتحقق من الصحة على ImageNet، وDTD (للأنسجة)، وCelebA (للوجوه).
• الإعدادات: استخدم تقنية TopK SAE مع حجم قاموس يبلغ 6144 (توسيع بمقدار 8 أضعاف لأكبر بُعد للميزات وهو 768).

4. النتائج الرئيسية

أ. اكتشاف المفاهيم العالمية

نجح USAE في اكتشاف طيف واسع من المفاهيم القابلة للتفسير والمشتركة بين النماذج الثلاثة:

• المستوى المنخفض: الألوان (الأصفر، الأزرق)، الأنسجة، والأشكال الهندسية.
• المستوى المتوسط: العلاقات الهيكلية (المقدمة/الخلفية، الأجسام الرفيعة).
• المستوى العالي: أجزاء الأجسام (وجوه الكلاب، فكوك الحيوانات) والتجمعات (الحشود).
• الأهمية: هذه المفاهيم تستمر عبر مختلف أهداف التدريب والبنيات، مما يشير إلى وجود تمثيل "أفلاطوني" للمفاهيم البصرية.

ب. التحقق الكمي

• إعادة البناء عبر النماذج: حقق USAE درجات $R^2$ موجبة عند إعادة بناء تنشيطات نموذج واحد باستخدام الميزات المشفرة من نموذج آخر، مما يثبت وجود فضاء ميزات مشترك.
• الشمولية مقابل الأهمية: قدم المؤلفون مقاييس مثل إنتروبيا التنشيط (Firing Entropy) ونسبة التنشيط المشترك (Co-Fire Proportion). ووجدوا ارتباطاً إيجابياً قوياً ($r=0.89$ للمفاهيم عالية التكرار) بين شمولية المفهوم (التنشيط عبر النماذج) وأهميته (المساهمة في الطاقة في إعادة البناء). المفاهيم الأكثر أهمية هي الأكثر شمولية.
• الاتساق مع الـ SAEs المستقلة: استعاد التدريب العالمي 23-38% من المفاهيم التي وجدتها الـ SAEs المدربة بشكل مستقل (اعتماداً على النموذج). والأهم من ذلك، أن المفاهيم الأكثر شمولية أظهرت تداخلاً أكبر مع الـ SAEs المستقلة، مما يشير إلى أن التدريب العالمي يختار طبيعياً الميزات البصرية الأساسية.

ج. الفروقات النوعية للنماذج

• DinoV2: أظهر مفاهًم فريدة ومنخفضة الإنتروبيا تتعلق بـ الهندسة ثلاثية الأبعاد، والمنظور، وإشارات العمق (مثل نقاط التلاشي، والخطوط المتقاربة). وهذا يتوافق مع نظام تدريبه القائم على التقطير الذاتي الذي يركز على الاتساق الهندسي.
• SigLIP: أظهر مفاهماً فريدة تنشط لكل من العناصر البصرية واللغوية (مثل كلمة "نجمة" وشكل النجمة)، مما يعكس تدريبه القائم على الربط بين الرؤية واللغة.

د. التعميم

أظهر USAE المدرب على ImageNet قدرة قوية على التعميم الصفري (zero-shot generalization) على مجموعات بيانات خارج نطاق التوزيع (DTD وCelebA)، مع الحفاظ على دقة إعادة البناء واتساق المفاهيم.

5. المساهمات الرئيسية

1. إطار العمل: تقديم USAEs، وهي أول طريقة تتعلم بشكل مشترك فضاء مفاهيم قابلاً للتفسير عبر عدة شبكات عصبية عميقة متميزة من خلال التدريب المتكامل (end-to-end).
2. التحول المنهجي: الانتقة من المطابقة اللاحقة للمفاهيم إلى المحاذاة المتزامنة، مما يتيح تحليلاً فعالاً عبر النماذج.
3. تطبيق مبتكر: تعظيم التنشيط المنسق، مما يسمح بالتصور المتزامن لكيفية ترميز النماذج المختلفة لنفس المفهوم.
4. الرؤى: تقديم أدلة تجريبية على أن الميزات الأكثر أهمية هي أيضاً الأكثر شمولية، وأن أنظمة تدريب معينة (مثل التقطير الذاتي في DinoV2) تحفز تمثيلات هندسية فريدة.

6. الأهمية والأثر

• تخفيف المخاطر: يوفر عدسة موحدة لتحليل النماذج المتنوعة، وهو أمر بالغ الأهمية لإدارة المخاطر في نشر الذكاء الاصطني الرحب حيث تتفاعل نماذج متعددة.
• الامتثال التنظيمي: يقدم طريقة مهيكلة لمراجعة باطن النماذج مقابل الأطر التنظيمية التي تتطلب الشفافية.
• الرؤية العلمية: يدعم "فرضية التمثيل الأفلاطوني"، مما يشير إلى أن النماذج المختلفة تتقارب نحو تجريدات عالية المستوى متشابهة رغم اختلاف مسارات تدريبها.
• الاتجاهات المستقبلية: يفتح آفاقاً لتعلم النقل عبر النماذج، وتقطير النماذج، وأدوات تفسير أكثر قوة غير مرتبطة ببنية واحدة.

باختصار، تؤسس هذه الورقة لطريقة أساسية للتفسير عبر النماذج، وتثبت أن قاموساً واحداً مشتركاً يمكنه بفعالية فك تشفير المنطق الداخلي للشبكات العصبية العميقة المتنوعة، كاشفاً عن قواسمها المشتركة وتحيزاتها البنيوية الفريدة.