Can Cross-Layer Transcoders Replace Vision Transformer Activations? An Interpretable Perspective on Vision

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هل يمكن للمحولات عبر الطبقات (Cross-Layer Transcoders) أن تحل محل تنشيطات محولات الرؤية (Vision Transformer Activations)؟ منظور قابل للتفسير للرؤية."

1. بيان المشكلة

تعد نماذج محولات الرؤية (ViTs) نماذج تأسيسية قوية، إلا أن تمثيلاتها الداخلية تظل غامضة إلى حد كبير، مما يعيق القابلية للتفسير، والتحكم، والموثوقية. تفشل طرق التفسير الحالية، مثل المشفرات التلقائية المتفرقة (Sparse Autoencoders - SAEs)، في معالجة ما يلي لأنها تعمل محلياً ضمن طبقة واحدة فقط:

• البنى الحسابية عبر الطبقات: كيف تتدفق المعلومات وتتحول عبر عمق الشبكة.
• أهمية الطبقات النسبية: المساهمة المحددة للطبقات المبكرة في التمثيل النهائي.
• ديناميكيات الرموز المحددة (Token-specific dynamics): الفرق في كيفية تجميع الرموز العالمية (مثل [CLS]) مقابل رموز الرقع (patch tokens) المحلية للمعلومات.

يقترح المؤلفون استقصاء المحولات عبر الطبقات (CLTs) — التي استُخدمت سابقاً في النماذج اللغوية الكبيرة (LLMs) — كحل لنماذج الرؤية. ويتمثل التحدي الجوهري في تحديد ما إذا كان بإمكان CLTs استبدال كتل MLP (البرامج المتعددة الطبقات) في ViT وظيفياً مع الحفاظ على الأداء وتوفير تفكيك دقيق وواعٍ بالعمق للمنطق الداخلي للنموذج.

2. المنهجية: المحولات عبر الطبقات (CLTs)

يقدم المؤلفون إطار عمل حيث تعمل CLTs كمحاكيات (proxies) متفرقة وواعية بالعمق لكتل MLP في نماذج ViT.

أ. البنية والآلية

• مخطط الترميز وفك الترميز (Encoder-Decoder): لكل طبقة $i$، يقوم مشفر خطي متعلم برسم خرائط تنشيطات ما قبل الـ MLP ($x_i$) إلى متجه سمات متفرق ($z_i$).
• إعادة البناء المثلثي: على عكس المحولات القياسية لكل طبقة، تقوم CLTs بإعادة بناء تنشيط ما بعد الـ MLP ($\hat{y}_j$) للطبقة المستهدفة $j$ باستخدام مجموع خطي من الأكواد المتفرقة من جميع الطبقات السابقة ($i \leq j$):
  $$\hat{y}_j = \sum_{i=1}^{j} z_i W_{dec}^{i \to j}$$
  هذا يفرض بنية سببية صارمة، مما يمنع تسرب المعلومات من الطبقات المستقبلية.
• متغيرات التفرق (Sparsity Variants): تقيم الورقة ثلاث دوال غير خطية ($\phi$) لفرض التفرق في الأكواد الكامنة $z$:
  1. JumpReLU: يستخدم عتبات متعلمة.
  2. ReLU-Top-k: يحتفظ بأعلى-$k$ من القيم الموجبة.
  3. Abs-Top-k: يحتفظ بأعلى-$k$ من القيم بناءً على المقدار المطلق (مع الحفاظ على الإشارة).

ب. استراتيجية التدريب والاستبدال

• التدريب: يتم تدريب CLTs على نماذج CLIP ViT (بأنواع ViT-B/32 و ViT-B/16) مجمدة باستخدام مجموعات بيانات مثل CIFAR-100 و COCO و ImageNet-100. يهدف الهدف إلى تقليل خطأ إعادة البناء بين مخرجات CLT ومخرجات MLP الفعلية لـ ViT، بالإضافة إلى عقوبة التفرق.
• الاستبدال المتتالي: لاختبار الدقة الوظيفية، يستبدل المؤلفون كتل MLP الأصلية بـ CLTs المدربة بطريقة "متتالية". يصبح مخرج الطبقة المستبدلة هو مدخل الطبقة التالية، مما يسمح بقياس تراكم أخطاء إعادة البناء.

ج. التفسير عبر الإسناد (Attribution)

يسمح التفكيك الخطي بـ الإسناد عبر الطبقات. يتم قياس مساهمة الطبقة المصدر $i$ في الطبقة المستهدفة $j$ عن طريق إسقاط المساهمة المفككة على إجمالي إعادة البناء:
$$C_{i \to j}^{proj} = \frac{\langle c_{i \to j}, \hat{y}_j \rangle}{\|\hat{y}_j\|^2}$$
وهذا يعطي درجة تشير إلى مقدار ما "تفسره" كل طبقة سابقة لحالة الطبقة الحالية.

3. المساهمات الرئيسية

1. الاستبدال الوظيفي لـ MLPs: تثبت الورقة أن CLTs يمكنها استبدال كتل MLP في ViTs بأمانة، خاصة بالنسبة لرمز [CLS] وفي الطبقات المتأخرة، وغالباً ما تحافظ على دقة التصنيف (zero-shot) أو حتى تحسنها قليلاً.
2. الإسناد الواعي بالعمق: بخلاف SAEs، توفر CLTs تفكيكاً مهيكلاً وموقعاً لكيفية تجميع المعلومات عبر عمق الشبكة.
3. عدم التماثل في معالجة الرموز: تكشف الدراسة عن اختلاف بنيوي جوهري:
   • رموز الرقع (Patch Tokens): تظهر إسناداً مهيمناً قطرياً (كل طبقة تفسر مخرجاتها بشكل أساسي).
   • رموز [CLS]: تظهر إسناداً واسعاً وموزعاً (التمثيل النهائي يجمع الإشارات من العديد من الطبقات السابقة).
4. الإسناد الأمين (Faithful Credit Assignment): تظهر دراسات الاستئصال أن التمثيل النهائي يتركز في مجموعة فرعية صغيرة من الطبقات المهيمنة. إزالة الطبقة الأعلى مساهمة يؤدي إلى تدهور الأداء بشكل كبير، بينما الاحتفاظ بالطبقات الأربع الأولى فقط يحافظ على الدقة.

4. النتائج الرئيسية

أ. دقة إعادة البناء

• تحقق CLTs جودة إعادة بناء عالية مع متوسط تشابه جيب التمام (Cosine Similarity) يترا-وح بين 0.92–0.97 وقيم $R^2$ تتراوح بين 0.89–0.95.
• من الأسهل تقريب ViT-B/16 (رقع أصغر) مقارنة بـ ViT-B/32 (رقع أكبر)، ربما بسبب بساطة تنشيطات كل رمز (per-token).
• يعمل ReLU-Top-k بشكل أفضل عموماً، خاصة في الطبقات المتوسطة والمتأخرة.

ب. أداء التصنيف (Zero-Shot)

• استبدال رمز [CLS]: استبدال جميع طبقات MLP بـ CLTs لرمز [CLS] ينتج دقة مطابقة تقريباً للنموذج المرجعي (مثلاً: CIFAR-100: 61.65% للمرجع مقابل ~61.74% مع CLTs).
• استبدال رموز الرقع (Patch Tokens): استبدال الطبقات المبكرة لرموز الرقع يسبب انخفاضات كبيرة في الدقة (مثلاً: الانخفاض من 61.65% إلى ~51% في CIFAR-100 عند استبدال جميع الطبقات). ومع ذلك، فإن استبدال الطبقات الأخيرة فقط (مثلاً 10←11) يحافظ على دقة عالية.
• الاستنتاج: تعد CLTs بدائل قوية لرموز التصنيف العالمية ومعالجة الطبقات المتأخرة، لكنها تواجه صعوبة في استخراج الميزات المكانية في الطبقات المبكرة.

ج. نتائج التفسير

• تركيز الائتمان (Concentration of Credit): تؤكد تجارب الاستئصال أن التمثيل النهائي يعتمد بشدة على مجموعة فرعية صغيرة من الطبقات. إزالة الطبقة الأعلى مساهمة يسبب انخفاضاً كبيراً في الدقة (مثلاً: -5.6% في ImageNet-100)، بينما الاحتفاظ بأفضل 4 طبقات فقط يستعيد الأداء القريب من المرجعي.
• التطور الدلالي: يظهر الاسترجاع البصري باستخدام الأكواد المتفرقة لـ CLT أن تمثيلات [CLS] تتطور من ميزات منخفضة المستوى (اللون/التخطيط) في الطبقات المبكرة إلى مفاهيم دلالية عالية المستوى (مثل "ركوب الأمواج") في الطبقات الأعمق.

5. الأهمية والعمل المستقبلي

يؤسس هذا العمل المحولات عبر الطبقات (CLTs) كإطار عمل مبدئي للتفسير الهيكلي عبر الطبقات في نماذج الرؤية دون المساس بالأداء.

• الذكاء الاصطناعي الموثوق: يوفر طريقة لتدقيق نماذج ViT عن طريق تفكيك عملية اتخاذ القرار إلى مساهمات مضافة ومحددة لكل طبقة.
• ما وراء SAEs: ينتقل من استخراج الميزات المحلية إلى نمذجة التدفق السببي للمعلومات عبر العمق الكامل للشبكة.
• الاتجاهات المستقبلية: يقترح المؤلفون استخدام CLTs لاكتشاف المفاهيم الهرمية، وتوسيع التفكيك ليشمل رؤوس الانتباه (لتحليل كامل للدائرة)، وتطبيق الإطار على مهام متعددة الوسائط أوسع.

باختصار، تثبت هذه الورقة أن نماذج ViT يمكن "إعادة توصيلها" ببدائل متفرقة وقابلة للتفسير، لا تحاكي سلوك النموذج الأصلي فحسب، بل تكشف أيضاً عن الأدوار المركزة والمحددة التي تلعبها الطبقات المختلفة في تشكيل التمثيل البصري النهائي.