ملخص تقني: الأبعاد السببية لتمثيلات المحولات (Transformer)

بيان المشكلة

أصبحت المشفِّرات التلقائية المتفرقة (Sparse Autoencoders - SAEs) الأداة القياسية لتفكيك تدفقات المتبقي (residual streams) في نماذج المحولات إلى قواميس سمات ذات دلالة أحادية (monosemantic). وهناك افتراض سائد في هذا المجال مفاده أن القدرة التمثيلية (عدد السمات التي تعمل على أي مدخل) تتناسب طردياً مع القدرة السببية (عدد السمات التي يؤدي اضطرابها فعلياً إلى تغيير سلوك النموذج). وإذا كان هذا صحيحاً، فإن مجرد زيادة عرض الـ SAE سيؤدي بالتناسب إلى توسيع مجموعة السمات ذات الصلة السببية المتاحة للتفسير الآلي.

تتحدى هذه الورقة هذا الافتراض، وتجادل بأن القدرات التمثيلية والسببية تتباعد بشكل كبير مع توسع الـ SAEs. ويرى المؤلفون أن المجال يفتقر إلى توصيف منهجي للعلاقة بين عرض الـ SAE والقدرة السببية، مما يستلزم مقياساً جديداً لتحديد الكمية الهيكلية السببية لطبقات المحول.

المنهجية

1. تعريف البعد السببي ($\kappa$)

يقدم المؤلفون مفهوم البعد السببي، ويُرمز له بـ $\kappa(L, M, T)$، وهو يُعرف بأنه الرتبة الفعالة لضرب جاكوبي الخارجي المتوقع عند الطبقة $L$:
$$\kappa(L, M, T) = \text{eff-rank}(\Sigma_L), \quad \text{حيث } \Sigma_L = \mathbb{E}_{x \sim T} [J_L(x)^\top J_L(x)]$$
يمثل $\kappa$ العدد الفعال للاتجاهات في التدفق المتبقي التي تؤثر سببياً على المخرجات. ويثبت المؤلفون أن $\kappa \le \min(d, |V|)$، حيث $d$ هو بُعد النموذج و $|V|$ هو حجم المفردات.

2. التقدير عبر مسح عرض الـ SAE والترقيع النسبي (Attribution Patching)

بما أن حساب $\Sigma_L$ بدقة أمر مستعصٍ (يتطلب $d$ من عمليات التمرير الخلفي لكل مدخل)، يقترح المؤلفون مُقدِّراً متسقاً باستخدام الترقيع النسبي (AtP) مقترناً بـ مسح عرض الـ SAE:

• الترقيع النسبي (Attribution Patching): يُستخدم كوكيل من الدرجة الأولى للتأثير السببي. تُحسب درجة السمة $i$ كالتالي: $AtP_i = \mathbb{E} [|\frac{\partial \mathcal{L}}{\partial f_i} \cdot f_i(x)|]$، وهي تقيس تأثير السمة على الخسارة.
• مسح العرض (Width Sweep): قام المؤلفون بتدريب SAEs على نموذج Gemma-2-2B (الطبقة 12) عبر سبعة عروض تتراوح من 16,384 إلى 1,048,576 سمة.
• المقياس: يتم عدّ السمات $N_{causal}(m)$ التي تتجاوز عتبة مطلقة مُعايرة $\epsilon$ (وُضعت عند المئوي 98 من درجات AtP عند العرض المرجعي).
• الاتساق: تحت افتراضات التغطية (spanning)، والأمانة (faithfulness)، وعدم وجود سمات ميتة، فإن $N_{causal}(m)$ تتقارب مع عدد طيفي يشكل حداً أدنى لـ $\kappa$.

3. الضوابط التجريبية

تستخدم الدراسة ضوابط صارمة لعزل الإشارة السببية:

• المطابقة مع $\ell_0$ (Matched-$\ell_0$): التحكم في متوسط عدد السمات النشطة عبر العروض لمنع الارتباك الناتج عن انزياح التفرق (sparsity drift).
• ثبات المقياس (Scale Invariance): مقارنة Gemma-2-2B و Gemma-2-9B عند أعماق نسبية متطابقة.
• ثبات البنية المعمارية (Architecture Invariance): اختبار نماذج TopK و JumpReLU و ReLU القياسية لـ SAE.
• الدراسات الاستبعادية (Ablations): استبعاد مشفر/فك تشفير رباعي الخلايا للتمييز بين اختيار السمات وترشيح التفرق.
• الحقيقة الأرضية الاصطناعية: اختبار استعادة الاتجاهات السببية المعروفة في نموذج تجريبي بسيط.

النتائج الرئيسية

1. الفجوة بين التمثيل والسببية (The Representational–Causal Wedge)

في نموذج Gemma-2-2B (الطبقة 12)، أدت زيادة عرض الـ SAE بمقدار 64 ضعفاً (من 16 ألف إلى 1 مليون) إلى:

• النمو التمثيلي: زاد عدد السمات التي تعمل ($N_{repr}$) بمقدار 15.6 ضعفاً.
• النمو السببي: زاد عدد السمات النشطة سببياً ($N_{causal}$) بمقدار 4.35 ضعفاً فقط.
  هذا التباعد، الذي أُطلق عليه اسم الفجوة بين التمثيل والسببية، يوضح أن القدرة التمثيلية تنمو خطياً بينما تشبع القدرة السببية بشكل دون خطي.

2. تقدير $\kappa$

أدى ملاءمة منحنى تشبع لمسار $N_{causal}(m)$ إلى الحصول على تقدير للبعد السببي:

• $\hat{\kappa} \approx 1,990$ (مع فاصل ثقة واسع بسبب القيود العتادية على عرض الـ SAE، لكن النسبة قوية).
• $\hat{\kappa} / d_{model} \approx 0.86$: يستخدم النموذج تقريباً كل أبعاده التمثيلية سببياً على النصوص العامة، لكن هذا العدد محدود ولا ينمو مع عرض الـ SAE.
• نسبة المشاركة (Participation Ratio): يشير الحد الأدنى $\kappa_{PR} \approx 280$ إلى طيف ذو ذيل ثقيل من التأثير السببي.

3. الثبات والهيكل

• ثبات المقياس: رغم الزيادة بمقدار 3.46 ضعفاً في المعلمات (Gemma-2-2B مقابل 9B)، ظل العدد السببي عند العمق النسبي المتطابق متطابقاً ($N_{causal} = 328$). وهذا يشير إلى أن $\kappa$ يتحدد بتنوع المهام وليس بعدد المعلمات.
• تضاؤل العمق: عبر ثماني طبقات، انخفضت عتبة الإسناد المطلوبة لتحديد أعلى 2% من السمات بمقدار 20 ضعفاً من الطبقة 1 إلى الطبقة 23، مما يشير إلى أن قوة الإشارة السببية تتضاءل مع العمق.
• ثبات البنية المعمارية: ظل النمو دون الخطي لـ $N_{causal}$ ثابتاً عبر بنيات TopK و JumpReLU و ReLU القياسية.

4. الرؤية الميكانيكية: المشفر كمرشح (Filter)

كانت النتيجة الحاسمة من استبعاد الخلايا الأربعة هي أن استبدال المشفر المُدرَّب بإسقاط متعامد عشوائي أدى إلى تضخم $N_{causal}$ بمقدار 9.27 ضعفاً.

• الاستنتاج: يعمل المشفر المُدرَّب أساساً كمرشح للتفرق (يقمع السمات الخلفية) بدلاً من كونه مختاراً للسمات.
• النتيجة: قد يكون العمل في مجال التفسير الذي يركز على تسميات سمات المشفر موجهاً بشكل خاطئ؛ إذ يبدو أن بنية فك التشفيد وتوجيه السمات المقموعة هي الأكثر أهمية.

5. التحقق والضوابک

• الامتياز الهندسي: لم تظهر السمات السببية أي تميز هندسي (سواء في المقدار أو تشابه جيب التمام) عن السمات غير السببية في فضاء فك التشفيد.
• الاستعادة الاصطناعية: فشل الترقيع النسبي (AtP) في استعادة الاتجاهات السببية الحقيقية في نموذج تجريبي (الاستدعاء = 0)، مما يؤكد أن AtP يقيس أنماط التنشيط التي تمر عبر فك التشفيد، وليس استعادة مباشرة لقاعدة سببية.
• استعادة المهام المحددة: في دوائر مهام محددة (Marks et al., 2025)، استعاد أعلى 5% من سمات AtP نسبة 98.2% من الحقيقة الأرضية، مما يدعم وجود "هيكل طبقي" حيث توجد نواة مشتركة عالية الـ AtP عبر المهام، محاطة بهالة خاصة بكل مهمة.

الأهمية والادعاءات

تؤسس هذه الورقة $\kappa$ كخاصية قابلة للقياس ومتأصلة في النموذج لطبقات المحول. وتتمثل مساهماتها الرئيسية في:

1. التعريف النظري: تعريف البعد السببي كرتبة فعالة لجاكوبي السبب وإثبات حدودها العليا.
2. التوصيف التجريبي: إثبات أن القدرة السببية قابلة للاستعادة دون خطياً عبر عرض الـ SAE وأنها ثابتة تجاه توسع النموذج، مما يناقض الافتراض بأن توسيع الـ SAEs يزيد خطياً من قابلية التفسير السببي.
3. إعادة الصياغة الميكانيكية: تحديد المشفر المُدرَّب كمرشح للتفرق، مما يشير إلى أن "المجموعة السببية" تتحدد من خلال عملية قمع المشفر للضوضاء بدلاً من اختيار مفاهيم محددة.
4. الآثار العملية: تلتقط عروض الـ SAE الحالية (مثل 1M) حوالي 72% فقط من البعد السببي المقدر ($\hat{\kappa}$)، مما يعني أنه من أجل تعداد سببي كامل، ستكون هناك حاجة لـ SAEs أعرض بكثير (حوالي 2.6 مليون)، وهو أمر مكلف حاسوبياً في الوقت الحالي.

يخلص المؤلفون إلى أن "الفجوة" هي خاصية أساسية لتمثيلات المحولات، مدفوعة بتشبع أبعاد الفضاء الجزئي السببي، وأن جهود التفسير يجب أن تأخذ في الاعتبار هذا التوسع غير الخطي والدور المحدد للمشفر في ترشيح السمات الخلفية.