ملخص تقني: تعدد الأشكال هو دوران

بيان المشكلة

اعتمد مجال التفسير الآلي، لا سيما فيما يتعلق بالمشفرات التلقائية المتناثرة (SAEs)، بشكل كبير على تشابه جيب التمام لأعمدة فك التشفير (decoder-column cosine similarity) كمعيار أساسي لـ "العالمية" — وهو الادعاء بأن المحولات (transformers) المدربة بشكل مستقل تتعلم نفس الميزات الداخلية. تشير الأدبيات الحديثة إلى وجود تشابه عالٍ في جيب التمام (غالبًا > 0.9) بين أعمدة فك التشفير للنماذج المدربة ببذور عشوائية مختلفة، وتفسر ذلك كدليل على أن قواميس الميزات مشتركة.

ومع ذلك، يحدد هذا البحث نمط فشل حرج: بينما قد تتوافق أعمدة فك التشفير، تفشل مشفرات الـ SAE فشلاً ذريعاً عند تطبيقها على تنشيطات من بذرة (seed) مختلفة. إن تطبيق SAE مدرب على البذرة (أ) على التدفق المتبقي (residual stream) للبذرة (ب) يؤدي إلى تباين مفسر (EV) سالب، مما يعني أن إعادة البناء أسوأ من التنبؤ بالمتوسط الثابت. يشير هذا إلى أن معيار "العالمية" يقيس فقط هندسة فك التشفير بينما يتجاهل عدم المحاذاة الجوهري في إطار القراءة الخاص بالمشفر. المشكلة الأساسية هي أن النماذج المستقلة تحسب نفس الدالة ولكنها تعمل ضمن أنظمة إحداثيات داخلية غير مفهومة متبادلاً.

المنهجية

يستخدم المؤلفون إطار عمل تشغيلي رباعي الأعمدة مسجل مسبقاً لاختبار الادعاءات الآلية، مما يضمن القابلية للتفنيد:

1. العمود ب (السلوكي - Behavioural): متوسط تباعد KL بين النموذج ومواصفة بنائية.
2. العمود ب (البارامتري - Parametric): الحد الأقصى لمتوسط مربع الخطأ (MSE) لكل مدخل بعد محاذاة التماثل.
3. العمود ج (السببي - Causal): الارتباط بين تأثيرات رقعة المكونات المتوقعة والمقاسة.
4. العمود بر (التنبئي - Predictive): الارتباط بين خسائر استئصال المكونات المتوقعة والمقاسة.

التصحيحات المنهجية الرئيسية:

• التدرج المتكامل (IG) مقابل رقعة العزو (AP): يوضح المؤلفون أنه عند التقارب، ترتبط AP عكسياً مع تأثيرات الرقعة المقاسة بسبب هيمنة الضوضاء في التدرجات بالقرب من النهايات الصغرى. لذا استبدلوا AP بـ التدرج المتكامل، الذي يوفر — من خلال بديهية الاكتمال — متنبئاً دقيقاً رياضياً لتأثيرات الاستئصال المتوسطة (محققاً $r > 0.999$).
• المواصفة البنائية: بدلاً من تجميع مواصفة نظرية (مثل استخدام Tracr)، يستمد المؤلفون "مواصفة بنائية" مباشرة من البذرة الأولية المدربة عبر طي RMSNorm وتوسيم الأدوار، مما يضمن أن المواصفة تعكس التنفيذ الفعلي للنموذج.

الإعداد التجريبي:

• النطاق التجريبي (Toy Scale): نموذج محول بطبقتين و104 ألف معلمة، مدرب على مهمة Dyck-3 ذات العمق المحدود (مهمة مطابقة الأقواس). يسمح هذا بالتفسير الآلي الكامل لكل وزن.
• التوسع في الحجم: تسع بذور مستقلة من نموذج Pythia-70m (71 مليون معلمة، $d_{model}=512$) مدربة على مجموعة بيانات The Pile.
• المجموعات: تقارن التجارب بين البذور ذات أوزان الإدخال/الإخراج (I/O) المجمدة المشتركة (لعزل الدوران الداخلي) والبذور ذات التهيئة المستقلة.

المساهمات والنتائج الرئيسية

1. فرضية الدوران

يقترح البحث أن المحولات المدربة بشكل مستقل تحسب نفس الدالة حتى دوران متعامد لإسناد التدفق المتبقي.

• تعدد الأشكال (Polymorphism): الظاهرة التي تشترك فيها النماذج في نفس الدالة ولكنها تمتلك "إحداثيات داخلية غير مفهومة متبادلاً".
• الإصلاح: عملية ضرب مصفوفة متعامدة واحدة (Procrustes fit) على دفعة واحدة من التنشيطات تعمل على محاذاة قواعد البذور المختلفة.
• الاستعادة: بعد تطبيق هذا الدوران، يتم استعادة التباين المفسر (EV) لإعادة بناء SAE عبر البذور ليكون ضمن نطاق 0.025 EV من خط الأساس داخل البذرة نفسها في النموذج التجريبي، و 0.85–0.99 EV في نموذج Pythia-70m.

2. الطبيعة الإحصائية للدوران

الدوران ليس محاذاة مهيكلة قابلة للتعلم، بل هو سحب عشوائي منتظم من المجموعة المتعامدة $SO(d_{model})$.

• توزيع هير (Haar Distribution): الطيف المميز لمصفوفة الدوران $R$ لا يمكن تمييزه إحصائياً عن مقياس هير على $SO(d)$ (اختبار Kolmogorov–Smirnov بقيمة $p \approx 1.000$).
• مسافة Frobenius: مسافة $\|R - I\|_F$ تطابق التنبؤ النظري لمصفوفة متعامدة عشوائية ($\sqrt{2d_{model}}$) ضمن هامش 0.1% لنموذج Pythia-70m.
• المشفر مقابل فك التشفير: تشابه جيب التمام العالي لفك التشفيد (98%) هو مجرد مصادفة هندسية ثابتة. المشفر يقرأ من إطار دوران، مما يسبب الفشل الوظيفي.

3. أنظمة انتقال ناقلات التوجيه (Steering Vectors)

يصنف البحث كيف تنتقل ناقلات التوجيه (تدخلات فرق المتوسطات) عبر البذور بناءً على محاذاتها مع الفضاء الجزئي الثابت للدوران:

• الانتقال النظيف: الناقلات المثبتة بواسطة أوزان الإدخال/الإخراج المشتركة (مثل عداد العمق في النموذج التجريبي) تنتقل دون تصحيح.
• الانتقال الجزئي: الناقلات التي تتداخل مع الفضاء المدار تتطلب إزاحة في الجرعة.
• الانتقال المعكوس: الناقلات التي تقع أساساً في الفضاء المدار تنتقل بإشارات معكوسة.
• نطاق Pythia: في النماذج التي لا تملك إدخال/إخراج مشترك (Pythia-70m)، تكون جميع الاتجاهات مدورة، مما يسبب انتقالاً معكوساً شاملاً. بدون تصحيح الدوران، تؤدي ناقلات التوجيه المطبقة عبر البذور إلى تدهور الأداء.

4. حدود محاذاة المعلمات

يوضح المؤلفون أن البحث عن التماثل على مستوى المعلمات (محاذاة الأوزان عبر التبديلات والدورات) لا يمكنه حل عدم المحاذاة بالكامل.

• حتى بعد تحسين MSE الأوزان، يظل MSE على مستوى التنشيط مرتفعاً.
• الفشل في تحقيق التحسين المشترك لخسارة الوزن والتنشيط في تجاوز عتبة Bar P؛ حيث تقع الدورات المثلى للوزن والمثلى للتنشيط في أحواض منفصلة من مشهد الخسارة. هذا يؤكد أن الدوران هو ظاهرة على مستوى التنشيط لا تستوعبها تماماً تماثلات المعلمات.

الأهمية والادعاءات

يدعي البحث حل "لغز تشابه جيب التمام لفك التشفير" من خلال إثبات أن العالمية هي تكافؤ دوران، وليست محاذاة إحداثيات حرفية.

• تحسين عالمية SAE: تشابه جيب التمام لفك التشفيد ضروري ولكنه ليس كافياً لعالمية الميزات. يجب أن يتضمن المقياس الكامل التباين المفسر (EV) لإعادة البناء عبر البذور والقدرة على تطبيق تصحيح الدوران.
• الفائدة العملية: تصحيح الدوران غير مكلف حسابياً (عملية ضرب مصفوفة واحدة لكل زوج من النماذج) ولا يتطلب إعادة تدريب. وهو يسمح بنقل قواميس ميزات SAE وناقلات التوجيه بين النماذج المستقلة بدقة عالية.
• الصرامة المنهجية: من خلال استخدام إطار عمل مسجل مسبقاً بعتبات قابلة للتفنيد، يميز البحث بين "تكييف القصة" وبين الادعاءات الآلية المتحقق منها. يعمل فشل Bars P و C و Pr (بدون دوران) كمحرك تجريبي لفرضية الدوران.
• النطاق: تسري النتائج عبر نموذج تجريبي بـ 104 ألف معلمة وعائلة نماذج بحجم 71 مليون معلمة. يصرح المؤلفون صراحةً أن تكرار النطاق الواسع (10B+) يظل اختباراً تجريبياً مفتوحاً، رغم أن التصميم التجريبي لهذا الاختبار مباشر.

يخلص البحث إلى أن قواعد التدفق المتبقي للنماذج المستقلة هي، كتقريب أول، عينات عشوائية منتظمة من المجموعة المتعامدة، وأن "تعدد الأشكال" هو الواقع التشغيلي لهذا الانجراف الهندسي.