Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis

إليك ملخص تقني مفصل للورقة البحثية بعنوان "فك الارتباط بين الاتجاه والمقدار في تمثيلات المحولات: تفكك مزدوج من خلال تحليل الاضطراب المتوافق مع المعيار L2".

1. بيان المشكلة

تقوم نماذج المحولات (Transformers) بترميز المعلومات كمتجهات عالية الأبعاد. وبينما تفترض فرضية التمثيل الخطي أن المفاهيم الدلالية تُرمّز كـ اتجاهات (توجيهات) محددة في فضاء التنشيط، فإن الدور الوظيفي لـ مقدار المتجه (معيار L2) يظل غير واضح.

• الفجوة: تتعامل الأدبيات الحالية إلى حد كبير مع المقدار باعتباره ضجيجاً أو خاصية ثانوية، ومع ذلك تتباين معايير المتجهات بشكل كبير عبر الرموز (tokens) والطبقات.
• مشكلة الخلط: كانت المحاولات السابقة لمقارنة الاتجاه والمقدار معيبة لأن اضطراب الاتجاه (الدوران) والمقدار (التحجيم) بمقادير "صغيرة" يؤدي إلى إزاحات إقليدية مختلفة تماماً في فضاء المتجه. وبدون التحكم في حجم الإزاحة، يستحيل تحديد ما إذا كانت التأثيرات الملحوظة ناتجة عن الخاصية المختبرة أم مجرد نتيجة لحجم الاضطراب.

2. المنهجية: تحليل الاضطراب المتوافق مع المعيار L2

قدم المؤلفون إطار عمل صارماً لعزل المساهمات الوظيفية للاتجاه والمقدار من خلال ضمان تطابق الإزاحات الإقليدية ($\delta$).

• التفكيك: يتم تفكيك متجه الحالة المخفية $h$ إلى مقدار $\|h\|$ واتجاه وحدة $\hat{h}$.
• أنواع الاضطراب:
  • اضطراب المقدار: يقوم بتحجيم المتجه ($h' = \alpha h$) مع الحفاظ على الاتجاه.
  • الاضطراب الزاوي: يقوم بتدوير المتجه ضمن فضاء فرعي متعامد عشوائي ($h' = \|h\| \cdot \hat{h}'$) مع الحفاظ على المعيار.
• توافق L2: يتم ضبط عامل التحجيم $\alpha$ وزاوية الدوران $\theta$ رياضياً بحيث تكون المسافة الإقليدية من المتجه الأصلي متطابقة لكلا النوعين من الاضطراب: $\|h - h'_{mag}\| = \|h - h'_{ang}\| = \delta$.
• البروتوكول التجريبي:
  • النماذج: Pythia-410M و Pythia-1.4B (المعتمدة على LayerNorm).
  • التدخل: تُطبق الاضطرابات على الحالات المخفية في الطبقات الوسطى (8–15).
  • المقاييس: خسارة نمذجة اللغة (التنبؤ بالرمز التالي) والدقة النحوية (توافق الفاعل والفعل في اختبار BLiMP).
  • التدخلات السببية: تجارب "الإصلاح" حيث يتم حقن مخرجات الانتباه النظيفة أو مخرجات LayerNorm مرة أخرى في عمليات التمرير الأمامي المضطربة لتتبع المسارات الميكانيكية.

3. المساهمات الرئيسية

1. الاكتشاف التجريبي: تحديد تفكك تبادلي (تفكك مزدوج) بين الاتجاه والمقدار في نماذج المحولات المعتمدة على LayerNorm.
2. الابتكار المنهجي: إطار عمل الاضطراب المتوافق مع L2، مما سمح بأول مقارنة منضبطة وعادلة للخصائص الهندسية.
3. الرؤية الميكانيكية: دليل سببي يربط الاتجاه بـ مسارات الانتباه (Attention pathways) والمقدار بـ مسارات LayerNorm.
4. التحسين النظري: صياغة منقحة لفرضية التمثيل الخطي تقترح تخصصاً وظيفياً جزئياً للخصائص الهندسية.

4. النتائج الرئيسية

أ. التفكك التبادلي

تكشف الدراسة أن الاتجاه والمقدار يدعمان أدواراً حوسبية متميزة، وهو ما يتضح من خلال عكس أنماط الضرر:

• خسارة نمذجة اللغة (التنبؤ بالرمز التالي):
  • الاضطرابات الزاوية (الاتجاه) تسبب ضرراً كارثياً. عند الإزاحات الصغيرة ($\delta=1.0$)، تسبب الاضطرابات الزاوية زيادة في الخسارة بمقدار 42.9 ضعف أكثر من اضطرابات المقدار.
  • التفسير: الاتجاه حاسم لتوجيه المعلومات والتنبؤ بالرموز.
• الدقة النحوية (توافق الفاعل والفعل):
  • اضطرابات المقدار تسبب ضرراً أكبر بكثير. عند $\delta=5$، تؤدي اضطرابات المقدار إلى انخفاض الدقة بنسبة 20.4%، بينما تؤدي الاضطرابات الزاوية إلى انخفاض بنسبة 1.6% فقط.
  • التفسير: المقدار حاسم للأحكام النحوية الدقيقة.

ب. المسارات الميكانيكية (الإصلاح السببي)

تتبع المؤلفون كيف تؤثر هذه الاضطرابات:

• الاتجاه $\leftarrow$ الانتباه: إصلاح أنماط الانتباه يستعيد 28.4% من الخسارة الناجمة عن الاضطراب الزاوي، مقارنة بـ 15.2% فقط للاضطراب المقداري. وهذا يشير إلى أن الاتجاه يحكم أساساً التوجيه الانتباهي (أي الرموز تنتبه لأي رموز).
• المقدار $\leftarrow$ LayerNorm: إصلاح مخرجات LayerNorm يستعيد 29.9% من الضرر الناتج عن المقدار، مقارنة بـ 13.7% للاضطراب الزاوي. وهذا يشير إلى أن المقدار ينظم كثافة المعالجة عبر LayerNorm.
• الانتشار: تتضخم الأخطاء الزاوية بشكل أكبر بكثير (3.18 ضعف) من أخطاء المقدار أثناء انتشارها عبر الطبقات، مما يشير إلى أن الأخطاء الاتجاهية تتوالد عبر آلية الانتباه.

ج. مفارقة الترميز مقابل الحوسبة

• الاستقصاء (Probing): تُظهر المستشعرات الخطية أن الاتجاه يرمز للفئات النحوية (أجزاء الكلام) بشكل أفضل بكثير (دقة 81.6%) من المقدار (29.7%).
• الاضطراب: رغم أن الاتجاه يرمز للنحو، إلا أن اضطرابات المقدار تدمر الأداء النحوي بشكل أكبر.
• الحل: الاتجاه يرمز لـ ماهية الرمز (الفئة)، بينما يرمز المقدار لـ مكان وجوده هيكلياً (عمق شجرة الإعراب) وينظم كيفية معالجة هذه المعلومات. تعطيل المقدار يدمر السياق الهيكلي اللازم للتوافق، حتى لو ظل ملصق الفئة سليماً.

د. الاعتماد على البنية (قيد حرج)

• الارتباط ليس عالمياً:
  • نموذج Pythia (LayerNorm): يُظهر التفكك القياسي (الاتجاه $\leftarrow$ الخسارة، المقدار $\leftarrow$ النحو).
  • نموذج TinyLlama (RMSNorm): النمط ينعكس تماماً. اضطرابات المقدار تسبب ضرراً في الخسارة أكبر من الاضطرابات الزاوية.
  • الاستنتاج: تعتمد الأدوار الوظيفية للاتجاه والمقدار بشكل كبير على طبقة التطبيع (LayerNorm مقابل RMSNorm).

5. الأهمية والآثار المترتبة

• تحسين التفسير: تجادل الورقة بأن تحليل المتجهات الكاملة غير كافٍ. إن فصل الاتجاه عن المقدار يمكن أن يكشف عن تدفقات معلومات متميزة (التوجيه الدلالي مقابل الكثافة الهيكلية).
• تعديل النماذج: يجب أن تكون تقنيات تعديل معرفة النموذج أكثر دقة:
  • الحفاظ على الاتجاه للحفاظ على جودة نمذجة اللغة والمعرفة الواقعية.
  • الحفاظ على المقدار للحفاظ على التماسك النحوي والاستدلال الهيكلي.
• الأثر النظري: تتحدى الورقة الرؤية التي تعتبر المقدار مجرد ضجيج. فهي تقترح أن في بنيات LayerNorm، يعمل المقدار كحامل وظيفي لمعلومات الموقع الهيكلي (عمق الإعراب) الذي ينظم عملية الحوسبة.
• الاتجاهات المستقبلية: تسلط الضوء على الحاجة للتحقيق في كيفية تغيير مخططات التطبيع (LayerNorm مقابل RMSNorm) بشكل جذري للاستخدام الهندسي للتمثيلات في الشبكات العصبية.

ملخص

تقدم هذه الورقة أول دليل سببي على أنه في نماذج المحولات المعتمدة على LayerNorm، فإن الاتجاه والمقدار ليسا قابلين للتبادل. فهما يقدمان تفككاً مزدوجاً: الاتجاه يقود التوجيه الانتباهي ونمذجة اللغة، بينما يرمز المقدار للموقع الهيكلي وينظم المعالجة النحوية عبر LayerNorm. هذه النتائج مرهونة بالخيارات المعمارية، وتحديداً طريقة التطبيع، مما يوفر عدسة جديدة لفهم وتعديل نماذج اللغة العصبية.