Analogies between Transformer Layers and Power Method

ملخص تقني: التناظرات بين طبقات المحولات (Transformer Layers) وطريقة القوة (Power Method)

بيان المشكلة
تتناول الورقة البحثية نقص الفهم المتعلق بالاتجاه الشعاعي المحدد الذي تتقارب إليه تمثيلات الرموز (tokens) في نماذج المحولات العميقة، وهي ظاهرة تُعرف باسم "التنعيم المفرط" (oversmoothing)، أو "انهيار الرتبة" (rank collapse)، أو "تجانس الرموز" (token-uniformity). وبينما ثبت أن المحولات العميقة تميل نحو حالة إجماع حيث تصبح جميع الرموز متطابقة، إلا أن طبيعة متجه الإجماع هذا والآلية التي تقود إليه لا تزال غير واضكرة. النماذج الأدبية الحالية غالبًا ما تصنف آلية الانتباه الذاتي كنظام مستمر الزمن أو تركز على سيناريوهات الرأس الواحد، مما يترك السلوك ذي الزمن المنفصل ومتعدد الرؤوس للنماذج العملية (مثل GPT2 وBERT وALBERT) أقل استكشافًا. وتحديدًا، تسعى الورقة إلى تحديد ما إذا كانت عملية تمرير الرموز عبر طبقات المحول تشبه طريقة عددية معروفة لإيجاد المتجهات الذاتية الرئيسية (principal eigenvectors).

المنهجية
قام المؤلفون بنمذجة المحول كنظام ديناميكي ذي زمن منفصل حيث يمثل مؤشر الطبقة $t$ الزمن. ركزوا على قانون التحديث لمتجهات الرموز $x_i(t)$ عبر طبقة واحدة، مع استبعاد شبكة التغذية الأمامية (FFN) صراحةً واستخدام تطبيع $L_2$ (بدلاً من تطبيع الطبقة القياسي LayerNorm) لعزل التأثيرات الهندسية لآليات الانتباه والإسقاط.

يتضمن جوهر المنهجية تعريف "مصفوفة الطبقة" $F_t$ لكل طبقة $t$، والتي تُبنى كحاصل ضرب مصفوفة أوزان المخرجات ($O$) ومصفوفات أوزان القيم ($V$) المجمعة لرؤوس الانتباه:
$$F_t = O_t V_t$$
يتم تحليل قاعدة التحديث كخطوة في نظام ديناميكي:
$$x_i(t+1) = \text{LayerNorm}\left(x_i(t) + \text{AttentionOutput}\right)$$
عقد المؤلفون تشابهًا مباشرًا بين هذا التحديث وطريقة القوة (Power Method)، وهي خوارزمية تكرارية تُستخدم لحساب المتجه الذاتي الرئيسي لمصفوفة ما. في طريقة القوة، يتم ضرب متجه في مصفوفة بشكل متكرر وتطبيعه، مما يؤدي إلى التقارب نحو المتجه الذاتي المهيمن إذا وجد فجوة طيفية (spectral gap).

ينقسم التحليل إلى سيناريوهين رئيسيين:

1. الأوزان المشتركة (ثبات الزمن): تم تحليلها باستخدام نماذج ALBERT حيث تكون الأوزان متطابقة عبر جميع الطبقات ($F_t = F$). قدم المؤلفون توصيفات تحليلية دقيقة للحالات التي يكون فيها القيمة الذاتية الرئيسية حقيقية ومهيمنة تمامًا، أو مركبة، أو غير مهيمنة.
2. الأوزان المتغيرة حسب الطبقة (تغير الزمن): تم تحليلها باستخدام BERT وGPT2 وGPTNeo. هنا، تتغير $F_t$ عند كل طبقة. بحث المؤلفون فيما إذا كانت الرموز لا تزال تظهر ميلًا للتحاذي مع المتجه الذاتي الرئيسي الحالي $v_{1,t}$ رغم تغير الهدف.

للتحقق من النظرية، أجرى المؤلفون تجارب عددية على نماذج مدربة مسبقًا، حيث قاموا بقياس الارتباط بين متجهات الرموز والمتجهات الذاتية الرئيسية لمصفوفات الطبقات. كما اقترحوا طريقة لـ "توجيه" (steering) المخرجات عن طريق تعديل الطبقة النهائية.

المساهمات الرئيسية

1. التناظر مع طريقة القوة: تثبت الورقة أن عملية طبقة المحول (مع تجاهل FFN) تعمل بشكل مشابه لخطوة واحدة من طريقة القوة. حيث يتم إسقاط الرموز وتطبيعها، مما يؤدي إلى الميل نحو المتجه الذاتي الرئيسي لمصفوفة الطبقة $F_t$.
2. التوصيف التحليلي للتقارب:
   • بالنسبة لـ المحولات ذات الأوزان المشتركة (مثل ALBERT)، أثبت المؤلفون أنه إذا كانت مصفوفة الطبقة $F$ تمتلك قيمة ذاتية حقيقية مهيمنة تمامًا، فإن النظام يتقارب نحو حالة إجماع حيث تتحاذى جميع الرموز مع المتجه الذاتي الرئيسي $v_1$.
   • حددوا شروط الاستقرار، مشيرين إلى أنه إذا كانت القيمة الذاتية الرئيسية مركبة، فإن الرموز تتقارب نحو دورة حدية (limit cycle) في الفضاء الجزئي ثنائي الأبعاد الذي تشغله الأجزاء الحقيقية والخيالية للمتجهات الذاتية.
   • أظهروا أن "الإجماع الثنائي" (حيث تنقسم الرموز إلى مجموعتين تتحاذيان مع $\pm v_k$) ممكن نظريًا ولكنه نادر وغير مستقر تجريبيًا في إعدادات تعدد الرؤوس.
3. التحقق التجريبي على النماذج الحقيقية:
   • أكدت التجارب على ALBERT أن الرموز تتقارب بسرعة نحو المتجه الذاتي الرئيسي للمصفوفة المشتركة. ومع ذلك، فإن سرعة التقارب غالبًا ما تكون محدودة بفجوات طيفية صغيرة (حيث $\lambda_1 \approx \lambda_2$) أو قيم ذاتية مركبة.
   • أظهرت التجارب على النماذج متغيرة الطبقات (BERT, GPT2, GPTNeo) أنه بينما لا تراكم الرموز تحاذيًا نحو متجه ذاتي عالمي واحد (بسبب تغير $F_t$)، إلا أنها لا تزال تظهر زيادة ذات دلالة إحصائية في الارتباط مع المتجه الذاتي الرئيسي للطبقة الحالية $v_{1,t}$ في كل خطوة. وهذا يؤكد أن سلوك "طريقة القوة" يستمر محليًا حتى في الأنظمة متغيرة الزمن.
4. توجيه الرموز عبر اضطراب الرتبة-1 (Rank-1 Perturbation): تقترح الورقة طريقة بنائية لتوجيه الرموز نحو اتجاه مرغوب عشوائي. من خلال إضافة اضطراب رتبة-1 كبير إلى مصفوفة المخرجات للطبقة النهائية، يمكن للمؤلفين خلق فجوة طيفية كبيرة. هذا يجبر مصفوفة الطبقة النهائية على امتلاك متجه ذاتي رئيسي جديد محدد من قبل المستخدم، مما يجعل جميع الرموز تتحاذى مع هذا الاتجاه المحدد.

النتائج

• ALBERT: في النماذج ذات الأوزان المشتركة، تتقارب الرموز بسرعة نحو الإجماع. بالنسبة لـ ALBERT-base وlarge، تكون القيمة الذاتية الرئيسية حقيقية ولكنها قريبة من الثانية، مما يؤدي إلى التقارب ضمن نطاق أول متجهين ذاتيين. بالنسبة لـ xlarge وxxlarge، تسبب القيم الذاتية المركبة دوران الرموز في فضاء جزئي ثنائي الأبعاد.
• النماذج متغيرة الطبقات: في متغيرات BERT وGPT، يكون التحاذي مع المتجه الذاتي الرئيسي للطبقة الحالية ($\gamma_t$) إيجابيًا ولكنه ضعيف عمومًا. ويُعزى هذا الضعف إلى الفجوات الطيفية الصغيرة ($\lambda_{1,t} - \lambda_{2,t}$) في المحولات الواقعية. ومع ذلك، لوحظ باستمرار أن احتمال زيادة التحاذي في كل خطوة ($\rho_t > 0.5$)، مما يؤكد التناظر.
• التوجيه (Steering): عندما يتم تعديل الطبقة النهائية باضطراب رتبة-1، تصبح الفجوة الطيفية كبيرة، وتحقق الرموز تحاذيًا شبه مثالي مع المتجه الذاتي الرئيسي المستحث حديثًا، بغض النظر عن بنية النموذج.

الأهمية والادعاءات
تدعي الورقة أن رؤية المحولات من خلال عدسة طريقة القوة توفر تفسيرًا مبدئيًا للتنعيم المفرط للرموز والإجماع. وتشير إلى أن "اتجاه" الإجماع ليس عشوائيًا بل يتم تحديده من خلال الخصائص الطيفية لحاصل ضرب مصفوفات أوزان القيم والمخرجات.

يؤكد المؤلفون أنه بينما يكون التحاذي الطبيعي في المحولات القياسية ضعيفًا بسبب الفجوات الطيفية الصغيرة، إلا أن الآلية قوية بما يكفي لاستغلالها. توفر طريقة التوجيه المقترحة بديلًا مبدئيًا للتقنيات الحالية (مثل هندسة الأوامر أو تحرير التنشيط) للتحكم في مخرجات النموذج، لأنها تتلاعب مباشرة بخصائص الإسقاط الهندسي للطبقة النهائية. وتخلص الورقة إلى أن هذا التناظر يظل قائمًا حتى عند تجاهل FFN، مما يشير إلى أن آلية الانتباه وتطبيع الطبقة هما المحركان الرئيسيان لسلوك محاذاة المتجه الذاتي هذا.