Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology

ملخص تقني: ديناميكيات المجرى المتبقي في نماذج المحولات (Transformer)

بيان المشكلة
بينما تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات مذهلة، إلا أن الآليات التي تنتشر من خلالها الحوسبة عبر الطبقات لا تزال غير مفهومة بشكل جيد. تفشل أدوات التفسير الحالية، مثل تحليل الدوائر (circuit analysis) والمشفرات التلقائية المتفرقة (sparse autoencoders)، في شرح كيفية تضخيم الاضطرابات أو ضغطها أو إعادة توجيهها عبر الطبقات، رغم قدرتها على تحديد ما تمثله المكونات. يقدم نظر الزميات الديناميكية إطاراً لهذا الغرض، حيث يعامل العمق كزمن منفصل والمجرى المتبقي كنظام ديناميكي. ومع ذلك، اعتمدت التحليلات السابقة على ملخصات قياسية، أو خطية تقريبية، أو دراسات أُجريت فقط عند التهيئة العشوائية. وبناءً على ذلك، تظل الهندسة الطيفية الكاملة لجاكوبيات (Jacobians) الإنتاج الضخم — وتحديداً توزيع القيم الذاتية، وهياكل عدم الطبيعية (non-normality)، والديناميكيات الدورانية — غير مشخصة. علاوة على ذلك، فإن العلاقة بين الطوبولوجيا الحوسبية للشبكة (البنية المجتمعية) وسلوكها الديناميكي لم تُختبر بعد على نطاق واسم.

المنهجية
يقوم المؤلفون بإجراء توصيف طيفي كامل لثلاثة نماذج محولات (Transformers) من نوع "المفكك فقط" (decoder-only) ذات حجم إنتاجي: Llama 3.1 8B، وOLMo 3 7B، وGemma 4 E4B.

• حساب جاكوبي (Jacobian Computation): يتم حساب جاكوبيات دقيقة لكل عينة ($J_\ell = \partial h_{\ell+1} / \partial h_\ell$) عند كل حد فرعي للطبقة (ما قبل الانتباه وما قبل MLP) عبر 1,000 عينة من WikiText-2.
• التحليل الطيفي: يتم إجراء تحليل القيم الذاتية الكامل (eigendecomposition) وتحليل القيم المفردة (SVD) على متوسطات الجاكوبيات. تشمل المقاييس الرئيسية أعداد الشرط (condition numbers)، والارتباط الذاتي (التداخل بين الفضاءات المفردة للمدخلات والمخرجات)، وانحراف هينريسي (مقياس عدم الطبيعية)، ونسبة الأنماط التوسعية.
• تفكيك التدريب مقابل البنية: باستخدام OLMo 3 7B، تقارن الدراسة بين ثلاث نقاط تفتيش (checkpoints): الخطوة 0 (تهيئة عشوائية)، الخطوة 471k، والخطوة 1.41M (مرحلة ما قبل التدريب النهائية). وبما أن الخطوة 0 تشترك في البنية والعمق ولكنها تفتقر إلى الأوزان المتعلمة، فإنها تعمل كنماذج مرجعية (null model) للتمييز بين الأولويات المعمارية والخصائص المستحثة بالتدريب.
• التحليل الطوبولوجي: يتم إنشاء رسوم بيانية للارتباط التنشيطي لكل طبقة، وتقسيمها إلى مجتمعات باستخدام خوارزمية Leiden CPM الموقعة. تدرس الدراسة الاقتران بين طوبولوجيا المجتمع (وتحديداً "العقد الحدودية" التي تربط بين عدة مجتمعات) وديناميكيات جاكوبي.
• التدخل (Intervention): يُستخدم تفكيك شور (Schur decomposition) لعزل المكون غير الطبي ($N_\ell$) للجاكوبي. ومن خلال تغيير مقياس $N_\ell$ مع تثبيت الطيف ($\Lambda_\ell$) والأساس ($Q_\ell$)، يختبر المؤلفون ما إذا كانت الاختناقات البعدية الملحوظة تنشأ من طيف القيم الذاتية أم من بنية التغذية الأمامية غير الطبيعية.

النتائج الرئيسية

1. تدرج عدم الطبيعة الرتيب (Monotonic Non-Normality Gradient):
   تُظهر النماذج المدربة تحولاً مميزاً يعتمد على العمق في نوع المؤثر. تهيمن على الطبقات المبكرة الديناميكيات غير الطبيعية ذات الطابع الدوراني الكثيف (حوالي 98% من القيم الذاتية تظهر كأزواج مترافقة معقدة)، بينما تتحول الطبقات المتأخرة نحو مؤثرات شبه متماثلة. هذا التدرج متعلم إلى حد كبير؛ ففي مرحلة التهيئة (OLMo Step 0)، تكون الطبقات بالفعل شبه متماثلة، ثم يعمل التدريب على سحب الطبقات المبكرة والمتوسطة نحو الدوران.

2. الاختناق البعدي التراكمي (Cumulative Dimensional Bottleneck):
   يكشف تركيب الجاكوبيات من البداية إلى النهاية عن عملية تقطير شديدة للاضطرابات. في نموذج Llama 3.1 8B، ينخفض الرتب الفعال للجاكوبي التراكمي من ~436 (للطبقة الواحدة) إلى ~7 (للعمق الكامل)، مما يعني أن عدداً قليلاً جداً من القنوات الفعالة هو ما ينجو من التضمين (embedding) وصولاً إلى اللوجيت (logit). هذا الانهيار ليس معمارياً (حيث يظل الرتب الفعال مرتفعاً عند الخطوة 0) بل يتم تثبيته بواسطة التدريب. والأهم من ذلك، تُظهر تجارب جراحة "شور" (Schur surgery) أن إزالة المكون غير الطبي ($N_\ell$) مع الحفاظ على الطيف يؤدي إلى تلاشي هذا الاختناق، مما يشير إلى أن "القمع" (funnel) هو خاصية للبنية غير الطبيعية للتغذية الأمامية المتعلمة، وليس ناتجاً عن القيم الذاتية.

3. الاقتران بين الطوبولوجيا والديناميكيات (Topology-Dynamics Coupling):
   تحدد الدراسة اقتراناً متعلماً بين الطوبولوجيا المجتمعية للشبكة وديناميكياتها. الوحدات التي تربط بين مجتمعات الرسم البيوت التنشيطية (العقد الحدودية) يتم تضخيمها أو كبحها بشكل تفضيلي بواسطة جاكوبي.

• الاعتماد على الإشارة: يتم تحديد إشارة هذا الاقتران من خلال نوع المؤثر المحلي. في الطبقات شبه المتماثلة، يتم تضخيم الوحدات الحدودية. وفي الطبقات القوية غير الطبيعية، يتم تقليل تضخيمها.
• الظهور: هذا الاقتران غائب عند التهيئة ويظهر بشكل رتيب خلال التدريب. في نموذج OLMo، يزدال عدد الطبقات ذات الدلالة الإحصائية (FDR-significant) من 0 (الخطوة 0) إلى 14 (الخطوة 471k) إلى 24 (الخطوة 1.41M).

الأهمية والادعاءات
يدعي البحث تقديم أول وصف كامل على مستوى القيم الذاتية لجاكوبيات نماذج المحولات ذات الحجم الإنتاجي بعد التدريب. وتتمثل مساهماته الأساسية في:

• سد الفجوة: يربط بين نظرية وقت التهيئة (التي تتنبأ بعدم وجود هذه البنية) وبين الخطية التقريبية (التي لا يمكنها حل الديناميكيات الدورانية المهيمنة على الطيف).
• الرؤية الآلية: يوضح أن "الانهيار البعدي" الملاحظ في النماذج اللغوية الكبيرة هو خاصية متعلمة مدفوعة بعدم الطبيعة، وليس حتمية معمارية أو نتاجاً طيفياً عرضياً.
• الربط بين الطوبولوجيا والديناميكيات: يثبت أن الطوبولوجيا الوظيفية للشبكة (البنية المجتمعية) ليست مجرد ميزة ثابتة، بل تتفاعل ديناميكياً مع انتشار الإشارة، حيث يكون طبيعة هذا التفاعل (التضخيم مقابل الكبح) وظيفة متعلمة لنوع مؤثر الطبقة.

يشير المؤلفون إلى أنه بينما تعد البنية المجتمعية متوسطة المدى جزءاً من المعمارية (موجودة عند التهيئة)، فإن الاقتران المحدد بين العقد الحدودية وتضخيم جاكوبي هو ظاهرة متعلمة. ويقترح العمل أن جهود التفسير المستقبلية يجب أن تأخذ في الاعتبار الهندسة الطيفية الكاملة، وخاصة عدم الطبيعة والديناميكيات الدورانية، بدلاً من الاعتماد فقط على تحليل القيم المفردة (SVD).