🤖 machine learning

Feed-Forward Steering in Transformer Residual Dynamics

توسع هذه الورقة النظريات الديناميكية المقتصرة على الانتباه لنماذج المحولات عبر نمذجة الشبكات ذات التغذية الأمامية كمجالات توجيه محلية، مبرهنةً على أن مكوناتها المماسية ضرورية للحركة المتبقية وأداء النموذج، مع تحديد عيوب التبديل كمعيار رئيسي لتحديد جدوى موازاة كتل الانتباه وكتل التغذية الأمامية.

المؤلفون الأصليون: Timur Mudarisov, Mikhail Burtsev, Radu State

نُشر 2026-08-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Timur Mudarisov, Mikhail Burtsev, Radu State

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد حفلة رقص ضخمة وغير مرئية داخل عقل حاسوبي. هذه ليست حفلة ذات موسيقى وأضواء وامضة، بل هي حفلة من الكلمات والأرقام. في عالم الذكاء الاصطناعي، وتحديداً في نماذج "المحولات" (Transformers) التي تشغل روبوتات الدردشة ومحركات البحث، هناك تدفق مستمر للمعلومات يسمى "المجرى المتبقي" (residual stream). فكر في هذا المجرى كأنه نهر يحمل قوارب صغيرة (الرموز أو الـ tokens) تمثل الكلمات. لفترة طويلة، اعتقد العلماء أن الشيء الوحيد الذي يوجه هذه القوارب هو آلية تسمى "الانتباه" (Attention). يمكنك تخيل "الانتباه" كمغناطيس ضخم غير مرئي يجذب القوارب نحو بعضها البعض إذا كانت تتحدث عن أشياء متشابهة. إذا كان القارب يقول "ملك"، فقد يجذب المغناطيس القارب الذي يقول "ملكة" ليقترب منه. هذه قوة الجذب تسمى "التجميع" (aggregation)، وهذا هو السبب في أن الكلمات التي تنتمي لبعضها تبدأ في التكتل في نفس الاتجاه.

ومع ذلك، هناك جزء آخر من ساحة الرقص: "الشبكة الأمامية" (Feed-Forward Network أو FFN). إذا كان "الانتباه" هو المغناطيس الذي يجذب القوارب معاً، فإن الـ FFN هو مثل "دي جي" محلي أو مدرب شخصي يقف بجانب كل قارب مباشرة، ليدفع القارب في اتجاه معين بناءً على ما يقوله ذلك القارب تحديداً. لسنوات، اعتقد الباحثون أن الـ FFN مجرد تابع، ربما يقوم فقط بتعديل سرعة القوارب أو ضبط مستوى صوتها. لكن ورقة بحثية جديدة تطرح سؤالاً كبيراً: هل الـ FFN مجرد مقبض للتحكم في مستوى الصوت، أم أنه في الواقع عجلة القيادة التي تحدد أين تذهب القوارب؟ فهم هذا الأمر مهم لأننا إذا عرفنا بالضبط كيف تتحرك هذه القوارب، يمكننا جعل الذكاء الاصطناعي أسرع، وأذكى، وأسهل في الإصلاح عندما يرتكب الأخطاء.

الاكتشاف الكبير للورقة البحثية: الدي جي هو القبطان

تقترح هذه الورقة، التي تحمل عنوان "التوجيه عبر الشبكات الأمامية في الديناميكيات المتبقية للمحولات" (Feed-Forward Steering in Transformer Residual Dynamics)، أن الرؤية القديمة كانت تفتقد قطعة حاسمة من اللغز. يقترح المؤلفون طريقة جديدة للنظر إلى ساحة الرقص: "الانتباه" هو "التجميع" الذي يسحب الجميع نحو مجموعة مشتركة، لكن الـ FFN هو "مجال توجيه" يدفع القوارب الفردية بنشاط في اتجاهات جديدة. إنهم يعاملون حركة "قوارب الكلمات" هذه كمسألة فيزيائية، حيث تتحرك القوارب كجسيمات على سطح كرة (مثل سطح الكرة الأرضية).

وجد الباحثون أن الـ FFN لا يدفع القوارب للأمام أو الخلف فحسب (مما سيغير سرعتها أو حجمها فقط)، بل إن الجزء الأهم من وظيفة الـ FFN هو دفعها جانباً، أو "مماسيًا" (tangentially). تخيل قارباً على كرة؛ دفعه نحو القطب الشمالي يغير حجمه بالنسبة للمركز، لكن دفعه جانباً يغير اتجاهه الفعلي على الخريطة. توضح الورقة أن هذا الدفع الجانبي هو ما يغير معنى ومسار الكلمة فعلياً.

ماذا فعلوا وماذا وجدوا

لإثبات ذلك، أجرى الفريق سلسلة من التجارب على عدة نماذج ذكاء اصطناعي شهيرة، بما في ذلك GPT-2 وPythia وMistral وLlama-3. لقد عاملوا الذكاء الاصطناعي كمختبر علمي حيث يمكنهم تشغيل أجزاء منه أو إيقافها أو تغيير كيفية عملها.

أولاً، تحققوا مما إذا كان "الانتباه" وحده يمكنه تفسير وجهة القوارب. وجدوا "عجزاً كبيراً في المحاذاة الزاوية" (angular-alignment deficit). باللغة البسيطة، إذا سمحوا لمغناطيس "الانتباه" فقط بالعمل، فستنتهي القوارب بالإشارة إلى اتجاه خاطئ مقارنة بالاتجاه الذي يرسلها إليه الذكاء الاصطناعي الحقيقي. هذا العجز يزداد كبراً في النماذج الأكبر والأحدث، حيث انتقل من حوالي 0.41 في GPT-2 إلى 0.63 في Llama-3-8B. هذا يشير إلى أنه بدون توجيه الـ FFN، سيكون الذكاء الاصطناعي تائهاً.

بعد ذلك، أجروا "جراحة" على الـ FFN. قاموا بتقسيم دفع الـ FFN إلى جزأين: الجزء "المشع" (radial) (الدفع للأمام/الخلف) والجزء "المماسي" (tangential) (الدفع جانباً).

عندما احتفظوا بالجزء المشع فقط، انهار أداء الذكاء الاصطناعي تماماً، كما لو أنهم أزالوا الـ FFN بالكامل.
عندما احتفظوا بالجزء المماسي فقط، استمر الذكاء الاصطناعي في العمل بشكل مثالي تقريباً، مع انخفاض طفيف جداً في الجودة.

كان هذا هو الدليل القاطع. لقد أثبت أن المهمة الرئيسية للـ FFF هي توجيه اتجاه الكلمات، وليس مجرد تعديل حجمها.

كما نظروا أيضاً فيما يحدث عندما يسحب مغناطيس "الانتباه" بقوة شديدة، محاولاً حشر جميع القوارب في كتلة واحدة صغيرة (وهي مشكلة تسمى "انهيار الرتبة" أو rank collapse). وجدوا أن الـ FFF يعمل كقوة مضادة. بينما يحاول "الانتباه" عصر القوارب معاً، يقوم الـ FFF بدفعها بعيداً، مما يحافظ على تنوع المجموعة ويمنعها من أن تصبح جميعها كلمة واحدة. إنه يشبه "دي جي" يلاحظ أن الجميع يتجمهرون في المركز، فيبدأ بتشغيل إيقاع يجعل الناس يتفرقون مرة أخرى.

خدعة عملية: تسريع الرقص

الجزء الأكثر إثارة في الورقة هو خدعة عملية اكتشفوها. في الذكاء الاصطناعي القياسي، تتعرض القوارب أولاً للسحب بواسطة مغناطيس "الانتباه"، ثم يقوم مدرب الـ FFN بإعطائها دفعة. يحدث هذا الواحد تلو الآخر (بالتتابع). سأل الباحثون: "ماذا لو جعلنا المغناطيس والمدرب يعملان في نفس الوقت (بالتوازي)؟"

عادة، لا يمكنك القيام بذلك لأن المدرب يحتاج إلى رؤية أين سحب المغناطيس القارب أولاً. لكن الفريق قاس "درجة العجز" (defect score) لمعرفة مدى أهمية الترتيب لكل طبقة من طبقات الذكاء الاصطناعي. وجدوا أنه بالنسبة لبعض الطبقات، لم يكن الترتيب مهماً كثيراً. ومن خلال تحديد هذه الطبقات "منخفضة العجز"، تمكنوا من تشغيل أجزاء "الانتباه" والـ FFN في وقت واحد.

في نموذج GPT-2-large، تمكنوا من تسريع العملية بمقدار 1.24 مرة مع خسارة شبه معدومة في الجودة (فقط +0.02 خسارة).
في نموذج Mistral، حققوا تسريعاً بمقدار 1.10 مرة مع خسارة ضئيلة جداً قدرها +0.009.

ومع ذلك، إذا حاولوا القيام بذلك في الطبقات التي كان الترتيب فيها مهماً (الطبقات عالية العجز)، فإن أداء الذكاء الاصطناعي ينهار. هذا يشير إلى أنه بينما لا يمكننا جعل الذكاء الاصطناعي بأكمله يعمل بالتوازي فوراً، يمكننا تسريع أجزاء محددة منه من خلال معرفة كيفية عمل التوجيه بدقة.

ماذا يعني هذا

لا تدعي الورقة البحثية أنها حلت كل شيء في مجال الذكاء الاصطناعي، لكنها تغير نظرتنا للمحرك. إنها تقترح أن الـ FFF ليس مجرد مساعد؛ بل هو مجال توجيه اتجاهي يشكل هندسة أفكار الذكاء الاصطناعي. إنه يمنع الذكاء الاصطناعي من التعثر في اتجاه واحد ويسمح له بالتنقل عبر الأفكار المعقدة. من خلال فهم أن الـ FFF هو "عجلة القيادة" وليس مجرد "دواسة الوقود"، قد يتمكن الباحثون من بناء نماذج ذكاء اصطناعي أسرع وأكثر كفاءة لا تفقد طريقها. تعتمد النتائج على قياسات ومحاكاة دقيقة عبر نماذج متعددة، مما يشير إلى أن رؤية "التجميع-التوجيه" هذه هي طريقة قوية لفهم كيفية تحرك هذه العقول الرقمية.

ملخص تقني: التوجيه عبر الشبكة الأمامية (Feed-Forward) في ديناميكيات المتبقي للترانسفورمر

بيان المشكلة
تعتمد النظريات المستمرة الحالية لديناميكيات الترانسفورمر بشكل أساسي على نمذجة التدفق المتبقي (residual stream) كنظام من الجسيمات التي تتجمع على كرة، مدفوعة فقط بآلية الانتباه (attention mechanism). وبينما يفسر هذا الإطار "القائم على الانتباه فقط" ظواهر مثل انهيار الرتبة (rank collapse) والتكتل (clustering)، فإنه يخفق في تفسير دور الشبكة الأمامية (FFN). وبالتزامن مع ذلك، تحدد أبحاث القابلية للتفسير (interpretability) الشبكات الأمامية كمواقع لتخزين ذاكرة المفتاح-القيمة (key-value memories) وأهداف فعالة للتعديل، ومع ذلك تظل هذه الرؤى منفصلة عن منظور الأنظمة الديناميكية. إن المشكلة المركزية التي يتم معالجها هي كيفية دمج الشبكة الأمامية في نموذج ديناميكي موحد لتطور التدفق المتبقي لشرح تأثيرها الهندسي على اتجاهات الرموز (tokens)، وتحديد مدى جدوى تقريب الكتل المتتالية (sequential blocks) باستخدام كتل متوازية (parallel ones).

المنهجية
يوسع المؤلفون إطار ديناميكيات الانتباه المستمرة من خلال دمج الشبكة الأمامية كحقل توجيه محلي يؤثر على حالات الرموز. يعامل النموذج التدفق المتبقي $x_i = r_i u_i$ (حيث $u_i$ هو الاتجاه على الوحدة الكروية و $r_i$ هو المقدار) كعملية تتطور وفقاً لـ:
$\dot{u}_i = \frac{1}{s_i(t)} P_{u_i} \left[ A_i(U) + \Phi_i(u_i) \right]$
حيث تمثل $A_i(U)$ حقل التجميع غير المحلي الناتج عن الانتباه، وتمثل $\Phi_i(u_i)$ حقل التوجيه المحلي الناتج عن الشبكة الأمامية. $P_{u_i}$ هو الإسقاط المتعامد على الفضاء المماسي، مما يضمن أن المكون المماسي فقط هو الذي يغير الاتجاه، بينما يؤثر المكون الشعاعي على المقدار (وبالتالي على السرعة الزاوية).

تستخدم الدراسة أربعة بروتوكولات تجريبية رئيسية عبر نماذج GPT-2 وPythia وMistral وLlama:

تشخيص العجز الزاوي (Angular-Deficit Diagnostic): قياس التوافق بين تحديث الانتباه فقط والتحديث الفعلي للكتلة لقياس مساهمة الشبكة الأمامية في الحركة الزاوية.
الاستئصال الشعاعي/المماسي (Radial/Tangential Ablation): تفكيك مخرجات الشبكة الأمامية إلى مكونات شعاعية ( $\langle u, \Phi(u) \rangle u$ ) ومماسية ( $P_u \Phi(u)$ لعزل أي منها يقود تغييرات الاتجاه.
التنوع تحت التجميع (Diversity under Aggregation): تحليل إحصائيات التنوع الكروي قبل وبعد طبقات الانتباه والشبكة الأمامية لمراقبة كيف تعاكس الشبكة الأمامية التركيز الناجم عن الانتباه.
خلل التوازي المتتالي (Sequential-to-Parallel Defect): تقدير درجة حساسية الطبقة ( $C_\ell$ ) لتحديد ما إذا كان يمكن تقريب الكتل المتتالية ( $x + A(x) + \Phi(x+A(x))$ ) باستخدام بدائل متوازية ( $x + A(x) + \Phi(x)$ ) دون فقدان كبير في الأداء.

تشمل التشخيصات الإضافية معايرة بوابة الشبكة الأمامية لكل طبقة، وتحليل هندسة النقاط الحرجة (تحديد الجواذب، نقاط السرج، والمنافر)، واختبارات الحساسية للبادئة (prefix-sensitivity).

المساهمات الرئيسية

إطار التجميع والتوجيه (Aggregation-Steering Framework): يصيغ البحث ديناميكيات المتبقي للترانسفورمر كتدفق تجميع-توجيه على كرة، حيث يوفر الانتباه التجميع غير المحلي وتوفر الشبكة الأمامية التوجيه المحلي.
تحديد التوجيه المماسي: يثبت المؤلفون رياضياً وتجريبياً أن المكون المماسي لحقل الشبكة الأمامية ضروري للحركة في فضاء اتجاه المتبقي. المكون الشعاعي يعيد ضبط المقدار بشكل أساسي، بينما يحدد المكون المماسي الاتجاه.
هندسة الاتجاهات الحرجة: تحدد الدراسة أن اتجاهات المتبقي الحرجة تتوافق مع توازنات إسقاطية غير خطية. وخلافاً للحدس بأن الشبكات الأمامية تخلق جواذب مستقرة، يكشف التحليل أن توجيه الشبكة الأمامية يعيد تنظيم الهندسة المحلية نحو أنماط نقل تشبه نقاط السرج أو الدورانية، مما يحافظ على التنوع.
مقياس خلل التوازي المتتالي-إلى-المتوازي: يتم اشتقاق مقياس خلل مباشر لتوصيف متى يمكن تقريب كتلة (انتباه-شبكة أمامية) متتالية بدقة باستخدام خريطة متوازية مضافة. هذا الخلل محكوم بمصطلح المشتق الاتجاهي $D_\Phi A$ ، وهو متميز عن رمز لي (Lie bracket) وحده.

النتائج

عدم التوافق الزاوي: يُظهر فرع الانتباه وحده عجزاً كبيراً في التوافق الزاوي مقارنة بتحديث الكتلة الفعلي. يزداد هذا العجز مع حجم النموذج، حيث يتراوح من 0.41 في GPT-2 إلى 0.63 في Llama-3-8B، مما يشير إلى أن الشبكة الأمامية ليست مجرد تصحيح ثانوي بل هي محرك رئيسي للتحديثات الزاوية.
نتائج الاستئصال: الاحتفاظ بالمكون المماسي فقط للشبكة الأمامية يحافظ على معظم جودة النموذج (زيادات في الخسارة تتراوح بين 0.07–1.72)، بينما يؤدي الاحتفاظ بالمكون الشعاعي فقط إلى انهيار الأداء (زيادات في الخسارة تتراوح بين 7.19–12.96)، وهو ما يماثل إزالة الشبكة الأمية تماماً.
الحفاظ على التنوع: يعمل الانتباه عادةً على تقليص اتجاهات المتبقي (تقليل التنوع)، بينما تعمل الشبكة الأمامية غالباً على استعادة أو إعادة تشكيل هذا التنوع. يضخ المكون المماسي للشبكة الأمامية أنماط نقل تشبه نقاط السرج والدورانية تمنع التركيز المفرط تحت ضغط التجميع.
جدوى التوازي: الطبقات ذات خلل التوازي المتتالي-إلى-المتوازي المنخفض (درجات حساسية منخفضة) يمكن موازاتها تقريبياً مع زيادات طفيفة في الخسارة. على سبيل المثال، موازاة 18 طبقة منخفضة الخلل في GPT-2-large تحقق تسريعاً مقدراً بنسبة 1.24× مع زيادة قدرها +0.02 فقط في الخسارة، بينما تؤدي موازاة الطبقات عالية الخلل إلى تدهور الأداء بسرعة.
الهندسة الحرجة: يظهر الاستئصال المكوناتي لحقل الاتجاه الحرج أن مرشحي الشبكة الأمامية فقط هي في الغالب شبيهة بنقاط السرج (أطياف مختلطة الإشارة). لا تقوم الشبكة الأمامية ببساطة بإنشاء جواذب مستقرة، بل تعيد هيكلة لوحة الطور للحفاظ على هندسة التمثيل عالية الأبعاد.

الأهمية والادعاءات
يدعي البحث دعم تفسير طبقات الشبكة الأمامية كحقول توجيه اتجاهي تشكل هندسة المتبقي للترانسفورمر. ويجادل بأن الشبكة الأمامية ضرورية لحكم جدوى التدخلات على مستوى الكتلة وللحفاظ على تنوع التمثيل ضد ضغط الانهيار الناتج عن الانتباه.

يضع المؤلفون نتائجهم كجسر بين نظرية الأنظمة الديناميكية والقابلية للتفسير، مشيرين إلى أن رؤية "التوجيه" تفسر لماذا تعتبر الشبكات الأمامية مواقع فعالة للتعديل ولماذا هي ضرورية للاستقرار الهندسي للنموذج. تكمن الأهمية العملية في تحديد الطبقات التي يمكن موازاتها بأمان لتقليل زمن استجابة الاستنتاج (inference latency) دون تدهور كبير في الأداء.

يظل البحث متواضعاً فيما يتعلق بنطاقه، حيث يشير إلى أن نتائج المجال المتوسط (mean-field) النظرية تصف الانتباه الكامل، بينما تتطلب نماذج فك التشفير السببية (causal decoder-only) ديناميكيات مفهرسة بالبادئة (prefix-indexed). كما تُقدم تحليلات النقاط الحرجة كتشخيصات محلية وليس كأوصاف عالمية للفضاء المتبقي الكامل. علاوة على ذلك، يتم تأطير نتائج التوازي العملي كتحسينات مقدرة لزمن الوحدات الفرعية بدلاً من ادعاءات حول أداء النواة الأمثل في الإنتاج. ويذكر المؤلفون صراحةً أن نتائجهم تشخيصية ولا تدعي ضمانات عالمية لمكافحة الانهيار أو التوازي المثالي عبر جميع البنيات.

أبحاث مشابهة