🤖 machine learning

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories

تُثبت هذه الورقة أن تحليل تدرجات الخسارة بدلاً من تحديثات المُحسِّن يكشف عن اقتران قوي، كان مخفياً في السابق، بين الحساسية لاتجاه التدرج وميزات فرضية المركز الخطي، مما يُظهر أن تقييد تحديثات الانتباه في فضاءات فرعية منخفضة الرتبة يُسرع عملية "الاستيعاب المفاجئ" (grokking)، بينما تكون التحديثات الطبيعية كاملة الرتبة فائضة الرتبة بشكل كبير.

المؤلفون الأصليون: Yongzhong Xu

نُشر 2026-04-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yongzhong Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: مراقبة حركة السيارة مقابل النظر إلى الطريق

تخيل أنك تحاول فهم كيف تتعلم سيارة ذاتية القيادة التنقل في مدينة معقدة. أنت تريد أن تعرف: أي المنعطفات والمسارات المحددة هي التي تساعد السيارة حقاً على تعلم المسار؟

لفترة طويلة، كان الباحثون يراقبون حركة السيارة الفعلية (مسار المُحسِّن/optimizer's trajectory) لمعرفة ذلك. كانوا ينظرون إلى المسار الذي سلكته السيارة خلال الدقائق القليلة الماضية، ويرسمون خطاً في منتصف ذلك المسار، ويقولون: "آها! السيارة تتعلم من خلال التحرك في هذا الاتجاه المحدد".

هذه الورقة البحثية تجادل بأن مراقبة حركة السيارة أمر مضلل.

يقول المؤلفون إن حركة السيارة هي مزيج فوضوي من:

الزخم (Momentum): السيارة لا تزال تندفع من منعطفات قامت بها قبل 10 ثوانٍ.
التدرج التكيفي (Adaptive Scaling): السيارة تعدل سرعتها بناءً على مدى انزلاق الطريق.
تلاشي الوزن (Weight Decay): السيارة تحاول البقاء في منتصف المسار حتى عندما لا تحتاج لذلك.
الأهداف المتضاربة: في حالة المهام المتعددة، تحاول السيارة الذهاب إلى البقالة، والنادي الرياضي، والمكتب في آن واحد. المسار الذي تسلكه هو حل وسط، وليس مساراً واضحاً لأي وجهة واحدة.

تزعم الورقة أنه لفهم ما تتعلمه السيارة حقاً، لا ينبغي لك مراقبة أين ذهبت السيارة. بدلاً من ذلك، يجب أن تنظر إلى لوحات الطريق والخريطة (التدرجات/gradients) التي كانت تنظر إليها السيارة في هذه اللحظة تحديداً.

الاكتشاف الجوهري: "المسار الفوضوي" مقابل "الإشارة الواضحة"

اختبر الباحثون هذا على نموذج حاسوبي يتعلم مسائل رياضية (مثل الجمع والضرب). استخدموا "اختباراً" لمعرفة ما إذا كان النموذج يشكل سمات محددة (مثل قاعدة ذهنية لجمع الأرقام).

1. الطريقة القديمة (مراقبة السيارة):
عندما حللوا المسار الذي اتخذه النموذج (التحديث/Update)، كانت نتائج الاختبار ضعيفة ومربكة.

النتيجة: بدا أن النموذج يتعلم، لكن "اتجاه" التعلم بدا عشوائياً. وفي المهام المعقدة حيث كان على النموذج القيام بأربعة أشياء في وقت واحد، فشل الاختبار تماماً. بدا الأمر وكأن النموذج لا يتعلم أي شيء محدد على الإطلاق.
التشبيه: الأمر يشبه محاولة معرفة وجهة متنزّه من خلال النظر إلى آثار أقدامه الموحلة. الآثار عبارة عن فوضى من الانزلاق والتوقف وتغيير الاتجاه، لذا لا يمكنك معرفة الاتجاه الذي كان يحاول الذهماً فعلياً.

2. الطريقة الجديدة (النظر إلى الخريطة):
انتقل الباحثون إلى تحليل التدرجات (الإشارة الرياضية الخام التي تخبر النموذج بالاتجاه الذي يجب أن يتحرك فيه قبل تدخل خطوات المُحسِّن الفوضوية).

النتيجة: فجأة، أصبحت الإشارة واضحة للغاية. كان "اتجاه" التعلم أقوى بـ 30 إلى 100 مرة مما كان عليه من قبل.
التشبيه: بدلاً من النظر إلى آثار الأقدام الموحلة، نظروا إلى إحداثيات نظام تحديد المواقع (GPS) التي كان المتنزّه يهدف إليها في تلك الثانية تحديداً. كان الاتجاه حاداً، واضحاً، ومتوافقاً تماماً مع الوجهة.

الخلاصة الرئيسية: "المُحسِّن" (الخوارزمية التي تُحدث النموذج) يضيف الكثير من الضجيج والتاريخ مما يخفي إشارة التعلم الحقيقية. يجب عليك تجريد الزخم والتاريخ لترى ما يتعلمه النموذج بالفعل.

مشكلة تعدد المهام: "اجتماع اللجنة"

نظرت الورقة أيضاً إلى نموذج يحاول تعلم أربع مسائل رياضية مختلفة في نفس الوقت (الجمع، الطرح، الضرب، ومعادلة تربيعية معقدة).

الرؤية القديمة: عندما نظروا إلى المسار المشترك للنموذج، بدا الأمر كارثياً. كان النموذج يحاول إرضاء أربع "لجان" مختلفة، والمسار الناتج كان حلاً وسطاً لا يرضي أي منها بشكل جيد. قالت أداة التشخيص: "هذا النموذج لا يتعلم أي سمة محددة".
الرؤية الجديدة: عندما نظروا إلى "الخريطة" لكل لجنة على حدة (حساب التدرج للجمع، ثم للطرح، إلاً)، وجدوا أن النموذج كان يتعلم بشكل جيد جداً لجميع المهام الأربع.
التشبيه: تخيل لجنة من أربعة أشخاص يحاولون اتخاذ قرار بشأن طلب الغداء.
- الطريقة القديمة: تنظر إلى الحل الوسط النهائي الفوضوي (مثلاً: "لنطلب سلطة مع إضافات البيتزا"). يبدو الأمر كقرار سيء لا يرضي أحداً.
- الطريقة الجديدة: تستمع إلى ما أراده كل شخص *على حد/**. ستدرك أن الشخص (أ) أراد حقاً سلطة، والشخص (ب) أراد بيتزا. "الحل الوسط الفوضوي" كان مجرد نتيجة جدالهم، لكن رغباتهم الفردية كانت واضحة وقوية.

الاستنتاج: في تدريب المهام المتعددة، يخفي "مسار الحل الوسط" حقيقة أن النموذج يتعلم بنجاح سمات متميزة لكل مهمة. يجب عليك فصل المهام لترى عملية التعلم.

مفاجأة "الرتبة-3": الأمر يتعلق بالحجم، وليس الاتجاه

قام الباحثون بتجربة واحدة أخيرة. سألوا: "هل نحتاج إلى أن يتعلم النموذج في هذه الاتجاهات المحددة التي وجدناها، أم فقط في أي اتجاه ذي أبعاد منخفضة؟"

أجبروا النموذج على التعلم باستخدام "فضاء فرعي" (subspace) صغير وبسيط جداً (شريحة ضئيلة ثلاثية الأبعاد من دماغه الضخم).

النتيجة: تعلم النموذج بسرعة أكبر (حوالي 2.3 مرة أسرع) عندما أُجبر على استخدام هذه الشريحة الصغيرة.
المفاجأة: لم يهم أي شريحة استخدموا. سواء استخدموا الشريحة "الذكية" التي وجدوها بطريقتهم الجديدة، أو شريحة عشوائية تماماً، فقد تعلم النموذج بنفس السرعة.
التشبيه: تخيل أنك تحاول وضع حقيبة سفر كبيرة في صندوق سيارة صغير.
- قد تعتقد: "أنا بحاجة لطي الملابس بهذه الطريقة المحددة لكي تتسع".
- لكن التجربة أظهرت أنه طالما أنك تضغط حقيبة السفر (تقليل الرتبة/rank)، فستتسع وتصل بشكل أسريد. لا يهم إذا طويت القمصان أو السراويل أولاً؛ فعل ضغط المساحة هو ما يهم.

الاستنتاج: الاتجاهات المحددة التي يتعلمها النموذج هي مجرد عرض لعملية التعلم، وليست هي السبب. السحر الحقيقي هو أن النموذج لا يحتاج إلى دماغه الكامل والفوضوي لتعلم هذه الحيل الرياضية؛ إنه يحتاج فقط إلى نسخة أصغر وأبسط منه.

ملخص للجمهور العام

توقف عن مراقبة آثار الأقدام: إذا كنت تريد فهم كيف يتعلم الذكاء الاصطناعي، فلا تنظر إلى المسار الذي اتخذه (تحديثات المُحسِّن). ذلك المسار فوضوي للغاية بسبب التاريخ والحلول الوسطى.
انظر إلى الخريطة: انظر إلى التعليمات الخام (التدرجات) التي يتبعها الذكاء الاصطناعي الآن. هذا يكشف عن "اتجاهات" التعلم الحقيقية، وهي أقوى وأوضح بكثير.
افصل المهام: إذا كان الذكاء الاصطناعي يقوم بأشياء عديدة في وقت واحد، فإن المسار المشترك سيبدو كفشل. يجب عليك النظر إلى كل مهمة على حدة لترى أنه ينجح بالفعل.
البساطة تفوز: يتعلم الذكاء الاصطناعي بشكل أسرع عندما يُجبر على أن يكون بسيطاً. هو لا يحتاج إلى اتجاهات معقدة ومحددة ليتعلم؛ يحتاج فقط إلى أن يكون مقيداً بمساحة أصغر وأبسط.

تخبرنا الورقة البحثية أساساً أن أدواتنا الحالية لـ "تفسير" الذكاء الاصطناعي تنظر إلى الشيء الخطأ. من خلال الانتقال إلى رؤية أكثر نقاءً للبيانات، يمكننا أن نرى أن الذكاء الاصطناعي يتعلم بفعالية وبساطة أكبر مما كنا نعتقد.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "حساسية اتجاه التدرج تكشف عن اقتران المركز الخطي المخفي بواسطة مسارات المُحسِّن (Optimizer Trajectories)."

1. بيان المشكلة

في مجال التفسير الآلي (Mechanistic Interpretability)، يبرز سؤال مركزي وهو تحديد أي الاتجاهات في فضاء المعلمات (Parameters) تتوافق مع تكوين ميزات محددة (Circuits). يتضمن النهج التشخيصي الشائع تحليل البنية منخفضة الرتبة لـ مسارات المُحسِّن (تحديثات المعلمات، $\Delta \theta$ ) باستخدام تفكيك القيم المفردة (SVD) عبر نوافذ زمنية متدحرجة. يفترض هذا الأسلوب، المعروف باسم Update SED (تشخيص الحافة الطيفية للتحديث)، أن الاتجاهات التي يتحرك فيها المُحسِّن تعكس بأمانة الاتجاهات ذات الصلة بتكوين الميزات.

يجادل المؤلفون بأن هذا الافتراض معيب في مسارات التدريب الحديثة (التي تستخدم AdamW مع الزخم، والتحجيم التكيفي، واضمحلال الوزن)، وخاصة في إعدادات المهام المتعددة (Multitask settings). ويرون أن تحديثات المُحسِّن تقوم بتجميع وتشويه إشارة التدرج الأساسية، مما قد يؤدي إلى إخفاء أو تدمير التوافق بين التشخيصات القائمة على المسار وبين تكوين الميزات الفعلي.

2. المنهجية

تتقصى الدراسة هذه الفرضية باستخدام ظاهرة "الاستيعاب المفاجئ" (Grokking) على مهام الحساب النمطي (الجمع، الطرح، الضرب، و $a^2+b^2$ ) ضمن بنية Transformer مكونة من طبقتين. يقارن المؤلفون بين فئتين من المقدرات الطيفية مقابل فرضية المركز الخطي (LCH)، التي تفترض أن الميزات تتشكل على طول الاتجاهات التي تعظم حساسية مراكز المهام المحددة.

المقدرات الرئيسية المقارنة:

Update SED: يقوم بإجراء SVD على نافذة متدحرجة من تحديثات معلمات AdamW الفعلية ( $\Delta \theta_t$ ). وهذا يلتقط "المسار" الذي يسلكه المُحسِّن.
Gradient SED: يقوم بإجراء SVD على نافذة متدحرجة من التدرجات الخام ( $g_t = \nabla_\theta L$ $g_{t} = \nabla_{θ} L$ ) التي يتم تقييمها عند المعلمات الحالية. وهذا يلتقط اتجاه "الانحدار الشديد" في مشهد الخسارة (Loss Landscape)، مجرداً من آثار المُحسِّن (الزخم، التحجيم التكيفي، واضمحلال الوزن).
- امتداد المهام المتعددة: في إعدادات المهام المتعددة، يحسب المؤلفون تدرجات كل عملية ( $g_{op}$ ) عن طريق الانتشار العكسي لخسارة كل مهمة على حدة، بدلاً من استخدام تدرج إجمالي الخسارة المجمع.

المقياس التشخيصي:

يُقاس الاقتران بين اتجاه طيفي $v_k$ وتكوين الميزة بواسطة نسبة الاضطراب $R_k$ :
$R_k(t) = \frac{A(v_k, t)}{\text{median}_j A(r_j, t)}$
حيث يقيس $A(v, t)$ التغير في مركز المهمة عند اضطراب معلمات الانتباه (Attention) على طول الاتجاه $v$ . تشير $R_k$ المرتفعة إلى أن الاتجاه $v$ حساس للغاية لتكوين الميزة.

التدخلات السببية:

يقوم المؤلفون بإجراء تدخلات سببية من خلال تقييد تحديثات الانتباه إلى فضاءات فرعية منخفضة الرتبة (Rank-3) محددة إما بواسطة أساس SED أو أساس عشوائي. ويختبرون طريقتين للإسقاط:

إسقاط التحديث (Update Projection): إسقاط تحديث AdamW النهائي.
إسقاط التدرج (Gradient Projection): إسقاط التدرج قبل أن يقوم مُحسِّن AdamW بحساب لحظات الزخم والتحجيم التكيفي.

3. النتائج الرئيسية

أ. نتائج المهمة الواحدة: التدرج مقابل التحديث

فشل Update SED: في نماذج المهمة الواحدة، يعطي Update SED نسب اقتران متواضعة ( $\bar{R}_k \approx 3\text{--}9\times$ ). تظهر عملية الجمع ارتباطاً غير طبيعي، بينما تكون عملية الضرب ضعيفة.
نجاح Gradient SED: استبدال التحديثات بالتدرجات الخام يزيد من نسب الاقتران بمقدار 30-100 ضعف ( $\bar{R}_k \approx 100\text{--}330\times$ $\overset{ˉ}{R}_{k} \approx 100 - 330 \times$ ).
- تصبح عملية الضرب هي أقوى مهمة مقترنة، مما يعكس ترتيب Update SED.
- يتقلص "انتشار العمليات" (op-spread) (التباين بين المهام) بشكل كبير.
دور النافذة المتدحرجة: يشير الاقتران العالي عند $W=1$ (التدرج اللحظي) إلى أن اتجاه التدرج نفسه هو المحرك الأساسي. تعمل النافذة المتدحرجة ( $W=20$ ) أساساً كآلية لتقليل الضجيج، حيث تقلل النسبة بشكل رتيب ولكنها تحافظ على إشارة أعلى بعدة مراتب من العشوائية.

ب. نتائج المهام المتعددة: الفشل الحرج للتجميع

انهيار Update SED: في تدريب المهام المتعددة، يفشل Update SED تماماً، حيث يعطي $\bar{R}_k \le 1$ (أسوأ من العشوائية). يصبح تحديث المُحسِّن المجمع، الذي يوازن بين أربعة أهداف متنافسة، متعامداً مع أي فضاء فرعي ذي صلة بالميزة لمهمة واحدة.
استعادة Gradient SED: استخدام per-op gradient SED يستعيد الاقتران القوي ( $\bar{R}_k \approx 20\text{--}45\times$ $\overset{ˉ}{R}_{k} \approx 20 - 45 \times$ ).
- والأهم من ذلك، أن إشارة multitask gradient SED أقوى من إشارة single-task Update SED.
- يثبت هذا أن تكوين الميزات قوي في إعدادات المهام المتعددة، ولكنه مخفي بواسطة تجميع التدرجات المتنافسة في خطوة تحديث المُحسِّن.

ج. التدخلات السببية: الرتبة مقابل الاتجاه

التسريع: تقييد التحديثات إلى فضاء فرعي من الرتبة 3 (Rank-3) يسرع عملية الاستيعاب (Grokking) بنحو 2.3 ضعف.
استقلالية الاتجاه: يحدث هذا التسريع بغض النظر عما إذا كان الفضاء الفرعي هو أساس SED (المحاذي للميزة) أو أساس عشوائي.
- إسقاط التدرج: عند إسقاط التدرج قبل التحسين، فإن إزالة فضاء SED (والاحتفاظ بالعشوائي) ليس له تأثير سلبي، كما أن الاحتفاظ بالرتبة 3 العشوائية يسرع التدريب بقدر ما يفعل الاحتفاظ بأساس SED.
- إسقاط التحديث: أشارت التجارب الأولية إلى أن إزالة SED يساعد، ولكن كان ذلك خطأً ناتجاً عن تسرب معلومات من زخم AdamW الداخلي أو التحجيم التكيفي إلى المسار. إسقاط التدرج يلغي هذا الخطأ.
الاستنتاج: قيد الرتبة (تقليل التكرار) هو العامل السببي للتسريع، وليس الاتجاه المحدد. التحديث الطبيعي لـ AdamW على الانتباه هو "تحديث زائد الرتبة" (rank-redundant)، يحتوي في الغالب على حركة غير وظيفية خلال مرحلة انتقال الاستيعاب.

4. المساهمات الرئيسية

التحول المنهجي: يثبت أن بنية التدرج، وليس مسارات المُحسِّن، هي الكائن الصحيح للتحليل الطيفي لتكوين الميزات. تحديثات المُحسِّن تُدخل تشوهات نوعية تخفي الاتجاهات ذات الصلة بالميزة.
تفسير المهام المتعددة: يحدد تجميع التدرجات عبر المهام المتنافسة كعائق عام أمام التفسير على مستوى الدوائر (Circuit-level interpretability). تحليل التدرج لكل مهمة ضروري لاستعادة بنية الميزات في تدريب المهام المتعددة.
التوضيح السببي: يوضح أنه بينما تعتبر الاتجاهات المشتقة من التدرج أدوات تشخيص قوية لتكوين الميزات، إلا أنها ليست فريدة سببيًا. العامل الرئيسي هو الطبيعة منخفضة الرتبة للتحديث، وليس المحاذاة مع أساس التدرج.
تحديد الآثار الجانبية: يكشف أن ملاحظات "المنوع ذي الرتبة 1" (rank-1 manifold) السابقة في الاستيعاب كانت محجوبة جزئياً بسبب الضجيج والتشويه المتأصل في تحديثات AdamW.

5. الأهمية

للتفسير (Interpretability): تتحدى هذه الورقة الممارسة القياسية لتحليل مسارات تحديث المعلمات (مثل PCA على فروق الأوزان) لإيجاد الدوائر. وتجادل بأن هذه الأساليب تقلل بشكل منهجي من تقدير تكوين الميزات، خاصة في الإعدادات الأكثر تعقيداً أو واسعة النطاق (مثل Mixture-of-Experts).
لديناميكيات التدريب: تشير إلى أن المسار "الطبيعي" الذي تسلكه مُحسِّنات مثل AdamW غالباً ما يكون غير فعال وزائداً عن الحاجة. تقييد التحسين إلى رتب أقل يمكن أن يسرع التعلم بشكل كبير دون التضحية بالأداء.
الاتجاهات المستقبلية: تشير النتائج إلى أنه بالنسبة للنماذج واسعة النطاق (LLMs، ضبط التعليمات)، يعد تحليل تدرجات كل مهمة (أو تقريبات مثل Lanczos على الـ empirical Fisher) أمراً ضرورياً لفهم كيفية تكوين دوائر معينة، بدلاً من الاعتماد على تحليل المسار المجمع.

باختصار، تجادل الورقة بأن التدرج هو الإشارة، والمُحسِّن هو الضجيج. لفهم كيف تتعلم الشبكات العصبية الميزات، يجب تحليل مشهد التدرج الخام، لا سيالاً عند تفكيكه حسب المهمة، بدلاً من الاعتماد على المسار المشوه الذي يسلكه المُحسِّن عبر فضاء المعلمات.