On the Principles Behind Neural Network Optimizers
تقدم هذه الورقة أساساً نظرياً رصيناً لمُحسِّن "آدم" (Adam) عبر حل الجدل حول تقاربه، وتفسير تفوقه على "النزول الاشتقاقي العشوائي" (SGD) في نماذج "ترانسفورمر" (Transformers) من خلال هياكل "هيسيان" (Hessian) المتطورة، والاستفادة من هذه الرؤى لتقديم "آدم-ميني" (Adam-mini)، وهو مُحسِّن جديد يقلل استهلاك الذاكرة إلى النصف مع الحفاظ على الأداء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يعتمد الذكاء الاصطناهي الحديث على عملية توازن دقيقة. لتعليم الكمبيوتر التعرف على قطة في صورة أو لكتابة قصة متماسكة، يجب على الباحثين توجيه نظام رياضي ضخم عبر مشهد من الأخطاء، مع ضبط إعداداته الداخلية باستمرار للعثور على أدنى نقطة. تُسمى هذه العملية "التدريب"، والأداة المستخدمة للملاحة في هذا التضاريس هي "المُحسِّن" (optimizer). لسنوات، كان المعيار الصناعي هو خوارزمية تُدعى "آدم" (Adam). إنها المحرك الافتراضي لأقوى النماذج اللغوية، تلك التي يمكنها كتابة الأكواد، وترجمة اللغات، وإجراء المحادثات. ومع ذلك، ورغم انتشارها الواسع، كانت الأساسات الرياضية لـ "آدم" مهتزة. فلعدة عقود، أشارت نتيجة نظرية شهيرة إلى أن "آدم" قد يفشل بشكل كارثي، وينحرف خارج السيطرة حتى في المسائل البسيطة. خلق هذا مفارقة: الأداة التي تشغل أكثر أنظمة الذكاء الاصطناعي تقدمًا كانت "مكسورة" نظريًا، ومع ذلك كانت تعمل بشكل مثالي في الممارسة العملية. ترك هذا الباحثين يتساءلون لماذا فشلت النظرية في مطابقة الواقع وهل الأداة التي يعتمدون عليها آمنة حقًا.
تنجح أطروحة دكتوراه جديدة ليوشون تشانغ من الجامعة الصينية في هونغ كونغ، شنتشن، في حل هذه المفارقة من خلال النظر إلى المشكلة من زاوية جديدة. لا يكتفي العمل بترقيع النظرية فحسب؛ بل يعيد فحص الطبيعة الجوهرية للمشكلات التي تحلها هذه النماذج. اكتشف الباحث أن الخوف من فشل "آدم" استند إلى إعداد اصطناعي محدد لا يعكس كيفية حدوث التدريب في العالم الحقيقي. ومن خلال تغيير المنظور للتركيز على حجم كتل البيانات المستخدمة أثناء التدريب، تثبت الدراسة أن "آدم" آمن بالفعل، بشرط ضبط إعداداته بشكل صحيح للمهمة المحددة. والأهم من ذلك، تكشف الأطروحة عن بنية هندسية خفية داخل بيانات الشبكات العصبية الحديثة. تشرح هذه البنية سبب تفوق "آدم" على منافسيه في المهام المعقدة مثل تدريب النماذج اللغوية الكبيرة، بينما يفشل في المهام الأبسط. اتضح أن المشهد الداخلي لهذه النماذج ليس فوضى عارمة، بل هو مجموعة من الكتل المنظمة والمتميزة. وقد سمح التعرف على هذا النمط للباحث بتصميم مُحسِّن جديد أكثر كفاءة يُسمى "آدم-ميني" (Adam-mini)، والذي يقلل الذاكرة المطلوبة لتدريب هذه النماذج الضخمة إلى النصف دون التضحية بالأداء.
تبدأ القصة بالجدل القائم منذ فترة طويلة حول ما إذا كان "آدم" موثوقًا. لسنوات، ادعت ورقة بحثية استُشهد بها على نطاق واسع أن "آدم" يمكن أن يتباعد (diverge)، مما يعني أن عملية التدريب ستنفلت لتصل إلى اللانهاية بدلًا من الاستقرار. استند هذا الادعاء إلى مثال رياضي محدد حيث تم اختبار الخوارزمية على مسألة تغير قواعدها بناءً على إعدادات الخوارزمية. أما في العالم الحقيقي، فلا يغير الباحثون المشكلة لتناسب الأداة؛ بل يثبتون المشكلة ويضبطون الأداة لتناسبها. يوضح عمل تشانغ أنه عندما تكون المشكلة ثابتة، كما هو الحال في التدريب الفعلي، فإن "آدم" لا يتباعد. بدلاً من ذلك، يظهر "انتقال طوري" واضح: إذا اختيرت الإعدادات بشكل سيئ، فقد يفشل، ولكن إذا اختيرت بشكل صحيح، فإنه يتقارب بأمان. يكمن مفتاح هذه السلامة في إعداد محدد يتحكم في مقدار الوزن الذي تعطيه الخوارزمية للمعلومات الماضية. تثبت الدراسة أنه بالنسبة لمجموعات البيانات الأكبر، يجب أن يكون هذا الإعداد أعلى لضمان الاستقرار. ويتماشى هذا الاكتشاف مع ما لاحظه المهندسون في الممارسة العملية: فعند تدريب النماذج اللغوية الكبيرة مع دفعات صغيرة من البيانات، فإن زيادة هذا الإعداد تمنع انهيار التدريب. تقدم الأطروحة أول إثبات رياضي صارم بأن النسخة القياسية من "آدم"، بدون أي تعديلات، آمنة للاستخدام عند ضبطها بشكل صحيح.
بعد إثبات أن "آدم" آمن، ينتقل البحث إلى سؤال أكثر إثارة للحيرة: لماذا يعمل بشكل أفضل بكثير من منافسه الرئيسي "SGD" في النماذج المعقدة مثل "ترانسفورمرز" (Transformers)، بينما يؤدي أداءً أسوأ في النماذج الأبسط؟ للإجابة على ذلك، نظر الباحث إلى شكل مشهد الخطأ، وتحديدًا إلى كائن رياضي يُسمى "هيسيان" (Hessian)، والذي يصف كيف يتغير الخطأ في كل اتجاه. في المسائل البسيطة، يكون هذا المشهد كثيفًا ومتشابكًا، مثل غابة كثيفة حيث يتصل كل مسار بكل المسارات الأخرى. في مثل هذه البيئات، تكون استراتيجية "آدم" المتمثلة في ضبط كل إعداد بشكل فردي غير فعالة. ومع ذلك، عندما فحص الباحث "هيسيان" الشبكات العصبية العميقة ونماذج "ترانسفورمرز"، ظهر نمط مفاجئ. مع تقدم التدريب، تبسط مشهد الخطأ المعقد والمتشابك إلى بنية من الكتل المتميزة والمنفصلة. تخيل جدول بيانات ضخمًا، حيث بدلاً من أن تؤثر كل خلية في كل الخلايا الأخرى، يقتصر التأثير على صفوف وأعمدة محددة. في هذه الشبكات، تشكل المعلمات (parameters) التي تتحكم في عصبون مخرج واحد معين أو رأس انتباه (attention head) واحد معين مجموعاتها الخاصة والمعزولة.
هذه البنية الشبيهة بالكتل هي سر نجاح "آدم". ولأن المشهد مجزأ إلى كتل مستقلة، تصبح طريقة "آدم" في تخصيص معدل تعلم فريد لكل معلمة فعالة للغاية. يمكنه ضبط الإعدادات لكتلة واحدة دون إفساد إعدادات كتلة أخرى عن طريق الخطأ. في المقابل، تطبق المُحسِّنات الأبسط مثل "SGD" معدل تعلم واحد للنظام بأكمله، وهو ما يواجه صعوبة في التعامل مع السرعات والمقاييس المتفاوتة لهذه الكتل المختلفة. كشفت الدراسة أيضًا أن هذه البنية الكتلوية ليست مصادفة؛ بل تنشأ طبيعيًا من الطريقة التي بُنيت بها هذه الشبكات، وتحديدًا من الضرب المتتالي للمصفوفات الكبيرة أثناء عملية الحساب. ومع تدريب الشبكة، تتلاشى الروابط بين الأجزاء البعيدة من النظام، تاركة وراءها هذه الكتل النظيفة والمنفصلة. يفسر هذا الرؤية سبب كون "آدم" هو المحرك المختار للذكاء الاصطناعي الحديث: فالمشكلات التي يحلها تمتلك هندسة خفية تتطابق تمامًا مع تصميم المُحسِّن.
مسلحًا بهذا الفهم للبنية الكتلوية الخفية، طور الباحث مُحسِّنًا جديدًا يسمى "آدم-ميني" (Adam-mini). خوارزمية "آدم" القياسية تستهلك الكثير من الذاكرة لأنها تحتفظ بمعدل تعلم فريد لكل معلمة واحدة في النموذج. بالنسبة لنموذج لغوي ضخم، يتطلب هذا تخزين ضعف كمية البيانات التي يتطلبها النموذج نفسه، مما يخلق عنق زجاجة يبطئ التدريب ويحد من حجم النماذج التي يمكن تشغيلها على الأجهزة المتاحة. كانت الرؤية الجديدة هي أنه نظرًا لأن المعلمات منظمة في كتل، فنحن لسنا بحاجة إلى معدل تعلم فريد لكل واحدة منها. بدلاً من ذلك، يمكننا تخصي م معدل تعلم واحد لكل كتلة كاملة. هذا التغيير البسيط يقلل من بصمة الذاكرة بنسبة 50 بالمائة. يقوم "آدم-ميني" الجديد بتجميع المعلمات حسب بنيتها الكتلوية الطبيعية — بالتجميع حسب الصفوف لمعظم الطبقات وحسب رؤوس الانتباه لأجزاء محددة من الشبكة — ويطبق معدل تعلم واحد لكل مجموعة.
نتائج إعادة التصميم هذه فورية وعملية. في الاختبارات التي تدرب نماذج تتراوح من 39 مليون إلى مليار معلمة، طابق "آدم-ميني" أداء مُحسِّن "آدم" القياسي مع استخدام نصف الذاكرة فقط. تسمح هذه الكفاءة للباحثين بتدريب نماذج أكبر على نفس الأجهزة أو تدريب النماذج الحالية بشكل أسرع. وقد تم اعتماد هذا النهج بالفعل من قبل مختبرات الذكاء الاصطناي الكبرى، بما في ذلك "DeepSeek" والفريق وراء نموذج "Kimi K3"، الذين يستخدمون نسخة من هذه الطريقة لتدريب أنظمتهم من الجيل القادم. كما أظهرت الأطروحة أن مبدأ التعلم القائم على الكتل يمكن تطبيقه على مُحسِّنات متقدمة أخرى، مما يحسن كفاءتها دون تغيير منطقها الأساسي. من خلال الكشف عن الهندسة الخفية لتدريب الشبكات العصبية، نقل هذا العمل المجال من مكان يسوده عدم اليقين والتجربة والخطأ إلى مكان يعتمد على التصميم القائم على المبادئ. إنه يثبت أن الأدوات الأكثر فعالية للذكاء الاصطناعي ليست مجرد تخمينات محظوظة، بل هي خوارزميات مضبوطة بدقة لتناسب البنية الرياضية المحددة للمشكلات التي تحلها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.