🤖 machine learning

Scaling the Memory of Balanced Adam

تقترح هذه الورقة وجوب التعامل مع معامل الزخم $\beta$ في خوارزمية "balanced Adam" كمتغير لمقياس الذاكرة بدلاً من كونه ثابتاً محدداً، وذلك عبر إدخال قاعدة تحديث ( $R_\beta \approx 1000$ ) تعمل على تحسين متانة التدريب بشكل كبير عبر 11 تجربة في مجالي الرؤية واللغة من خلال مواءمة أفق الذاكرة الإحصائية للمُحسِّن مع أفق التعلم الفعلي.

المؤلفون الأصليون: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: ضبط "ذاكرة" الروبوت المتعلم

تخيل أنك تقوم بتعليم روبوت كيفية التعرف على القطط، أو كتابة القصائد، أو حل المسائل الرياضية. للقيام بذلك، يستخدم الروبوت أداة تسمى Adam (وهي "المُحسِّن" أو Optimizer). فكر في Adam كمدرب داخلي للروبوت. في كل مرة يرتكب فيها الروبوت خطأً، ينظر المدرب إلى سجل الأخطاء الماضية ليقرر كيفية تعديل دماغ الروبوت للمحاولة التالية.

لفترة طويلة، كان لدى هذا المدرب إعدادان مختلفان للذاكرة (يُسميان $\beta_1$ و $\beta_2$ ). أحد الإعدادات كان يتذكر اتجاه الأخطاء، والآخر كان يتذكر حجم الأخطاء.

الاكتشاف:
وجدت الأبحاث الحديثة (بما في ذلك هذه الورقة البحثية) أنك لست بحاجة فعلياً إلى إعدادين مختلفين. إذا جعلت الإعدادين متطابقين تماماً ( $\beta_1 = \beta_2$ )، فسيتعلم الروبوت بنفس الكفاءة، لكن النظام سيصبح أبسط بكثير. الآن، أصبح لدى المدرب مقبض ذاكرة واحد فقط ليقوم بتدويره.

المشكلة:
السؤال الكبير هو: ما هو الرقم الذي يجب أن نضبط عليه ذلك المقبض؟
معظم الناس يختارون رقماً قياسياً (مثل 0.9) ويلتزمون به مهما كانت الظروف. يجادل مؤلفو هذه الورقة بأن هذا يشبه استخدام نفس زوج الأحذية للمشي لمسافة 5 أميال وللمشاركة في ماراثون بطول 100 ميل؛ فهذا لا يعقل لأن "مسافة" التدريب تتغير.

الفكرة الجوهرية: "عدد مرات التحديث" (The Refresh Count)

يقترح المؤلفون طريقة جديدة للتفكير في مقبض الذاكرة هذا. بدلاً من التفكير فيه كرقم ثابت، يقولون إنه يجب اعتباره أفق ذاكرة (Memory Horizon).

التشبيه: تخيل أن الروبوت يقرأ كتاباً لتعلم لغة ما.
- إذا كان لدى الروبوت ذاكرة قصيرة، فإنه يتذكر الجمل القليلة الأخيرة فقط.
- إذا كان لدى الروبوت ذاكرة طويلة، فإنه يتذكر الفصل بأكمله.

تقدم الورقة مفهوماً يسمى عدد مرات التحديث ( $R_\beta$ ). وهذا يجيب على السؤال التالي: "كم مرة يقوم الروبوت بتحديث ذاكرته بالكامل من الماضي خلال جلسة التدريب بأكملها؟"

وجد المؤلفون أن الروبوت يتعلم بشكل أفضل عندما يظل هذا "العدد المرجعي للتحديثات" ثابتاً تقريباً، بغض النظر عن طول جلسة التدريب.

جلسة تدريب قصيرة: يحتاج الروبوت إلى ذاكرة قصيرة (رقم أقل) حتى يتمكن من تحديث ذاكرته حوالي 1,000 مرة.
جلسة تدريب طويلة: يحتاج الروبوت إلى ذاكرة طويلة (رقم أعلى) لكي يظل يحدث ذاكرته حوالي 1,000 مرة أيضاً.

الحل: قاعدة بسيطة

اختبرت الورقة هذه الفكرة في 11 مهمة مختلفة، تتراوح من تعليم روبوت التعرف على الصور (مثل القطط والسيارات) إلى تعليم روبوت كتابة النصوص (مثل النماذج اللغوية الكبيرة LLMs).

وقد اكتشفوا "قاعدة ذهبية" بسيطة:
اضبط مقبض الذاكرة بحيث يقوم الروبوت بتحديث ذاكرته بالضبط 1,000 مرة خلال الجزء المفيد من التدريب.

إذا كان التدريب قصيراً (مثلاً 6,000 خطوة)، تختار القاعدة رقماً أقل (مثل 0.82).
إذا كان التدريب طويلاً (مثلاً 40,000 خطوة)، تختار القاعدة رقماً أعلى (مثل 0.97).

لماذا يهم هذا؟ (النتائج)

قارن المؤلفون "قاعدة التحديث" الخاصة بهم مقابل "القاعدة الثابتة" التقليدية (حيث يستخدم الجميع الرقم 0.944 دون تغيير).

الأداء المتوسط: كانت الطريقتان متقاربتين جداً من حيث متوسط النجاح. فالرقم الثابت القياسي جيد جداً في الواقع.
"شبكة الأمان" (المتانة): هنا تبرز براعة القاعدة الجديدة.
- تخيل أنك تقود سيارة. "القاعدة الثابتة" تشبه القيادة بسرعة تناسب معظم الطرق، ولكن أحياناً قد تصطدم بحفرة وتتعرض لحادث.
- "قاعدة التحديث" تشبه نظام التعليق الذكي؛ فهي تتكيف مع طول الطريق.
- النتيجة: قللت القاعدة الجديدة من حالات الفشل في "أسوأ السيناريوهات" بنسبة 33%. بعبارة أخرى، جعلت عملية التدريب أكثر موثوقية. لقد ضمنت أن كل تجربة على حدة (من بين الـ 11 تجربة) تعمل بشكل مثالي تقريباً، بينما عانت الطريقة القديمة في بعض التجارب بشكل ملحوظ.

الخلاصة

تجادل الورقة بأنه لا ينبغي لنا التعامل مع إعداد الذاكرة في تدريب الذكاء الاصطناعي كقيمة ثابتة لا تتغير. بدلاً من ذلك، يجب أن نتعامل معه كـ مقياس.

تماماً كما لا تستخدم نفس مقياس الخريطة لمدينة وما لخريطة دولة كاملة، لا ينبغي لك استخدام نفس إعداد الذاكرة لجولة تدريب قصيرة وأخرى طويلة. من خلال ضبط الذاكرة بناءً على مدة التدريب (للحفاظ على "عدد تحديثات" عند 1,000)، فإننا نجعل عملية تدريب الذكاء الاصطناعي أكثر متانة وأقل عرضة للفشل بطرق غير متوقعة.

باختصار: لا تكتفِ باختيار رقم وتتمنى الأفضل. اضبط ذاكرة الروبوت بناءً على طول الرحلة، وستحصل على مسار أكثر سلاسة.

ملخص تقني: توسيع نطاق ذاكرة خوارزمية "آدم المتوازنة" (Balanced Adam)

بيان المشكلة

بينما تشير الأدلة الحديثة إلى أن مُحسّن "آدم" (Adam) يعمل بكفاءة عالية عندما يتم ربط معاملات الزخم فيه ( $\beta_1 = \beta_2 = \beta$ )، مما يقلصه إلى مُحسّن بمعلمة واحدة، إلا أن القيمة المثلى لهذه المعلمة المتبقية لا تزال غير مفهومة بشكل جيد. إن التعامل مع $\beta$ كثابت عديم الأبعاد (مثل القيمة القياسية 0.9 أو 0.99) هو أمر غير كافٍ، لأن نفس القيمة لـ $\beta$ تمثل أنظمة ديناميكية متباينة تمامًا اعتمادًا على المدة الإجمالية للتدريب. فالمقدار من $\beta$ الذي يكون مناسبًا لجولة تدريب قصيرة قد يكون غير فعال لجولة طويلة. المشكلة الجوهرية التي يعالجها هذا البحث هي كيفية اختيار مقياس الذاكرة الوحيد لـ "آدم المتوازن" بطريقة واعية بنطاق التدريب.

المنهجية

يقترح المؤلفون إعادة صياغة $\beta$ ليس كثابت استاتيكي، بل كمتغير يتحكم في "أفق الذاكرة الإحصائية".

التعريفات:
- أفق الذاكرة ( $H_\beta$ ): يُعرف بـ $H_\beta = (1-\beta)^{-1}$ ، ويمثل العدد التقريبي لخطوات التحسين الأخيرة التي تهيمن على التقديرات الداخلية للمُحسّن.
- أفق التعلم الفعال ( $T_{ES}$ ): تقدير للمدة المفيدة للتدريب، مستمد من أوقات التوقف المبكر (early-stopping) في مسارات التحقق.
- عدد التجديد ( $R_\beta$ ): كمية عديمة الأبعاد تُعرف بـ $R_\beta = T_{ES} / H_\beta = (1-\beta)T_{ES}$ . وهي تقيس عدد المرات التي يقوم فيها "آدم" بتجديد إحصائياته الداخلية خلال المرحلة المفيدة من التدريب.
قاعدة التجديد:
الفرضية المركزية هي أن "آدم المتوازن" يتصرف بمتانة عندما يتم الحفاظ على عدد التجديد ثابتًا تقريبًا، بغض النظر عن نطاق التدريب. القاعدة المقترحة هي:
$R_\beta \approx R_0 \implies \beta = 1 - \frac{R_0}{T_{ES}}$
حيث $R_0$ هو ثابت مستهدف.
الإعداد التجريبي:
- النطاق: 11 تجربة تشمل نماذج الرؤية (ResNet50, ViT-B/16, EfficientNet-B0, Swin-T) واللغة (Llama60M, NanoGPT, T5-small) مدربة على مجموعات بيانات متنوعة (مثل ImageNet, CIFAR-100, C4, BookCorpus).
- البروتوكول: تفرض جميع التجارب قيد التشابه القطري $\beta_1 = \beta_2 = \beta$ . تم إجراء مسح لشبكة من 13 قيمة لـ $\beta$ (تتراوح من 0 إلى 0.999).
- المعايرة: استُخدمت 8 تجارب كمجموعة تطوير لمعايرة $R_0$ ، بينما استُخدمت 3 تجارب أخرى (محتجزة) للتحقق من الصحة.
- المقياس: تم قياس الأداء من خلال الفجوة النسبية في خسارة التحقق مقارنة بـ "الأوراكل" $\beta^*$ (أفضل $\beta$ تم العثور عليها في الشبكة لتلك التجربة المحددة). المقاييس شملت متوسط الفجوة (Mean Gap)، والحد الأقصى للفجوة (Maximum Gap)، والقيمة المشروطة عند المخاطرة (CVaR) لأدنى 25% من الحالات.

النتائج الرئيسية

وجدت الدراسة أن اختيار $\beta$ للحفاظ على عدد تجديد ثابت يحسن المتانة بشكل كبير مقارنة بالنماذج الثابتة.

الهدف الأمثل: حددت معايرة مجموعة التطوير أن $R_0 = 1000$ هو الهدف الذي يقلل الحد الأقصى للفجوة. تختار هذه القاعدة قيمًا مختلفة لـ $\beta$ اعتمادًا على $T_{ES}$ (تتراوح من 0.822 إلى 0.968 عبر التجارب).
المتانة مقابل الأداء المتوسط:
- حقق النموذج الثابت $\beta = 0.944$ (أقوى خيار ثابت في الشبكة) أفضل متوسط فجوة عالمية (0.290%).
- ومع ذلك، فإن قاعدة التجديد ( $R_0 = 1000$ ) حسنت متانة الحالة الأسوأ بشكل كبير. فقد قللت الحد الأقصى العالمي لفجوة التحقق بنسبة 33.4% (من 1.328% إلى 0.885%) وخفضت الـ CVaR العالمي بنسبة 32.7% (من 1.059% إلى 0.713%).
- والأهم من ذلك، جعلت قاعدة التجديد جميع التجارب الـ 11 ضمن نطاق 1% من "الأوراكل" الخاص بها، بينما حقق النموذج الثابت ذلك في 9 من أصل 11 تجربة فقط.
الاستقرار: أثبتت الطريقة متانتها تجاه الأخطاء المتوسطة في تقدير $T_{ES}$ . فحتى مع وجود ضوضاء ضربية تصل إلى $\sigma=0.20$ في تقدير الأفق، حافظت قاعدة التجديد على CVaL عالمي أقل من النموذج الثابت.

الأهمية والادعاءات

يجادل البحث بأن المعلمة المتبقية لـ "آدم المتوازن" تُفهم بشكل أفضل كـ متغير مقياس للذاكرة وليس كثابت ثابت.

منظور واعٍ بالمقياس: يوفر هذا العمل "منظورًا مدركًا للميزانية حول توسيع نطاق المُحسّن". وهو يفترض أن $\beta$ يجب أن تُعامل كأداة تحكم في ساعة الذاكرة الإحصائية للمُحسّن، والتي يجب أن تتوافق مع أفق التعلم الفعال.
الديناميكيات فوق القيم الافتراضية: تشير النتوات إلى أن معاملة زخم "آدم" كجزء من ديناميكيات التعلم (تحديدًا عدد التجديدات الإحصائية) أفضل من معاملته كقيمة افتراضية ثابتة.
الأثر العملي: بينما يعد $\beta$ الثابت (مثل 0.944) خيارًا عمليًا قويًا، فإن قاعدة التجديد توفر آلية مبدئية لضبط $\beta$ مع تغير أفق التدريب، مما يضمن أن الذاكرة الداخلية للمُحسّن ليست قصيرة جدًا (مما يسبب عدم الاستقرار) ولا طويلة جدًا (مما يسبب بطء التكيف) بالنسبة لمدة التدريب.

يقر المؤلفون بالقيود، مشيرين إلى ضرورة تقدير $T_{ES}$ (مما يجعل القاعدة معايرة حسب المقياس وليست صفرية)، وأن القيمة المحددة $R_0=1000$ هي نتيجة تجريبية لمجموعة الاختبار المختبرة، وليست بالضرورة ثابتًا عالميًا. كما اقتُرحت أعمال مستقبلية لفك الارتباط بين التأثيرات الخاصة بالبنية التحتية ودراسة التفاعل بين ساعة الذاكرة وجداول معدل التعلم.