🤖 machine learning

FOAM: Blocked State Folding for Memory-Efficient LLM Training

تقدم الورقة البحثية FOAM، وهو مُحسِّن كفء في استهلاك الذاكرة يقوم بضغط حالات المُحسِّن عبر متوسطات التدرج بنظام الكتل مع تصحيح البواقي، محققاً معدلات تقارب تعادل خوارزمية Adam التقليدية مع التخلص من ما يصل إلى 90% من عبء ذاكرة المُحسِّن وتسريع التدريب دون تدهور في الأداء.

المؤلفون الأصليون: Ziqing Wen, Jiahuan Wang, Ping Luo, Dongsheng Li, Tao Sun

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziqing Wen, Jiahuan Wang, Ping Luo, Dongsheng Li, Tao Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت عملاق وذكي للغاية (نموذج لغوي كبير) كيف يكتب، ويتحدث، ويستنتج. للقيام بذلك، تعرض عليه مكتبة ضخمة من الكتب (بيانات التدريب). يتعلم الروبوت من خلال ارتكاب الأخطاء، ومراجعة عمله، وتعديل "إعدادات دماغه الداخلية" (المعلمات/parameters) ليصبح أفضل.

الطريقة القياسية للقيام بهذا التعديل تشبه محاسباً دقيقاً جداً يُدعى Adam. يحتفظ آدم بسجل مفصل لكل إعداد من إعدادات الدماغ، ولا يتتبع فقط الخطأ الحالي، بل يتتبع أيضاً تاريخ الأخطاء الماضية ليقرر مقدار التغيير المطلوب.

المشكلة: المحاسب ثقيل جداً
المشكلة هي أن هذا "المحاسب" (المُحسِّن/optimizer) ثقيل للغاية. بالنسبة لروبوت يمتلك مليارات الإعدادات الدماغية، فإن سجل "آدم" يشغل مساحة تعادل ضعف مساحة دماغ الروبوت نفسه.

تشبيه: تخيل أنك تحاول نقل منزل. الأثاث (النموذج) كبير، لكن شاحنة النقل (حالات المُحسِّن) أكبر منه بكثير. إذا كان لديك شاحنة صغيرة فقط (ذاكرة حاسوب محدودة)، فلن تتمكن من نقل المنزل على الإطلاق، مهما كان المنزل رائعاً. هذا هو "عنق زجاجة الذاكرة" الذي يمنع الباحثين من تدريب روبوتات أكبر وأذكى.

الحلول القديمة: التنازل عن الجودة
حاولت المحاولات السابقة تقليص حجم شاحنة النقل، لكنها كانت تشوبها العيوب:

تجميد أجزاء من المنزل: تتوقف عن تحريك بعض قطع الأثاث وتكتفي بتحريك صناديق صغيرة فقط. هذا يوفر المساحة ولكنه يجعل المنزل أقل مرونة (أداء أقل).
التقاط صور ضبابية: بدلاً من تحريك الأثاث الفعلي، تلتقط صوراً منخفضة الدقة له لتوفير المساحة. لكن حساب هذه الصور يستغرق الكثير من الوقت والطاقة (عبء حسابي).
مشاركة السجلات: تجعل الغرف المختلفة تشارك دفتر ملاحظات واحداً. هذا يوفر المساحة ولكنه يجعل التعديلات أقل دقة.

الحل الجديد: FOAM (طريقة الطي الذكية)
يقدم البحث FOAM (المُحسِّن المطوي مع العزم التقريبي). فكر في FOAM كخبير تعبئة ماهر يستخدم تقنية "طي" ذكية لوضع شاحنة النقل الضخمة داخل سيارة فان صغيرة، دون فقدان أي تفاصيل مهمة.

إليك كيف يعمل FOAM، باستخدام استعارات بسيطة:

1. "طي الكتل" (الضغط)

بدلاً من تتبع كل إعداد دماغي بشكل فردي، يقوم FOAM بتجميعهم في كتل صغيرة (مثل شبكة من 8 أو 16 إعداداً).

التشبيه: تخيل أن لديك صفاً طويلاً من 100 شخص، وتحتاج لتذكر متوسط طولهم. بدلاً من كتابة 100 رقم منفصل، تجمعهم في 10 فرق، كل فريق يتكون من 10 أشخاص. ثم تكتب رقماً واحداً فقط: وهو متوسط طول كل فريق.
النتيجة: هذا يقلص المساحة المطلحة لـ "السجل" بمقدار هائل (حتى 90% أقل).

2. "تصحيح المتبقي" (شبكة الأمان)

إذا استخدمت المتوسطات فقط، فستفقد التفاصيل الفريدة لكل شخص. ربما يكون أحد الأشخاص في الفريق طويلاً جداً، والآخر قصيراً جداً؛ المتوسط يخفي ذلك.

التشبيه: FOAM ذكي. فبعد أن يكتب "متوسط الفريق"، يقوم بسرعة بحساب الفرق (الخطأ) بين الأشخاص الحقيقيين والمتوسط. ويطلق على هذا الفرق اسم "المتبقي" (Residual).
الحيلة: هو لا يحتفظ بهذا الفرق للأبد. بل يحسبه، ويستخدمه لتصحيح التحديث لتلك اللحظة المحددة، ثم يتخلص منه. الأمر يشبه طباخاً يتذوق الحساء، فيعدل الملح، ثم ينسى الطعم الدقيق للملعقة التي تذوقها، بدلاً من الاحتفاظ بسجل لكل ملعقة تذوقها على الإطلاق.
لماذا يهم هذا: هذا يضمن أن الروبوت لا يزال يتعلم التفاصيل الفريدة لكل إعداد دماغي واحد، رغم أن الذاكرة مضغوطة.

3. "الفرد" (الاستعادة)

عندما يحين وقت تحديث دماغ الروبوت، يأخذ FOAM تلك "متوسطات الفرق" المضغوطة ويقوم بمدّها مرة أخرى إلى حجمها الكامل، مع إضافة تصحيحات "المتبقي" فوقها.

النتيجة: يحصل الروبوت على تحديث دقيق، تماماً كما لو كان مع المحاسب الثقيل، ولكن الحاسوب كان يحمل فقط النسخة المطوية الصغيرة.

ما يدعيه البحث (النتائج)
اختبر المؤلفون FOAM في تدريب نماذج روبوتية متنوعة (من نماذج صغيرة بـ 60 مليون معلمة إلى نماذج كبيرة بـ 7 مليارات معلمة). وإليكم ما وجدوه:

توفير هائل في الذاكرة: يقلص FOAM المساحة المطلوبة للمُحسِّن بنسبة تصل إلى 90%. وبشكل عام، يقلل بصمة الذاكرة لعملية التدريب بنحو 50%. وهذا يعني أنه يمكنك تدريب نماذج أكبر على نفس الأجهزة، أو تدريب نفس النماذج بشكل أسرع.
لا يوجد فقدان في الأداء: على الرغم من الضغط الشديد، فإن النماذج التي تم تدريبها باستخدام FOAM تعمل بنفس كفاءة (أو أحياناً أفضل من) النماذج المدربة باستخدام المحاسب الثقيل التقليدي. فهي تتعلم بشكل أسرع وتصل إلى دقة أعلى.
السرعة: نظرًا لأنه لا يضطر لحمل حمل ثقيل، فإن عملية التدريب تكون أسرع.
تعدد الاستخدامات: يعمل على أنواع مختلفة من بنيات الروبوتات (مثل LLaMA و Qwen وغيرها)، ويمكن دمجه مع حيل أخرى لتوفير الذاكرة.

باخت-اختصار
FO_AM يشبه حقيبة سحرية. فهو يسمح لك بتعبئة كمية هائلة من المعلومات (ذاكرة المُحسِّن) في مساحة صغيرة جداً عن طريق طيها بعناية وإضافة "ملاحظة تصحيح" سريعة لضمان عدم فقدان أي شيء. وهذا يتيح للباحثين بناء نماذج ذكاء اصطناعي أذكى وأكبر دون الحاجة إلى حواسيب ضخمة وباهظة الثمن.

ملخص تقني: FOAM – طي الحالة المحظورة لتدريب النماذج اللغوية الكبيرة بكفاءة الذاكرة

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة (LLMs) أداءً ملحوظًا من خلال زيادة عدد المعلمات (parameters) وبيانات التدريب، ولكن حجمها يفرض اختناقات كبيرة في الذاكرة أثناء التدريب. يتطلب المحسن الافتراضي، Adam (وAdamW)، تخزين تقديرات العزم من الدرجة الأولى والثانية لكل معلمة، مما يؤدي إلى عبء إضافي في ذاكرة حالة المحسن يعادل ضعف حجم النموذج. وهذا يجعل عمليات ما قبل التدريب والضبط الدقيق للنماذج الكبيرة (مثل 7B+ معلمة) مقيدة بالذاكرة، مما يتطلب غالبًا مئات الجيجابايت من ذاكرة الفيديو (VRAM) حتى مع أحجام دفعات صغيرة.

تواجه الحلول الحالية الموفرة للذاكرة مقايضات:

تجميد المعلمات (مثل LoRA): يقيد التحديثات في فضاءات فرعية منخفضة الرتبة، مما قد يحد من قدرة النموذج التعبيرية وأدائه.
الإسقاطات منخفضة الرتبة (مثل GaLore وAPOLLO): تضغط حالات المحسن باستخدام تحليل القيم المفردة (SVD) أو الإسقاطات العشوائية. ورغم فعاليتها، إلا أن SVD يضيف عبئًا حسابيًا كبيرًا، وقد تؤدي الإسقاطات العشوائية إلى تدهور الأداء تحت قيود الذاكرة الصارمة.
المشاركة عبر الكتل (مثل Adam-Mini): تشارك تقديرات العزم من الدرجة الثانية عبر الكتل لتقليل التخزين، لكنها غالبًا ما تترك عبء الذاكرة للدرجة الأولى مرتفعًا أو تكتفي بخفض الذاكرة بنسبة 50% تقريبًا.

2. المنهجية: FOAM

يقترح المؤلفون FOAM (المحسن المطوي مع العزم التقريبي)، وهو إطار عمل مهيكل لطي الحالة مصمم لضغط حالات المحسن دون التضحية بدقة التحسين. يعمل FOAM بناءً على مبدأ المتوسط الكتلي (blocked averaging) المقترن بـ التصحيح المتبقي (residual correction).

الآلية الجوهرية

بفرض أن مصفوفة التدرج هي $G_t \in \mathbb{R}^{m \times n}$ عند الخطوة الزمنية $t$ ومستوى الطي $l$ :

المتوسط الكتلي (الطي): يتم تقسيم التدرج إلى كتل من $2^l$ من العناصر المتتالية. يقوم عامل الطي $A^{(l)}$ بحساب متوسط كل كتلة، مما يضغط بُعد التدرج من $n$ إلى $n/2^l$ . ويتم تحديث عزم الدرجة الأولى والثانية ( $\tilde{M}_t, \tilde{V}_t$ ) بناءً على هذه التدرجات المضغوطة.
الفرد (Unfolding): لتطبيق التحديثات على فضاء المعلمات الكامل، يقوم عامل الفرد $E^{(l)}$ بتكرار المدخلات المضغوطة إلى الأبعاد الأصلية.
التصحيح المتبقي: يؤدي تكرار التحديثات مباشرة إلى جعل جميع العناصر داخل الكتلة تتشارك قيمًا متطابقة، مع الاعتماد فقط على التهيئة للتمايز. ولتعويض المعلومات المفقودة، يحسب FOAM حدًا متبقيًا $R_t = G_t - \tilde{G}_t E^{(l)}$ $R_{t} = G_{t} - \tilde{G}_{t} E^{(l)}$ ، والذي يمثل الخطأ بين التدرج الأصلي والنسخة المطبقة والمفردة.
- يتم إعادة بناء عزم الدرجة الأولى كالتالي: $M_t = \tilde{M}_t E^{(l)} + R_t$ .
- يتم إعادة بناء عزم الدرجة الثانية كالتالي: $V_t = \tilde{V}_t E^{(l)} + R_t^2$ .
- من الضروري ملاحظة أن $R_t$ يُحسب آنيًا ويُحرر فورًا؛ فهو لا يُخزن في الذاكرة.

التطبيق الهجين

يُطبق FOAM تحديدًا على وحدات MLP وAttention، بينما يُستخدم Adam القياسي لطبقات التضمين (Embedding layers). ويقوم معامل قياس $\alpha$ بضبط نسبة معدل التعلم بين وحدات FOAM وAdam، وهو ممارسة شائعة في المحسنات الموفرة للذاكرة.

3. المساهمات الرئيسية

تصميم مبتكر للمحسن: يحقق FOAM تقليلًا يصل إلى 90% في عبء ذاكرة حالة المحسن وحوالي 50% في إجمالي بصمة الذاكرة من البداية إلى النهاية مقارنة بـ Full-Adam. وبخلاف طرق الإسقاط، فإنه لا يتطلب مصفوفات إسقاط ويدعم تحسين المعلمات الكامل.
الضمانات النظرية: تحت افتراضات التحسين غير المنحني القياسية (L-smoothness، التباين المحدود، التدرجات المحدودة)، يثبت المؤلفون أن FOAM يحقق نفس معدل التقارب $O(\frac{\log T}{\sqrt{T}})$ مثل Adam التقليدي. كما أن نسبة الخطأ المتبقي $\delta_l$ محدودة بـ 1 ولا تؤثر سلبًا على معدل التقارب الأساسي.
التقييم المكثف: تم التحقق من صحة الطريقة عبر أحجام نماذج مختلفة (من 60 مليون إلى 7 مليار معلمة)، وهياكل متنوعة (LLaMA, Qwen, GPT, DeBERTa)، ومهام مختلفة (ما قبل التدريب على C4، والضبط الدقيق على GLUE وMMLU).

4. النتائج التجريبية

يسجل البحث النتائج التجريبية التالية:

أداء ما قبل التدريب: يتفوق FOAM باستمرار على النماذج المرجعية الموفرة للذاكرة (GaLore, APOLLO, Adam-Mini, Muon) من حيث الارتياب في التحقق (PPL) مع الحفاظ على استخدام أقل للذاكرة بشكل ملحوظ. على سبيل المثال، في نموذج LLaMA-1.3B، يقلل FOAM-3 استهلاك الذاكن الإجمالي بنسبة ~50% مقارنة بـ Adam مع تحقيق PPL أقل.
سرعة التقارب: يظهر FOAM تقاربًا أسرع، وغالبًا ما يتطلب دورات تدريبية أقل للوصول إلى PPL مستهدف مقارنة بطرق توفير الذاكرة الأخرى.
القابلية للتوسع: يحافظ FOAM على أداء متفوق في النماذج الأكبر (LLaMA-3B, 7B) وتحت أنظمة تدريب التسلسل الطويل (حتى 2048 رمزًا).
الضبط الدقيق: في اختبارات GLUE وMMLU، يحقق FOAM أداءً مشابهًا أو أفضل من Full-Adam والنماذج المرجعية الأخرى، مما يثبت فائدته لما بعد مرحلة ما قبل التدريب.
المتانة: تؤكد دراسات الاستئصال (Ablation studies) أن الحد المتبقي ضروري للأداء؛ حيث يؤدي حذفه إلى تباطؤ التقارب وارتفاع PPL النهائي. كما يظل FOAM قويًا عند دمجه مع التكميم بـ 8-بت ومع محسنات أخرى مثل Adam-Mini وMuon.

5. الأهمية والادعاءات

يزعم البحث أن FOAM يقدم حلاً عمليًا وعالي الكفاءة وغير مرتبط بمحسن محدد لمعالجة اختناقات الذاكرة في تدريب النماذج اللغوية واسعة النطاق. ومن خلال إلغاء الحاجة إلى تجميد الأوزان أو حسابات الإسقاط المكلفة، يسمح FOAM بتحسين المعلمات الكامل مع تقليل هائل في عبء الذاكرة. ويضع المؤلفون FOAM كبديل مكمل لتقنيات الإسقاط منخفض الرتبة، موفرين طريقة تطابق نظرًا لتقارب Adam وتتفوق عليه تجريبيًا في كفاءة الذاكرة والأداء التدريبي.

يشير العمل إلى أن FOAM يمكن أن يمكّن تدريب نماذج أكبر على الأجهزة الحالية أو يقلل التكاليف الحسابية لتدريب النماذج الحالية المتطورة، مما يجعل تدريب النماذج اللغوية عالية الأداء أكثر سهولة وتوافرًا.