💬 NLP

Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts

يُعد OOMB نظام تدريب عالي الكفاءة في استهلاك الذاكرة للنماذج اللغوية الكبيرة ذات السياق الطويل، حيث يستخدم إطار عمل تكراري قائم على الأجزاء (chunk-recurrent framework) مع إعادة حساب التنشيط آنياً وتحسينات تآزرية لذاكرة التخزين المؤقت لـ KV، مما يمكّن من تدريب نماذج مثل Qwen2.5-7B بسياقات تصل إلى مليون توكن على وحدة معالجة رسوميات واحدة.

المؤلفون الأصليون: Wenhao Li, Daohai Yu, Gen Luo, Yuxin Zhang, Fei Chao, Rongrong Ji, Yifan Wu, Jiaxin Liu, Ziyang Gong, Zimu Liao

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenhao Li, Daohai Yu, Gen Luo, Yuxin Zhang, Fei Chao, Rongrong Ji, Yifan Wu, Jiaxin Liu, Ziyang Gong, Zimu Liao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة كتاب مكون من 4 ملايين صفحة (أي ما يعادل حوالي 400 نسخة من رواية "الحرب والسلم" موضوعة فوق بعضها البعض). تريد تدريب ذكاء اصطناعي فائق الذكاء لفهم القصة بأكملها دفعة واحدة.

المشكلة؟ عقلك (ذاكرة وحدة معالجة الرسومات GPU الخاصة بالكمبيوتر) أصغر من أن يستوعب الكتاب بأكمله مفتوحاً في نفس الوقت. عادةً، لقراءة كتاب طويل، ستحتاج إلى مكتبة ضخمة تضم مئات المساعدين (جهاز كمبيوتر عملاق/Cluster) ليحملوا لك صفحات مختلفة.

يقدم هذا البحث نظاماً جديداً يسمى OOMB (تجاوز حاجز الذاكرة - Out Of the Memory Barrier). إنه يشبه خدعة سحرية تسمح لشخص واحد بقراءة كتاب الـ 4 ملايين صفحة هذا باستخدام مكتب صغير فقط، دون الحاجة إلى مكتبة.

إليك كيف يعمل OOMB، باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: مشكلة "كومة الأوراق"

عادةً، عندما يقرأ الذكاء الاصطناعي نصاً طويلاً، فإنه يحاول الاحتفاظ بـ "ملاحظة لاصقة" لكل كلمة قرأها حتى الآن.

التشبيه: تخيل أنك تقرأ كتاباً وتكتب ملاحظة لاصقة لكل جملة تقرأها. إذا كان الكتاب بطول 4 ملايين صفحة، سينتهي بك الأمر بمجموعة من الملاحظات اللاصقة مرتفعة جداً لدرجة أنها تسحق مكتبك. ستنفد ذاكرة الكمبيوتر (RAM) وتتعطل قبل أن تنهي حتى الفصل الأول.

2. حل OOMB: استراتيجية "سلة إعادة التدوير"

يغير OOMB القواعد. فبدلاً من الاحتفاظ بكل ملاحظة لاصقة للأبد، فإنه يستخدم نهج "التقطيع المتكرر" (Chunk-Recurrent).

التشبيه: تخيل أنك تقرأ الكتاب في فصول صغيرة (قطع):
1. تقرأ فصلاً واحداً.
2. تكتب "خلاصة" القصة حتى تلك اللحظة (ما يسمى بـ Key-Value Cache).
3. ترمي جميع الملاحظات اللاصقة الخاصة بهذا الفصل فوراً.
4. إذا احتجت لتذكر تفصيل من ذلك الفصل لاحقاً لحل مسألة رياضية (عملية الـ backward pass أثناء التدريب)، فإنك تعيد قراءة ذلك الفصل تحديداً من الكتاب فوراً لإعادة إنشاء الملاحظات، بدلاً من الاحتفاظ بها على مكتبك.
النتيجة: مكتبك لا يمتلئ أبداً. مهما كان طول الكتاب، فأنت لا تحمل سوى الملاحظات الخاصة بفصل واحد صغير في كل مرة. هذا يحافظ على استهلاك الذاكرة ثابتاً.

3. العقبة الجديدة: "خزانة الملفات العملاقة"

من خلال رمي الملاحظات اللاصقة، حل OOMB مشكلة الذاكرة، لكنه خلق مشكلة أخرى: "الخلاصة" (KV Cache) لا تزال بحاجة إلى الحفظ لأن الذكاء الاصطناعي يحتاج لتذكر القصة بأكملها لفهم الكلمة التالية.

التشبيه: حتى لو رميت الملاحظات اللاصقة، فسيظل لديك كومة متزايدة من "ملخصات القصة" التي تزداد حجماً مع كل صفحة تقرأها. في النهاية، ستصبح كومة الملخصات هذه أكبر من أن يستوعبها مكتبك.

4. الأدوات السحرية الثلاثة التي يستخدمها OOMB

للتعامل مع هذه الكومة المتزايدة من الملخصات، يستخدم OOMB ثلاث حيل ذكية:

الحيلة (أ): نظام الملفات "المجزأ" (Paged Filing System)
- الطريقة القديمة: عندما تضيف ملخصاً جديداً، تحاول لصقه في نهاية شريط طويل من الورق. إذا امتلأ الشريط، يتعين عليك شراء شريط جديد أكبر ونسخ كل شيء إليه. هذا أمر بطيء ويهدر المساحة.
- طريقة OOMB: يستخدم نظام "الذاكرة المجزأة" (Paged Memory) (مثل كتاب بصفحات مرقمة). أنت فقط تضع الملخص الجديد في الصفحة التالية المتاحة. لا نسخ، لا هدر للمساحة، ولا فجوات فوضوية.
الحيلة (ب): "الوردية الليلية" (Async Offloading)
- المشكلة: حتى مع وجود الصفحات، ستصبح كومة الملخصات في النهاية أكبر من مكتبك.
- الحل: لدى OOMB مساعد "وردية ليلية" (وهو المعالج المركزي CPU). بينما تنشغل أنت بقراءة الفصل الحالي (القيام بالعمليات الحسابية)، يقوم المساعد بهدوء بنقل الملخصات القديمة من مكتبك إلى غرفة التخزين في القبو (ذاكرة الـ CPU).
- السحر: المساعد سريع جداً ويعمل في الخلفية بحيث لا تلاحظ حتى قيامه بنقل الأشياء. وبحلول الوقت الذي تحتاج فيه إلى ملخص قديم، يكون جاهزاً بانتظارك بالفعل.
الحيلة (ج): "قلم التحديد" (Sparse Attention)
- المشكلة: أحياناً، لفهم جملة ما، لا تحتاج إلى النظر في كل الصفحات السابقة من الكتاب. أنت تحتاج فقط إلى الأجز الأهم.
- الحل: يستخدم OOMB تقنية "الانتباه المتفرق" (Sparse Attention). بدلاً من قراءة التاريخ بأكمله، يعمل مثل قلم التحديد، حيث يختار فقط أفضل 1% من الصفحات الأكثر صلة للنظر إليها. هذا يجعل عملية القراءة سريعة للغاية ويوفر مساحة أكبر بكثير.

النتيجة النهائية

بفضل هذه الحيل، يمكن لـ OOMB تدريب نموذج ذكاء اصطناعي ضخم (Qwen2.5-7B) لفهم سياق يصل إلى 4 ملايين توكن (كتاب الـ 4 ملايين صفحة) على شريحة كمبيوتر واحدة عالية الأداء (H200 GPU).

قبل OOMB: كنت ستحتاج إلى مجموعة ضخمة من 256 جهاز كمبيوتر تعمل معاً للقيام بذلك.
الآن: يمكنك القيام بذلك على جهاز واحد فقط.

لماذا يهم هذا الأمر؟

فكر في الأمر كأنه "ديمقراطية استكشاف الفضاء". في السابق، كان بإمكان الحكومات الضخمة التي تملك مليارات الدولارات فقط بناء صواريخ للذهاب إلى القمر. OOMB يشبه اختراع محرك موفر للوقود يسمح لشخص واحد ببناء صاروخ في مرآب منزله. إنه يجعل تدريب نماذج الذكاء الاصطناعي ذات الذاكرة الطويلة فائقة الذكاء متاحاً للباحثين العاديين والشركات الأصغر، مما يوفر المال والطاقة والوقت.

إليك ملخص تقني مفصل لورقة البحث بعنوان "خارج حاجز الذاكرة: نظام تدريب عالي الكفاءة في استهلاك الذاكرة للنماذج اللغوية الكبيرة ذات السياق المليوني (OOMB)".

1. بيان المشكلة

يواجه تدريب النماذج اللغوية الكبيرة (LLMs) على سياقات طويلة (على سبيل المثال، مئات الآلاف إلى ملايين التوكينات) حالياً عائقاً لا يتمثل في وقت التدريب، بل في الاستهلاك المفرط لذاكرة وحدة معالجة الرسومات (GPU).

عنق الزجاجة: يزداد استهلاك الذاكرة في التدريب القياسي خطياً مع طول التسلسل ( $O(N)$ $O (N)$ ) بسبب عاملين:
1. التنشيطات (Activations): الحالات الوسيطة التي تُخزن من أجل الانتشار العكسي (Backpropagation).
2. ذاكرة المفتاح والقيمة (KV Cache): أزواج المفتاح والقيمة المطلوبة لآليات الانتباه (Attention)، والتي يجب الاحتفاظ بها طوال خطوة التدريب.
القيود الحالية: تتطلب التقنيات الحالية مثل ZeRO-3، وتوازي التنسور (Tensor Parallelism)، وRing Attention مجموعات ضخمة من وحدات معالجة الرسومات (مثل 256 وحدة GPU) للتعامل مع سياقات تتجاوز 256 ألف توكين. وغالباً ما تفشل طرق تمديد السياق التي لا تتطلب تدريباً في تحقيق قدرات استدلال قوية، مما يستلد ضرورة التدريب المتواصل المخصص، وهو أمر غير ممكن حالياً لإعدادات وحدة GPU واحدة.

2. المنهجية: إطار عمل OOMB

OOMB (خارج حاجز الذاكرة) هو نظام تدريب مصمم لفصل استخدام الذاكرة عن طول التسلسل. وهو يستخدم إطار تدريب متكرر عبر الأجزاء (Chunk-Recurrent) مقترناً بأربعة تحسينات تآزرية.

أ. التدريب المتكرر عبر الأجزاء مع إعادة حساب التنشيط

الاستراتيجية: بدلاً من معالجة التسلسل بأكره بالتوازي، يقوم OOMB بتقسيم المدخلات إلى أجزاء ( $X_1, X_2, ..., X_S$ ) ومعالجتها بالتسلسل.
الآلية:
- التمرير الأمامي (Forward Pass): يحسب التنشيطات للجزء الحالي، ويتخلص منها فوراً بعد الاستخدام.
- التمرير الخلفي (Backward Pass): يعيد حساب التنشيطات آنياً (on-the-fly) قبل الحاجة إليها مباشرة لحساب التدرج (Gradient).
النتيجة: يؤدي هذا إلى تقليل بصمة ذاكرة التنشيط إلى $O(1)$ (ثابتة)، بغض النظر عن إجمالي طول السياق. وينتقل عنق الزجاجة بالكامل إلى إدارة ذاكرة KV Cache.

ب. إدارة ذاكرة KV Cache والتدريجات بنظام الصفحات (Paged)

الإلهام: مستوحى من تقنية "Paged Attention" (المستخدمة في vLLM) ولكن تم توسيعه لدعم الانتشار العكسي.
التنفيذ:
- يستخدم نواة Triton مخصصة لإدارة ذاكرة KV cache وتدرجاتها في صفحات ثابتة الحجم.
- تراكم التدرج في المكان (In-place Gradient Accumulation): تستخدم نوى CUDA مخصصة عملية atomic_add لتراكم التدرجات مباشرة، مما يلغي الحاجة إلى مخازن وسيطة.
- تجاوز Autograd: يتم فصل KV cache عن رسم بياني لـ PyTorch (autograd graph)، مما يمنع معاملته كتنشيط قياسي ويقلل من تجزئة الذاكرة.

ج. التفريغ غير المتزامن لـ KV Cache إلى وحدة المعالجة المركزية (CPU Offloading)

التحدي: حتى مع وجود تنشيطات بقيمة $O(1)$ ، لا تزال ذاكرة KV cache تنمو خطياً مع طول السياق.
الحل: آلية غير متزامنة لنقل KV cache (وتدرجاته) بين ذاكرة وحدة معالجة الرسومات (GPU) وذاكرة وحدة المعالجة المركزية (CPU).
إخفاء زمن التأخير (Latency Hiding):
- الانتباه الكثيف/المحلي (Dense/Local Attention): يستخدم استراتيجية الجلب المسبق (Pre-fetching) حيث يتم جلب KV cache للطبقة $i$ من الـ CPU أثناء حساب الطبقة $i-1$ .
- الانتباه المتفرق (Sparse Attention): يدمج عمليات نقل البيانات مع حسابات إسقاط المفتاح/القيمة (Key/Value Projection).
- يضمن ذلك إخفاء زمن انتقال نقل البيانات بواسطة العمليات الحسابية، مما يبقي التكاليف الإضافية النهائية (End-to-end overhead) دون 5%.

د. الانتباه المتفرق على مستوى الصفحة (Page-Level Sparse Attention)

التحسين: لتقليل التعقيد الحسابي وأعباء الاتصال بشكل أكبر، يدمج OOMB تقنية الانتباه المتفرق.
استرجاع الصفحات الأعلى (Top-K Page Retrieval): بالنسبة للنماذج الكثيفة (مثل Qwen2.5)، فإنه يقرب الانتباه الكامل عبر استرجاع الصفحات الأكثر صلة فقط بناءً على متوسط متجه ممثل.
الدعم الأصيل: بالنسبة للنماذج ذات الطبيعة المتفرقة (مثل GPT-OSS)، فإنه يجمع بين استرجاع Top-K للطبقات الكثيفة والانتباه المحلي للطبقات المتفرقة.
الفائدة: يقلل من التعقيد الحسابي للانتباه ويقلل من حجم البيانات المطلوبة للتفريغ إلى الـ CPU.

3. المساهمات الرئيسية

ذاكرة تنشيط $O(1)$ : من خلال الجمع بين المعالجة عبر الأجزاء وإعادة حساب التنشيط، يقضي OOMB على النمو الخطي لذاكرة التنشيطات.
نظام تدريب بنظام الصفحات: أول نظام ينفذ إدارة الذاكرة بالصفحات خصيصاً لتدرجات KV cache أثناء التدريب، مما يسمح بتحديثات فعالة في المكان والقضاء على التجزئة.
التفريغ غير المتزامن: آلية مبتكرة تخفي زمن انتقال النقل بين CPU و GPU، مما يسمح للنظام باستخدام ذاكرة الـ CPU لتخزين KV cache المتنامي دون تعطيل وحدة معالجة الرسومات.
القابلية للتوسع: يسمح دمج هذه التقنيات بتدريب سياقات تتجاوز 4 ملايين توكين على وحدة GPU واحدة، وهو إنجاز كان يتطلب سابقاً مجموعات ضخمة من الوحدات.

4. النتائج التجريبية

أُجريت التجارب باستخدام Qwen2.5-7B على وحدة NVIDIA H200 GPU.

كفاءة الذاكرة:
- مقابل كل 10 آلاف توكين إضافي من السياق، تزداد تكلفة ذاكرة التدريب النهائية بمقدار 10 ميجابايت فقط.
- إنجاز الوحدة الواحدة: نجح في تدريب Qwen2.5-7B بسياق قدره 4 ملايين توكين على وحدة H200 واحدة.
- المقارنة: يتفوق على التدريب المتوازي القياسي (FlashAttention) وRing Flash Attention (RFA) من حيث قابلية توسع الذاكرة. وبدون التفريغ إلى الـ CPU، لا يزال OOMB يقلل معدلات نمو الذاكرة بأكثر من 5 أضعاف مقارنة بالنماذج المرجعية.
الإنتاجية والتأخير (Throughput & Latency):
- تسريع الانتباه المتفرق: يحقق تسريعاً يصل إلى 13.5 ضعفاً عند سياق 256 ألف توكين مقارنة بنماذج الانتباه الكثيف.
- توازي السياق (Context Parallelism): يحقق OOMB إنتاجية أعلى لكل جهاز (توكين/ثانية) من Ring Flash Attention، الذي يعاني من أعباء اتصالات الـ GPU البينية.
الدقة:
- يحافظ الانتباه المتفرق مع ميزانيات الاسترجاع (مثل 4K+8192) على منحنيات فقدان (Loss curves) مطابقة تقريباً للانتباه الكثيف.
- النماذج المدربة بسياقات 256 ألف و1 مليون توكين تقاربت بنجاح نحو قيم فقد منخفضة (<1.2 لـ 256 ألف)، مما يؤكد أن التقريب لا يضعف الأداء بشكل كبير.

5. الأهمية

ديمقراطية تدريب السياق الطويل: يزيل OOMB الحاجز الذي يتطلب مجموعات ضخمة من وحدات GPU لأبحاث السياق الطويل. فهو يمكّن الباحثين والمؤسسات ذات الموارد المحدودة (وحدة GPU عالية الأداء واحدة) من تدريب نماذج بسياقات مليونية.
كفاءة الموارد: من خلال تقليل المتطلبات العتادية والطاقة اللازمة لتدريب السياق الطويل بشكل جذري، يعزز هذا العمل ممارسات بحث الذكاء الاصطناعي الأكثر استدامة.
تقدم نظامي: يمثل العمل تحولاً من الاعتماد على الموارد الحسابية الغاشمة (المزيد من الـ GPUs) إلى التحسينات الخوارزمية والنظامية (إدارة الذاكرة، إعادة الحساب، والتفريغ) لحل مشكلة "جدار الذاكرة" في تدريب النماذج اللغوية الكبيرة.

القيود

تأخير المعالجة: تسبب المعالجة المتسلسلة عبر الأجز้ำ بعض التأخير مقارنة بالتدريب المتوازي الكامل، مما قد يؤثر على السيناريوهات الحساسة للإنتاجية.
التقريب المتفرق: رغم فعاليته، فإن الانتباه المتفرق هو تقريب؛ ويتطلب تأثيره على المهام التي تتطلب فهماً عالمياً كثيفاً مزيداً من الاستقصاء.
الاعتماد على العتاد: تعتمد كفاءة التفريغ غير المتزامن بشكل كبير على عرض نطاق التوصيل بين الـ CPU والـ GPU (مثل PCIe مقابل NVLink).