💬 NLP

MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling

تقدم هذه الورقة البحثية MiniCPM-SALA، وهو نموذج هجين بـ 9 مليارات معلمة يجمع بين آليات الانتباه المتناثر والخطي مع إطار عمل للتدريب المستمر منخفض التكلفة لتحقيق نمذجة سياق طويل عالية الأداء وفعالة تصل إلى مليون رمز، مع تقليل تكاليف التدريب وزمن انتقال الاستدلال بشكل كبير مقارنة بنماذج الانتباه الكامل التقليدية.

المؤلفون الأصليون: MiniCPM Team, Wenhao An, Yingfa Chen, Yewei Fang, Jiayi Li, Xin Li, Yaohui Li, Yishan Li, Yuxuan Li, Biyuan Lin, Chuan Liu, Hezi Liu, Siyuan Liu, Hongya Lyu, Yinxu Pan, Shixin Ren, Xingyu Shen, Zhou S

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: MiniCPM Team, Wenhao An, Yingfa Chen, Yewei Fang, Jiayi Li, Xin Li, Yaohui Li, Yishan Li, Yuxuan Li, Biyuan Lin, Chuan Liu, Hezi Liu, Siyuan Liu, Hongya Lyu, Yinxu Pan, Shixin Ren, Xingyu Shen, Zhou Su, Haojun Sun, Yangang Sun, Zhen Leng Thai, Xin Tian, Rui Wang, Xiaorong Wang, Yudong Wang, Bo Wu, Xiaoyue Xu, Dong Xu, Shuaikang Xue, Jiawei Yang, Bowen Zhang, Jinqian Zhang, Letian Zhang, Shengnan Zhang, Xinyu Zhang, Xinyuan Zhang, Zhu Zhang, Hengyu Zhao, Jiacheng Zhao, Zhi Zheng, Jie Zhou, Zihan Zhou, Shuo Wang, Chaojun Xiao, Xu Han, Zhiyuan Liu, Maosong Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث MiniCPM-SALA، مترجم إلى لغة بسيطة ويومية باستخدام التشبيهات.

🧠 المشكلة الكبرى: عنق زجاجة "المكتبة"

تخيل أمين مكتبة فائق الذكاء (نموذج ذكاء اصطناي) يمكنه قراءة الكتب والإجابة على الأسئلة.

الطريقة القديمة (الذكاء الاصطناعي القياسي): للإجابة على سؤال حول كتاب مكون من 1,000 صفحة، يجب على أمين المكتبة أن يحتفظ بملاحظة ذهنية لكل جملة قرأها حتى الآن. إذا أصبح الكتاب أطول (مثلاً مليون صفحة)، سينفجر عقل أمين المكتبة (الذاكرة). لا يمكنه الاحتفاظ بكل الملاحظات، وسيتعب بشدة من محاولة الربط بين كل شيء لدرجة أنه سيتوقف عن العمل تماماً. هذا هو "جدار الذاكرة" الذي يمنع معظم نماذج الذكاء الاصطناعي من قراءة المستندات الضخمة.
الحلول الحالية:
- الانتباه المتفرق (Sparse Attention): يحاول أمين المكتبة تذكر الجمل "المهمة" فقط. لكنه لا يزال بحاجة إلى خزانة ملفات ضخمة لتخزين بقية الكتاب تحسباً للحاجة إليه لاحقاً. هذا يوفر بعض طاقة الدماغ، لكن خزانة الملفات تظل ثقيلة جداً.
- الانتباه الخطي (Linear Attention): يقوم أمين المكتبة بتلخيص الكتاب بأكمله في ملاحظة واحدة صغيرة جداً. هذه الملاحظة تسعه في جيبه، لكنه يفقد التفاصيل. لم يعد بإمكانه العثور على حقائق محددة.

🚀 الحل: MiniCPM-SALA (أمين المكتبة "الهجين")

قام فريق MiniCPM-SALA ببناء نوع جديد من أمناء المكتبة الذين يستخدمون استراتيجية هجينة. فكر في الأمر كفريق من أمناء المكتبة يعملون معاً في جسد واحد:

"المحقق الدقيق" (الانتباه المتفرق - 25%): هذا الجزء يشبه العدسة المكبرة. إنه يركز على جمل محددة ومهمة لضمان عدم تفويت الذكاء الاصطناعي لأي تفاصيل دقيقة. إنه دقيق جداً ولكنه بطيء ويستهلك الكثير من الذاكرة.
"القارئ السريع" (الانتباه الخطي - 75%): هذا الجزء يشبه الماسح الضوئي فائق السرعة. إنه يمر عبر المستند بالكامل، متذكراً التدفق العام والأفكار الكبيرة دون الغرق في التفاصيل. إنه سريع للغاية ولا يستهلك أي ذاكرة تقريباً.

النسبة السحرية: يستخدم النموذج "القارئ السريع" لـ 75% من العمل (للحفاظ على السرعة والخفة) و"المحقق الدقيق" لـ 25% (لضمان الدقة). هذا المزيج يمنحك أفضل ما في العالمين: السرعة دون فقدان سياق القصة.

🛠️ كيف بنوه: خدعة "الترميم"

عادةً، لبناء نوع جديد من الذكاء الاصطناعي، عليك البدء من الصفر، وهو أمر يشبه بناء منزل جديد من الأساس. يستغرق ذلك سنوات ويكلف ثروة.

استخدم فريق MiniCPM-SALA استراتيجية ترميم ذكية:

أخذوا نموذج ذكاء اصطناعي موجود بالفعل وعالي الجودة (MiniCPM-4.0) والذي كان بمثابة "منزل" رائع.
بدلاً من هدمه، قاموا ببساطة بـ ترميم الغرف. لقد استبدلوا "غرف الذاكرة" القياسية بـ "غرفهم الهجينة" الجديدة.
النتيجة: لقد حولوا منزلاً قياسياً إلى منزل هجين فائق الكفاءة باستخدام 25% فقط من الوقت والمال الذي كان سيستغرقه بناء منزل جديد من الصفر.

🏆 ماذا يمكنه أن يفعل؟ (القوى الخارقة)

بسبب هذا التصميم الجديد، يمكن لـ MiniCPM-SALA القيام بأشياء لا تستطيع نماذج الذكاء الاصطناعي المماثلة في الحجم القيام بها ببساطة:

قراءة الإنترنت بأكمله (تقريباً): يمكنه التعامل مع أطوال سياق تصل إلى مليون توكن (Token). ولتوضيح ذلك، هذا يشبه قراءة رواية من 3,000 صفحة، أو عقداً قانونياً ضخماً، أو مستودعاً كاملاً للأكواد البرمجية في جلسة واحدة.
يعمل على كمبيوتر عادي: معظم نماذج الذكاء الاصطناي تحتاج إلى خادم ضخم ومكلف لقراءة هذا القدر من النصوص. MiniCPM-SALA فعال للغاية لدرجة أنه يمكنه العمل على بطاقة رسومات استهلاكية واحدة (مثل NVIDIA 5090 أو A6000). النماذج الأخرى قد تنهار (تنفد ذاكرتها) قبل أن تنهي قراءة الفصل الأول حتى.
السرعة: عند طول 256,000 توكن، هو أسرع بـ 3.5 مرة من منافسيه. إنه الفرق بين انتظار ساعة للحصول على تقرير والحصول عليه في 15 دقيقة.
لا يزال ذكياً: رغم سرعته وكفاءته العالية، لم يفقد قدراته الذهنية. لا يزال يسجل درجات عالية في اختبارات الرياضيات والبرمجة والمعرفة العامة، تماماً مثل النماذج الكبيرة والبطيئة.

🌟 الخلاصة

MiniCPM-SALA يشبه ترقية محرك سيارة ليكون سيارة رياضية (سريعة) وشاحنة (قوية/قادرة) في آن واحد. إنه يحل مشكلة "كثرة البيانات" من خلال مزج تقنيتين مختلفتين، مما يسمح لنا بتشغيل ذكاء اصطناعي قوي على أجهزة أرخص ومعالجة كميات هائلة من المعلومات دون أن ينهار النظام.

إنه يثبت أنك لا تحتاج إلى كمبيوتر خارق بمليارات الدولارات لقراءة كتاب من مليون صفحة بعد الآن؛ أنت فقط بحاجة إلى النوع الصحيح من أمناء المكتبة.

1. بيان المشكلة

إن التطور السريع للنماذج اللغوية الكبيرة (LLMs) نحو تطبيقات السياق فائق الطول (مثل تحليل المستودعات البرمجية، والتعاون بين الوكلاء لعدة أيام، وفهم المستندات الكاملة) يعوقه الاختناقات الحسابية والذاكرة في بنية "ترانسفورمر" (Transformer) القياسية.

الاختناق الحسابي: تعاني آليات الانتباه الكامل (Full-attention) القياسية من تعقيد تربيعي ( $O(N^2)$ ) بالنسبة لطول التسلسل، مما يؤدي إلى انفجار زمن الاستجابة (Latency) مع توسع السياق إلى ملايين الرموز (Tokens).
اختناق الذاكرة: تتزايد ذاكرة المفتاح والقيمة (KV Cache) المطلوبة للتوليد التلقائي مع طول التسلسل خطياً. بالنسبة لنموذج بـ 8 مليارات معلمة (Parameters)، يمكن أن يتطلب معالجة ملايين الرموز مئات الجيجابايت من ذاكرة الفيديو (VRAM)، مما يؤدي إلى أخطاء نفاذ الذاكرة (OOM) حتى على وحدات معالجة الرسومات عالية الأداء.
محدودية الحلول الحالية:
- الانتباه المتناثر (Sparse Attention): يقلل الحوسبة ولكنه غالباً ما يحتفظ بذاكرة KV كاملة ("حوسبة متناثرة، تخزين كثيف")، مما يفشل في حل اختناق الذاكرة.
- الانتباه الخطي (Linear Attention): يقلل التعقيد إلى $O(N)$ واستخدام الذاكرة، ولكنه عادة ما يعاني من فقدان المعلومات وتدهور الأداء بسبب الضغط الفاقد للمعلومات (Lossy compression).

2. المنهجية

MiniCPM-SALA هو بنية هجينة بـ 9 مليارات معلمة مصممة للموازنة بين نمذجة السياق الطويل عالية الدقة والكفاءة العالمية.

أ. البنية الهجينة

يدمج النموذج آليتين مختلفتين للانتباه بنسبة 1:3 (25% متناثر، 75% خطي):

الانتباه المتناثر (25%): يستخدم InfLLM-V2. تختار هذه الآلية الأجزاء البارزة من مصفوفة الانتباه للحفاظ على نمذجة عالية الدقة للاعتمادات طويلة المدى دون إضافة معلمات إضافية. وهي ضرورية للحفاظ على الدقة الدلالية.
الانتباه الخطي (75%): يستخدم Lightning Attention. توظف هذه الآلية صياغات تكرارية لتحقيق تعقيد حسابي وذاكرة بمستوى $O(N)$ ، مما يسمح بمعالجة نوافذ سياقية ضخمة بكفاءة.
اختيار الطبقات: بدلاً من التداخل العشوائي، تحدد خوارزمية اختيار الطبقات مكان وضع الطبقات المتناثرة لتحسين الأداء في المهام النهائية.
الترميز الموضعي الهجين (HyPE):
- الطبقات الخطية: تستخدم ترميز الموضع الدوار (RoPE) للحفاظ على ترتيب الرموز النسبي ضمن السياق العالمي.
- الطبقات المتناثرة: تزيل RoPE لمنع تلاشي المعلومات بعيدة المدى، مما يتيح استرجاعاً دقيقاً عبر تسلسلات ممتدة.
تحسينات إضافية: تتضمن البنية تطبيع (QK-Normalization) (لمنع طفرات التنشيط) وبوابات المخرجات (Output Gates) (للحد من "بالوعات الانتباه" وتنظيم تدفق المعلومات).

ب. استراتيجية التدريب: تحويل "ترانسفورمر" إلى نموذج هجين

بدلاً من التدريب من الصفر، يستخدم المؤلفون إطار عمل للتدريب المستمر لتحويل نموذج "ترانسفورمر" مدرب مسبقاً (MiniCPM-4.0) إلى نموذج هجين. يقلل هذا النهج تكاليف التدريب بنسبة تقارب 75% مقارنة بتدريب نموذج مماثل من الصفر.
تتضمن العملية خمس مراحل:

تحويل البنية (HALO): يحول نموذج الانتباه الكامل إلى بنية هجينة. تكون الطبقات الخطية فقط قابلة للتدريب؛ بينما ترث الطبقات المتناثرة الأوزان الكثيفة.
التدريب المستمر المستقر: يقوم بمواءمة الطبقات الخطية الجديدة مع المكونات الموجودة (FFN، والتمثيلات - Embeddings) باستخدام طول سياق 4K.
التدريب قصير التلاشي (Short-Decay): تدريب مكثف على بيانات عالية الجودة (ملفات PDF، بيانات اصطناعية) لضغط المعرفة وتعزيز الاستنتاج.
التدريب طويل التلاشي (Long-Decay): زيادة طول السياق تدريجياً من 4K إلى 520 ألف رمز. يتم تمكين الانتباه المتناثر هنا لتعلم التآزر بين الآليات.
الضبط الدقيق الخاضع للإشراف (SFT): يركز على مهام الاستنتاج، والبرمجة، واسترجاع السياق الطويل بأطوال سياق تصل إلى 140 ألف رمز.

3. المساهمات الرئيسية

آلية الانتباه الهجينة: نجحت في دمج InfLLM-V2 و Lightning Attention لتحقيق التوازن بين معدل الإنتاجية والدقة، مع الحفاظ على دقة دلالية عالية مع توسع طول التسلسل.
نموذج تدريب فعال من حيث التكلفة: يثبت أن تحويل نموذج "ترانسفورمر" مدرب مسبقاً إلى نموذج هجين هو استراتيجية فعالة للغاية، حيث يقلل ميزانية التدريب إلى حوالي 25% من تكلفة التدريب من الصفر مع مطابقة أداء الانتباه الكامل.
أداء فائق للسياق الطويل: يقدم HyPE وتعديلات بنيوية محددة لمواءمة أداء السياق القصير والطويل، متفوقاً على النماذج المرجعية للانتباه الكامل في اختبارات السياق الطويل.
كفاءة جاهزة للأجهزة الطرفية: يثبت أن معالجة سياق بطول 1 مليون رمز أمر ممكن على وحدات معالجة الرسومات الاستهلاكية والأجهزة الطرفية، مما يجعل تطبيقات السياق فائق الطموح متاحة للجميع.

4. النتائج التجريبية

القدرات العامة

يحقق MiniCPM-SALA (9B) متوسط درجة 76.53 في الاختبارات القياسية (CMMLU, MMLU-Pro, HumanEval, AIME)، وهو ما يضاهي أو يتجاوز نماذج الانتباه الكامل مثل Qwen3-8B و Falcon-H1R-7B.
يظهر أداءً قوياً في البرمجة (95.12 في HumanEval) والرياضيات (83.75 في AIME24)، مما يثبت أن الهجنة لا تضعف الذكاء العام.

اختبارات السياق الطويل

RULER (128K): يحقق 89.37، متفوقاً بشكل ملحوظ على النماذج المرجعية (مثل Qwen3-8B الذي حقق 71.74).
NoLiMa (128K): يسجل 23.86، وهو أعلى بكثير من المنافسين.
الاستقراء فائق الطول: رغم التدريب حتى 520 ألف رمز، نجح النموذج في الاستقراء حتى 2 مليون (2048K) رمز دون تقنيات مساعدة (مثل YaRN)، محافظاً على درجة 81.6. بل إنه يتفوق على نموذج Qwen3-Next-80B (بـ 80 مليار معلمة) عند علامة المليون رمز (86.3 مقابل 80.3).

سرعة الاستدلال وكفاءة الذاكرة

السرعة: على وحدة معالجة الرسومات NVIDIA A6000D، يعد MiniCPM-SALA أسرع بما يصل إلى 3.5 ضعف من Qwen3-8B عند 256 ألف رمز.
الذاكرة:
- A6000D: يفشل Qwen3-8B (بسبب نفاذ الذاكرة OOM) عند 512 ألف/1024 ألف رمز، بينما يعالج MiniCPM-SALA بنجاح 1 مليون رمز.
- RTX 5090 (وحدة معالجة رسومات استهلاكية): يفشل Qwen3-8B عند 128 ألف (غير مكمّم)، بينما يتوسع MiniCPM-SALA ليصل إلى 1 مليون رمز دون أخطاء نفاذ الذاكرة.

5. الأهمية

يمثل MiniCPM-SALA قفزة نوعية في جعل نمذجة السياق فائق الطول أمراً متاحاً وفعالاً. من خلال حل اختناق الذاكرة لنماذج الانتباه الكامل واختناق الدقة للنماذج الخطية، فإنه يتيح:

القابلية للتوسع: معالجة سياقات تصل إلى 1 مليون رمز على وحدات معالجة رسومات استهلاكية واحدة.
خفض التكاليف: تقليل التكلفة الحسابية لتطوير نماذج السياق الطويل بشكل جذري عبر منهجية التحويل.
التطبيق الواقعي: تسهيل المهام المعقدة كثيفة المعلومات مثل هندسة المستودعات البرمجية الكاملة، والتحليل العميق للمستندات، والتخطيط طويل الأمد للوكلاء على الأجهزة الطرفية.

تثبت الورقة البحثية أن البنى الهجينة، عندما تقترن باستراتيجيات تدريب فعالة، يمكنها مضاهاة أداء النماذج الضخمة ذات الانتباه الكامل مع تقديم كفاءة وقابلية توسع فائقة.