🤖 machine learning

MoE-nD: Per-Layer Mixture-of-Experts Routing for Multi-Axis KV Cache Compression

يقدم MoE-nD إطار عمل لتوجيه خليط الخبراء لكل طبقة يقوم بتعيين نسب طرد رموز وعروض عرض بتات تكميم فريدة لكل طبقة محول (transformer) تحت ميزانية ذاكرة عالمية، محققاً ضغطاً في ذاكرة التخزين المؤقت لـ KV يصل إلى 14 ضعفاً مع الحفاظ على دقة مماثلة للنماذج المرجعية غير المضغوطة في مهام الاستدلال ذات السياق الطويل.

المؤلفون الأصليون: Libo Sun, Peixiong He, Po-Wei Harn, Xiao Qin

نُشر 2026-04-21

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Libo Sun, Peixiong He, Po-Wei Harn, Xiao Qin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث MoE-nD، مترجم بلغة بسيطة واستعارات إبداعية.

المشكلة الكبرى: "حقيبة الظهر المكدسة"

تخيل نموذج لغة كبير (LLM) كطالب ذكي يحاول حل قصة طويلة جداً أو مسألة رياضية معقدة. للقيام بذلك، يحتاج الطالب إلى الاحتفاظ بقائمة مستمرة لكل ما قرأه حتى الآن في "ذاكرته العاملة" (التي تسمى KV Cache).

بالنسبر للقصص القصيرة، تسع هذه الذاكرة بسهولة في حقيبة ظهر. ولكن بالنسبة للسياقات الطويلة (مثل كتاب كامل أو وثيقة مكونة من 16,000 كلمة)، تصبح الحقيبة ثقيلة وضخمة لدرجة أنها:

تبطئ حركة الطالب (زمن الاستجابة/Latency).
تمزق الحقيبة (أخطاء نفاذ الذاكرة/Out-of-Memory) على الحواسيب العادية.

الحل القديم: "مقاس واحد يناسب الجميع"

لإصلاح ذلك، حاول الباحثون تقليص حجم حقيبة الظهر. استخدموا أداتين رئيسيتين:

الإقصاء (التخلص من الأشياء): حذف الملاحظات القديمة لتوفير مساحة.
الكمية (الكتابة باختصار): كتابة الملاحظات بخط يد أصغر وأقل دقة (على سبيل المثال، استخدام أرقام 4-بت بدلاً من 16-بت).

العيب: تعاملت الطرق السابقة مع عقل الطالب كأنه قطعة عجين يتم تشكيلها بقطاعة الكوكيز. لقد طبقوا نفس القاعدة على كل جزء من الدماغ.

مثال: "احذف 50% من الملاحظات من القصة بأكملها، واكتب كل الملاحظات المتبقية باختصار شديد."

لماذا يفشل هذا؟ عقل الطالب ليس متجانساً.

الطبقة 1 (البداية): قد تكون حاسمة لفهم الحبكة. إذا حذفت 50% من هذه الملاحظات، سينسى الطالب القصة تماماً.
الطبقة 20 (المنتصف): قد تكون مليئة بالحشو غير المفيد. حذف 50% هنا لن يسبب أي ضرر تقريباً.
الطبقة 28 (النهاية): قد تحتاج إلى دقة عالية لحل المعادلة الرياضية النهائية. الكتابة بـ "اختصار شديد" هنا تسبب أخطاء في الحسابات.

التعامل مع كل الطبقات بنفس الطريقة يشبه ارتداء معطف شتوي في الصيف وقميص خفيف في الشتاء لأنك قررت ارتداء الزي "المتوسط" طوال العام.

الحل الجديد: MoE-nD (مدير الخزانة الذكي)

يقترح المؤلفون MoE-nD، وهو اختصار لـ Mixture-of-Experts for n-Dimensional routing (خليط الخبراء للتوجيه متعدد الأبعاد).

فكر في هذا كـ مدير خزانة ملابس ذكي لحقيبة ظهر الطالب. بدلاً من قاعدة واحدة للجميع، ينظر المدير إلى كل طبقة من طبقات الدماغ بشكل فردي ويسأل: "ما الذي يحتاجه هذا الجزء المحدد من الدماغ الآن؟"

لديه ثلاثة "خبراء" (خيارات) للاختيار من بينها لكل طبقة:

سلة المهملات (الإقصاء/Eviction): كم من ذاكرة هذه الطبقة يمكننا حذفه؟
قلم الاختصار (K-Quantization): ما مدى صغر حجم كتابة ملاحظات الـ "Key"؟
قلم الاختصار (V-Quantization): ما مدى صغر حجم كتابة ملاحظات الـ "Value"؟

كيف يعمل:

الخريطة (المعايرة غير المتصلة/Offline Calibration): قبل أن يبدأ الطالب الاختبار، يقوم النظام بإجراء اختبار سريع ورخيص لمعرفة مدى حساسية كل طبقة. ينشئ النظام خريطة: "الطبقة 5 تكره الحذف. الطبقة 10 تكره الكتابة بالاختصار. الطبقة 20 لا تهتم بأي منهما."
الميزانية (الحد العالمي): لدى الطالب حجم حقيبة ظهر صارم (مثلاً 136 ميجابايت).
المحلل الجشع (Greedy Solver): خوارزمية ذكية تنظر إلى الخريطة والميزانية، وتلعب لعبة "أفضل قيمة".
- تقول: "حسناً، الطبقة 5 حساسة جداً للحذف، لذا سنبقيها بحجمها الكامل. لكن الطبقة 10 لا بأس لديها مع الاختصار الشديد، لذا سنقلصها. الطبقة 20 يمكنها فقدان نصف ملاحظاتها دون أن تشتكي."
النتيجة: يتم ضغط الحقيبة إلى 1/14 من حجمها الأصلي، ولكن أداء الطالب هو نفسه تماماً كما لو كان لديه حقيبة الظهر الضخمة غير المضغوطة.

الاكتشاف الرئيسي: "سلة المهملات هي البطل"

أجرى الباحثون تجربة رائعة لمعرفة أي جزء من الاستراتيجية كان الأكثر أهمية. اختبروا ثلاث نسخ:

الموحدة (Uniform): نفس القواعد للجميع. (نتائج سيئة للغاية).
الاختصار الذكي (Smart Shorthand): أحجام اختصار مختلفة للطبقات، ولكن قواعد حذف واحدة للجميع. (لا تزال سيئة).
القمامة الذكية (Smart Trash): نفس أحجام الاختصار، ولكن قواعد حذف مختلفة لكل طبقة. (هذه كانت الفائزة!)

الاستعارة:
تخيل أنك تجهز لرحلة.

الموحدة: ترمي 50% من ملابسك وتصغر حجم الباقي. ستتجمد من البرد ولن تستطيع ارتداء ملابسك بشكل صحيح.
الاختصار الذكي: تحتفظ بكل ملابسك لكن تصغر حجم القماش. لا تزال تملك الكثير من الملابس؛ الحقيبة ثقيلة جداً.
MoE-nD (القمامة الذكية): تدرك أن "جواربك" (بعض الطبقات) عديمة الفائدة فترمي 90% منها، لكنك تحتفظ بـ "سترتك" (الطبقات الحرجة) سليمة تماماً. تصبح الحقيبة خفيفة، لكنك لا تزال دافئاً ومستعداً.

النتائج: سحر القصص الطويلة

عندما اختبروا هذا على اختبارات صعبة (مثل قراءة قصة مكونة من 16,000 كلمة أو حل مسائل رياضية معقدة):

الطرق القديمة: عندما حاولوا تقليص الذاكرة، ارتبك النموذج وفشل (انخفضت الدقة إلى ما يقرب من الصفر).
MoE-nD: قام بضغط الذاكرة بمقدار 14 مرة (من 1.9 جيجابايت إلى 136 ميجابايت) وظل أداء النموذج بنفس جودة النسخة الضخمة غير المضغوطة.

متى لا يعمل؟

الورقة البحثية صريحة بشأن حدودها. هذا الأسلوب لا يساعد في المهام القصيرة (مثل مسألة رياضية بسيطة من 500 كلمة).

لماذا؟ إذا كانت القصة قصيرة، فإن حقيبة الظهر صغيرة بالفعل. "المدير الذكي" ينظر إلى الطبقات ويقول: "مهلاً، لدينا مساحة كبيرة! لنحتفظ بكل شيء."
في هذه الحالة، يعود النظام تلقائياً إلى وضع "الاحتفاظ بكل شيء"، ولا يضيف التوجيه المعقد أي قيمة. إنه يشبه استخدام نظام GPS للتنقل في غرفة يمكنك رؤيتها بوضوح؛ لست بحاجة إلى الاتجاهات المعقدة.

الملخص

MoE-nD هو تقنية تتوقف عن معاملة عقول الذكاء الاصطناي ككتلة واحدة من الصلصال. بدلاً من ذلك، يعامل كل طبقة كفرد فريد، حيث يمنح بعض الطبقات زر "حذف"، وأخرى زر "تصغير"، وأخرى زر "الحفاظ على الأمان". من خلال تخصيص الضغط لكل طبقة على حدة، فإنه يسمح للذكاء الاصطناعي بتذكر القصص الطويلة دون الحاجة إلى ذاكرة سوبر كمبيوتر.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "MoE-nD: التوجيه لكل طبقة عبر مزيج من الخبراء لضغط ذاكرة التخزين المؤقت (KV Cache) متعدد المحاور."

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) التي تعالج سياقات طويلة عقبة حرجة: تستهلك ذاكرة التخزين المؤقت (KV cache) عشرات الجيجابايت من الذاكرة لكل تسلسل، مما يؤدي إلى مشكلات في زمن الاستجابة (latency) وفشل في استيعاب الذاكرة (OOM) على الأجهزة العادية.

تعمل استراتيجيات الضغط الحالية عادةً على محور واحد (مثل استبعاد الرموز (token eviction)، أو التكميم (quantization)، أو الإسقاط منخفض الرتبة (low-rank projection)) وتطبق سياسة موحدة عبر جميع طبقات المحولات (transformer layers). ويرى المؤلفون أن هذا "التجانس" غير مثالي لأن:

الطبقات المختلفة تستجيب بشكل مختلف لعمليات الضغط (على سبيل المثال، بعض الطبقات تتحمل الاستبعاد العدواني للرموز، بينما تكون طبقات أخرى حساسة للتكميم).
المقايضة المثلى بين الاستبعاد (تقليل طول التسلسل) والتكميم (تقليل الدقة) تختلف بشكل كبير من طبقة إلى أخرى.
تفشل الطرق الحالية في تحسين هذه المحاور بشكل مشترك لكل طبقة على حدة تحت ميزانية ذاكرة عالمية واحدة.

2. المنهجية: MoE-nD

يقترح المؤلفون MoE-nD، وهو إطار عمل يعامل تكوينات الضغط المختلفة كـ "خبراء" (experts) ويقوم بتوجيه كل طبقة إلى التكوين الأمثل لها.

المكونات الأساسية

فضاء تصميم متعدد المحاور: لكل طبقة $\ell$ $ℓ$ ، يختار النظام زوجاً (tuple) من $(keep\_ratio, k\_bits, v\_bits)$ $(k ee p_r a t i o, k_bi t s, v_bi t s)$ :
- الاستبعاد (Eviction): نسبة الاحتفاظ (نسبة الرموز التي يتم الإبقاء عليها) تتراوح من 10% إلى 100%.
- التكميم (Quantization): عرض البتات (bit-widths) لمصفوفات المفتاح (K) والقيمة (V) (على سبيل المثال: 16 أو 8 أو 4 بت).
معايرة الحساسية خارج الإنترنت (Offline Sensitivity Calibration):
- يقيس النظام خطأ L2 النسبي بين مخرجات الانتباه ذات الدقة الكاملة والمخرجات المضغوطة لكل طبقة تحت كل تكوين مرشح.
- ينشئ هذا جدول حساسية $S_{\ell, c}$ حيث $\ell$ هي الطبقة و $c$ هو التكوين.
- النتيجة الرئيسية: يتسبب الاستبعاد العدواني (75-90%) في تباين خطأ قدره 500-700 ضعف عبر الطبقات، بينما يكون تباين تكميم القيمة (V-quantization) ضئيلاً (~1.2 ضعف). وهذا يؤكد أن التوجيه لكل طبقة ضروري للاستبعاد ولكنه أقل أهمية لتكميم القيمة.
المحلل الجشع للميزانية (Greedy Budget Solver):
- إن إيجاد التكوين الأمثل عالمياً هو مسألة تحسين منفصلة مستعصية (حوالي $10^{42}$ مرشح لنموذج مكون من 28 طبقة).
- يستخدم MoE-nD محلاً جشعاً يقوم بترقية الطبقة التي تقدم أعلى خفض هامشي في الحساسية لكل وحدة ذاكرة يتم توفيرها ( $\Delta S / \Delta m$ ) حتى تُستنفد الميزانية العالمية $M$ .
- تستغرق هذه العملية أقل من 50 مللي ثانية على وحدة المعالجة المركزية (CPU).
رقعة الانتباه غير المتجانسة (Heterogeneous Attention Patch):
- للتعامل مع طبقات ذات أطوال ذاكرة تخزين مؤقت وعروض بتات مختلفة أثناء الاستنتاج، قام المؤلفون بتنفيذ نواة انتباه (attention kernel) مخصصة.
- تستخدم مصفوفات مواقع لكل طبقة لتتبع مؤشرات الرموز وتطبق عكس RoPE (Rotary Positional Embedding Inversion) بناءً على الرموز المحتفظ بها لكل طبقة، مما يضمن حساب الانتباه بشكل صحيح رغم حالات التخزين المؤقت غير المتجانسة.

3. المساهمات الرئيسية

التوجيه متعدد المحاور المشترك: أول عمل يقوم بتوجيه نسب الاستبعاد وبتات تكميم K/V بشكل مشترك لكل طبقة على حدة تحت ميزانية ذاكرة عالمية واحدة.
الاكتشاف التجريبي لعدم التجانس بين الطبقات: أثبت أن المقايضة بين الاستبعاد والتكميم ليست عالمية بل خاصة بكل طبقة. على سبيل المثال، قد تفضل الطبقة 0 الاستبعاد (تكلفة خطأ منخفضة)، بينما تفضل الطبقة 6 التكميم (تكلفة خطأ منخفضة) لنفس القدر من توفير الذاكرة.
تحليل محاور التوجيه (Ablation): من خلال سلسلة التحليل ( $2d_{uniform} \to 2d \to 2d_{hetero}$ )، أثبت المؤلفون أن توجيه الاستبعاد لكل طبقة هو المحرك الرئيسي لمكاسب الأداء، بينما يوفر توجيه التكميم لكل طبقة وحده تحسناً طفيفاً.
تحديد نطاق التطبيق: حدد أن الطريقة تحقق مكاسب كبيرة فقط عندما تفرض أطوال المدخلات وضيق الميزانية قرارات توجيه غير بديهية (أي في سيناريوهات السياق الطويل أو الميزانية الضيقة). في سيناريوهات السياق القصير، يعود المحلل طبيعياً إلى السلوك الموحد (keep=1.0)، مما يجعل عدم التجانس غير ذي جدوى.

4. النتائج التجريبية

تم تقييم الطريقة على نموذج DeepSeek-R1-Distill-Qwen-7B عبر اختبارات LongBench-v1 (16 ألف رمز)، وAIME (الاستدلال الرياضي)، وMATH-500.

LongBench-v1 (السياق الطويل):
- حقق MoE-nD ( $2d_{hetero}$ ) ضغطاً بمقدار 14 ضعفاً (136 ميجابايت مقابل 1.9 جيجابايت لذاكرة التخزين الكاملة) مع عدم وجود فقدان ملحوظ في الدقة (12.0 مقابل 11.5 للأساس).
- عانت الطرق المنافسة عند ميزانيات ذاكرة مماثلة (الاستبعاد أحادي المحور أو التكميم الموحد) من انخفاض هائل في الدقة (بقيت تحت 8/100).
- عند مطابقة الذاكرة (136 ميجابايت)، تفوق MoE-nD على أفضل أساس غير متجانس ( $2d$ ) بمقدار 6.1 نقطة.
اختبارات استدلال AIME:
- تفوق MoE-nD باستمرار على جميع النماذج المرجعية عبر جميع الميزانيات.
- عند الميزانيات الضيقة (مثلاً $b=64$ )، حقق MoE-nD دقة تترابحت بين 16.7-30%، بينما انهارت الطرق الأخرى إلى ما يقرب من الصفر.
- والجدير بالذكر أنه عند $b=256$ في AIME-25، تجاوز MoE-nD خط الأساس ذا الذاكرة الكاملة (36.7 مقابل 30.0)، ويرجع ذلك على الأرجح إلى إزالة الرموز الوسيطة المشتتة للذات عبر الاستبعاد العدواني.
النتائج الصفرية (التحقق من النطاق):
- في MATH-500 و LongBench TREC (المدخلات الأقصر)، لم تظهر MoE-nD أي ميزة على النماذج المرجعية الموحدة.
- السبب: قرر المحلل الجشع أن الاحتفاظ بـ 100% من الرموز (keep=1.0) هو الأمثل لمعظم الطبقات نظراً للميزانية الواسعة، مما جعل الطريقة غير المتجانسة تتحول إلى طريقة موحدة. وهذا يؤكد الحدود النظرية للطريقة.

5. الأهمية والآثار المترتبة

الكفاءة: تمكن من تشغيل نماذج LLM ذات السياق الطويل على الأجهزة الاستهلاكية (على سبيل المثال، 136 ميجابايت من ذاكرة KV مقابل 1.9 جيجابايت) دون التضحية بجودة الاستدلال.
تحول في النموذج الفكري: ينقل ضغط ذاكرة التخزين المؤقت (KV cache) من نهج "مقاس واحد يناسب الجميع" إلى تحسين تكيفي خاص بكل طبقة.
رؤية عملية: توضح الورقة أن توجيه التكميم لكل طبقة أقل أهمية من توجيه الاستبعاد لكل طبقة، مما يوجه الأبحจัย المستقبلية نحو تحسين استراتيجيات اختيار الرموز.
القيود: تتطلب حالياً نواة انتباه مخصصة (ليست متوافقة بعد مع FlashAttention) وتحتاج إلى إعادة معايرة لعائلات النماذج المختلفة (رغم أن المؤلفين يتوقعون أن نمط عدم التجانس سيظل قائماً عبر البنى المختلفة).

في الختام، يثبت MoE-nD أن التخصيص الذكي لموارد الذاكرة عبر محاور الضغط المختلفة لكل طبوة هو المفتاح لفتح آفاق الاستنتاج عالي الأداء للسياقات الطويلة على الأجهزة محدودة الموارد.