dMoE: dLLMs with Learnable Block Experts
تقترح الورقة البحثية dMoE، وهو إطار عمل لخليط من الخبراء على مستوى الكتل لنماذج الانتشار اللغوية الكبيرة، يقوم بتجميع توزيعات الخبراء على مستوى الرموز لتقليل استهلاك الذاكرة وزمن انتقال الاستدلال بشكل كبير من خلال تقليل عدد الخبراء المفعلين بشكل فريد مع الحفاظ على أداء تنافسي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج Diffusion Large Language Model أو dLLM)، يمكنها كتابة القصص، وحل المسائل الرياضية، والإجابة على الأسئلة. ولجعل هذه المكتبة أكثر ذكاءً دون جعلها ثقيلة جدًا للحمل، أضاف المهندسون ميزة خاصة تسمى Mixture-of-Experts (MoE) أو "خليط الخبراء".
فكر في "الخبراء" كفريق مكون من 100 أمين مكتبة متخصص. عندما تطرح سؤالاً، لا تطلب المكتبة مساعدة الـ 100 خبير جميعهم؛ بل يقوم "الموجه" (مدير المكتبة) باختيار أفضل 8 خبراء مناسبين لسؤالك تحديدًا. هذا يجعل العمل سريعًا وفعالاً.
المشكلة: "التنزه الفردي" مقابل "التنزه الجماعي"
هنا بدأت المشاكل.
- الطريقة القديمة (النماذج التوليدية المتسلسلة - Autoregressive Models): تخيل متنزهاً يسير بمفرده في الجبل خطوة بخطوة. عند كل خطوة، يسأل المتنزه المدير: "من يجب أن أتصل به الآن؟". يختار المدير 8 خبراء، يساعدونه، ثم ينتقل المتنزه إلى الخطوة التالية.
- الطريقة الجديدة (نماذج dLLMs): نماذج dLLMs الجديدة تشبه مجموعة تتنزه معاً في كتلة واحدة متقاربة. هم لا يسيرون فرادى؛ بل يتحركون في مجموعات كبيرة مكونة من 32 شخصاً في وقت واحد. يمكنهم رؤية المسار بأكمله أمامهم وإصلاح عدة خطوات في آن واحد. هذا أسرع بكثير!
عدم التوافق:
المشكلة هي أن "المدير" (الموجه) كان لا يزال يتصرف وكأنه يتعامل مع متنزه يسير بمفرده. على الرغم من أن المجموعة تتحرك ككتلة من 32 شخصاً، إلا أن المدير عامل كل شخص في هذه الكتلة كمتنزه منفرد ومستقل.
- الشخص الأول في الكتلة يطلب المساعدة: المدير يختار 8 خبراء.
- الشخص الثاني يطلب: المدير يختار 8 خبراء آخرين.
- ...
- الشخص رقم 32 يطلب: المدير يختار 8 خبراء آخرين تماماً.
لأن المجموعة تتحرك معاً، ينتهي الأمر بالمدير باستدعاء عشرات الخبراء المختلفين للتعامل مع حركة واحدة فقط لهذه الكتلة. هذا يشبه سائق حافلة يضطر للتوقف عند 32 محطة وقود مختلفة لتعبئة الوقود لـ 32 سيارة مختلفة، رغم أنهم جميعاً في نفس الحافلة. تتعطل الحافلة، وتنفد الذاكرة (الوقود)، وتتباطأ العملية برمتها لأن النظام يحاول تحميل الكثير من الخبراء المختلفين في وقت واحد.
الحل: dMoE (مدير الكتلة)
اقترح مؤلفو هذه الورقة نظاماً جديداً يسمى dMoE. لقد أدركوا أنه بما أن المجموعة تتحرك معاً، فيجب التعامل معها كوحدة واحدة عند اختيار الخبراء.
إليك كيف يعمل نظام dMoE، باستخدام تشبيه بسيط:
- تصويت المجموعة: بدلاً من سؤال كل شخص من الـ 32 شخصاً في الكتلة بشكل فردي عمن يحتاج، يطلب dMoE من المجموعة بأكملها التصويت معاً. "يا أيها الفريق، ما نوع المساعدة التي تحتاجونها بشكل جماعي؟"
- القائمة الموحدة: يأخذ المدير جميع الأصوات الفردية ويدمجها في "درجة كتلة" واحدة. إذا كان 20 شخصاً في الكتلة يحتاجون إلى "الخبير الرياضي E1" و10 أشخاص يحتاجون إلى "الخبير الرياضي E2"، فإن المدير يرى أن الكتلة بأكملها تحتاج حقاً إلى E1 وE2.
- القائمة المختصرة الذكية: ينظر المدير إلى هذه القائمة المجمعة ويقول: "حسناً، بالنسبة لهذه الكتلة بأكملها، نحن نحتاج فقط إلى أفضل الخبراء الذين يغطون 90% من احتياجات المجموعة". هكذا ينشئ قائمة صغيرة وثابتة من الخبراء (تسمى "النواة الأساسية" أو coreset) للكتلة بأكملها.
- النتيجة: الآن، بدلاً من تحميل أكثر من 60 خبيراً مختلفاً لكتلة واحدة، يقوم النظام بتحميل حوالي 14 خبيراً فقط. إنه يشبه إدراك سائق الحافلة أن: "أوه، الجميع في هذه الحافلة يحتاجون للوقود من نفس المحطات الثلاث"، لذا سيتوقف هناك فقط.
لماذا هذا مهم (النتائج)
اختبرت الورقة هذا "المدير الكتلي" الجديد على نموذج متطور يسمى LLaDA2.0-mini باستخدام اختبارات رياضية ومنطقية صعبة (مثل MATH500 و GSM8K).
- ذاكرة أقل: نظرًا لأنهم لا يقومون بتحميل قائمة ضخمة وفوضوية من الخبراء، انخفض استخدام ذاكرة الكمبيوتر بنحو 77% إلى 80%. إنه يشبه الانتقال من شاحنة تحمل 100 أداة مختلفة إلى حقيبة ظهر تحمل الأدوات الـ 14 الأساسية فقط.
- سرعة أكبر: عمل النموذج بشكل أسرع بمعدل 1.14 إلى 1.66 ضعفاً. لم تعد الحافلة مضطرة للتوقف عند عدد كبير من محطات الوقود.
- دون فقدان الذكاء: الجزء الأكثر إثارة للإعجاب؟ لم يصبح النموذج أقل ذكاءً. فقد حافظ على 99.1% من ذكائه الأصلي. لقد حل نفس عدد المسائل الرياضية بشكل صحيح، ولكن بكفاءة أكبر بكثير.
باخت-القول
تقول الورقة: "لقد وجدنا أنه عندما تعمل هذه النماذج الذكية السريعة في مجموعات، فإن معاملتها كأفراد يسبب ازدحاماً مرورياً. ومن خلال السماح للمجموعة بالتصويت معاً على من يحتاجون، يمكننا تقليل عدد العمال الذين نستدعينا بنسبة تقارب 5 مرات، وتوفير كمية هائلة من الذاكرة، وجعل الذكاء الاصطناعي يعمل بشكل أسرع — كل ذلك دون فقدان قدراته الذهنية".
هذه استراتيجية "قابلة للتعلم"، مما يعني أن الذكاء الاصطناعي يتعلم كيفية تجميع هذه الأصوات أثناء تدريبه، مما يجعلها حلاً ذكياً وتلقائياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.