🤖 machine learning

N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation

تقدم الورقة البحثية N-vium، وهو نموذج "ترانسفورمر" يعتمد على مزيج من المخارج (mixture-of-exits) يحقق تسريعًا في وقت التنفيذ الفعلي يصل إلى 57.9% مقارنة بنماذج "الترانسفورمر" القياسية دون التضحية بجودة النموذج، وذلك عبر استخدام توجيه تكيفي للرموز (token-adaptive routing) لخلط التنبؤات من أعماق متعددة وتأجيل حسابات الطبقات العليا.

المؤلفون الأصليون: Aleksander Lorenc, Frédéric Berdoz, Joël Mathys, Roger Wattenhofer

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aleksander Lorenc, Frédéric Berdoz, Joël Mathys, Roger Wattenhofer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقرأ كتاباً طويلاً ومعقداً، وعليك التنبؤ بالكلمة التالية في الجملة.

في نموذج الذكاء الاصطناعي القياسي (المسمى "Transformer")، تشبه العملية خط تجميع في مصنع يتكون من 48 عاملاً يقفون في صف واحد. يجب على كل كلمة تكتبها أن تمر أمام كل عامل من العمال الـ 48، واحداً تلو الآخر، لتتلقى قدراً ضئيلاً من المعالجة عند كل محطة. وفقط بعد أن تزور الكلمة جميع العمال الـ 48، يصرخ العامل الأخير بالتنبؤ النهائي.

ما هي المشكلة؟ العديد من الكلمات بسيطة. فالكلمة مثل "the" أو "cat" لا تحتاج إلى 48 عاملاً لمعرفة ما سيأتي بعدها. لكن النموذج القياسي يجبرها على زيارة الجميع على أي حال، فقط ليكون في أمان. وهذا يجعل العملية بطيئة ويهدر الطاقة.

الحل القديم: "الخروج المبكر" (الاختصار)

حاولت الطرق السابقة إصلاح ذلك من خلال السماي للكلمات البسيطة بـ "الانسحاب" مبكراً من الصف. إذا اعتقد أحد العمال: "أنا أعرف هذه الكلمة"، فإنه يسمح لها بالمغادرة.

العيب: كان هذا يشبه عاملاً يخمن الإجابة دون التحقق من "المدير الكبير". وأحياناً كان يخمن بشكل خاطئ. وأيضاً، لأن الكلمة غادرت مبكراً، فقد المصنع "الذاكرة" (KV cache) اللازمة للكلمات المستقبلية، مما أجبر النظام على التزييف أو إعادة الحساب، وهو ما أفسد جودة الإجابة.

الحل الجديد: N-vium (المزيج الذكي)

يقدم بحث N-vium تغييراً جذرياً لقواعد اللعبة. بدلاً من خط واحد، تخيل أن المصنع لديه أربعة مخارج مختلفة في نقاط مختلفة على طول الخط.

إليك كيف يعمل N-vium، باستخدام بعض التشبيهات:

1. "إشارة المرور الذكية" (التوجيه المتعلم)

عند كل مخرج من المخارج الأربعة، توجد إشارة مرور ذكية (موجه/Router). تنظر إلى الكلمة وتقرر:

"هذه الكلمة بسيطة. دعونا نخرجها عند المخرج 1."
"هذه الكلمة صعبة. استمر في تحريكها إلى المخرج 3."
"هذه الكلمة معقدة جداً. أرسلها حتى المخرج 4."

الأمر الحاسم هو أن الذكاء الاصطناعي يتعلم كيفية إدارة هذه الإشارات أثناء تدريبه. هو لا يخمن فحسب؛ بل يعرف بالضبط أي مخرج سيعطي أفضل إجابة لتلك الكلمة المحددة.

2. "المزيج المثالي" (المزيج الدقيق)

في طرق "الخروج المبكر" القديمة، كان على الذكاء الاصطناعي اختيار مخرج واحد والأمل في أن يكون صحيحاً. أما في N-vium، فيقوم الذكاء الاصطناعي بإنشاء "سموذي" مثالي لجميع الإجابات الممكنة.

يأخذ القليل من الإجابة من المخرج 1.
يمزج فيها القليل من المخرج 3.
يضيف لمسة من المخرج 4.
النتيجة: الإجابة النهائية دقيقة رياضياً. إنها بجودة ما لو كانت الكلمة قد زارت جميع العمال الـ 48، لكنها وصلت بشكل أسرع لأن الأجزاء "السهلة" من الحساب تمت معالجتها في المخارج المبكرة.

3. خدعة "الركوب على الظهر" (عدم فقدان الذاكرة)

هذه هي الخدعة السحرية الأكبر للبحث. عادةً، إذا غادرت كلمة ما مبكراً، فإن المصنع ينسى العمل المطلوب للكلمة التالية.

حل N-vium: عندما تغادر كلمة ما مبكراً، لا يرمي المصنع العمل المتبقي. بدلاً من ذلك، يقول: "حسناً، سنكمل بقية المعالجة لهذه الكلمة لاحقاً".
عندما تأتي الكلمة التالية في الخط، يقوم المصنع بشيئين في آن واحد: يعالج الكلمة الجديدة، ويقوم أيضاً بـ "الركوب على ظهر" (piggybacking) العمل غير المكتمل للكلمة السابقة.
التشبيه: تخيل سائق حافلة. عادةً، يتوقف السائق عند كل محطة لإنزال الركاب. مع N-vium، يقوم السائق بإنزال الركاب السهلين مبكراً، ولكنه بعد ذلك يلتقط الركاب "غير المكتملين" من المحطة السابقة وينزلهم في طريقهم إلى المحطة التالية، وكل ذلك دون أن تتوقف الحافلة أو تتباطأ أبداً.

النتائج

بنى الباحثون نماذج تحتوي على ما يصل إلى 1.5 مليار "عامل" (معلمة/parameter).

السرعة: كان أكبر نموذج لديهم أسرع بنسبة 57.9% من النموذج القياسي من نفس الحجم.
الجودة: رغم كونها أسرع، إلا أن الإجابات كانت بجودة مماثلة (لا يوجد فقدان في الجودة).
الأجهزة: هذا يعمل على شرائح الكمبيوتر القياسية (GPUs) دون الحاجة إلى أجهزة جديدة خاصة.

الملخص

فكر في N-vium ليس كطريق مختصر يقطع الزوايا، بل كـ إعادة تنظيم ذكية. فهو يدرك أن ليس كل كلمة تحتاج إلى جولة كاملة في المصنع. إنه يسمح للكلمات البسيطة بالمغادرة مبكراً، ويمزج إجاباتها تماماً مع الكلمات المعقدة، ويستخدم "الركوب على الظهر" لضمان عدم إضاعة أي عمل أبداً. النتيجة هي ذكاء اصطناعي يفكر بشكل أسرع دون أن يفكر بشكل أقل.

ملخص تقني: N-vium – محول "مزيج المخارج" لتسريع التوليد الدقيق

1. بيان المشكلة

تعالج النماذج اللغوية الكبيرة (LLMs) ذات التوليد الذاتي (autoregressive) المعيارية الرموز (tokens) بشكل متسلسل عبر مكدس من طبقات فك التشفير (decoder layers). تمر عملية التمرير الأمامي هذه بوظيفتين مقترنتين: (1) بناء تمثيلات المفتاح والقيمة (Key-Value) عند كل طبقة لاستخدامها في الانتباه المستقبلي، و(2) إسقاط الحالة المخفية النهائية للتنبؤ بالرمز التالي. وبناءً على ذلك، يتطلب كل رمز عملية تمرير أمامي كاملة عبر جميع الطبقات، بغض النظر عما إذا كان توزيع التنبؤ قد استقر بالفعل أم لا.

تحاول الأساليب الحالية لتحسين كفاءة الاستدلال، مثل طرق الخروج المبكر (Early Exit)، فك الارتباط بين هاتين الوظيفتين عن طريق إرفاق رؤوس تنبؤ عند طبقات وسيطة. ومع ذلك، تعامل هذه الأساليب التنبؤات الوسيطة كتقريبات لتوزيع الطبقة النهائية، مما يؤدي إلى عدة عيوب:

أخطاء التقريب: غالبًا ما تكون التنبؤات الوسيطة أضعف من تلك الخاصة بالعمق الكامل، مما يخلق عدم تطابق بين التدريب والاختبار.
التوجيه القائم على الاستدلال (Heuristic Routing): تعتمد القرارات المتعلقة بموعد الخروج غالبًا على عتبات ثقة مصممة يدويًا تتطلب معايرة.
تخزين KV غير المكتمل: لتوفير الحوسبة، تتجاهل طرق الخروج المبكر حساب مخازن KV للطبقات التي يتم تجاوزها، مما يتطلب نسخًا تقريبيًا أو تخطيًا، وهو ما يقلل الجودة.
تدهور الجودة: غالبًا ما تتحقق السرعة على حساب التشتت (perplexity) وجودة التوليد.

تجادل الورقة بأنه بينما تُظهر الملاحظات التجريبية (على سبيل المثال، عبر "عدسة اللوجيت" - logit lens) أن توزيعات التنبؤ غالبًا ما تستقر قبل الطبقة النهائية، فإن الأسال𝕙 الحالية تفشل في استغلال ذلك من أجل التوليد الدقيق دون فقدان الجودة.

2. المنهجية: N-vium

يقدم المؤلفون N-vium، وهو إطار عمل "مزيج المخارج" (mixture-of-exits) يعمم بنية المحول القياسية بشكل صارم. بدلاً من معاملة المخارج المبكرة كتقريبات، يعيد N-vium تعريف مخرج النموذج كمزيج توزيع متعلم عبر مخارج متعددة.

البنية

مزيج المخارج: يقسم النموذج طبقات العمود الفقري $L$ إلى $N_V$ من الكتل. في نهاية كل كتلة (الوصلة $k$ )، يحدد الموجه (router) احتمال أخذ عينة للرمز التالي من توزيع تلك الطبقة $\pi_k$ .
التوجيه المتكيف مع الرمز: تعالج شبكة MLP للموجه الحالة المخفية $h^{(\ell_k)}_t$ عند الوصلة $k$ لإخراج احتمال $w_k$ . ويتم حساب احتمال $p_k$ للخروج عند الوصلة $k$ كما يلي:
$p_k(x_t) = w_k(h^{(\ell_k)}_t) \prod_{j=1}^{k-1} (1 - w_j(h^{(\ell_j)}_t))$
حيث أن $w_{N_V} = 1$ حسب العرف.
توزيع المزيج: التوزيع النهائي للرمز التالي هو مجموع موزون لجميع توزيعات المخارج:
$\pi_{mix}(x_{t+1} | x_{1:t}) = \sum_{k=1}^{N_V} p_k(x_t) \pi_k(x_{t+1} | x_{1:t})$
الرأس المشترك: تشترك جميع المخارج في رأس الإسقاط النهائي لنمذجة اللغة (LM) $W_{lm}$ ، مع استخدام محولات (adapters) MLP خفيفة الوزن لتحويل الحالات المخفية الوسيطة لتتطابق مع الهندسة المتوقعة للرأس.

التدريب

الهدف: يتم تدريب النموذج لتقليل خسارة الإنتروبيا المتقاطعة (cross-entropy) لتوزيع المزيج المشترك $\pi_{mix}$ ، بدلاً من تحسين الرؤوس الفردية بشكل منعزل لتطابق الطبقة النهائية.
عقوبة الحوسبة: تُضاف حد خسارة مساعد $\mathcal{L}_{compute}$ لتشجيع الموجه على تخصيص كتلة احتمالية للمخارج المبكرة، مما يوجه النموذج نحو الكفاءة:
$\mathcal{L}_{total} = \mathcal{L}_{mix} + \beta \mathcal{L}_{compute}$
حيث أن $\mathcal{L}_{compute}$ هي عمق الطبقة المتوقع المعياري.
الإحماء (Warm-up): يتم استخدام مرحلة إحماء للموجه لمنع "انهيار الموجه" (حيث يتم توجيه جميع الرموز إلى الطبقة النهائية) عن طريق معاقبة الانحرافات عن توزيع الخروج الموحد في البداية.

الاستدلال: التوصيل الملحق (Piggybacking)

الابتكار الحاسم هو تقنية التوصيل الملحق (Piggybacking) لضمان استعادة ذاكرة KV الكاملة دون تخطي الحوسبة:

الحوسبة المؤجلة: عندما يخرج رمز عند الوصلة $k$ ، يتم تأجيل الحوسبة للطبقات من $k+1$ إلى $L$ .
المعالجة المتوازية للدفعة: أثناء معالجة الرموز المستقبلية، تصل عمليات التمرير الأمامي الخاصة بها إلى الطبقات المؤجلة. عند هذه الأعماق، يتم دمج الحالات المخفية للرموز المؤجلة مع حالة الرمز الحالي ومعالجتها بالتوازي.
النتيجة: هذا يملأ حالات KV المفقودة لجميع الرموز المؤجلة في تمريرة متوازية واحدة، مما يضمن أن ذاكرة KV كاملة ودقيقة ومتوافقة مع الرمز الذي تم أخذ عينة منه. لا يتم تخطي أي حوسبة؛ بل يتم فقط إعادة ترتيبها من التنفيذ المتسلسل إلى التنفيذ المتوازي المجمع.

3. المساهمات الرئيسية

أخذ عينات المزيج الدقيق: يعد N-vium أول طريقة تمكن التوجيه المتكيف مع عمق الرمز مع أخذ عينات دقيقة من التوزيع المدرب، متجنباً أخطاء التقريب المتأصلة في طرق الخروج المبكر القياسية.
استعادة كاملة لذاكرة KV: من خلال تأجيل ومعالجة الطبقات العليا في دفعات، يستعيد N-vium ذاكرات KV كاملة ودقيقة، وهي ميزة غالباً ما تُفقد في طرق الحوسبة التكيفية الأخرى.
إطار عمل التدريب: يقدم المؤلفون خط معالجة تدريب عملي يحسن هدف المزيج مباشرة، بما في ذلك استراتيجيات لتوجيه النماذج نحو الكفاءة عبر عقوبة حوسبة قابلة للتعلم.
القابلية للتوسع: تم التحقق من صحة الطريقة عبر مقاييس تصل إلى 1.5 مليار معلمة، مما يثبت أن النهج ليس مقتصرًا على النماذج الصغيرة.

4. النتائج التجريبية

قام المؤلفون بتدريب نماذج N-vium (تحديداً "Quadrivium" بـ 4 مخارج) على مجموعة بيانات C4 باستخدام بنية LLaMA 2، ومقارنتها بالنماذج الكثيفة (dense) المطابقة في عدد المعلمات والبيانات.

السرعة مقابل التشتت (Perplexity):
- حقق أكبر نموذج (1.5 مليار معلمة، 48 طبقة، 1536 عرض مخفي) تسارعاً في وقت الساعة (wall-clock speedup) بنسبة 57.9% مقارنة بالنموذج الكثيف الأساسي مع عدم وجود تدهور في التشتت (فرق 0%).
- أظهرت النماذج الأصغر تسارعات ثابتة تتراوح بين 23% و41% مع تحسينات طفيفة في التشتت (على سبيل المثال، أظهر نموذج بـ 36 طبقة تسارعاً بنسبة 36.4% مع تحسين في التشتت بنسبة 3.7%).
حد باريتو (Pareto Frontier): في مخططات الجودة-السرعة، يشغل N-vium الربع "العلوي الأيمن" (أسرع وبجودة مساوية أو أفضل)، بينما تقع طرق مثل CALM* في الربع "السفلي الأيمن" (أسرع ولكن بجودة أسوأ)، بينما تقع LayerSkip على خط تشتت ثابت تحت النموذج الأساسي.
الأداء في المهام النهائية: بعد الضبط الدقيق الخاضع للإشراف (SFT) على مزيج Tulu 3، طابقت نماذج N-vium أو تجاوزت النماذج الكثيفة في الاختبارات المعيارية (MMLU, ARC, HellaSwag, إلخ)، مما يؤكد أن النماذج تظل قابلة للتوجيه ولا تفرط في التكيف مع هدف الإنتروبيا المتقاطعة على حساب أداء المهام.
متانة الأجهزة: أعطت قياسات التسارع على وحدات GPU من نوع A100 وRTX A6000 وRTX 3090 نتائج متسقة (~57%)، بينما أظهرت وحدات GPU الأقدم من بنية Turing مكاسب أقل بسبب نقص دعم bfloat16 الأصلي.

5. الأهمية والادعاءات

تدعي الورقة أن N-vium يمثل تحولاً جذرياً في كفاءة الاستدلال. بخلاف معظم الطرق التي تحسن عدد الرموز في الثانية عن طريق تقليل العمليات الحسابية (FLOPs) لكل رمز (غالباً عبر التقريب)، يحسن N-vium الكفاءة عن طريق زيادة العمليات الحسابية في الثانية. ويحقق ذلك من خلال إعادة تنظيم الحوسبة المتسلسلة إلى تمريرات مجمعة متوازية، مما يسمح باستغلال التوازي في الأجهزة بشكل أفضل دون التخلي عن أي حوسبة.

يؤكد المؤلفون أن N-vium هو تعميم صارم للمحول القياسي: عندما تكون أوزان التوجيه للمخارج الوسيطة صفراً، يتصرف النموذج تماماً مثل المحول القياسي. تلبي الطريقة أربعة معايير حاسمة في آن واحد، وهو ما يدعي المؤلفون أنه لا يوجد منهج آخر يحققه:

الاستدلال الدقيق: أخذ عينات من التوزيع المدرب دون تقريب.
استعادة كاملة لذاكرة KV: لا توجد طبقات مفقودة أو ملء تقريبي للذاكرة.
التوجيه المتعلم: يتم تخصيص الحوسبة لكل رمز بواسطة موجه مدرب، وليس عبر استدلالات.
تسريع وقت فك التشفيد: يقلل زمن الوصول (latency) أثناء التوليد التلقائي.

تخلص الورقة إلى أنه بينما يتسبب تدريب N-vium في تكلفة أعلى للعمليات الحسابية (FLOPs) لكل رمز (بسبب تقييم الرؤوس عند عدة وصلات)، إلا أن هذه التكلفة الإضافية مبررة للنشر في بيئات الإنتاج حيث تهيمن تكاليف الاستدلال، كما أن التكلفة النسبية تتضاءل مع زيادة حجم النموذج.