💬 NLP

Scaling Embeddings Outperforms Scaling Experts in Language Models

تُثبت هذه الورقة أن توسيع أبعاد التضمين يمكن أن يكون وسيلة أكثر كفاءة لتحقيق التناثر ومكاسب الأداء من توسيع نماذج خليط الخبراء (MoE)، وهو اكتشاف تم التحقق من صحته من خلال تقديم LongCat-Flash-Lite، وهو نموذج عالي الأداء بـ 68.5 مليار معلمة مع حد أدنى من تكاليف التنشيط.

المؤلفون الأصليون: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

نُشر 2026-02-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم ببناء مكتبة ضخمة وعالية التقنية. ولجعل هذه المكتبة أكثر ذكاءً، لديك طريقتان رئيسيتان للتوسع:

طريقة "الخبير" (توسيع الخبراء): تقوم بتعيين آلاف الأساتذة المتخصصين (الخبراء). إذا سأل طالب عن علم الأحياء، فإنك تستدعي أستاذ علم الأحياء. إذا سأل عن التاريخ، فإنك تستدعي أستاذ التاريخ.
طريقة "المفردات" (توسيع التضمينات): بدلاً من تعيين المزيد من الأساتفة، تمنح كل كتاب في المكتبة فهرساً أكثر تفصيلاً ودقة متناهية. فبدلاً من مجرد ملصق يقول "تفاحة"، يقول الفهرس: "مقرمشة، حمراء، حلوة، خريفية، فاكهة، جران سميث".

لفترة طويلة، كان عالم الذكاء الاصطناي مهووساً بـ طريقة الخبير. فنحن نستمر في إضافة المزيد والمزيد من الأساتذة للتعامل مع المزيد من المواضيع. لكن الباحثين في "Meituan" وجدوا مشكلة: في النهاية، يصبح تعيين المزيد من الأساتذة مكلفاً للغاية، ويبدأون في الاصطدام ببعضهم البعض في الممرات (اختناقات النظام)، ولا يجعلون المكتبة أكثر ذكاءً بالفعل.

تقترح هذه الورقة البحثية "طريقاً ثالثاً": توسيع التضمينات.

الفكرة الجوهرية: "الفهرس الفائق" (N-gram)

قدم الباحثون ما يسمى بـ N-gram Embedding.

فكر في الذكاء الاصطناعي القياسي كشخص يقرأ كلمة واحدة في كل مرة. هو يرى "نيو"، ثم "يورك"، ثم "سيتي". هو يفهمها، لكنه يعالجها قطعة قطعة.

طريقة الـ N-gram تشبه إعطاء هذا الشخص "رؤية سياقية". فبدلاً من رؤية كلمات فردية فقط، يرى الذكاء الاصطناعي "كتلًا" من المعنى. هو لا يرى "نيو" فحسب؛ بل يرى "نيو يورك" كمفهوم واحد قوي. ويرى "مدينة نيويورك" كمفهوم أكثر عمقاً. ومن خلال توسيع "الفهرس" (التضمينات) ليشمل هذه الكتل متعددة الكلمات، يكتسب الذكاء الاصطناعي قدراً هائلاً من المعرفة دون الحاجة لتوظيف المزيد من "الأساتذة" (الخبراء) للقيام بالعمل الشاق.

"النقطة المثالية" (مبدأ المنطقة الذهبية)

اكتشف الباحثون أنه لا يمكنك القيام بذلك بشكل لانهائي. لقد وجدوا "منطقة ذهبية":

توسيع تضمين ضئيل جداً: ستكون مجرد ذكاء اصطناعي قياسي؛ وتفوتك السياقات العميقة.
توسيع تضمين مفرط جداً: ستنفق الكثير من المال على "الفهرس" لدرجة أنه لن يتبقى لديك مال كافٍ لتوظيف أي أساتذة على الإطلاق! ستصبح المكتبة قائمة ضخمة من التعريفات دون وجود أحد لشرحها.
النقطة المثالية: وجدوا أنه إذا خصصت حوالي 50% من "ميزانيتك" لهذه التضمينات فائقة التفصيل، فستحصل على نموذج أكثر ذكاءً مما لو كنت قد أنفقت تلك الأموال نفسها على المزيد من الخبراء.

النتيجة: LongCat-Flash-Lite

لإثبات نجاح ذلك، بنوا نموذجاً يسمى LongCat-Flash-Lite.

إنه نموذج ضخم (68.5 مليار معلمة)، ولكنه "رشيق" للغاية. ورغم ضخامته، فإنه "يوقظ" جزءاً ضئيلاً جداً من دماغه (حوالي 3 إلى 4.5 مليار معلمة) للإجابة على أي سؤال واحد.

ولأنهم أنفقوا جزءاً كبيراً من ميزانيتهم على "الفهرس الفائق" (التضمينات) بدلاً من "الأساتذة" (الخبراء)، فإن النموذج يتميز بـ:

ذكاء أكبر في المهام المتخصصة: هو بارع بشكل استثنائي في البرمجة والعمل كـ وكيل ذكاء اصطناعي (القيام بمهام مثل استخدام الأدوات أو التنقل في الكمبيوتر).
السرعة: لأنه لا يحتاج إلى "استدعاء" العديد من الأساتذة للحصول على إجابة، يمكنه الاستجابة بسرعة أكبر بكثير.

ملخص في إيجاز

بدلاً من محاولة بناء عقل أكثر ذكاءً عبر إضافة المزيد من "وحدات التفكير" (مما يجعل الأمر بطيئاً وفوضوياً)، تُظهر هذه الورقة البحثية أنه يمكنك بناء عقل أكثر ذكاءً من خلال منحه طريقة أكثر تطوراً لإدراك العالم (تضمينات أفضل). إنه الفرق بين توظيف المزيد من الأشخاص لدراسة خريطة، وبين ببساطة إعطاء الشخص الذي يحمل الخريطة نسخة ذات دقة وضوح أعلى بكثير من تلك الخريطة.

ملخص تقني: توسيع نطاق التضمينات يتفوق على توسيع نطاق الخبراء في النماذج اللغوية

1. بيان المشكلة

يعتمد النموذج الحالي لتوسيع نطاق النماذج اللغوية الكبيرة (LLMs) بشكل كبير على بنيات خليط الخبراء (MoE). وبينما يسمح نظام (MoE) بأعداد هائلة من المعلمات مع إدارة معقولة للحوسبة، فإنه يواجه عائقين رئيسيين:

تناقص العوائد: مع توسع النماذج، تنخفض المكاسب النوعية في الأداء الناتجة عن إضافة المزيد من الخبراء (تشبع الكفاءة).
اختناقات النظام: يؤدي زيادة عدد الخبراء إلى تفاقم عبء الاتصالات وضغط عرض نطاق الذاكرة في التدريب والاستدلال الموزع.

حدد المؤلفون طبقة التضمين (embedding layer) كبعد متجاهل بطبيعته، وهو بعد متفرع (sparse) يوفر تعقيد بحث بمقدار $O(1)$ . ويسعون لتحديد ما إذا كان توسيع نطاق التضمينات يمكن أن يعمل كبعد متعامد وأكثر كفاءة لتوسيع نطاق النموذج مقارنة بتوسيع نطاق الخبراء.

2. المنهجية

اقترح الباحثون واختبروا على نطاق واسع طبقة تضمين الـ N-gram كوسيلة لتوسيع المعلمات.

بنية تضمين N-gram: بدلاً من الاعتماد فقط على مفردات أساسية، يقوم النموذج بتعزيز تمثيلات الرموز (tokens) عبر البحث عن تسلسلات الـ $n$ -gram. ويستخدم دالة هاش دوارة متعددة الحدود (polynomial rolling hash function) لربط الـ $n$ -grams بجداول فرعية. وللتخفيف من حدة تصادمات الهاش (hash collisions)، قاموا بتفكيك جداول التضمين إلى $K$ من الجداول الفرعية ذات أحجام مفردات مختلفة وتطبيق عمليات إسقاط خطي لإعادة ربطها بالبعد الخفي.
إطار مقارنة التوسع: أجروا تجارب تدريب مسبق من الصفر (على 300 مليار توكن) لمقارنة توسيع نطاق تضمين N-gram مقابل توسيع نطاق MoE المساوي في عدد المعلمات (حيث يتم استخدام نفس ميزانية المعلمات لإضافة المزيد من الخبراء).
التحسين الهيكلي:
- تضخيم التضمين: لمنع "إغراق" إشارة التضمين بواسطة المجرى المتبقي (residual stream) (حيث تكون مخرجات الانتباه غالباً ذات معايير L2 أكبر بكثير)، طبقوا عوامل قياس ( $\sqrt{D}$ ) وطبقة تسوية (LayerNorm) على مخرجات التضمين.
- تحسينات على مستوى النظام: طوروا ذاكرة تخزين مؤقت للـ N-gram (N-gram Cache) متخصصة ونواة CUDA مخصصة للتعامل مع زيادة عمليات الإدخال/الإخراج لجداول التضمين الضخمة. كما دمجوا فك التشفير الاستنباطي (speculative decoding) لتحويل التفرع في المعلمات إلى تسريع فعلي في الاستدلال.

3. المساهمات الرئيسية

اكتشاف أنظمة التوسع: حددوا أن توسيع نطاق التضمين يكون أكثر فعالية عندما يكون النموذج بالفعل عند مستوى عالٍ من التفرع (نسبة عالية من المعلمات الكلية إلى المعلمات المفعلة).
مبادئ التصميم الهيكلي:
1. الميزانية: لا تخصص أكثر من 50% من إجمالي ميزانية المعلمات لتضمينات N-gram.
2. تجنب التصادم: يجب أن تختلف أحجام مفردات N-gram بشكل كبير عن مضاعفات الأعداد الصحيحة للمفردات الأساسية لمنع تصادمات الهاش.
3. العرض مقابل العمق: يعزز زيادة عرض النموذج من ميزة تضمينات N-gram، بينما تؤدي زيادة العمق إلى تقليلها.
LongCat-Flash-Lite: تقديم نموذج بـ 68.5 مليار معلمة يستخدم حوالي 30 مليار معلمة للتضمينات و3-4.5 مليار معلمة مفعلة فقط.

4. النتائج

جبهة باريتو المتفوقة: في أنظمة التفرع العالية، يحقق تضمين N-gram خسارة (loss) أقل في التدريب والتحقق مقارنة بنماذج MoE ذات إجمالي عدد المعلمات المساوي.
أداء LongCat-Flash-Lite:
- النموذج الأساسي: يتفوق على نظيره "Vanilla" من نوع MoE (الذي يستخدم نفس المعلمات ولكن كخبراء) عبر اختبارات القدرة العامة، والاستنتاج، والبرمجة.
- التميز في المهام الوكيلة والبرمجة: أظهر النموذج قوة استثنائية في استخدام الأدوات الوكيل (مثل $\tau^2$ -Bench) والبرمجة الوكيلة (مثل SWE-Bench)، حيث يتفوق بشكل كبير على المنافسين مثل Gemini 2.5 Flash-Lite وQwen3-Next.
- كفاءة الاستدلال: من خلال دمج النواة (kernel fusion) وفك التشفير الاستنباطي، يحقق النموذج إنتاجية عالية رغم حجم التضمين الضخم.

5. الأهمية

يغير هذا البحث المنظور حول توسيع نطاق النماذج اللغوية الكبيرة. فهو يثبت أن سعة المعلمات لا يجب أن تكون مرادفة لسعة الخبراء. ومن خلال نقل ميزانية المعلمات من طبقات FFN/MoE المكلفة حوسبياً إلى طبقة التضمين "الرخيصة" حوسبياً (بحث بمقدار $O(1)$ )، يمكن للباحثين بناء نماذج أكثر ذكاءً (تمثيل دلالي أفضل) وأكثر كفاءة (عدد أقل من المعلمات المفعلة). وهذا يوفر خارطة طريق جديدة لتطوير نماذج ضخمة ومتفرعة محسنة للتطبيقات الوكيلة والبرمجية في العالم الحقيقي.