EntropyMoE: Entropy-Aware Sparse Expert Routing for Tokenizer-Free LLMs
يقدم EntropyMoE بنية "خليط من الخبراء" (Mixture-of-Experts) واعية بالإنتروبيا للنماذج اللغوية الكبيرة الخالية من أجهزة الترميز (tokenizer-free)، والتي تقوم بتوجيه الرقع (patches) على مستوى البايت ديناميكيًا إلى خبراء متخصصين بناءً على الإنتروبيا والطول الخاص بها، محققةً كفاءة ضغط فائقة ودقة مماثلة دون الاعتماد على أجهزة ترميز ثابتة.
تخيل أنك تحاول تعليم روبوت القراءة. لفترة طويلة، كانت الطريقة المثلى للقيام بذلك هي تقطيع كل جملة إلى "قطع" جاهزة تسمى الرموز (tokens)، تمامًا مثل تقطيع البيتزا إلى شرائح ثابتة قبل تقديمها. ولكن ماذا لو استطاع الروبوت قراءة المكونات الخام بدلاً من ذلك — أي الحروف أو البايتات الفردية؟ هذا هو عالم النماذج "الخالية من التجزئة" (tokenizer-free). إنها تشبه الطهاة الذين لا يستخدمون مكونات مقطعة مسبقاً، بل يتعاملون مع الخضروات كاملة، ويقررون أثناء العمل حجم الشريحة التي سيأخذونها بناءً على مدى صعوبة قوامها. إذا كانت الخضروات صلبة (غير مؤكدة)، يأخذون شريحة صغيرة؛ وإذا كانت طرية (متوقعة)، يأخذون واحدة كبيرة. هذا يجعل عملية القراءة أكثر مرونة.
ومع ذلك، هناك عقبة. فعلى الرغم من أن هذه الروبوتات ذكية بما يكفي لتقطيع النص إلى قطع متغيرة الحجم، إلا أنها لا تزال تعامل كل قطعة بنفس الطريقة تماماً بمجرد وضعها على لوح التقطيع. فهي تستخدم نفس القدر من طاقة الدماغ لمعالجة كلمة بسيطة ومملة كما تفعل مع كلمة معقدة ومربكة. الأمر يشبه توظيف فريق من 100 عبقري لحل مسألة رياضية، ولكن جعل الـ 100 منهم يعملون جميعاً على كل مسألة، سواء كانت "2+2" أو "فيزياء الكم". إنه هدر هائل للطاقة. السؤال الكبير الذي يطرحه العلماء هو: هل يمكننا جعل الروبوت أكثر ذكاءً عبر استدعاء الخبراء المناسبين فقط للمهمة المناسبة، دون إضاعة الوقت في الأشياء السهلة؟
هذا هو بالضبط ما تعالجه ورقة "EntropyMoE". فقد بنى الباحثون نظاماً جديداً يسمى EntropyMoE يعمل كمدير فائق الكفاءة لفريق من خبراء الذكاء الاصطناعي. فبدلاً من النظر إلى المعنى الكامل والمعقد لقطعة نصية لتحديد من سيعمل عليها، ينظر هذا المدير إلى رقم واحد بسيط فقط: الاعتلاج (entropy). بالمعنى العام، الاعتلاج هنا هو مجرد مقياس لـ "المفاجأة" أو "عدم اليقين". إذا كانت قطعة النص متوقعة جداً (اعتلاج منخفض)، فإن المدير يعرف أنها سهلة. أما إذا كانت مليئة بالمفاجآت (اعتلاج مرتفع)، فهي صعبة.
تحدث المعجزة لأن المدير يستخدم "درجة المفاجأة" هذه لاختيار خبيرين بالضبط من بين فريق مكون من ثمانية خبراء للتعامل مع كل قطعة نصية. والأفضل من ذلك؟ أن المدير لا يحتاج إلى قراءة النص بأكل ليتخذ هذا القرار؛ فهو يحتاج فقط إلى رقم "المفاجأة" هذا. هذا يشبه حارس النادي الذي يحتاج فقط لرؤية بطاقة هويتك ليقرر ما إذا كنت ستدخل، بدلاً من إجراء مقابلة معك حول قصة حياتك بأكملها. ومن خلال القيام بذلك، يوفر النظام كمية هائلة من ذاكرة الكمبيوتر وقوة المعالجة. في اختباراتهم، استخدم نظام EntropyMoE فقط 400 معلمة صغيرة لاتخاذ قرارات التوجيه هذه، بينما كانت الطريقة القديمة تتطلب أكثر من 400,000 معلمة للقيام بنفس المهمة.
كانت النتائج مبهرة. فعندما اختبروا هذا النظام الجديد مقابل النماذج "الكثيفة" القديمة (حيث يعمل الجميع على كل شيء) ونماذج التوجيه الذكية الأخرى، تبين أن EntropyMoE هو الأكثر دقة في التنبؤ بالبايت التالي من النص. لقد ارتكب أقل عدد من الأخطاء، مقاسة بـ "البت لكل بايت". وبينما لم يسحق المنافسة تماماً في كل لعبة (مثل مسابقة المعلومات العامة المحددة المسماة HellaSwag حيث كان أفضل قليلاً)، فقد أثبت أن استخدام "المفاجأة" كدليل هو استراتيجية رابحة. تشير الورقة إلى أن هذا النهج هو طريقة صلبة وفعالة لبناء ذكاء اصطناعي أكثر ذكاءً، رغم أن الباحثين يعترفون بأن النسخة الحالية لا تزال أبطأ قليلاً في التشغيل من النماذج القديمة والأبسط لأن "تبديل الخبراء" يستغرق وقتاً إضافياً. في نهاية المطاف، لقد أظهروا أنك لست بحاجة إلى عقل شديد التعقيد لتقرر من سيقوم بالعمل؛ فأحياناً، مجرد مقياس بسيط لمدى مفاجأة النص هو كل ما تحتاجه لتنظيم فريق من الخبراء.
ملخص تقني: EntropyMoE
بيان المشكلة أدت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) الخالية من الرموز (tokenizer-free)، وتحديداً محول البايت الكامن (Byte Latent Transformer - BLT)، إلى تحسين الكفاءة من خلال تجميع البايتات الخام في رقع (patches) ذات أحجام ديناميكية بناءً على عدم اليقين المحلي (الإنتروبيا/Entropy). في هذه البنية، تشكل تسلسلات البايتات القابلة للتنبؤ رقعاً أطول، بينما تشكل التسلسلات غير المؤكدة رقعاً أقصر. ومع ذلك، فإن بنيات رقع البايت الحالية تطبق حسابات تغذية أمامية كثيفة وموحدة على كل رقعة بغض النظر عن صعوبتها الدلالية أو دقتها. هذا النهج "الموحد للجميع" يفشل في تكييف قدرة النموذج مع التباينات في دلالات الرقع. علاوة على ذلك، فإن نماذج خليط الخبراء (MoE) القياسية هي عادةً نماذج تعتمد على الرموز (token-native)، حيث يتم التوجيه بناءً على حالات مخفية عالية الأبعاد، مما يتجاهل إشارة عدم اليقين الصريحة التي تم حسابها بالفعل أثناء عملية التقطيع (patching) ويؤدي إلى عبء توجيه غير ضروري.
المنهجية: EntropyMoE يقترح البحث EntropyMoE، وهو بنية خبير متفرقة تعتمد على الرقع (patch-native)، مصممة لاستبدال طبقات التغذية الأمامية الكثيفة في محول رقع عالمي بطبقات Top-K MoE. يكمن الابتكار الجوهري في استخدام إنتروبيا الرقعة القياسية (scalar patch entropy) كمدخل وحيد لآلية التوجيه، بدلاً من الحالات المخفية عالية الأبعاد.
البنية: مبني على مسار يشبه BLT، يحافظ EntropyMoE على مشفر البايت المحلي، والانتباه الذاتي العالمي، وفك التشفيد، ولكنه يستبدل طبقات التغذية الأمامية الكثيفة بمجمعات خبراء. تعمل كل رقعة ديناميكية كوحدة توجيه واحدة.
التوجيه المعتمد على الإنتروبيا فقط: على عكس الموجهات التقليدية التي تسقط الحالات المخفية إلى لوغاريتمات الخبراء (expert logits)، يقوم موجه EntropyMoE برسم خريطة لإنتروبيا الرقعة القياسية (Hi) فقط إلى لوغاريتمات الخبراء عبر تحويل أفيني (affine transformation) متعلم (s=aH+b). هذا يقلل معاملات التوجيه من O(d×M) إلى O(M)، حيث d هو البعد المخفي و M هو عدد الخبراء. في التجارب المسجلة (25 طبقة، 8 خبراء)، يؤدي هذا إلى 400 معلمة توجيه قابلة للتدريب فقط مقارنة بأكثر من 400,000 لموجهات الحالة المخفية.
اختيار Top-K: يختار الموجه بالضبط K=2 من الخبراء لكل رقعة بناءً على لوغاريتمات الإنتروبيا. تتم معالجة الحالة المخفية للرقعة بواسطة الخبراء المختارين، ولكن يتم استبعادها صراحةً من عملية الاختيار.
محاسبة عبء العمل الموزون بالبايت: بما أن الرقع تختلف في الطول، فإن عد الرقع لا يعكس بدقة حمل الحوسبة. يقدم EntropyMoE هدف موازنة حمل موزون بالبايت. يتم حساب الحمل لكل خبير كمجموع أطوال الرقع المخصصة له، مقسوماً على إجمالي عدد البايتات. هذا يضمن أن الخبراء الذين يتعاملون مع رقع أطول (إنتروبيا منخفضة) لا يعانون من نقص الاستغلال مقارنة بأولئك الذين يتعاملون مع العديد من الرقع القصيرة (إنتروبيا عالية).
التهيئة: يتم تهيئة النماذج المتفرقة من نسخة BLT كثيفة عبر نسخ أوزان التغذية الأمامية الكثيفة إلى جميع الخبراء، مما يضمن أن يبدأ النموذج بسلوك متطابق قبل أن يتباعد أثناء التدريب المستمر.
المساهمات الرئيسية
الحوسبة المتفرقة المعتمدة على الرقع: صياغة الحوسبة الشرطية المتفرقة لنماذج LLM الخالية من الرموز حيث تكون رقع البايت الديناميكية هي وحدات التوجيه الأساسية، مما يفصل قرارات التوجيه عن التمثيلات الدلالية عالية الأبعاد.
موجه الإنتروبيا فقط: تقديم موجه Top-2 يعتمد على الإنتروبيا فقط، والذي يستخدم إشارة عدم اليقين السببية المتأصلة في مسار التقطيع. هذا يفصل بين دقة الرقعة (التي يحددها المقطع/patcher)، واختيار الخبير (الذي تحدده الإنتروبيا)، ومحاسبة عبء العمل (التي يحددها طول البايت).
التحقق التجريبي المنضبط: مقارنة صارمة ضد Dense BLT، و Hidden-only MoE، و Hidden+Entropy MoE تحت ظروف متطابقة من البيانات، وعدد التحديثات، وعدد المعلمات النشطة، والتهيئة.
النتائج التجريبية قيم المؤلفون EntropyMoE باستخدام هيكل BLT-1B على مجموعة بيانات FineWeb-Edu.
جودة النمذجة: حقق EntropyMoE أدنى قيمة لـ البايتات لكل بايت (BPB) المحتجزة (0.8351) بين جميع التكوينات المختبرة، متفوقاً على خط الأساس Dense BLT (0.8442) وكلا متغيري MoE المعتمدين على الحالة المخفية. كان التحسن ذا دلالة إحصائية (فواصل الثقة 95% تحت الصفر تماماً).
الأداء في المهام النهائية: ظلت الدقة في المهام النهائية متقاربة بشكل عام مع الخطوط المرجعية. ومن الجدير بالذكر أن EntropyMoE أظهر تحسناً ذا دلالة إحصائية في مهمة HellaSwag (+1.16% عن Dense BLT) مع الحفاظ على أداء تنافسي في مهام أخرى مثل PIQA و MMLU.
كفاءة التوجيه: قلل EntropyMoE معاملات التوجيه بمقدار ثلاثة أوامر من المقدار (400 مقابل ~400 ألف) مقارنة بموجهات الحالة المخفية. حقق أفضل وقت تكرار وإنتاجية للبايتات الصالحة من بين نماذج MoE المختبرة، رغم أنه ظل أبطأ بمرتين تقريباً من Dense BLT بسبب عبء Dispatch و التواصل في MoE.
أنماط التوجيه: كشف التحليل أن EntropyMoE يحفز بنية توجيه انتقائية للغاية. على عكس موجهات الحالة المخفية التي توزع التعيينات على نطاق واسع، يركز EntropyMoE التعيينات على مجموعة فرعية صغيرة من الخبراء (أعلى خبيرين يمثلان 89.1% من الكتلة). كما أظهر تبايناً واضحاً في سلوك التوجيه بين الرقع منخفضة وعالية الإنتروبيا (Entropy JSD بلغ 0.1263 مقابل 0.0040 لـ Hidden-only)، مما يشير إلى أن الإنتروبيا تميز بفعالية بين استخدام الخبراء.
محاسبة عبء العمل: أدى موازنة الحمل الموزون بالبايت باستمرار إلى تحسين BPB مقارنة بموازنة عدد الرقع، مما يؤكد ضرورة مراعاة تغطية البايت في سيناريوهات الرقع ذات الأطوال المتغيرة.
الأهمية والادعاءات يزعم البحث أن إنتروبيا الرقعة تعمل كإحداثي توجيه فعال ومنخفض الأبعاد للحوسبة الشرطية المتفرقة في نماذج LLM الخالية من الرموز. من خلال الاستفادة من إشارة عدم اليقين المحسوبة بالفعل للتقطيع، ينظم EntropyMoE الحوسبة المتفرقة دون استهلاك التمثيل الدلالي الكامل لاتخاذ قرارات التوجيه.
يصرح المؤلفون بتواضع أنه بينما تثبت النتائج أن إنتروبيا الرقعة هي أساس واعد للحوسبة الشرطية وتثبت تحسناً في النمذجة على مستوى البايت، فإنهم لا يدعون أنهم أثبتوا هويات خبراء لا غنى عنها أو ميزة مطابقة للحوسبة مقابل الهيكل الكثيف (بما أن التنفيذ المتفرق الحالي لا يزال أبطأ). تُعزى التحسينات الملحوظة إلى هندسة التوجيه المشروطة بالإنتروبيا وموازنة الحمل الموزون بالبايت بدلاً من السعة المتفرقة وحدها، حيث لم تحقق متغيرات MoE المعتمدة على الحالة المخفية (ذات السعة المماثلة) نفس المكاسب. يوسع هذا العمل نمذجة MoE إلى ما وراء التمثيلات المعتمدة على الرموز، مما يوفر مساراً لنمذجة لغوية أكثر كفاءة وتكيفاً على مستوى البايت.