💬 NLP

Batch Speculative Decoding Done Right

تحدد هذه الورقة أن تطبيقات فك التشفير الاستباقي بالدفعات الحالية تفشل في الحفاظ على تكافؤ المخرجات بسبب مشكلة الموتر المتعرج (ragged tensor)، وتقترح أول إطار عمل صحيح، EQSPEC، إلى جانب نسخته المحسنة EXSPEC، التي تحقق تحسناً في الإنتاجية يصل إلى 3 أضعاف مع ضمان الصحة الخوارزمية عبر مختلف أزواج النماذج.

المؤلفون الأصليون: Ranran Haoran Zhang, Soumik Dey, Ashirbad Mishra, Hansi Wu, Binbin Li, Rui Zhang

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ranran Haoran Zhang, Soumik Dey, Ashirbad Mishra, Hansi Wu, Binbin Li, Rui Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير محطة قطارات فائقة السرعة. هدفك هو إدخال أكبر عدد ممكن من الركاب (الرموز - tokens) إلى القطارات (مخرجات نموذج الذكاء الاصطنا- AI model) بأسرع وقت ممكن.

المشكلة: ازدحام مروري ناتج عن "التخمين والتحقق"

عادةً، يكتب نموذج الذكاء الاصطناعي كلمة واحدة في كل مرة، ويتحقق من عمله قبل الانتقال للكلمة التالية. هذا أسلوب آمن ولكنه بطيء.
فك التشفير التخميني (Speculative Decoding) يشبه توظيف مساعد مبتدئ سريع (نموذج مسودة - draft model) ليخمن الكلمات الخمس التالية بدلاً منك. ثم يقوم النموذج الرئيسي (النموذج المستهدف - target model) بالتحقق بسرعة مما إذا كانت تخميناته صحيحة. إذا كانت كذلك، فإنك توفر الوقت. وإذا لم تكن، فإنه يصحح الخطأ ويحاول مجدداً.

هذا يعمل بشكل رائع لراكب واحد. ولكن ماذا يحدث عندما يكون لديك مجموعة من الركاب (دفعة - batch) يحاولون الصعود جميعاً في وقت واحد؟

الكارثة: كابوس "الموتر المتعرج" (Ragged Tensor)

في العالم الحقيقي، يقبل الركاب أعداداً مختلفة من التخمينات.

الراكب (أ): يقبل جميع التخمينات الخمسة.
الراكب (ب): يقبل أول كلمتين فقط، ثم يقول: "هذا خطأ!".
الراكب (ج): يقبل 4 كلمات.

الآن، أصبح لديك طابور فوضوي. البعض عند الموضع 5، والبعض عند 2، والبعض عند 4. في علوم الحاسوب، يُسمى هذا مشكلة "الموتر المتعرج" (Ragged Tensor). إن عقل الكمبيوتر (وحدة معالجة الرسومات - GPU) يحب الشبكات المستطيلة المنظمة، ويكره الخطوط المتعرجة الفوضوية.

الطريقة القديمة: الحلول "المكسورة"

حاولت المحاولات السابقة لإصلاح ذلك دفع الخط المتعرج داخل صندوق مربع عبر كسر القواعد:

طريقة "القناع" (Masking): حاولوا إخفاء الاختلافات، لكن ذلك أربك جدول مواعيد القطار. بدأ الذكاء الاصطناعي في الهلوسة، مكرراً الكلمات مثل "ليس ليس ليس ليس" أو طباعة نصوص غير مفهومة.
طريقة "التراجع" (Rollback): أجبروا الجميع على التوقف عند أقصر خط. إذا قبل الراكب (ب) كلمتين فقط، كان على الجميع التخلي عن كلماته الثلاث الإضافية والانتظار. هذا أضاع كل مكاسب السرعة.

النتيجة؟ أن أنظمة الدفعات الموجودة كانت سريعة ولكنها تنتج مخرجات فاسدة. كانت تشبه سيارة سباق تنطلق بسرعة 200 ميل في الساعة ولكنها تصطدم بالحائط كل 10 ثوانٍ.

الحل: المحطة "المنظمة تماماً"

يقدم هذا البحث طريقتين جديدتين، EQSPEC و EXSPEC، لإصلاح المحطة دون كسر القواعد.

1. EQSPEC: "مراقب حركة المرور الصارم"

تخيل EQSPEC كمراقب حركة مرور صارم ومنظم للغاية.

كيف يعمل: بعد كل جولة تخمين، يوقف القطار. يأخذ تذاكر الجميع، ويعيد ترتيبهم بحيث يكون الجميع متوافقين تماماً في خط مستقيم، ويحدث الجدول الزمني (معرفات الموضع - Position IDs)، وينقل الأمتعة (ذاكرة KV-Cache) إلى مكانها الصحيح.
التكلفة: عملية إعادة الترتيب هذه تستغرق وقتاً. إنها تشبه إيقاف القطار لإعادة تنظيم مخطط المقاعد. تضيف هذه العملية عبئاً بنسبة 40% تقريباً (عمل إضافي)، ولكنها تضمن أن المخرجات صحيحة بنسبة 100%. لا هراء، ولا أعطال.
الاستعارة: إنها تشبه أمين مكتبة يوقف المكتبة بأكملها لإعادة ترتيب الكتب بشكل مثالي بعد قراءة كل بضع صفحات. إنها بطيئة، لكن الكتب تكون دائماً في مكانها الصحيح.

2. EXSPEC: نظام "التجميع الذكي"

إن EQSPEC صحيح ولكنه بطيء قليلاً بسبب التوقف لإعادة التنظيم في كل مرة. أما EXSPEC فهو النسخة المطورة.

كيف يعمل: بدلاً من إجبار الجميع على دخول خط واحد كبير وفوضوي، يحتفظ EXSPEC بـ "مجموعة" من الركاب. ينظر حوله ويقول: "مهلاً، الراكب (أ) والراكب (ج) قبلا 4 كلمات كلاهما! لنضع فقط هؤلاء في قطار واحد معاً".
السحر: إذا قبل الجميع في قطار معين نفس عدد الكلمات، فلن تكون هناك حاجة لإعادة التنظيم. ينطلق القطار فوراً.
الاستعارة: تخيل نظام حافلات حيث لا يجبر السائق الجميع على ركوب حافلة واحدة. بدلاً من ذلك، يقوم بتجميع الناس حسب وجهتهم. إذا أراد مجموعة من 5 أشخاص الذهوة بالضبط لثلاث محطات، فإنهم يستقلون حافلة تغادر فوراً دون أي انتظار أو إعادة ترتيب.

النتائج: سريع وَ دقيق

اختبر المؤلفون هذه الطرق على نماذج ذكاء اصطناعي حقيقية (مثل Vicuna و Qwen).

الطرق القديمة: سريعة، ولكنها تنتج كلاماً غير مفهوم (مثل روبوت يتحدث في دوائر مفرغة).
الطرق الجديدة (EQSPEC/EXSPEC):
- الدقة: في أكثر من 95% من الحالات، تكون المخرجات مطابقة للطريقة البطيئة والمثالية. الفرق الضئيل بنسبة 5% يعود فقط إلى كون رياضيات الكمبيوتر "ضبابية" قليلاً (أخطاء الفاصلة العائمة)، وليس خطأً منطقياً.
- السرعة: عند حجم دفعة قدره 8، فهي أسرع بـ 3 مرات من التشغيل واحداً تلو الآخر، مع إنتاج نص مثالي في الوقت نفسه.

باخت_صار

كانت عمليات التشفير التخميني المجمعة السابقة تشبه "موش بيت" (حشد فوضوي): سريعة، ولكن الناس يتأذون فيها (مخرجات تالفة).
لقğت هذه الورقة البحثية قد بنيت ساحة رقص منظمة جيداً.

EQSPEC هو مصمم الرقصات الذي يوقف الموسيقى لتصحيح خطوات الجميع (يضمن الدقة).
EXSPEC هو "دي جي" ذكي يشغل فقط الأغاني التي يعرف الجميع حركات رقصها، حتى لا يضطر أحد للتوقف أبداً (يحقق أقصى سرعة).

لقد أثبتوا أنه يمكنك الحصول على كل من السرعة و الدقة في الذكاء الاصطناعي، طالما أنك تحترم قواعد كيفية عمل ذاكرة الكمبيوتر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Batch Speculative Decoding Done Right" (الترميز التخميني بالدفعات بالطريقة الصحيحة).

1. بيان المشكلة: فشل طرق الترميز التخميني بالدفعات الحالية

يعمل الترميز التخميني (Speculative Decoding) على تسريع استنتاج النماذج اللغوية الكبيرة (LLMs) عن طريق استخدام نموذج "مسودة" (draft) صغير لاقتراح عدة رموز (tokens)، والتي يقوم نموذج "هدف" (target) أكبر بالتحقق منها بالتوازي. المتطلب الأساسي للترميز التخميني هو تكافؤ المخرجات (output equivalence): يجب أن يكون توزيع الرموز الناتج متطابقاً تماماً مع التوليد التكراري (autoregressive) القياسي.

تحدد الورقة فشلاً نظامياً حرجاً في جميع تطبيقات الترميز التخميني بالدفعات الحالية (مثل BSP وDSD ومحاولات HuggingFace المجمعة):

مشكلة الموتر المتعرج (The Ragged Tensor Problem): في الدفعة الواحدة، غالباً ما تقبل التسلسلات أعداداً مختلفة من رموز المسودة أثناء عملية التحقق. يؤدي هذا إلى إنشاء موترات "متعرجة" (غير منتظمة) حيث تتباين أطوال التسلسلات داخل نفس الدفعة.
فقدان التزامن (Desynchronization): تفشل الطرق الحالية في مزامنة معرفات المواقع (Position IDs)، وأقنعة الانتباه (Attention Masks)، وحالات ذاكرة التخزين المؤقت (KV-cache states) بشكل صحيح عبر هذه التسلسلات المتعرجة.
النتيجة: يؤدي هذا إلى مخرجات فاسدة، تتراوح بين الرموز المتكررة أو النصوص غير المفهومة أو رموز مثل de. أثبت المؤلفون أن الطرق السابقة تحقق إنتاجية عالية ولكنها تنتهك المعيار المحدد لصحة الترميز التخميني، مما يؤدي إلى معدلات تطابق دقيق تقترب من الصفر مقارنة بالتوليد القياسي.

2. المنهجية

يقترح المؤلفون إطار عمل يعطي الأولوية للصحة الخوارزمية (تكافؤ المخرجات) مع التحسين من أجل الإنتاجية (throughput). قاموا بتحليل ثلاثة توجهات محتملة للتعامل مع الموترات المتعرجة:

القناع (Masking): يفشل لأن هذا الأسلوب يخلق معرفات مواقع غير متصلة، مما يكسر آليات RoPE والإنتباه.
التراجع (Rollback): يقوم باقتطاع جميع التسلسلات لتصل إلى أقصر طول مقبول. هذا يهدر الرموز التي تم التحقق منها في التسلسلات الأسرع، مما يتسبب في انهيار الإنتاجية مع زيادة حجم الدفعة.
الحشو الديناميكي (Dynamic Padding): هو النهج الوحيد القابل للتطبيق. يقوم بإعادة محاذاة التسلسلات بعد كل جولة تحقق للحفاظ على موترات مستطيلة.

تقدم الورقة خوارزميتين متكاملتين تعتمدان على الحشو الديناميكي:

أ. EQSPEC: ضمان الصحة الخوارزمية

تعد EQSPEC أول خوارزمية تضمن تكافؤ المخرجات رسمياً من خلال فرض ثوابت المزامنة (Synchronization Invariants):

المحاذاة المستطيلة (I1): تضمن أنه لكل تسلسل $i$ ، فإن مجموع طول الحشو ( $p_i$ ) وطول المحتوى ( $c_i$ ) يساوي طول الدفعة ( $L$ ) في كل خطوة.
اتصال معرف الموقع (I2): تضمن اشتقاق معرفات المواقع باتساق من قناع الانتباه (بدءاً من 0 عند أول رمز محتوى)، وهو أمر مطلوب لآليات RoPE والآليات الأخرى المعتمدة على الموقع.

الآلية (Unpad-Append-Repad):
بعد كل جولة تحقق، تقوم EQSPEC بعملية مزامنة مكونة من ثلاث خطوات:

إزالة الحشو (Unpad): إزالة الحشو الموجود.
الإضافة (Append): إضافة رموز المسودة المقبولة والرمز الإضافي (bonus token).
إعادة الحشو (Repad): حساب إزاحة حشو محددة ( $\delta_i$ ) لكل تسلسل لإعادة محاذاة الدفعة إلى الطول الأقصى الجديد. يتضمن ذلك إزاحة مدخلات KV-cache وإعادة حساب معرفات المواقع وأقنعة الانتباه.

ب. EXSPEC: تقليل العبء عبر الجدولة عبر الدفعات

حلل المؤلفون هيكل التكلفة لـ EQSPEC ووجدوا أن عبء إعادة المحاذاة ينمو بشكل فوق خطي (superlinearly) مع حجم الدفعة، حيث يستهلك ما يصل إلى 40% من العمليات الحسابية عند حجم دفعة 8. هذه تكلفة متأصلة للحفاظ على الصحة عبر الموترات المتعرجة.

للتخفيف من ذلك، قدموا EXSPEC، الذي يوسع نطاق الجدولة إلى ما وراء الدفعة الثابتة الواحدة:

مجمع التسلسلات (Sequence Pool): يحافظ على مجمع من التسلسلات النشطة في حالاتها المتعرجة بدلاً من إجبارها على الدخول في دفعات ثابتة فوراً.
التجميع الديناميكي (Dynamic Grouping): يقوم المجدول بفحص المجمع وتجميع التسلسلات ذات الأطوال المتطابقة ديناميكياً في دفعات.
صفر عبء للمعادلات المتجانسة: إذا قبلت التسلسلات في الدفعة نفس عدد الرموز، فإن إزاحة الحشو $\delta_i$ تكون صفراً. هذا يلغي الحاجة إلى عمليات (unpad-append-repad) وإزاحة الـ KV-cache، مما يتجاوز عبء المحاذاة تماماً.
العودة للحالة الأصلية (Fallback): فقط عندما لا يمكن تجميع التسلسلات حسب الطول، يعود النظام إلى عملية إعادة محاذاة EQSPEC.

3. المساهمات الرئيسية

صياغة الثوابت: صاغت الورقة رسمياً ثوابت المزامنة (المحاذاة المستطيلة واتصال معرف الموقع) المطلوبة لعمل ترميز تخميني بالدفعات صالح، وأثبتت أن الطرق السابقة تنتهك هذه الثوابت.
خوارزمية EQSPEC: هي أول تنفيذ يضمن تكافؤ توزيع المخرجات من خلال فرض هذه الثوابت صراحةً بعد كل جولة تحقق.
خوارزمية EXSPEC: آلية جدولة عبر الدفعات تقلل من عبء المحاذاة عن طريق تجميع التسلسلات ذات الأطوال المتشابهة، مما يحول تكلفة المزامنة الثابتة إلى تكلفة اختيارية.
التحليل الشامل: تحليل مفصل لمشكلة "الموتر المتعرج"، مع التمييز بين الأخطاء المستقلة عن الدفعة (مثل أخطاء توزيع العينات) وفشل المزامنة الخاص بالدفعات.

4. النتائج التجريبية

تم تقييم الأساليب باستخدام SpecBench على ثلاثة أزواج من النماذج (Vicuna-7B/68M، Qwen3-8B/0.6B، GLM-4-9B/0.6B) على وحدات معالجة رسومية NVIDIA A100.

تكافؤ المخرجات (الصحة):
- EQSPEC وEXSPEC: حققتا معدلات تطابق دقيق تصل إلى ~95% مع التوليد التكراري القياسي. وتُعزى الـ ~5% المتبقية من التباين إلى عدم الحتمية في الحوسبة العائمة (floating-point non-determinism) في الاستنتاج على وحدة معالجة الرسوميات، وليس بسبب أخطاء خوارزمية.
- الطرق السابقة (BSP, DSD): عانت من فشل كارثي بمعدلات تطابق دقيق تقتر-من الصفر (على سبيل المثال، DSD عند 0.0%، وBSP عند 1.9%)، مما أنتج مخرجات متكررة أو غير منطقية.
الإنتاجية (الأداء):
- التوسع (Scaling): عند حجم دفعة 8، حققت EXSPEC تحسناً في الإنتاجية يصل إلى 3 أضعاف مقارنة بحجم دفعة 1.
- العبء: ينمو عبء المحاذاة في الترميز التخميني بالدفعات القياسي بشكل فوق خطي، ليصل إلى ~40% من وقت الحساب الإجمالي عند حجم دفعة 8. تقلل EXSPEC هذا العبء بشكل كبير من خلال تجميع التسلسلات.
- المقارنة: بينما تستخدم أنظمة الإنتاج مثل vLLM وSGLang "التحزيم المستمر" (continuous batching) لتجنب الموترات المتعرجة، إلا أنها لا تدعم حالياً نماذج المسودة الخارجية للترميز التخميني على نطاق واسع (لقد أوقفت vLLM هذه الميزة بسبب عبء الذاكرة؛ وSGLang محدودة بنماذج EAGLE).

5. الأهمية

تصحح هذه الورقة مسار أبحاث ونشر الترميز التخميني بالدفعات بشكل جذري:

الصحة مقابل السرعة: تؤكد أن تكافؤ المخرجات هو متطلب ثنائي (إما موجود أو غير موجود)، وليس مجرد هدف للتحسين. فالإنتاجية العالية لا معنى لها إذا كانت المخرجات فاسدة.
تكلفة الصحة: تحدد الورقة "التكلفة المتأصلة" للحفاظ على الصحة عبر الموترات المتعرجة (عبء المحاذاة فوق الخطي)، وهو عامل تم تجاهله أو التعامل معه بشكل خاطئ سابقاً.
النشر العملي: من خلال تقديم EXSPEC، يثبت المؤلفون أنه من الممكن الجمع بين التوازي بالدفعات ومكاسب التخمين لكل تسلسل دون التضحية بالصحة، بشرطة استخدام جدولة ذكية (التجميع حسب الطول).
المصدر المفتوح: يطلق المؤلفون أول تنفيذ مرجعي تم التحقق منه للترميز التخميني بالدفعات، مما يسمح لأبحاث المستقبل وأنظمة الإنتاج بالبناء على أساس صحيح.

باخت-صار، تجادل الورقة بأن تطبيقات الترميز التخميني بالدفعات السابقة كانت معطلة جوهرياً بسبب "مشكلة الموتر المتعرج". ومن خلال صياغة ثوابت المزامنة الضرورية وتقديم EQSPEC/EXSPEC، يقدم المؤلفون أول طريقة صحيحة خوارمياً وقابلة للتوسع، تحقق تسريعًا يصل إلى 3 أضعاف مع الحفاظ على توزيع المخرات الدقيق للنموذج المستهدف.