💬 NLP

SpecTr-GBV: Multi-Draft Block Verification Accelerating Speculative Decoding

تقدم هذه الورقة SpecTr-GBV، وهو إطار عمل جديد للفك التنبؤي يوحّد بين توليد المسودات المتعددة والتحقق الكتلي الجشع من خلال صياغة التحقق من الرموز كمسألة نقل أمثل، مما يحقق أطوال قبول مثالية نظرياً وتسريعاً تجريبياً فائقاً مع الحفاظ على جودة المخرجات.

المؤلفون الأصليون: Yijun Lin, Jinhao Sheng, Qingyue Cai, Feng Zhou

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yijun Lin, Jinhao Sheng, Qingyue Cai, Feng Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول كتابة قصة طويلة، لكن لديك محرر صارم للغاية (النموذج المستهدف) وهو ذكي للغاية ولكنه يتحرك ببطء شديد. في كل مرة تريد فيها إضافة كلمة جديدة، يجب عليك الانتظار حتى يعيد المحرر قراءة الجملة بأكملة ليقرر ما إذا كانت هذه الكلمة مناسبة أم لا. وهذا يجعل كتابة القصة تستغرق دهراً.

التوليد التخميني (Speculative Decoding) هو خدعة ذكية لتسريع هذه العملية. أنت توظف متدرباً سريعاً ونشيطاً (نموذج المسودة) ليخمن الكلمات التالية بدلاً منك. ثم يقوم المحرر بالتحقق من تخميناته بسرعة. إذا كانت التخمينات صحيحة، يقول المحرر "جيد!" وتستمر في العمل. وإذا كانت خاطئة، يقوم المحرر بتصحيحها. هذا يوفر الوقت لأن المتدرب يمكنه تخمين عدة كلمات في وقت واحد، والمحرر لا يضطر للقيام بمعظم العمل إلا في حالات متباعدة.

المشكلة مع الطرق الحالية

يسلط المقال الضوء على وجود عيبين رئيسيين في نظام "المتدرب" هذا:

مشكلة "واحدة تلو الأخرى": تتطلب بعض الطرق من المتدرب تقديم تخمين واحد، ثم التحقق منه، ثم تقديم تخمين آخر. وهذا بطيء.
مشكلة "المتدرب الواحد": تطلب طرق أخرى من المتدرب كتابة فقرة كاملة، ولكن ليس لديهم سوى متدرب واحد فقط. إذا ارتكب هذا المتدرب خطأً في بداية الفقرة، يتم التخلص من الفقرة بأكملة، ويجب عليك البدء من جديد.

حاول بعض الباحثين حل هذه المشكلة عن طريق توظيف متدربين متعددين (مسودة متعددة) لكتابة نسخ مختلفة من الكلمات التالية، آملين أن تكون واحدة منها صحيحة على الأقل. وحاول آخرون التحقق من الفقرة بأكملة دفعة واحدة (التحقق بالكتلة) بدلاً من التحقق كلمة بكلمة. ولكن حتى الآن، لم ينجح أحد في الجمع بين المتدربين المتعددين والتحقق من الفقرة بأكملها.

الحل: SpecTr-GBV

يقترح المؤلفون نظاماً جديداً يسمى SpecTr-GBV. تخيله كفريق تحرير فائق الكفاءة مع سير عمل جديد:

"فرقة" من المتدربين: بدلاً من متدرب واحد، يقومون بتوظيف فرقة مكونة من $K$ من المتدربين. يكتب كل متدرب نسخته الخاصة من الكلمات التالية (مسودة).
التحقق بـ "الكتلة": بدلاً من التحقق من الكلمة رقم 1، ثم الكلمة رقم 2، ثم الكلمة رقم 3، يفحص المحرر كتلة الكلمات بأكملها من جميع المتدربين دفعة واحدة.
اختيار "الأنسب": يستخدم المحرر استراتيجية رياضية (تسمى النقل الأمثل - Optimal Transport، والتي تشبه لعبة مطابقة ذكية) للعثور على أطول تسلسل ممكن من الكلمات التي أصاب فيها أي واحد من المتدربين.

التشبيه:
تخيل أنك تحاول عبور نهر من خلال القفز على الأحجار.

الطريقة القديمة: تسأل شخصاً واحداً ليخمن أماكن الأحجار. تقفز حجراً واحداً في كل مرة. إذا أخطأت، تسقط في الماء وتبدأ من جديد.
الطريقة الجديدة (SpecTr-GBV): تسأل خمسة أشخاص لتخمين أماكن الأحجار. تفحص جميع تخميناتهم الخمسة معاً. تجد أطول مسار من الأحجار التي خمنها شخص ما بشكل صحيح. تقفز لأبعد مسافة ممكنة على طول ذلك المسار. إذا لم تتمكن من عبور النهر بأكمله، فببساطة تقفز إلى المكان الآمن التالي وتطلب تخمينات جديدة.

لماذا هي أفضل؟

يزعم المؤلفون أن هذه الطريقة الجديدة هي الطريقة "المثلى" للمضي قدماً. وهذا ما يعنيه ذلك باللغة البسيطة:

أقصى قدر من النجاح: من الناحية النظرية، ثبت أن هذه الطريقة تحقق أطول "سلسلة" ممكنة من الكلمات المقبولة. لا يمكنك القيام بعمل أفضل دون تغيير طريقة عمل المتدربين.
المزيد من المتدربين = المزيد من السرعة: كلما وظفت متدربين أكثر (أي كلما ولدت مسودات أكثر)، زادت سلسلة الكلمات الصحيحة. الأمر يشبه امتلاك المزيد من العيون على المشكلة؛ ففرصة أن يخمن شخص ما الكلمة التالية الصحيحة تزد de.
لا فقدان في الجودة: على الرغم من أنها أسرع، إلا أن القصة النهائية تُكتب تماماً بنفس الطريقة التي لو كان المحرر البطيء قد كتبها بمفرده. الجودة لا تنخفض.

النتائج

اختبر المؤلفون هذا على خمسة أنواع مختلفة من المهام (مثل كتابة الكود، حل المسائل الرياضية، وكتابة القصص) باستخدام نماذج ذكاء اصطناعي مختلفة.

أسرع: كانت طريقتهم أسرع بكثير من الطرق القياسية المتبعة في هذا المجال. في بعض الحالات، كانت أسرع بنسبة 30% تقريباً من أفضل طريقة سابقة.
أكثر كفاءة: تمكنت من قبول كلمات صحيحة أكثر في الثانية الواحدة، مما يعني أن المحرر البطيء كان لديه عمل أقل للقيام به.
قوية ومتينة: عملت بشكل جيد حتى عندما قاموا بتعديل المعايير (مثل مستوى "الإبداع" المسموح به للمتدربين).

باختالختام، SpecTr-GBV هي طريقة أذكى لاستخدام مساعد سريع لمساعدة خبير بطيء، مما يضمن تحقيق أقصى استفادة من كل تخمين يقدمه المساعد، وهو ما يؤدي إلى عملية كتابة أسرع بكثير دون فقدان أي جودة.

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) ذات التوليد التلقائي (Autoregressive) من زمن انتقال مرتفع في الاستدلال بسبب توليدها المتسلسل للرموز (tokens)، حيث يتطلب كل رمز عملية تمرير أمامي (forward pass) كاملة. يعمل التوليد التخميني (Speculative Decoding - SD) على التخفيف من هذه المشكلة باستخدام نموذج "مسودة" (draft) أصغر لاقتراح رموز مرشحة، والتي يتم التحقق منها بعد ذلك بواسطة نموذج "هدف" (target) أكبر.

ومع ذلك، تواجه طرق التوليد التخميني الحالية، عند النظر إليها بمعزل عن بعضها البعض، قيودين متميزين:

قيود المسودة الواحدة: يستخدم التوليد التخميني القياسي مسودة واحدة فقط، مما يؤدي إلى معدلات قبول منخفضة.
المقايضة بين تعدد المسودات والتحقق من الكتل (Block Verification):
- طرق تعدد المسودات (مثل SpecTr): تولد عدة تسلسلات مسودة مستقلة لتوسيع مجموعة المرشحين. ومع ذلك، فهي عادةً ما تتحقق من الرموز موضعياً (position-wise) (أي عبر الأعمدة). هذا التحقق المتسلسل يتوقف بمجرد رفض رمز في موضع معين، مما يفشل في تعظيم إجمالي عدد الرموز المقبولة في دورة واحدة.
- طرق التحقق من الكتل (مثل GBV): تتحقق من كتل كاملة من الرموز بشكل مشترك بدلاً من التحقق منها رمزاً تلو الآخر، محققةً القبول الأمثل لمسودة واحدة. ومع ذلك، فهي لا تستفيد من مزايا تسلسلات المسودة المتعددة.

السؤال الجوهري: هل يمكن الجمع بين مزايا توليد المسودات المتعددة (زيادة تنوع المرشحين) والتحقق الجشع من الكتل (تحسين القبول داخل الكتلة) لتحقيق أقصى طول قبول نظري؟

2. المنهجية: SpecTr-GBV

يقترح المؤلفون SpecTr-GBV، وهو إطار عمل يجمع بين توليد المسودات المتعددة والتحقق الجشع من الكتل (Greedy Block Verification - GBV).

المفهوم الأساسي

بدلاً من التحقق من الرموز موضعياً (كما في SpecTr) أو التحقق من كتلة واحدة (كما في GBV)، يقوم SpecTr-GBV بالخطوات التالية:

توليد $K$ من تسلسلات المسودة المستقلة والمتماثلة توزيعياً (i.i.d.) بطول $L$ .
صياغة خطوة التحقق كمسألة نقل أمثل (Optimal Transport - OT) بين مجموعة من $K$ من كتل رموز المسودة وكتلة رموز الهدف.
التكرار عبر $K$ من تسلسلات المسودة لإيجاد أطول كتلة فرعية مقبولة عبر جميع المسودات.

التدفق الخوارزمي

تسير عملية التحقق (الخوارزمية 1) كما يلي:

التهيئة: البدء بطول قبول $\tau = 0$ . يتم الاحتفاظ بمجموعة $H$ من الكتل الفرعية المرفوضة لتجنب أخذ العينات المتكرر.
التكرار المتسلسل: التكرار عبر كل تسلسل من $K$ من تسلسلات المسودة ( $x^L_1, \dots, x^L_K$ ).
التحقق من الكتلة الفرعية: بالنسبة لتسلسل حالي، يتم التحقق من الكتل الفرعية التي تبدأ عند الموضع $\tau + 1$ $τ + 1$ .
- يتم حساب احتمال القبول $h_{ik}$ للكتلة الفرعية $x^i_k$ باستخدام صيغة مشتقة (المعادلة 2)، والتي تأخذ في الاعتبار الاحتمال المشترك للكتلة الفرعية عبر جميع المسودات $K$ .
- عند القبول، يتم تحديث $\tau$ إلى الطول الجديد، ويتم تسجيل مؤشر التسلسل.
- عند الرفض، تُضاف الكتلة الفرعية إلى المجموعة $H$ ويتم تخطيها في التكرارات المستقبلية.
الإنهاء:
- إذا تم قبول كتلة المسودة بأكملها، يتم أخذ رمز تصحيحي من نموذج الهدف.
- إذا توقفت العملية عند طول $\tau < L$ ، يتم أخذ رمز تصحيحي من توزيع متبقي (Residual Distribution) (المعادلة 4) لضمان الأمانة التوزيعية.
تعديل التوزيع: قبل دورة SD التالية، يتم تعديل توزيع الهدف للمواضع غير المقبولة (الخوارزمية 2) لضمان الاتساق مع توزيع نموذج الهدف الأصلي.

الأساس النظري

صياغة النقل الأمثل: تمت صياغة الطريقة لتقليل دالة التكلفة عبر الارتباطات المشروطة المستقلة (CIC).
الأمثلية: يثبت المؤلفون أن SpecTr-GBV يحقق أقصى طول قبول متوقع يمكن تحقيقه مادياً ضمن إطار توليد المسودات i.i.d.
الرتابة (Monotonicity): الحد الأعلى النظري لطول القبول المتوقع يزداد بشكل صارم مع زيادة عدد المسودات ( $K$ ).

3. المساهمات الرئيسية

إطار عمل موحد: يعد SpecTr-GBV أول طريقة توحد استراتيجيات تعدد المسودات والتحقق من مستوى الكتلة في إطار عمل واحد، مما يوسع نطاق GBV من المسودة الواحدة إلى سيناريوهات المسودات المتعددة.
ضمانات نظرية:
- إثبات أن الطريقة تحافظ على مخرجات توزيع نموذج الهدف.
  ما يثبت أنه يحقق أقصى طول قبول متوقع ممكن لعدد ثابت من المسودات.
- إثبات أن هذا الحد الأمثل يتحسن مع زيادة عدد المسودات.
الكفاءة:
- تقليل التعقيد الحسابي لكل خطوة اختيار إلى $O(|\Omega|)$ (حيث $|\Omega|$ هو حجم المفردات)، وهو أكثر كفاءة من البحث الثنائي لعوامل القياس في SpecTr بـ $O(|\Omega| \log K)$ .
- إلغاء الحاجة إلى حلول البرمجة الخطية المكلفة لمسألة OT.

4. النتائج التجريبية

قيم المؤلفون SpecTr-GBV على خمس مجموعات بيانات (HumanEval, GSM8K, MGSM, LM1B, Alpaca) باستخدام أربعة نماذج أساسية (Autoregressive, Standard SD, SpecTr, GBV) مع نماذج DeepSeek, CodeLlama, و Vicuna.

النتائج الرئيسية:

الأداء: يتفوق SpecTr-GBV باستمرار على جميع النماذج الأساسية.
- مقارنة بـ Standard SD: تحسن بنحو 12.4% في كفاءة الكتلة (BE) ونحو 29.3% في نسبة التسريع (SR) (إعداد DeepSeek-33B).
- مقارنة بـ SpecTr: تحسن بنحو 2.3% في BE ونحو 8.2% في SR.
- مقارنة بـ GBV: تحسن بنحو 9.7% في BE ونحو 27.0% في SR.
كفاءة الوقت:
- انخفض عدد دورات التوليد بمعدل 2.6%.
- تم تقليل عبء التحقق بنسبة >50% مقارنة بـ SpecTr، بسبب إزالة البحث الثنائي لـ $\rho$ .
- انخفض إجمالي وقت التشغيل الفعلي (wall-clock time) بنسبة 6.3% إلى 11.8%، اعتماداً على مجموعة البيانات وحجم النموذج.
دراسات الاستئصال (Ablation Studies):
- عدد المسودات ( $K$ ): تزداد معدلات القبول بشكل رتيب مع $K$ ، مما يؤكد التوقعات النظرية. يحافظ SpecTr-GBV على معدلات قبول أعلى من SpecTr عبر جميع قيم $K$ .
- طول المسودة ( $L$ ): تتحسن BE مع زيادة $L$ ، لكن SR ينخفض في النهاية بسبب التكلفة الحسابية لتوليد مسودات طويلة.
- درجة الحرارة ( $T$ ): الطريقة قوية عبر مختلف درجات حرارة أخذ العينات (0.1, 0.4, 0.7).

5. الأهمية

يمثل SpecTr-GBV تقدماً كبيراً في تسريع استدلال LLM. من خلال الإثبات النظري بأن الجمع بين توليد المسودات المتعددة والتحقق على مستوى الكتلة ينتج أقصى طول قبول، فإنه يضع معياراً جديداً للتوليد التخميني.

التأثير العملي: يوفر تحسيناً "جاهزاً للاستخدام" (plug-and-play) لخطوط أنابيب SD الحالية، مما يقلل زمن الانتقال بشكل كبير دون المساس بجودة المخرجات (الأمانة التوزيعية).
القابلية للتوسع: تتوسع الطريقة بفعالية مع عدد نماذج المسودة، مما يشير إلى أن الأجهزة المستقبلية التي تمكن التوازي لنماذج صغيرة متعددة يمكن أن تحقق تسريعاً أكبر.
الرؤية النظرية: توضح الطراف تساؤلاً مفتوحاً حول ما إذا كان يمكن الجمع بين تعدد المسودات والتحقق من الكتلة بشكل أمثل، مما يوفر أساساً رياضياً صارماً للأبحاث المستقبلية في التوليد الفعال.