💬 NLP

DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding

تقدم الورقة البحثية DBLAST، وهو مسودة كتل معتمدة ذات هدف تدريب موجه نحو القبول يتغلب على قيود أخذ عينات الكتل المستقلة في فك التشفير التخميني العشوائي، مما يحسن بشكل كبير أطوال المسودة المقبولة، لا سيما في أنظمة الإنتروبيا العالية.

المؤلفون الأصليون: Amirmohammad Karimi, Chao Gao, Negar Hassanpour

نُشر 2026-08-07

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amirmohammad Karimi, Chao Gao, Negar Hassanpour

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تخمين الكلمة التالية في قصة يرويها لك صديقك. إذا كنت تخمن عشوائياً فقط، فقد تصيب، لكن الأمر يستغرق وقتاً طويلاً للتحقق من كل الاحتمالات. الآن، تخيل أن لديك مساعداً صغيراً فائق السرعة يمكنه الصراخ بجملة كاملة من التخمينات دفعة واحدة. يقوم صديقك (العقل الرئيسي) بعد ذلك بالتحقق بسرعة مما إذا كانت تلك التخمينات منطقية؛ إذا كانت كذلك، فأنت تتخطى إلى الأمام؛ وإذا لم تكن كذلك، فتحاول مرة أخرى. هذا هو سحر "فك التشفير التخميني" (speculative decoding)، وهي خدعة تُستخدم لجعل أدمغة الذكاء الاصطناعي العملاقة تفكر بشكل أسرع. عادةً، يخمن المساعد الكلمات واحدة تلو الأخرى، أو يخمن كتلة كاملة من الكلمات بافتراض أنها لا تعتمد على بعضها البعض. ولكن هنا تكمن المشكلة: عندما تصبح القصة إبداعية، فوضوية، أو غير متوقعة (مثل كتابة قصيدة أو مغامرة جامحة)، فإن تلك التخمينات "المستقلة" غالباً ما تنهار لأن الكلمات تعتمد بالفعل على بعضها البعض. المساعد يخمن كلمة تناسب البداية، ولكن الكلمة التالية التي يخمنها لا تناسب الأولى، فتُرفض الكتلة بأكملها. تغوص هذه الورقة البحثية في سبب حدوث ذلك وكيفية إصلاحه حتى يتمكن المساعد من التعامل مع القصص الإبداعية الجامحة دون أن يتباطأ.

لاحظ الباحثون وراء هذه الورقة البحثية، الذين يعملون في هواوي (Huawei)، مشكلة محددة في كيفية عمل مساعدي الذكاء الاصطناعي الحاليين. لقد وجدوا أنه عندما يُطلب من الذكاء الاصطناعي الرئيسي أن يكون مبدعاً —باستخدام أخذ العينات "الاحتمالية" (stochastic) أو العشوائية لتوليد نهايات متنوعة— فإن الطريقة القديمة لتخمين كتل الكلمات تفشل. الأمر يشبه فريقاً من الأشخاص يحاول تخمين رمز سري حيث يصرخ الجميع برقم بشكل مستقل. إذا كان الرمز يتطلب أن تتبع الأرقام نمطاً معيلاً (مثل "كل الأعداد الزوجية")، فإن التخمينات المستقلة ستفشل دائماً تقريباً لأنهم لا يتواصلون مع بعضهم البعض. توضح الورقة أنه كلما أصبح الذكاء الاصطناعي المستهدف أكثر عدم قابلية للتنبؤ (زيادة الإنتروبيا/الاعتلاج)، ينخفض عدد التخمينات المقبولة بشكل كبير لأن صياغة الكتل "المستقلة" لا تستطيع التقاط الروابط الخفية بين الكلمات داخل الكتلة.

ولحل هذه المشكلة، قدم الفريق طريقة جديدة تسمى DBLast (صياغة الكتلة المعتمدة - Dependent Block Drafting). بدلاً من تخمين كتلة من الكلمات كما لو كانت غير مرتبطة، يستخدم DBLast نظام "خليط كامن" ذكي. فكر في الأمر كالتالي: قبل أن يبدأ المساعد في تخمين الكتلة، يختار سراً "موضوعاً" أو "نمطاً" من قائمة صغيرة (مثل "غموض"، "كوميديا"، أو "حزن"). وبمجرد اختيار هذا الموضوع، يتم توليد جميع كلمات الكتلة لتناسب ذلك الموضوع معاً. هذا يخلق قصة متماسكة داخل الكتلة، على الرغم من أن الكلمات لا تزال تُولد في تمريرة واحدة سريعة. إنه الفرق بين مجموعة من الناس يصرخون بكلمات عشوائية وبين مجموعة من الناس يتفقون على نوع أدبي أولاً ثم يرتجلون مشهداً معاً.

كما قامت الورقة البحثية بتغيير طريقة تدريب المساعد. بدلاً من تعليمه فقط أن يكون "صحيحاً" (مطابقاً لاحتمالية الكلمة التالية)، علموه أن يكون "مقبولاً". لقد أنشأوا هدفاً تدريبياً جديداً يكافئ المساعد على تخمين الكتل التي من المرجح أن يحتفظ بها الذكاء الاصطناعي الرئيسي. إنه يشبه تدريب لاعب كرة سلة ليس فقط على تسديد الكرة، بل على التسديد بطريقة تجعل الحكم يحتسب الهدف. ومن خلال الجمع بين هذا التخمين "القائم على الموضوع" والتدريب "المركز على القبول"، يتفوق أسلوب DBLast باستمرار على الطرق المستقلة القديمة.

في تجاربهم، اختبر الباحثون هذا على نماذج Qwen3-4B و Qwen3-8B عبر مهام متنوعة، بما في ذلك الرياضيات، البرمجة، والكتابة الإبداعية. ووجدوا أن DBLast يحسن باستمرار عدد الرموز (tokens) المقبولة، خاصة عندما يُطلب من الذكاء الاصطناعي أن يكون مبدعاً. وفي الإعدادات الأكثر عدم قابلية للتنبؤ (الإنتروبيا العالية)، حسن الأسلوب الجديد طول التخمينات المقبولة بمتوسط 12.1% للنموذج الأكبر. تشير الورقة إلى أن هذا النهج هو قطعة مفقودة رئيسية لجعل الذكاء الاصطناعي أسرع وأكثر كفاءة عندما يحتاج إلى أن يكون مبدعاً، مما يثبت أن جعل "الفريق" يتفق على موضوع قبل التحدث أفضل بكما لو صرخ كل فرد بأفكاره المستقلة.

ملخص تقني: DBlast – المسودة الكتلوية المعتمدة لفك التشفير الاستقصائي العشوائي

بيان المشكلة

يعمل فك التشفير الاستقصائي (Speculative decoding) على تسريع استنتاج النماذج اللغوية الكبيرة (LLMs) باستخدام مسود (drafter) خفيف الوزن لاقتراح عدة رموز مستقبلية، والتي يقوم نموذج مستهدف بعد ذلك بالتحقق منها بالتوازي. وبينما يمكن للمسودات القائمة على الكتل (مثل DFlash) التنبؤ بعدة مواضع في تمريرة واحدة، إلا أنها تعتمد عادةً على أخذ عينات كتل مستقلة. يفترض هذا النهج أن الرموز داخل كتلة المسودة مستقلة شرطياً بالنسبة للبادئة (prefix).

هذا الافتراض يعمل جيداً في أنظمة فك التشفير الجشعة (greedy) أو منخفضة الإنتروبيا، ولكنه يصبح هشاً في أنظمة فك التشفير العشوائي (stochastic)، وهي ضرورية للمهام مفتوحة النهايات مثل الحوار، والكتابة الإبداعية، واستكشاف التعلم المعزز. في الإعدادات العشوائية، يكون التوزيع المستهدف متنوعاً عن قصد، وتكون هناك استمرارات متعددة محتملة. يحدد البحث تناقضاً جوهرياً: بينما يأخذ المسود عينات الرموز بشكل مستقل لمطابقة التوزيعات الهامشية المستهدفة، يقوم النموذج المستهدف بالتحقق منها تسلسلياً، مع اشتراط كل قبول بناءً على الرموز المقبولة سابقاً. نتيجة لذلك، قد تفشل الكتلة التي تمتلك هوامش دقيقة لكل موضع في تشكيل مسار شرطي متماسك، مما يؤدي إلى تدهور كبير في طول المسودة المقبولة مع زيادة إنتروبيا توزيع أخذ العينات المستهدف.

المنهجية

يقترح المؤلفون DBlast (المسودة الكتلوية المعتمدة)، وهو إطار عمل يضفي تبعيات (dependencies) على مسودات انتشار الكتل دون التضحية بكفاءة التنبؤ المتوازي. تتكون الطريقة من مكونين أساسيين:

أخذ عينات الكتلة المعتمدة عبر الخليط الكامن (Latent Mixture):
بدلاً من تحليل توزيع الاقتراح عبر المواضع ( $q(x_{1:b}|y) = \prod q_i(x_i|y)$ )، يقدم DBlast متغيراً كامناً فئوياً $z$ ("فرع" أو "نمط") لإحداث ارتباطات داخل الكتلة. يتم نمذجة التوزيع المشترك كخليط متعدد الأقطاب (CP) منخفض الرتبة:
$q_{dep}(x_{1:b} | y) = \sum_{z=1}^{K} q(z | y) \prod_{i=1}^{b} q_i(x_i | y, z)$
- البنية: تعدل الطريقة مسوداً من طراز DFlash عبر إضافة "موسع مخفي للفئات" (category hidden expander) خفيف الوزن يقوم برسم خرائط لحالات المحولات المخفية إلى إزاحات (offsets) خاصة بكل فئة، و"رأس أولوية الفئة" (category-prior head) للتنبؤ بـ $q(z|y)$ .
- الاستنتاج: أثناء الاستنتاج، يتم أخذ عينة من فئة كامنة (اختيارياً مع درجة حرارة $Z_T$ )، ويتم فك تشفير الفرع المقابل بشكل جشع في تمريرة متوازية واحدة. هذا يحافظ على كفاءة التمريرة الواحدة لفك تشفير الكتلة مع السماح للنموذج بتمثيل استمرارات بديلة متماسكة على مستوى الكتلة.
هدف تدريب موجه نحو القبول (Acceptance-Oriented Training Objective):
تقلل التدريبات القياسية من السلب اللوغاريتمي (NLL) لكتل الهدف، مما يحسن احتمالية الاقتراح ولكنه يتجاهل الطبيعة التسلسلية للتحقق الاستقصائي. يقدم DBlast بديلاً (surrogate loss) يعتمد على الطول المقبول المتوقع (AL).
- يتم اشتقاق الهدف من توقع طول البادئة المقبولة، والمفكك إلى أحداث قبول البادئة.
- للتعامل مع عدم استقرار ترجيح الأهمية (importance weighting) عندما يكون هناك تداخل منخفض بين توزيع المسود وتوزيع الهدف (في بداية التدريب)، يقترح المؤلفون بديلاً لوغاريتمياً مقطعاً بالعتبة (threshold-truncated log-domain surrogate). يقوم هذا الخسارة بجمع النسبة اللوغاريتمية للاحتمالات ولوغاريتم الطول الشرطي المقبول عبر البادئات المحتفظ بها حيث تتجاوز نسبة الأهمية عتبة $\tau$ .
- يستهدف هذا النهج مباشرة سلوك التحقق التسلسلي للمحقق، مكملاً النمذجة المعتمدة عندما تكون احتمالية الكتلة وحدها غير كافية.

المساهمات الرئيسية

تشخيص التناقض: يثبت المؤلفون تجريبياً أن أخذ عينات الكتلة المستقلة يفشل بشكل متزايد كلما أصبح فك التشفير المستهدف أقل حتمية. ويظهرون أن الطول المقبول يتدهور بشكل كبير في الأنظمة عالية الإنتروبيا لأن الاقتراحات المستقلة تفتقر إلى التماسك المطلوب للتحقق التسلسلي.
أخذ عينات الكتلة المعتمدة: يقدمون أول تطبيق لاقتراحات الخليط الكامن من طراز CP على مسودات انتشار الكتل الفرعية لعمليات أخذ العينات الاستقصائية غير الجشعة. تثير هذه الطريقة ارتباطات بين مواضع الكتلة مع الحفاظ على التنبؤ المتوازي بالرموز.
خسارة موجهة نحو القبول: يقترحون بديلاً تدريبياً جديداً مدفوعاً بالطول المقبول المتوقع. يوفر هذا الهدف، جنباً إلى جنب مع التقطيع بالعتبة، إشارة تدريب مستقرة توائم المسود مع عملية التحقق التسلسلية.

النتائج التجريبية

أُجريت التجارب باستخدام النماذج المستهدفة Qwen3-4B و Qwen3-8B عبر أربعة معايير: GSM8K (رياضيات)، MT-Bench (دردشة)، HumanEval (برمجة)، ومعيار الكتابة الإبداعية. غطت التقييمات ثلاثة أنظمة أخذ عينات مستهدفة تتراوح من الحتمية العالية (درجة حرارة 0.7) إلى الحتمية المنخفضة (درجة حرارة 1.5).

مكاسب الأداء: تفوق DBlast باستمرار على أخذ عينات الكتلة المستقلة (DFlash) والأساسات المدربة باستخدام NLL.
- في إعداد الإنتروبيا العالية (Target Temp 1.5)، حقق DBlast زيادة متوسطة قدرها 12.1% في الطول المقبول لنموذج Qwen3-8B مقارنة بالأساس المستقل.
- كانت المكاسب أكثر وضوحاً في مناطق انخفاض الحتمية، مما يؤكد أن نمذجة التبعية هي الأكثر قيمة عندما تكون الاستمرارات المتعددة محتملة.
دراسات الاستئصال (Ablation Studies):
- الفئات الكامنة ( $K$ ): أدت زيادة $K$ إلى تحسين الأداء، مع ملاحظة عوائد متناقصة بعد $K=4$ .
- هدف التدريب: تفوقت خسارة (AL) الموجهة نحو القبول باستمرار على تدريب NLL، حتى بالنسبة للمسودات المستقلة ( $K=1$ )، رغم أن الجمع بين التبعية و AL أعطى أفضل النتائج.
- درجة حرارة الاستنتاج: سمح معايرة درجة حرارة أخذ عينات الفئة ( $Z_T$ ) للمسود بمطابقة عشوائية التوزيع المستهدف بشكل أفضل، مما أدى إلى تحسين الطول المقبول بشكل أكبر.

الأهمية والادعاءات

يزعم البحث أن DBlast يعالج فجوة حرجة في فك التشفير الاستقصائي: عدم قدرة مسودات الكتل الحالية على التعامل مع التحقق العشوائي بكفاءة. ومن خلال إثبات أن نمذجة التبعية داخل الكتلة والتدريب المتوافق مع القبول يكملان بعضهما البعض، يوضح المؤلفون أنه من الممكن تحقيق معدلات قبول عالية في سيناريوهات فك التشفير المتنوعة وغير الجشعة دون التضحية بالكفاءة المتوازية التي تجعل فك التشفير الاستقصائي جذاباً.

يشير المؤلفون بتواضع إلى أنه بينما ليس لـ "البديل" (surrogate loss) الخاص بهم مقدر غير متحيز رسمي أو حد أدنى، إلا أنه يعمل كإشارة تدريب عملية وفعالة. كما يقرون بأن العلاقة بين الخليط الناعم المستخدم أثناء التدريب وفك تشفير الفرع الجشع المستخدم أثناء الاستنتاج تظل مجالاً مفتوحاً للتوصيف الرسمي، رغم أن نتائجهم التجريبية تظهر انتقالاً فعالاً. يشير العمل إلى أن أنظمة فك التشفير الاستقصائي المستقبلية لتوليد النصوص المفتوحة يجب أن تتجاوز التنبؤ بالرموز المستقلة لالتقاط التماسك الهيكلي للتسلسلات المستقبلية.