🤖 machine learning

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

تقدم هذه الورقة البحثية "فك التشفير الطيفي التبايني" (Variational Speculative Decoding - VSD)، وهو إطار عمل مبتكر يعيد صياغة تدريب المسودة كاستدلال تبايني لتعظيم قبول تسلسل النموذج المستهدف، محققاً بذلك تسريعاً كبيراً في عملية الاستنتاج مقارنة بالطرق الحالية من خلال معالجة التفاوت بين التدريب وفك التشفير عبر إجراء "توقع-تعظيم" (Expectation-Maximization) مع أوزان تنظيمية وتكيفية.

المؤلفون الأصليون: Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

نُشر 2026-08-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يكتب قصة. هذا الروبوت، المعروف باسم "النموذج اللغوي الكبير" (LLM)، موهوب للغاية ولكنه بطيء للغاية. إنه يعمل مثل شخص يكتب جملة كلمة بكلمة، ويتوقف بعد كل كلمة يتلوها تفكير فيما سيأتي لاحقاً. عملية "التوقف والتفكير" هذه آمنة ودقيقة، لكنها تجعل الروبوت يشعر وكأنه يخوض في دبس (مادة لزجة).

لتسريع العملية، اخترع العلماء حيلة ذكية تسمى "الترميز التخميني" (speculative decoding). فكر في الأمر كفريق من شخصين: مساعد جونيور سريع ونشيط ("نموذج المسودة")، ومشرف حكيم وبطيء ("النموذج المستهدف"). يحاول المساعد الجونيور تخمين الكلمات القليلة التالية من القصة بسرعة كبيرة. ثم يقوم المشرف بالتحقق من هذه التخمينات. إذا كانت التخمينات صحيحة، يقبل الروبوتها جميعاً دفعة واحدة، متجاوزاً وقت "التفكير" البطيء. وإذا كان التخمين خاطئاً، يقوم المشرف بتصحيحه، ثم يحاولون مرة أخرى. الهدف هو جعل المساعد الجونيور يخمن سلاسل طويلة وصحيحة من الكلمات حتى يتمكن المشرف من الموافقة عليها في دفعات كبيرة، مما يجعل العملية تطير.

ومع ذلك، هناك عقبة. عادة ما يتم تدريب المساعد الجونيور عبر إظهار الإجابة "المثالية" له ومطالبته بحفظ ذلك المسار الوحيد. لكن في اللعبة الحقيقية، لا ينظر المشرف إلى مسار واحد مثالي فحسب؛ بل ينظر إلى "شجرة" كاملة من الاحتمالات، ويختار أفضلها من بين حشد. لقد تبين أن تدريب المساعد على اتباع مسار مستقيم واحد فقط يجعله سيئاً في تخمين المسار "الصحيح" عندما يكون المشرف في الواقع ينظر إلى غابة كاملة من الخيارات. هذا التباين بين كيفية تدريب المساعد وبين كيفية لعبه الفعلي قد أعاق سرعة هذه الروبوتات الذكية.

الفكرة الكبرى للورقة البحثية: طريقة جديدة لتدريب المساعد

في هذه الورقة، يقترح الباحثون طريقة تدريب جديدة تسمى "الترميز التخميني التبايني" (Variational Speculative Decoding - VSD). لقد أدركوا أن الطريقة القديمة لتدريب نموذج المسودة كانت تشبه تعليم سائق سيارة سباق أن يقود فقط على مسار واحد مستقيم، بينما السباق الفعلي يتضمن التنقل في مسار معقد ومتعرج مع العديد من المنعطفات المحتملة.

المشكلة في الطريقة القديمة
يوضح المؤلفون أن الأساليب الحالية تدرب نموذج المسودة ليكون "جشعاً" (greedy). وهذا يعني أنه يتم تعليم النموذج دائماً اختيار الكلمة التالية الأكثر احتمالاً، مما يخلق خطاً واحداً مستقيماً من النص. لكن خلال اللعبة الفعلية، لا يفحص النظام خطاً واحداً فقط؛ بل يولد "شجرة" من مجموعات الكلمات المختلفة المحتملة ثم يختار أفضلها. وتظهر الورقة أن هذا يخلق تبايناً: فالنموذج مدرب ليكون مثالياً في مسار واحد محدد، لكن اللعبة تتطلب منه أن يكون جيداً في مسارات عديدة مختلفة. في الواقع، أظهرت تجاربهم أن المسار "المثالي" الذي تدرب عليه النموذج يتم التخلص منه في حوالي 30% من الوقت أثناء اللعبة لأنه لم يكن في الواقع الخيار الأفضل من بين الخيارات العديدة.

الحل الجديد: التعلم من الغابة بأكملها
تغير VSD قواعد التدريب. فبدلاً من مجرد حفظ خط مستقيم واحد، تعامل الطريقة الجديدة نموذج المسودة كمسألة "استدلال تبايني" (variational inference). وباللغة البسيطة، هذا يعني أن النموذج يتعلم فهم الغابة بأكملها من الاحتمالات، وليس مجرد شجرة واحدة. إنه يتعلم تخمين مجموعة من المسارات التي من المرجح أن يقبلها المشرف، بدلاً من مجرد تخمين الكلمة "الأفضل" الواحدة.

وللقيام بذلك، يستخدم الباحثون عملية من خطوتين (تسمى إجراء توقع-تعظيم أو Expectation-Maximization):

مرحلة التخمين (E-step): يولد النموذج العديد من مسارات القصة المختلفة الممكنة. يقوم "أوراكل" خاص (فلتر ذكي) بفحص هذه المسارات ويحتفظ بتلك التي تبدو وكأنها ستجتاز اختبار المشرف، بينما يستبعد السيئة منها.
مرحلة التعلم (M-step): يتعلم النموذج من هذه المسارات "المحتفظ بها". ولكن هنا تكمصر المفاجأة: أضاف الباحثون أداتين خاصتين لجعل التعلم مستقراً وذكياً.
- الترجيح التكيفي للرفض (ARW): يعمل هذا مثل مدرب يعرف متى يعاني الطالب. إذا كان النموذج يرتكب الكثير من التخمينات السيئة، يتجاهل المدرب الضجيج ويركز على التخمينات الجيدة القليلة. وإذا كان النموذج يؤدي بشكل جيد، فإن المدرب ينتبه للأخطاء لمساعدته على التحسن بشكل أسرع.
- التنظيم المدرك للثقة (CAR): يمنع هذا الأداة النموذج من أن يكون "مفرط الثقة". إذا كان النموذج متأكداً بنسبة 99% من تخمين خاطئ، فإن هذه الأداة تفرض عليه عقوبة كبيرة. إنها تعلمه أن يكون متواضعاً ويستكشف خيارات أخرى بدلاً من التمسك بعناد بفكرة خاطئة.

ماذا وجدوا؟
اختبر الباحثون هذه الطالة الجديدة على عدة نماذج ذكاء اصطناعي مختلفة، بما في ذلك نماذج النصوص فقط (مثل LLaMA) والنماذج التي يمكنها رؤية الصور (مثل LLaVA). ووجدوا أن VSD جعلت الذكاء الاصطناعي أسرع باستمرار دون أن تجعله أقل ذكاءً.

السرعة: في نماذج النصوص، جعلت VSD الذكاء الاصطناعي أسرع بنسبة تصل إلى 9.6% من أفضل طريقة سابقة (EAGLE-3).
القبول: تمكن "المساعد" من الحصول على عدد أكبر من الكلمات المعتمدة دفعة واحدة. في المتوسط، تم قبول 6 إلى 7 توكنات (قطع نصية) في المرة الواحدة، مقارنة بـ 5 إلى 6 توكنات في الطرق القديمة.
سحر تعدد الوسائط: نجحت الطريقة بنفس القدر مع نماذج الصور والنصوص، حيث حسنت السرعة بنسبة 7.9% مقارنة بأفضل طريقة موجودة لتلك النماذج (ViSpec).

لماذا يهم هذا؟
تثبت الورقة البحثية أن تغيير كيفية تدريب "المساعد" ليفكر في اللعبة بأكملها بدلاً من مجرد حركة واحدة، يمكن أن يسرع الذكاء الاصطناعي بشكل كبير. يوضح المؤلفون رياضياً أن طريقتهم تضمن تحسين "طول القبول المتوقع" (عدد الكلمات التي تتم الموافقة عليها في المرة الواحدة). هم لم يخمنوا ذلك فحسب؛ بل قاموا بقياسه عبر مهام عديدة مختلفة، من كتابة الأكواد البرمجية إلى حل المسائل الرياضية والإجابة على الأسئلة المتعلقة بالصور.

باختصار، تعالج VSD خلل التدريب عبر تعليم نموذج المسودة كيف يكون مستكشفاً أفضل للاحتمالات، مما يضمن أنه عندما يقوم بتخمين ما، يكون تخميناً من المرجح أن يقبله المشرف بالفعل. وهذا يجعل الذكاء الاصطناعي يبدو أقل شبهاً بمن يخوض في الدبس وأكثر شبهاً بمن يركض بسرعة البرق.

ملخص تقني: فك التشفير التخميني التبايني (VSD)

1. بيان المشكلة: التفاوت التوزيعي بين التدريب وفك التشفير

تعمل طرق فك التشفير التخميني الحالية على تسريع استنتاج النماذج اللغوية الكبيرة (LLM) والنماذج اللغوية الكبيرة متعددة الوسائط (MLLM) باستخدام نموذج مسودة خفيف الوزن لاقتراح الرموز (tokens)، والتي يقوم نموذج مستهدف بالتحقق منها بالتوازي. ومع ذلك، لا يزال هناك تفاوت جوهري بين التدريب وفك التشفير:

التدريب الحتمي مقابل فك التشفير العشوائي: تُدرب نماذج المسودة الحالية عادةً عبر "الإنتروبيا المتقاطعة" (cross-entropy) للتنبؤ بمسار رمز واحد "جشع" (greedy). في المقابل، يتضمن فك التشفير العملي استكشافاً عشوائياً متعدد المسارات (مثل الاستكشاف القائم على الأشجار)، وتصنيف المرشحين، والتحقق من مسارات متعددة.
احتمالية مستوى الرمز مقابل منفعة مستوى المسار: يعمل التدريب على تحسين احتمالية الرموز الفردية على طول مسار واحد. أما فك التشفير، فيتخذ القرارات على مستوى المسار، حيث تعتمد قيمة مسار المسودة على ثقته التراكمية وقدرته على البقاء أثناء عملية التحقق عبر تسلسل معين.
النتيجة: يؤدي التدريب القياسي إلى انهيار توزيع المسودة نحو مسار حتمي واحد. ويظهر التحليل التجريبي في الورقة أن حوالي 30% من المسارات الجشعة أثناء وقت التدريب يتم استبعادها أثناء بناء شجرة المسودة، والمسار المقبول النهائي يتوافق مع المسار الجشع في حوالي 36% فقط من الحالات. هذا عدم الاتساق يحد من سرعة الاستنتاج القابلة للتحقيق.

2. المنهجية: فك التشفير التخميني التبايني (VSD)

يقترح المؤلفون فك التشفير التخميني التبايني (VSD)، وهو إطار عمل يعيد صياغة تدريب المسودة كـ مشكلة استدلال تبايني فوق مسارات المسودة الكامنة.

2.1. الصياغة التباينية

يعامل VSD مسار المسودة $z$ كعرض مقترح كامن. الهدف هو تعظيم الاحتمالية الهامشية لأن يكون المسار صالحاً (أي مقبولاً من قبل النموذج المستهدف).

صلاحية مستوى المسار: بالنسبة لمسار المسودة $z = (z_1, \dots, z_\ell)$ ، تُعرف احتمالية الصلاحية $\kappa(x, z)$ بأنها الاحتمالية المشتركة لقبول جميع الرموز: $\kappa(x, z) = \prod_{i=1}^\ell \alpha_i(x, z_{<i})$ ، حيث $\alpha_i$ هي احتمالية قبول الرمز.
الحد الأدنى للأدلة (ELBO): اشتق المؤلفون حد ELBO للاحتمالية الهامشية للقبول، $\log Z_\theta(x)$ $lo g Z_{θ} (x)$ :
$\mathcal{L}_{VSD}(\psi; x) = \mathbb{E}_{z \sim q_\psi}[\log \kappa(x, z)] - D_{KL}(q_\psi(z|x) \parallel p_\theta(z|x))$
- يشجع الحد الأول نموذج المسودة على توليد مسارات ذات احتمالية قبول عالية (منفعة مستوى المسار).
- يعمل الحد الثاني (تباعد KL) كمنظم لإبقاء توزيع المسودة قريباً من توزيع النموذج المستهدف، مما يمنع الحلول المتدهورة.

2.2. التحسين عبر توقع-تعظيم (EM)

بما أن التوزيع اللاحق للمسارات الصالحة غير قابل للحل حسابياً، يقوم VSD بتحسين ELBO باستخدام إجراء EM قائم على محاكاة مونت كارلو:

خطوة التوقع (E-Step - أخذ العينات المفلترة بواسطة الأوراكل): يولد نموذج المسودة دفعة من المسارات المرشحة. يقوم "أوراكل" (بناءً على المسار الجشع للنموذج المستهدف) بتصفية هذه المرشحين، والاحتفاظ بالمسارات ذات المنفعة العالية واستبدال المسارات المرفوضة بعينات تصحيحية من سياسة الهدف. هذا يبني تقريباً تجريبياً للتوزيع اللاحق للمسارات الصالحة.
خطوة التعظيم (M-Step - تعظيم الاحتمالية الموزونة): يتم تحديث معاملات نموذج المسودة لتعظيم احتمالية العينات المقبولة من خطوة E. ولضمان الاستقرار والكفاءة، تم إدخال آليتين:
1. الوزن التكيفي للرفض (ARW): معامل متغير تحكم يعيد وزن العينات المرفوضة ديناميكياً بناءً على موثوقية نموذج المسودة الحالية. هذا يقلل من تباين التدرج، مما يمنع التحديثات غير المستقرة عندما يكون نموذج المسودة ضعيفاً.
2. التنظيم المدرك للثقة (CAR): يعاقب نموذج المسودة على تخصيص ثقة عالية للمسارات غير الصالحة (تنقيب عن السلبيات الصعبة). يعيد هذا المعامل وزن المقترحات المرفوضة بناءً على ثقة نموذج المسودة، مما يثبط الأخطاء المفرطة في الثقة التي تزيد من تكاليف التحقق.

3. المساهمات الرئيسية

إطار عمل مبتكر: يعد VSD أول إطار عمل يعالج صراحةً التفاوت التوزيعي بين التدريب وفك التشفير من خلال صياغة تدريب المسودة كاستدلال تبايني فوق المسارات الكامنة، بدلاً من التنبؤ بالرمز الفردي.
الضمانات النظرية:
- النظرية 1: تثبت أن تعظيم هدف VSD يزيد من الحد الأدنى القابل للإثبات لطول القبول المتوقع.
- النظرية 2: توضح أن VSD يوفر حداً أدنى أضيق للقبول المتوقع مقارنة بالتدريب التقليدي القائم على KL فقط (الذي يقلل فقط من $D_{KL}(q_\psi \parallel p_\theta)$ ).
- النظرية 3: تحدد التوزيع الأمثل للمسودة في كل خطوة EM باعتباره التوزيع اللاحي للمسار الصالح على مستوى الخطوة.
الابتكارات الخوارزمية: دمج ARW و CAR يعمل على استقرار تدريب أهداف مستوى المسار، مما يدير التباين العالي المتأصل في أخذ عينات مونت كارلو لأشجار المسودة.

4. النتائج التجريبية

قيم المؤلفون VSD عبر نماذج لغوية متنوعة (LLaMA-3.1/3.3, Vicuna, DeepSeek-R1) ونماذج لغوية متعددة الوسائط (LLaVA-1.5) على اختبارات تشمل MT-Bench، وHumanEval، وGSM8K، ومهام بصرية متنوعة (VQAv2، ChartQA، إلخ).

مكاسب الأداء:
- النماذج اللغوية (LLMs): يحقق VSD تسريعاً يصل إلى 9.6% مقارنة بـ EAGLE-3 المتطور، ويحسن طول القبول بنسبة 7.6% في المتوسط.
- النماذج متعددة الوسائط (MLLMs): يحقق VSD تسريعاً يصل إلى 7.9% مقارنة بأفضل خط أساس ViSpec، ويحسن طول القبول بنسبة 7.9%.
التوافق: VSD نموذجي ويمكن تطبيقه لتعزيز الطرق الموجودة (مثل EAGLE-3، وMSD، وViSpec، وGRIFFIN، وHASS)، مما يحقق تحسينات متسقة بغض النظر عن بنية المسودة الأساسية.
دراسات الاستئصال (Ablation Studies):
- زيادة عدد المقترحات الكامنة ( $S$ ) يحسن الأداء باستمرار، مما يؤكد قدرة VSD على الاستفادة من الاستكشاف متعدد المسارات.
- يساهم كل من ARW و CAR بشكل كبير في الأداء؛ حيث يؤدي إزالتهما إلى تقليل التسريع وطول القبول بسبب ارتفاع التباين والأخطاء المفرطة في الثقة.
- يظهر VSD مكاسب نسبية أكبر في المهام التي تتطلب اتساقاً طويل الأمد (مثل توليد الكود، والاستدلال الرياضي) وعندما يكون معدل القبول الجشع الأساسي منخفضاً.

5. الأهمية والادعاءات

تدعي الورقة أن VSD يمثل تحولاً مبدئياً في تدريب فك التشفير التخميني. من خلال الانتقال من احتمالية مستوى الرمز إلى قبول التسلسل، يربط VBD هدف نموذج المسودة بعملية فك التشفير الفعلية (التحقق متعدد المسارات).

المواءمة النظرية: يضع العمل رابطاً رياضياً مباشراً بين الحد التبايني والتسريع الفعلي (wall-clock speedup)، مما يضمن نظرياً تحسين الكفاءة مقارنة بالتدريب التقليدي القائم على مستوى الرمز.
الأثر العملي: تظهر النتائج أن VSD هو تحسين تكميلي يمكن دمجه مباشرةً لزيادة كفاءة الاستنتاج بشكل كبير لكل من النماذج النصية ومتعددة الوسائط دون المساس بجودة المخرجات (بدون فقدان للمعلومات).
القيود: أشار المؤلفون إلى أن توسيع عدد المقترحات الكامنة ( $S$ ) لما فوق 40 مقترحاً مقيد حوسبياً في إعدادهم الحالي، رغم توقعهم لمزيد من المكاسب مع $S$ الأكبر. كما حددوا توسيع VSD ليشمل وسائط أخرى (مثل الكلام) كعمل مستقبلي.