🤖 AI

xPress: Parallel Refinement for Diffusion Drafters in Speculative Decoding

تقترح الورقة البحثية xPress، وهو مُنقٍّ سببي خفيف الوزن يستعيد التبعيات المفقودة في مسودات الانتشار الكتلي (block-diffusion) من خلال التنقيح المتوازي، مما يعزز طول القبول والإنتاجية الشاملة في فك التشفير التخميني بشكل كبير مقارنة بالطرق الحالية مثل dFlash.

المؤلفون الأصليون: Zheng Wang, Davis Wertheimer, Yu Chin Fabian Lim, Mudhakar Srivatsa, Raghu K. Ganti, Minjia Zhang, Naigang Wang

نُشر 2026-08-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zheng Wang, Davis Wertheimer, Yu Chin Fabian Lim, Mudhakar Srivatsa, Raghu K. Ganti, Minjia Zhang, Naigang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

السباق نحو التحدث بشكل أسرع: لماذا يحتاج الذكاء الاصطناعي إلى نظام مسودة أفضل؟

تخيل أنك تحاول كتابة قصة، ولكن لديك قاعدة صارمة: يمكنك كتابة كلمة واحدة فقط في كل مرة، ويجب عليك انتظار محرر فائق الذكاء ليفحص كلمتك قبل أن تتمكن من كتابة الكلمة التالية. هكذا تعمل معظم نماذج اللغة القوية للذكاء الاصطناعي اليوم. إنها دقيقة للغاية، لكنها بطيئة بشكل مؤلم لأنها تضطر إلى فحص كل كلمة على حدة. ولتسريع ذلك، اخترع العلماء حيلة تسمى "الترميز التخميني" (speculative decoding). فكر في الأمر كأنه مساعد سريع، وأقل حذرًا بقليل، يخمن الكلمات القليلة التالية من أجلك. إذا وافق المحرر فائق الذكاء على تخمينات المساعد، يمكنك كتابة كل تلك الكلمات دفعة واحدة، متجاوزًا وقت الانتظار.

المشكلة هي أن المساعد عادة ما يكون مندفعًا للغاية. فهو يخمن كلمات تبدو جيدة بمفردها ولكنها لا تتناسب جيدًا مع بعضها البعض في جملة، مثل طاهٍ يختار مكونات لذيذة ولكنه ينسى التحقق مما إذا كانت نكهاتها تتناسب معًا. مؤخرًا، تم ابتكار نوع جديد من المساعدين يسمى "المسود الـتوليدي" (diffusion drafter). وبدلاً من تخمين كلمة تلو الأخرى، يحاول تخمين كتلة كاملة من الكلمات دفعة واحدة، مثل إلقاء حفنة من قطع الأحجية (البازل) على الطاولة. هذا سريع للغاية، ولكن نظرًا لأنه يلقي بها جميعًا في وقت واحد، فإن القطع غالبًا لا تتصل ببعضها بشكل صحيح. ويضطر المحرر فائق الذكاء إلى رفض معظمها، مما يؤدي إلى إبطاء كل شيء مرة أخرى. السؤال الكبير الذي يسأله الباحثون هو: هل يمكننا الحفاظ على سرعة "المخمن الذي يرمي الكل دفعة واحدة" مع إصلاح الأخطاء حتى يقبل المحرر الكلمات بالفعل؟

دخول xPress: "المُحسِّن المتوازي" الذي يصلح الأحجية

يقدم هذا البحث حلاً ذكيًا يسمى xPress. أدرك المؤلفون، أثناء عملهم مع نماذج مثل Qwen3-8B، أنه بينما يبرع "المسود التوليدي" السريع في تخمين كتلة من الكلمات، فإنه يفتقر إلى القاعدة الحاسمة المتمثلة في أن الكلمات تعتمد على بعضها البعض (السببية/causality). على سبيل المثال، إذا كانت الكلمة الأولى هي "هي" (she)، فلا ينبغي أن تكون الكلمة التالية "يكونون" (are) حتى لو كانت "يكونون" كلمة شائعة في حد ذاتها. المسود التوليدي لا يعرف هذا لأنه يخمن كل شيء في آن واحد.

ولإصلاح ذلك، يعمل xPress كـ مُحسِّن سببي خفيف الوزن. تخيل أن المسود التوليدي ألقى حفنة من قطع الأحجية على الطاولة؛ x-Press هو يد ذكية وسريعة تنظر إلى كومة القطع بأكملها دفعة واحدة وتدفع القطع إلى ترتيبها الصحيح دون تفكيكها قطعة قطعة. وهو يفعل ذلك باستخدام تقنية تسمى فك تشفير جاكوبي (Jacobi decoding). فبدلاً من إصلاح قطعة الأحجية قطعة قطعة (وهو أمر بطيء)، ينظر xPress إلى الصورة بأكملها، ويجري تعديلاً سريعًا لكل قطعة في وقت واحد، ثم ينظر مرة أخرى. ويكرر دورة "النظر والتدقيق" هذه بضع مرات فقط (عادةً حوالي 4 إلى 6 مرات) حتى تستقر القطع في مكانها المثالي تمامًا.

النتائج مبهرة. فباستخدام xPress، يمكن للنظام قبول حوالي 30% أكثر من الكلمات المخمنة في المتوسط مقارنة بالمسود السريع الأصلي. وفي اختبارات محددة، مثل حل المسائل الرياضية، وصلت سرعة التسريع إلى 56%. وعند قياس السرعة الإجمالية لتحدث الذكاء الاصطناعي، جعل xPress العملية أسرع بمقدار 1.3 مرة في المتوسط، وما يصل إلى 1.7 مرة أسرع في أفضل الحالات، مقارنة بالطريقة الأصلية.

يجادل البحث صراحةً ضد طريقتين حاول فيهما الناس حل هذه المشكلة. تتضمن إحدى الطرق بناء "شجرة" ضخمة من التخمينات، وهي عملية معقدة ومكلفة للتشغيل. وتستخدم طريقة أخرى "رأس ماركوف" (Markov head) يقوم بإصلاح الكلمات واحدة تلو الأخرى في خط مستقيم صارم، وهي طريقة دقيقة ولكنها بطيئة لأنها تفقد ميزة السرعة الناتلة عن تخمين كل شيء دفعة واحدة. يظهر المؤلفون أن xPress يتفوق على كليهما: فهو أسرع من المُصلح البطيء الذي يعمل خطوة بخطوة، وأبسط من طريقة الشجرة المعقدة.

تؤكد الدراسة أن xPress يعمل من خلال حقن "المعلومات السببية" (القاعدة التي تنص على أن الكلمات تعتمد على الكلمات السابقة) مرة أخرى في النظام السريع دون إبطائه. لقد اختبروا ذلك على اختبارات الرياضيات، والبرمجة، والمحادثة، ووجدوا أن xPress يتفوق باستمرار على المنافسين. يشير البحث إلى أن هذا النهج هو تحسين مدروس وثابت يسمح للذكاء الاصطناعي بأن يكون سريعًا ودقيقًا في آن واحد، مما يثبت أنك لست مضطرًا للتضحية بالجودة من أجل السرعة إذا كان لديك الطريقة الصحيحة لتحسين تخميناتك.

ملخص تقني: xPress: الصقل المتوازي لمسودات الانتشار في فك التشفير الاستنباطي

1. بيان المشكلة

يعمل فك التشفير الاستنباطي (Speculative Decoding - SD) على تسريع التوليد التكراري عبر استخدام مسودة خفيفة الوزن لاقتراح الرموز (tokens) للتحقق منها بواسطة نموذج مستهدف أكبر. وبينما تعد المسودات التكرارية (Autoregressive Drafters) مثل (EAGLE) فعالة، إلا أنها تعاني من عبء تسلسلي عند توليد كتل طويلة. تعالج مسودات الانتشار الكتلي (Block-diffusion Drafters) مثل (dFlash) هذه المشكلة من خلال توليد كتلة كاملة من الرموز في تمريرة أمامية واحدة متوازية، مما يقلل بشكل كبير من زمن انتقال المسودة.

ومع ذلك، تمتلك مسودات الانتشار قيداً جوهرياً في الدقة: فهي تتنبأ بالرموز بناءً على التوزيعات الهامشية (marginal distributions) بدلاً من التوزيعات المشتركة (joint distributions). في عملية انتشار بمرور واحد، يتم أخذ عينة من الرمز $k$ دون اشتراط القيم المحققة للرموز من $1 $إلى$ k-1 $. يؤدي هذا النقص في السببية داخل الكتلة إلى تسلسلات تكون فيها الرموز الفردية محتملة محلياً ولكنها غير متماسكة كلياً (على سبيل المثال: عدم التوافق بين المبتدأ والخبر). أثناء التحقق، يرفض النموذج المستهدف هذه التسلسلات غير المتماسكة مبكراً، مما يحد بشدة من **طول القبول** ($ \tau$) ويبطل ميزة السرعة المحتملة للمسودة المتوازية.

تحاول الحلول الحالية، مثل المسودة القائمة على الأشجار (مثل PRESTO وDDTree)، التخفيف من ذلك عن طريق توسيع مساحة المرشحين إلى شجرة. ومع ذلك، فإن هذه الطرق مكلفة حاسوبياً، ومعقدة في الخدمة، وغالباً ما تحاول الالتفاف حول المشكلة عبر استهداف الاستدعاء (recall) بدلاً من إصلاح عدم التماسك السببي الجذري.

2. المنهجية: xPress

يقترح المؤلفون xPress، وهو مصلح سببي خفيف الوزن مصمم لاستعادة التبعيات السببية المفقودة في مسودات الانتشار دون العودة إلى حلقة تكرارية (autoregressive) بطيئة رمز تلو الآخر.

2.1 المفهوم الجوهري

يعمل xPress كـ "مصلح سببي" يأخذ مقترح الكتلة الأولي من مسودة الانتشار ويوفقه من خلال الصقل المتوازي. بدلاً من إعادة توليد الرموز تسلسلياً، يقوم xPress بحقن معلومات سببية في "اللوجيتس" (logits) الخاصة بمسودة الانتشار لتصحيح التوزيعات الهامشية.

2.2 البنية الهيكلية

المصلح هو وحدة خفيفة الوزن تضيف انحياز لوجيت ( $\delta_k$ ) مُتعلم إلى لوجيتس المسودة الأساسية ( $s_k$ ) عند كل موضع $k$ . تتكون البنية من أربع مراحل:

الدمج (Fuse): يسقط ثلاثة مدخلات في فضاء منخفض الرتبة ( $r=256$ $r = 256$ ):
- الحالة الخفية للمسودة عند كل موضع ( $h_k$ ).
- ملخص عالمي للكتلة ( $g$ ) يتم الحصول عليه عبر تجميع المتوسط (mean-pooling).
- تضمين (embedding) الرمز السابق المتوقع ( $x_{k-1}$ ).
الخلط (Mix): يطبق خلاطاً خطياً مثلثياً سفلياً صارماً ( $L$ ) عبر مواضع الكتلة. يسمح هذا للموضع $k$ بتجميع المعلومات من جميع الأسلاف ( $j \le k$ ) في عملية واحدة، مما يفرض بنية سببية دون حساب تسلسلي.
التحويل (Trans): شبكة عصبية متعددة الطبقات (MLP) متبقية في الفضاء منخفض الرتبة.
القراءة (Read): يسقط النتيجة مرة أخرى إلى حجم المفردات لإنتاج الانحياز $\delta_k$ .

اللوجيت النهائي المصقول هو $\ell_k = s_k + \delta_k$ .

2.3 الصقل المتوازي عبر فك تشفير جاقوبي (Jacobi Decoding)

المصلح السببي المباشر سيتطلب تمريرة تسلسلية من اليسار إلى اليمين، مما يعيد زمن الانتقال الذي يهدف xPress لتجنبه. لحل هذه المشكلة، يستخدم xPress فك تشفير جاقوبي:

التهيئة: يتم بدء الكتلة بالتنبؤات الجشعة الأولية للمسودة.
التكرار: يتم تحديث جميع المواضع آنياً وبشكل متوازٍ باستخدام الحالة الحالية للكتة كبادئة (prefix) للتكرار التالي.
التقارب: تتكرر العملية لعدد $K$ من التكرارات. نظرياً، بالنسبة لكتلة بحجم $B$ ، يتم الوصول إلى النقطة الثابتة التسلسلية في $B$ من التكرارات كحد أقصى. تجريبياً، وجد المؤلفون أن $K \approx 6$ تكرارات كافية لمطابقة طول القبول لفك تشفير تسلسلي كامل، لأن بذرة المسودة هي بالفعل تخمين عالي الجودة.

2.4 استراتيجية التدريب

يتم تدريب xPress بشكل مشترك مع مسودة الانتشار باستخدام دالة خسارة مركبة:

الإنتروبيا المتقاطعة (Cross-Entropy - فرض المعلم): تعظم احتمال الرمز الصحيح (ground-truth) بناءً على البادئة الصحيحة.
خسارة التباين الكلي (Total Variation Loss): تقلل المسافة بين التوزيع المصقول وتوزيع النموذج المستهدف، مما يحسن معدل القبول مباشرة.
خسارة الاتساق (Consistency Loss): خسارة مساعدة تُطبق على تمريرة أمامية ثانية حيث تكون المدخلات هي تنبؤات المسودة نفسها (الاشتراط الذاتي). هذا يربط توزيع التدريب بعملية جاقوبي في وقت الاستدلال، مما يمنع المصلح من الإفراط في التخصيص (overfitting) للبادئات الذهبية.
مرساة المسودة (Drafter Anchor): حد خسارة يُطبق على مخرجات المسودة الأساسية لضمان بقاء نموذج الانتشار الأساسي عالي الجودة.

3. المساهمات الرئيسية

حقن التبعية السببية: يقوم xPress بحقن المعلومات السببية في مسودات الانتشار باستخدام آلية دنيا (إسقاط منخفض الرتبة وخلاط مثلثي) تعمل على الحالات الخفية للمسودة، متجنباً الحاجة إلى زيادة كبيرة في المعلمات.
الصقل المتوازي: من خلال استخدام فك تشفير جاقوبي، يعالج xPress التبعيات السببية بالتوازي. إنه يحقق تأثير $B$ من الخطوات التكرارية المعتمدة باستخدام $K \ll B$ من التكرارات المتوازية فقط، مما يحافظ على مزايا السرعة للمسودة المتوازية.
مكاسب متسقة وشاملة: يحسن xPress بشكل كبير كلاً من طول القبول والقدرة الإنتاجية (throughput) دون تعديل عملية التحقق أو طلب مسودة أكبر.

4. النتائج التجريبية

أُجريت التجارب على Qwen3-8B باستخدام مسودة dFlash بكتلة-16 عبر سبعة معايير (الرياضيات: GSM8K، MATH-500، AIME25؛ البرمجة: HumanEval، MBPP، LiveCodeBench؛ الدردشة: MT-Bench).

طول القبول: يزيد xPress متوسط طول القبول بنسبة ~30% مقارنة بمسودة انتشار dFlash الأصلية.
- في حالة فك التشفير الجشع ( $T=0$ )، تتراوح المكاسب بين 18% إلى 56%.
- في حالة أخذ العينات ( $T=1$ )، تتراوح المكاسب بين 19% إلى 58%.
تسريع القدرة الإنتاجية (Throughput Speedup):
- الجشع ( $T=0$ ): يحقق xPress متوسط تسريع نهائي قدره 1.3× مقارنة بمسودة dFlash، مع ذروة تصل إلى 1.7× (مثلاً في GSM8K).
- أخذ العينات ( $T=1$ ): يتحسن التسريع ليصل إلى متوسط 1.46×، ويصل إلى 1.6×.
المقارنة مع المصلحات التسلسلية: عند مقارنته بـ رأس ماركوف (Markov head) (وهو مصلح سببي تسلسلي من DSpark)، يطابق xPress أو يتجاوز طول القبول الخاص به بينما يعمل بشكل أسرع بكثير.
- عند $K=4$ تكرارات جاقوبي، يطابق xPress دقة رأس ماركوف ولكنه يعمل بسرعة أكبر بـ 1.6× (379 ميكروثانية مقابل 601 ميكروثانية لكل كتلة).
- يتطلب رأس ماركوف 15 خطوة فك تشفير تسلسلي ثابتة، بينما يتقارب xPress في خطوات متوازية أقل.
القابلية للتوسع: في سيناريوهات الخدمة ذات الدفعات الكبيرة (vLLM، أحجام الدفعات 16 و32)، يحافظ xPress على ميزته. وبينما تتقلص مكاسب السرعة المطلقة مقارنة بالأساس التكراري (AR) مع نمو الدفعات (بسبب التحقق المعتمد على الحوسبة)، إلا أن xPress يتفوق باستمرار على مسودة dFlash العادية بمعدل 1.2–1.4× في القدرة الإنتاجية، مما يثبت بقاء فوائد المصلح تحت الضغط.

5. الأهمية والادعاءات

يزعم البحث أن xPress يعالج "عدم التطابق الجوهري" بين المسودة بالانتشار المتوازي والتحقق التسلسلي من خلال إصلاح التوزيع الهامشي نفسه بدلاً من توسيع مساحة البحث.

الكفاءة: يثبت xPress أن المعلومات السببية يمكن حقنها بتكلفة تقترب من الصفر بالنسبة لزمن انتقال المسودة. تكلفة الصقل هي جزء ضئيل من إجمالي وقت المسودة، والطبيعة المتوازية للصقل تتجنب عقوبات زمن الانتقال الناتجة عن التصحيح التسلسلي.
التعامد (Orthogonality): طريقة xPress متعامدة مع التحسينات الأخرى؛ حيث يمكن دمجها مع مسودات أكبر أو طرق التحقق القائمة على الأشجار، لأنها تحسن "اللوجيتس الأساسية" التي تعتمد عليها هذه الطرق.
العمومية: يشير المؤلفون إلى أن فلسفة التوفيق بين التنبؤات المتبادلة عبر بضع تكرارات متوازية قد تكون قابلة للتطبيق خارج نطاق فك التشفير الاستنباطي، وفي أي مكان تصدر فيه النماذج مخرجات مترابطة في آن واحد.

يخلص البحث إلى أن xPress ينجح في استعادة السببية المفقودة في مسودة الانتدار أحادية التمريرة، مما يسمح بسلاسل قبول أطول وقدرة إنتاجية أعلى دون التضحية بالكفاءة المتوازية التي تجعل مسودات الانتشار جذابة.