💻 computer science

Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

تقترح الورقة البحثية Domino، وهو إطار عمل للفك التشفير الاستنتاجي (speculative decoding) يعمل على فصل نمذجة الاعتماد السببي عن المسودة ذات التوليد الذاتي (autoregressive drafting) عبر الجمع بين هيكل خلفي متوازٍ ورأس تنقيح خفيف الوزن ومنهج تدريبي مرتكز على النموذج الأساسي، محققاً تسريعاً في الإنتاجية يصل إلى 5.8 ضعفاً على نماذج Qwen3.

المؤلفون الأصليون: Jianuo Huang, Yaojie Zhang, Qituan Zhang, Hao Lin, Hanlin Xu, Linfeng Zhang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jianuo Huang, Yaojie Zhang, Qituan Zhang, Hao Lin, Hanlin Xu, Linfeng Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تخمين الكلمة التالية في قصة، لكنك تفعل ذلك بقاعدة صارمة وبطيئة للغاية: يجب عليك التفكير في كلمة واحدة، ثم كتابتها، ثم التأكد من صحتها، وبعد ذلك فقط تفكر في الكلمة التالية. هكذا تعمل نماذج الذكاء الاصطناعي اللغوية الكبيرة (LLMs) الحالية عادةً. هذا الأسلوب دقيق، لكنه يشبه المشي عبر غرفة مزدحمة خطوة بخطوة، رغم وجود فريق فائق السرعة من العدائين المستعدين للانطلاق بسرعة.

تقدم الورقة البحثية طريقة جديدة تسمى Domino لجعل هذه العملية أسرع بكثير. إليك كيف تعمل باستخدام تشبيهات بسيطة:

المشكلة: فخ "السرعة مقابل الدقة"

لزيال السرعة، يستخدم الباحثون خدعة تسمى التوليد الاستدلالي (Speculative Decoding). فكر في الأمر كأنه "فريق مسودة" (ذكاء اصطناعي أصغر وأسرع) يخمن الكلمات القليلة التالية لـ "المدير الرئيسي" (الذكاء الاصطناعي الكبير والبطيء) ليقوم بمراجعتها.

الطريقة القديمة (التوليد التتابعي - Autoregressive): يقوم فريق المسودة بتخمين كلمة واحدة، ثم الكلمة التالية، ثم التي تليها، واحدة تلو الأخرى. هذه الطريقة دقيقة جداً لأنهم يستطيعون رؤية الكلمة السابقة قبل تخمين الكلمة التالية. لكنها لا تزال بطيئة لأن عليهم الانتظار بعد كل خطوة.
الطريقة "المتوازية": يقوم فريق المسودة بتخمين كل الكلمات التالية دفعة واحدة، مثل رمي حفنة من الأوراق على الطاولة. هذه الطريقة سريعة جداً، لكن التخمينات غالباً ما تكون فوضوية أو خاطئة لأنهم لم ينظروا إلى بعضهم البعض أولاً.

تقول الورقة البحثية: لماذا لا نحصل على سرعة "حفنة الأوراق" ولكن بدقة طريقة "واحدة تلو الأخرى"؟

الحل: إطار عمل Domino

ابتكر المؤلفون Domino، الذي يقسم المهمة إلى جزئين للحصول على أفضل ما في العالمين.

1. العمود الفقري المتوازي (المسودة الأولية)

أولاً، يستخدم Domino محركاً متوازياً سريعاً لإنتاج "مسودة أولية" للكلمات القليلة التالية دفعة واحدة.

التشبيه: تخيل طباخاً يلقي بمجموعة من المكونات بسرعة على لوح التقطيع دون تقطيعها بعد. العملية سريعة، لكن المكونات ليست في الترتيب أو الشكل الصحيح.

2. رأس دومينو (المُحسّن خفيف الوزن)

هذا هو الجزء السحري. بدلاً من إعادة عملية الطبخ بأكملها (وهو أمر بطيء)، يضيف Domino أداة متخصصة وصغيرة تسمى رأس دومينو (Domino Head).

التشبيه: تخيل مساعد طباخ ينظر بسرعة إلى كومة المكونات. هو لا يطبخ الوجبة بأكملها مرة أخرى؛ بل يقوم فقط بإجراء تعديلات دقيقة وصغيرة على ترتيب وشكل المكونات بناءً على ما سبقها.
كيف يعمل: "رأس دومينو" هو نظام "سببي" (causal)، مما يعني أنه يفهم أن الكلمة (ب) تعتمد على الكلمة (أ). يأخذ المسودة الأولية ويضيف "تصحيحاً" بسيطاً لضمان تدفق الكلمات بشكل منطقي، دون الحاجة إلى الانتظار للعملية البطيئة خطوة بخطوة.

خدعة التدريب: "إجبار المعلم" (Teacher Forcing)

لتعليم هذا النظام، استخدم المؤلفون طريقة تدريب ذكية.

المشكلة: إذا تركت الذكاء الاصطناعي يتدرب من خلال تخمين أخطائه الخاصة، فسيصاب بالارتباك ويتعلم عادات سيئة.
الحل: استخدموا "إجبار المعلم" (Teacher Forcing). تخيل معلماً يرفع الأوراق الصحيحة ليراها الطالب أثناء ممارسته لعمليات التصحيح. هذا يضمن أن يتعلم الذكاء الاصطناعي تصحيح المسودة بناءً على السياق الصحيح، وليس بناءً على أخطائه الخاصة.
المنهج التعليمي: قاموا أيضاً بتعليمه على مراحل. أولاً، تأكدوا من أن "العمود الفقري المتوازي" (المسودة الأولية) قوي. ثم سمحوا لـ "المُحسّن" (رأس دومينو) تدريجياً بتولي مهمة الضبط الدقيق. هذا منع الذكاء الاصطناعي من الاعتماد المفرط على المُحسن ونسيان كيفية إنشاء مسودة أولية جيدة في المقام الأول.

النتائج: سرعة أكبر دون فقدان الجودة

اختبرت الورقة البحثية هذا النظام على نماذج ذكاء اصطناعي قوية (Qwen3) ووجدت أن:

السرعة: هو أسرع بكثير من الطرق السابقة. في بعض المهام، كان أسرع بنحو 8 مرات من الطريقة القياسية المتبعة.
الكفاءة: نجح في الحفاظ على "معدل القبول" مرتفعاً (بمعنى أن المدير الرئيسي يوافق على تخمينات فريق المسودة في معظم الأوقات) مع الحفاظ على تكلفة التوليد منخفضة.
المقارنة: تفوق على الطرق السريعة الأخرى (مثل DFlash) والطرق الدقيقة الأخرى (مثل EAGLE) من خلال الجمع بين نقاط قوتهما.

الملخص

Domino يشبه توظيف فريق سريع لتخمين الكلمات القليلة التالية من قصة دفعة واحدة، ولكن مع إضافة محرر ذكي وصغير يقوم بسرعة بتصحيح المنطق والتدفق قبل أن يتحقق المدير النهائي من العمل. هذا يسمح للذكاء الاصطناعي بالعمل بسرعة العدو (السباق) مع الحفاظ على دقة المشي المتأني.

ملخص تقني: Domino

بيان المشكلة

يعمل فك التشفير الاستنباطي (Speculative Decoding) على تسريع استنتاج النماذج اللغوية الكبيرة (LLM) باستخدام نموذج مسودة خفيف الوزن لاقتراح عدة رموز (tokens) مستقبلية، والتي يتم التحقق منها بالتوازي بواسطة النموذج المستهدف. وتخضع فعالية هذا النهج لمقايضة جوهرية بين جودة المسودة وتكلفة المسودة:

المسودة ذات الترتيب الذاتي (مثل سلسلة EAGLE): تولد هذه الطرق رموز المسودة بشكل متسلسل، حيث تنمذج التبعيات السببية صراحةً داخل كتلة المسودة. يؤدي هذا إلى مسودات عالية الجودة وأطوال قبول طويلة. ومع ذلك، فإن توليد $k$ من الرموز يتطلب $k$ من عمليات المرور الأمامي المتسلسلة و $k$ من عمليات إسقاط رأس النموذج (LM-head projections) لكامل المفردات، مما يسبب عبئاً تسلسلياً كبيراً يحد من سرعة التسريع.
المسودة المتوازية (مثل DFlash): تولد هذه الطرق كتلة المسودة بأكملها في تمريرة أمامية واحدة، مما يلغي العبء المتسلسل ويعظم الاستفادة من وحدة معالجة الرسومات (GPU). ومع ذلك، من خلال إزالة التبعيات المتسلسلة، تضعف النمذجة السببية داخل الكتلة، مما يؤدي غالباً إلى أطوال قبول أقل مقارنة بالطرق ذات الترتيب الذاتي.

تعاني النهج الحالية من صعوبة في موازنة هذه العوامل. إن تقليل تكاليف إسقاط المفردات (مثل FR-Spec) أو استخدام التحقق القائم على الأشجار لا يحل تماماً التوتر بين التكلفة المتسلسلة للنمذجة السببية وفقدان الجودة الناتج عن التوليد المتوازي. السؤال المركزي الذي تعالجه الورقة هو: هل يمكننا الاحتفاظ بفوائد جودة المسودة الناتجة عن النمذجة السببية مع الحفاظ على كفاءة التوليد المتوازي منخفض التكلفة؟

المنهجية: Domino

يقترح المؤلفون Domino، وهو إطار عمل لفك التشفير الاستنباطي يفصل بين نمذجة التبعية السببية وبين التنفيذ المتسلسل المكلف للمسودة. تتكون البنية من مكونين رئيسيين:

1. العمود الفقري للمسودة المتوازية (Parallel Draft Backbone)

يستخدم Domino عموداً فقرياً للمسودة متوازياً (يتم تجسيده عبر بنية DFlash) لتوليد توزيعات مسودة أولية لكتلة المسودة بأكملها في تمريرة أمامية واحدة غير ذات ترتيب ذاتي.

المدخلات: يأخذ العمود الفقري ميزات سياق النموذج المستهدف من البادئة التي تم التحقق منها وكتلة مسودة مقنعة (تحتوي على آخر رمز تم التحقق منه متبوعاً برموز [MASK]).
المخرجات: ينتج حالات خفية (hidden states) للكتلة بأكملها، والتي يتم حساب لوغاريتمات الأساس ( $L^{base}_i$ ) منها باستخدام رأس نموذج لغوي (LM head) مجمد.

2. رأس دومينو (Domino Head) - (تصحيح سببي خفيف الوزن)

لإعادة إدخال المعلومات السببية دون تنفيذ متسلسل، يطبق Domino رأساً تصحيحياً خفيف الوزن فوق لوغاريتمات الأساس المتوازية. يعمل هذا الرأس بشكل متسلسل ولكنه منخفض التكلفة حسابياً:

المشفر السببي (Causal Encoder): لكل موضع مسودة $i$ ، يقوم نظام GRU خفيف الوزن بتلخيص تضمينات (embeddings) الرموز السابقة (أو الرموز الحقيقية أثناء التدريب) في حالة سببية $S_{i-1}$ . تلتقط هذه الحالة المعلومات المعتمدة على البادئة دون استدعاء نموذج كامل ذي ترتيب ذاتي.
رأس التصحيح منخفض الرتبة (Low-Rank Correction Head): يحسب الرأس تصحيحاً متبقياً (residual correction) في فضاء اللوغاريتمات باستخدام عنق زجاجة منخفض الرتبة. يقوم بدمج الحالة الخفية الأساسية $H_i$ والحالة السببية $S_{i-1}$ ، ثم يسقطهما في فضاء منخفض الرتبة (البعد $r=256$ )، ويعيدهما إلى فضاء المفردات لإنتاج لوغاريتمات التصحيح $\Delta L_i$ .
اللوغاريتمات النهائية: يتم حساب لوغاريتمات المسودة النهائية عبر $L_i = L^{base}_i + \Delta L_i$ . يتم أخذ عينات من هذا التوزيع المنقح.

من الأهمية بمكان أن التصحيح يتم تطبيقه في فضاء اللوغاريتمات وليس في الفضاء الخفي. وهذا يتجنب الحاجة إلى إعادة تشغيل رأس النموذج اللغوي الكامل بعد كل تحديث سببي، مما يبقي الحساب الأساسي متوازياً ويحصر الفرع المتسلسل في تحديث متبقٍ منخفض الرتبة.

استراتيجية التدريب

لتحقيق استقرار التدريب ومنع فرع التصحيح من "اختصار" الطريق على العمود الفقري، قدم المؤلفون استراتيجيتين رئيسيتين:

التشفير السببي القائم على المعلم (Teacher-Forced Causal Encoding): على عكس الطرق التي تستخدم البادئات المولدة ذاتياً (Testing-Time Training)، يقوم Domino بتغذية المشفر السببي بتضمينات الرموز الحقيقية (ground-truth). هذا يوائم توزيع التدريب مع آلية قبول فك التشفير الاستنباطي، حيث لا تهم التصحيحات إلا عندما يتم التحقق من صحة الرموز السابقة.
المنهج التعليمي المرتكز على الأساس (Base-Anchored Curriculum): لمنع العمود الفقري المتوازي من الانهيار (أي أن يصبح ضعيفاً لأن فرع التصحيح يعوض النقص)، فإن خسارة التدريب هي مجموع مرجح لخسارة لوغاريتمات الأساس وخسارة اللوغاريتمات النهائية. يتم تقليل الوزن $\lambda_t$ خطياً من 1 إلى 0، مما يجبر العمود الفقري في البداية على تعلم توزيع أساس قوي قبل الانتقال تدريجياً نحو تحسين التوزيع المصحح النهائي.

المساهمات الرئيسية

فصل النمذجة السببية عن التنفيذ: يفصل Domino بين نمذجة التبعيات السببية وبين التكلفة التنفيذية للخطوات ذات الترتيب الذاتي، مما يسمح بالتحسين السببي دون زمن انتقال متسلسل.
التصحيح السببي خفيف الوزن: من خلال استخدام مشفر GRU وعنق زجاجة منخفض الرتبة في فضاء اللغاريتمات، يضخ Domino معلومات تعتمد على البادئة مع حد أدنى من زيادة المعلمات (إضافة حوالي 5.3% فقط من المعلمات للعمود الفقري) وزمن انتقال ضئيل جداً.
منهج تعليمي مستقر: يمنع إدخال التشفير القائم على المعلم (Teacher Forcing) مع خسارة المنهج المرتكز على الأساس انهيار العمود الفقري ويضمن تعلمًا قوياً لكل من التوزيع الأساسي المتوازي والتصحيحات السببية.

النتائج التجريبية

أُجريت التجارب على نماذج Qwen3-4B و Qwen3-8B عبر اختبارات الاستدلال الرياضي (GSM8K, MATH, AIME25)، وتوليد الكود (HumanEval, MBPP, LiveCodeBench)، والحوار (MT-Bench, Alpaca).

التسريع من النهاية إلى النهاية: تحت خلفية Transformers، يحقق Domino تسريعاً يصل إلى 5.49× على Qwen3-8B (التحليل الجشع/greedy decoding)، متفوقاً على DFlash (4.66×) و EAGLE-3 (2.26×). وفي اختبار GSM8K تحديداً، يصل إلى تسريع قدره 7.92×.
طول القبول: يحسن Domino متوسط طول القبول بشكل كبير مقارنة بالنماذج المتوازية (على سبيل المثال، الارتفاع من 6.59 إلى 10.03 في Qwen3-8B لاختبار GSM8K)، مما يقلص الفجوة مع الطرق ذات الترتيب الذاتي مع الحفاظ على الكفاءة المتوازية.
الإنتاجية عالية التزامن: باستخدام SGLang، يظهر Domino إنتاجية فائقة عبر مستويات تزامنية متفاوتة (من 2 إلى 32 طلباً)، محققاً تسريعاً في الإنتاجية يصل إلى 5.8× مقارنة بالتحليل ذي الترتيب الذاتي.
دراسات الاستئصال (Ablation Studies):
- إزالة رأس Domino يقلل متوسط التسريع من 3.31× إلى 2.84×، مما يؤكد فعالية التصحيح السببي.
- استخدام التشفير القائم على المعلم بدلاً من الاختبار وقت التدريب يحسن طول القبول (من 3.80 إلى 3.96).
- المنهج المرتكز على الأساس يعزز طول القبول بشكل أكبر (من 3.96 إلى 4.19) ويمنع انهيار خسارة العمود الفقري.

الأهمية

تزعم الورقة أن Domino يثبت أن المعلومات السببية يمكن إعادة إدخالها بفعالية في المسودة المتوازية لتحقيق استنتاج أسرع للنماذج اللغوية الكبيرة. من خلال فصل نمذجة التبعيات عن تكلفة التنفيذ، يحقق Domino توازناً متفوقاً بين جودة المسودة وعبء المسودة. تشير النتائج إلى أن التصحيح السببي خفيف الوزن هو مسار قابل للتطبيق للتغلب على قيود استراتيجيات فك التشفير الاستنباطي ذات الترتيب الذاتي أو المتوازية البحتة، مما يقدم حلاً عملياً لتسريع خدمة النماذج اللغوية الكبيرة دون المساس بدقة توزيع المخرجات.