💻 computer science

Decoupled Contrastive Decoding via Expert-Aligned Drafting

تقدم هذه الورقة طريقة فك الارتباط في التشفير التبايني (DCD)، وهي طريقة تسرع عملية التشفير التبايني من خلال توظيف مسودة متوافقة مع الخبير لتقديم المقترحات مع الاحتفاظ بالنموذج الهاوي لعملية التحقق، مما يتجنب تدهور الأداء الناتج عن محاذاة المسودة مع الإشارة التباينية.

المؤلفون الأصليون: Zhixuan Liu, Zhichen Dong, Yuanfu Wang, Chao Yang

نُشر 2026-08-14

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhixuan Liu, Zhichen Dong, Yuanfu Wang, Chao Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول كتابة القصة المثالية، لكن لديك محرر صارم، وهو ذكي للغاية ولكنه بطيء جداً في الكلام. في كل مرة تريد فيها كتابة كلمة جديدة، عليك الانتظار حتى يفكر المحرر في الأمر، ويدققه، ثم ينطقه بصوت عالٍ. هكذا تعمل الأدمغة الحاسوبية القوية حالياً، والتي تُسمى "نماذج اللغات الكبيرة": فهي بارعة في الكتابة، لكنها بطيئة لأنها تضطر للتحقق من كل كلمة على حدة.

ولتسريع العملية، اخترع العلماء حيلة تسمى "الترميز التخميني" (Speculative Decoding). فكر في الأمر كمساعد سريع ونشيط يخمن الكلمات القليلة التالية لقصتك قبل أن تتاح للمحرر البطيء فرصة حتى للنظر فيها. يكتب المساعد جملة كاملة بسرعة، ثم يقوم المحرر البطيء فقط بالتحقق مما إذا كانت تخميناته صحيحة. إذا كانت كذلك، فهذا رائع! لقد وفرت الوقت. وإذا لم تكن كذلك، يقوم المحرر بتصحيح الخطأ. هذا يعمل بشكل مذهل في الكتابة العادية.

لكن هناك عقبة. فأحياناً، قد يختلق العقل الحاسوبي حقائق أو "يهلوس" بأشياء ليست حقيقية. ولإصلاح ذلك، يستخدم الباحثون تقنية تسمى "الترميز التبايني" (Contrastive Decoding). هذه التقنية تشبه امتلاك مساعد ثانٍ أقل ذكاءً ("هاوٍ") يميل لارتكاب الأخطاء. يقارن النظام بين تخمين المحرر الذكي وتخمين الهاوي؛ فإذا قال المحرر الذكي "نعم" والهاوي قال "لا"، يعرف النظام أنه يجب أن يثق في المحرر الذكي أكثر. إنه بمثابة شبكة أمان تجعل الكتابة أكثر دقة. ومع ذلك، فإن شبكة الأمان هذه مكلفة لأنها تتطلب تشغيل كل من المحرر الذكي والهاوي الأخرق لكل كلمة على حدة، مما يبطئ كل شيء مرة أخرى. كان السؤال الكبير هو: هل يمكننا الاحتفاظ بشبكة الأمان مع جعلها سريعة؟

هذه الورقة البحثية، بعنوان "الترميز التبايني المنفصل عبر المسودة المتوافقة مع الخبير" (Decoupled Contrastive Decoding via Expert-Aligned Drafting)، تغوص في تلك المشكلة تحديداً. أراد المؤلفون، وهم باحثون من جامعة شانغهاي جياوتونج ومختبر شانغهاي للذكاء الاصطناعي، معرفة ما إذا كان بإمكانهم جعل المساعد السريع أكثر ذكاءً من خلال تعليمه استخدام شبكة أمان "الهاوي" أثناء تخمينه. وتساءلوا: هل يجب أن يحاول المساعد السريع محاكة قواعد السلامة المعقدة أثناء الكتابة، أم يجب أن يكتب بأسرع ما يمكن ويترك عملية التحقق من السلامة لتحدث لاحقاً؟

اختبر الباحثون هذه الفكرة من خلال سلسلة من التجارب الذكية. حاولوا تدريب المساعد السريع على فهم إشارة "الهاوي" بشكل مباشر، آملين أن يصبح "خبيراً خارقاً في التخمين" يتجنب الأخطاء من تلقاء نفسه. لكنهم وجدوا شيئاً مفاجئاً: محاولة تعليم المساعد السريع قواعد السلامة جعلت أداءه أسوأ في الواقع. كان الأمر أشبه بمحاولة تعليم سائق سيارة سباق القيادة بينما يحل أيضاً لغزاً رياضياً؛ فقد ارتبك السائق وارتكب المزيد من الأخطاء. كانت إشارة "الهاوي" غالباً ضعيفة جداً لإصلاح أخطاء المساعد الطبيعية، ومحاولة الجمع بينهما أدت فقط إلى تضخيم الأخطاء.

لذا، اقترح المؤلفون حلاً جديداً يسمى "الترميز التبايني المنفصل" (DCD). بدلاً من إجبار المساعد السريع على تعلم قواعد السلامة، تركه يفعل ما يجيده: مجرد تخمين الكلمات التالية باستخدام أسلوب المحرر الذكي. لقد أزالوا تماماً "الهاوي" الأخرق من مرحلة التخمين السريع. أما عملية التحقق من السلامة (الترميز التبايني) فتحدث فقط بعد أن ينتهي المساعد من تخميناته، وذلك خلال خطوة التحقق.

كانت النتائج مبهرة. فمن خلال إبقاء المساعد السريع بسيطاً ومركزاً، واستخدام التحقق من السلامة المعقد فقط في النهاية، تمكنوا من تسريع العملية بشكل كبير. في اختباراتهم، جعلت هذه الطة الجديدة العقل الحاسوبي يعمل بشكل أسرع بمعدل 1.65 إلى 1.95 مرة مقارنة بالطريقة القديمة الأبطأ. كما قللت الوقت المستغرق في جزء "التخمين" بمعدل 5 إلى 12 مرة مقارنة بالطرق التي حاولت تضمين الهاوي الأخرق في مرحلة التخمين.

تخلص الورقة البحثية إلى أن أفضل طريقة للحصول على كل من السرعة والدقة هي إبقاء الأدوار منفصلة: دع المساعد السريع يكون مخمناً نقياً ومتوافقاً مع الخبير، واجعل التحقق من السلامة يحدث فقط عندما يحين وقت التحقق. يضمن هذا النهج "المنفصل" بقاء العقل الحاسوبي سريعاً دون أن يفقد قدرته على قول الحقيقة.

ملخص تقني: فك الارتباط في التشفير التبايني عبر المسودة المتوافقة مع الخبير

بيان المشكلة

يعمل التشفير التبايني (Contrastive Decoding - CD) على تحسين جودة توليد النماذج اللغوية الكبيرة (LLMs) من خلال تصحيح نموذج "خبير" قوي بواسطة نموذج "هاوٍ" أضعف. ومع ذلك، يتطلب التشفير التبايني القياسي مرورين لكل نموذج (الخبير والهاوي) لكل رمز (token)، مما يجعل عملية الاستدلال مكلفة. وبينما يمكن لتقنية التشفير التخميني (Speculative Decoding) تسريع التوليد، فإن تطبيقها على التشفير التبايني يفرض خياراً تصميمياً حرجاً: محاذاة الاقتراح (Proposal Alignment). وتحديداً، هل يجب على المسود (المقترح) دمج إشارة الهاوي لتقريب التوزيع التبايني، أم يجب أن يظل المسود متوافقاً فقط مع الخبير، تاركاً التصحيح التبايني بالكامل لخطوة التحقق؟ إن الطرق الموجودة مثل التشفير التبايني التخميني (SCD) وسلسلة التخمين (CoS) تربط نموذج الهاوي بمسار الاقتراح المتسلسل، مما يؤدي إلى زمن انتقال (latency) مرتفع.

المنهجية

التشخيص الجوهري: فشل المسودة المدركة للتباين

يتحرى المؤلفون ما إذا كان دمج إشارة الهاوي في المسود خفيف الوزن (نهج "المدرك للتباين") يحقق أداءً أفضل من إبقاء المسود متوافقاً مع الخبير. وقد استخدموا تشخيصين محكومين تحت ظروف متطابقة:

التدريب المتوافق عبر- $\alpha$ (Matched Cross- $\alpha$ Training): تم تدريب نسخة معدلة من EAGLE ثنائية المدخلات مع تباين في شدة التباين المستهدفة ( $\alpha$ ) مع تثبيت البنية والبيانات.
تفكيك المسود المزدوج التقريبي (Approximate Dual-Drafter Decomposition): طريقة تتعلم توزيعات الخبير والهاوي بشكل منفصل وتعيد دمجها تحليلياً عند الاستدلال.

النتائج: كشف كلا التشخيصين أن المسودة المدركة للتباين لا تحسن طول النص المقبول باستمرار مقارنة بالمسودة المتوافقة مع الخبير. وأظهر التحليل ما يلي:

إشارة التباين (حد التصحيح) غالباً ما تكون أضعف من الخطأ المتأصل في المسود خفيف الوزن.
في 81.1% من المواضع، تكون شدة الإشارة أقل من 1.0، بينما تظهر 48.7% من المواضع خطأً كبيراً في اقتراح جانب الخبير (تباعد KL $\ge$ 2.0).
إعادة بناء التوزيع التبايني من تقريبات الخبير/الهاوي المنفصلة تميل إلى تضخيم أخطاء المسود الأساسية بدلاً من تصحيحها.
تنحصر المكاسب الإيجابية في منطقة صغيرة من الخلايا ذات الإشارة العالية والخطأ المنخفض، وهو ما لا يكفي لتعويض التدهور العام الناتج عن أخطاء إعادة البناء.

الحل المقترح: التشفير التبايني مفكك الارتباط (DCD)

بناءً على التشخيص، يقترح المؤلفون التشفير التبايني مفكك الارتباط (Decoupled Contrastive Decoding - DCD)، الذي يفصل بين توليد الاقتراح والتصحيح التبايني:

اقتراح متوافق مع الخبير: يتم تدريب واستخدام المسود خفيف الوزن (مثل EAGLE3) لتقريب توزيع نموذج الخبير ( $\pi_p$ ) حصراً. هو لا يحاول نمذجة إشارة الهاوي أو الهدف التبايني أثناء مرحلة المسودة.
التحقق التبايني: يتم تخصيص نموذج الهاوي ( $M_q$ ) حصرياً لخطوة التحقق. حيث تقوم منطقية القبول/الرفض التخمينية بتقييم الرموز المسودة مقابل التوزيع التبايني الكامل وغير المتغير $\pi_{CD}$ .
ضمان عدم الفقدان (Lossless Guarantee): نظرًا لأن خطوة التحقق تستهدف توزيع $\pi_{CD}$ الموحد بدقة، فإن تغيير المقترح لا يغير توزيع المخرجات النهائي، مما يحافظ على الضمانات النظرية لـ CD الأصلي.

يستبدل النظام التكلفة المتسلسلة المكلفة لنموذج الهاوي في حلقة المسودة (حوالي $\gamma \cdot t_q$ ) بتكلفة المسود المتوافق مع الخبير خفيف الوزن (حوالي $\gamma \cdot t_e$ ، حيث $t_e \ll t_q$ ).

المساهمات الرئيسية

صياغة محاذاة الاقتراح: حددت الورقة وصاغت "محاذاة الاقتراح" كخيار تصميمي مركزي في التشفير التخميني التبايني، مع تمييز المسارات المرتبطة بالهاوي، والمدركة للتباين، والمتوافقة مع الخبير.
الدليل التشخيصي: من خلال التجارب المحكومة (Cross- $\alpha$ و Dual-Drafter)، أثبت المؤلفون أن محاولة نمذجة إشارة التباين في المسودات خفيفة الوزن هي عملية غير منتجة بشكل عام بسبب هيمنة خطأ المسود على إشارة التباين الضعيفة.
تنفيذ DCD: تقديم DCD، وهو مسرع لا يفقد البيانات (lossless) يحقق تسريعاً على مستوى النشر من خلال إبقاء نموذج الهاوي خارج مسار الاقتراح المتسلسل. وقد طبق المؤلفون ذلك باستخدام مقترحات تعتمد على EAGLE3 ومقترحات N-gram.

النتائج

مقاييس الأداء

تم التقييم عبر عائلات النماذج من فئة 8B (LLAMA-3, QWEN3, LLAMA-EFT) على مجموعات بيانات تشمل GSM8K, MMLU, HumanEval, و CNN/DM:

التسريع: يحقق $DCD_{EAGLE3}$ متوسط تسريع جشع (greedy speedup) يتراوح بين 1.65× إلى 1.95× مقارنة بـ CD الأصلي.
تقليل زمن الانتقال (Latency Reduction): مقارنة بمسارات الاقتراح المرتبطة بالهاوي (SCD/CoS)، يقلل DCD من زمن انتقال مسار الاقتراح في MMLU بنحو 5 إلى 12 مرة.
المتانة: في امتداد 70B، يحافظ DCD على تسريع يقارب 2×.
المقارنة: في الإعدادات الأكثر صعوبة (مثل QWEN3 مع $\alpha=0.5$ )، تنخفض طرق المنافسين (SCD, CoS) إلى أقل من 1.0× تسريع في بعض المهام، بينما يحافظ DCD على مكاسبه (مثلاً 1.60× في MMLU).

الاتساق والدقة

دقة المهمة: تؤكد التجار nghiệm أن DCD يحافظ على توزيع المخرجات لـ vanilla CD. وتتبع الدقة في GSM8K و MMLU نموذج vanilla CD عن كثب عبر مستويات مختلفة من قوة التباين ( $\alpha$ ).
المتانة تجاه $\alpha$ : مع زيادة قوة التباين، يتدهور DCD بشكل تدريجي أكثر في الطول المقبول مقارنة بالنماذج المرجعية المرتبطة بالهاوي. ويُعزى ذلك إلى قدرة المسود المتوافق مع الخبير على الحفاظ على المحاذاة مع الهدف حتى مع تغير توزيع عقوبة الهاوي.

الأهمية والادعاءات

تدعي الورقة أن العائق الرئيسي أمام تسريع CD ليس نقص المسود المتطور، بل القرار المعماري بربط نموذج الهاوي في حلقة الاقتراح. ومن خلال فك الارتباط بين المسودة (المتوافقة مع الخبير) والتحقق (التبايني)، يحقق DCD مكاسب كفاءة كبيرة دون التضحية بضمانات الجودة لـ CD.

يؤكد المؤلفون أن نهجهم لا يفقد البيانات (lossless) فيما يتعلق بتوزيع المخرجات ولا يتطلب إعادة تدريب لنموذج الهافي أو المسود لأهداف تباينية محددة (في حالة DCD المعتمد على EAGLE3). تشير الورقة إلى أنه بالنسبة للتشفير التخميني للأهداف التباينية، يجب تحسين "مسار الاقتراح" للسرعة والمحاذاة مع الخبير، بينما يجب أن يتولى "مسار التحقق" عمليات التصحيح التوزيعي المعقدة.

تخلص الورقة إلى أنه بينما قد تقدم المسودة المدركة للتباين فوائد نظرية في أنظمة الإشارة العالية والخطأ المنخفض، إلا أن هذه الأنظمة نادرة جداً لتبرير التعقيد المضاف وتضخيم الخطأ في الممارسة العملية. لذلك، فإن النهج المفكك والمتوافق مع الخبير هو الاستراتيجية المتفوقة للنشر.