💬 NLP

LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding

تقدم هذه الورقة البحثية خسائر LK، وهي هدف تدريب مبتكر يحسن مباشرةً معدل القبول لفك التشفير التخميني في النماذج اللغوية الكبيرة، مما يظهر مكاسب أداء ثابتة مقارنة بالتدريب القائم على تباعد KL القياسي عبر بنيات نماذج ومجالات متنوعة دون إضافة أعباء حسابية إضافية.

المؤلفون الأصليون: Alexander Samarin, Sergei Krutikov, Anton Shevtsov, Sergei Skvortsov, Filipp Fisin, Alexander Golubev

نُشر 2026-03-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alexander Samarin, Sergei Krutikov, Anton Shevtsov, Sergei Skvortsov, Filipp Fisin, Alexander Golubev

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك شيف محترف (النموذج المستهدف - Target Model) تحاول طهي وجبة معقدة. أنت موهوب للغاية، لكنك بطيء جداً لأن عليك تذوق وتعديل كل مكون على حدة قبل الانتقال إلى المكون التالي. هكذا تعمل نماذج الذكاء الاصطناعي الحالية في توليد النصوص: كلمة بكلمة، وبكل دقة.

لتسريع هذه العملية، قمت بتعيين مساعد شيف سريع ونشيط (نموذج المسودة - Draft Model). يقوم مساعد الشيف بتخمين الـ 5 أو الـ 10 مكونات التالية التي قد تحتاجها بسرعة ويضعها أمامك على الطاولة. ثم تلقي نظرة عليها. إذا وافق حدس الشيف المحترف على تخميناته، فإنك تقبل الدفعة بأكملها فوراً. أما إذا أخطأ مساعد الشيف في التخمين، فإنك تتخلص من الدفعة وتبدأ من جديد.

تعتمد سرعة مطبخك كلياً على مدى تكرار تخمين مساعد الشيف بشكل صحيح. وهذا ما يسمى معدل القبول (Acceptance Rate).

المشكلة: فخ "الجيد بما يكفي"

لفترة طويلة، كانت طريقة تدريب مساعدي الشيف هذه هي:
"يا مساعد الشيف، حاول تقليد كتاب الوصفات الخاص بي بدقة شديدة قدر الإمكان".

من الناحية الرياضية، يسمى هذا تقليل تباعد KL (KL Divergence). الأمر يشبه مطالبة مساعد الشيف بحفظ كتاب طبخك بالكامل.

النظرية: إذا نسخ مساعد الشيف كتابك تماماً، فسوف يخمن كل كلمة بشكل صحيح، وستكون سريعاً جداً.
الواقع: مساعد الشيف صغير ويمتلك عقلاً صغيراً (قدرة حوسبية محدية). لا يمكنه حفظ كتاب طبخك المكون من 1000 صفحة. لذا، فهو يحاول بذل قصارى جهده لتقليد الأسلوب العام للكتاب.
الخلل: أحياناً، ينسخ مساعد الشيف الأسلوب جيداً لدرجة أنه يبدو كطالب مثالي، لكنه لا يزال يخمن الكلمات المحددة الخاطئة لوصفتك الحالية. لقد قلل "الاختلاف في الأسلوب"، لكنه فشل في تعظيم "عدد التخمينات الصحيحة".

الأمر يشبه طالباً حفظ روح كتاب التاريخ، لكنه فشل في الإجابة على الأسئلة المحددة من نوع الاختيار من متعدد. يبدو ذكياً، لكنه لا يحصل على الدرجات.

الحل: خسائر LK (استراتيجية "الضربة المباشرة")

يقول مؤلفو هذه الورقة البحثية: "توقفوا عن مطالبة مساعد الشيف بنسخ الكتاب بأكمله. فقط اطلبوا منه تخمين الكلمة التالية بشكل صحيح".

لقد قدموا طريقة تدريب جديدة تسمى خسائر LK (LK Losses). بدلاً من قول "كن مثلي"، يقولون "إذا خمنت هذه الكلمة بشكل صحيح، ستحصل على نقطة. وإذا لم تفعل، فستحصل على صفر".

لقما قدموا طريقتين للقيام بذلك:

1. المدرب "الكل أو لا شيء" (القائم على الاحتمالية - Likelihood-Based)

ينظر هذا المدرب إلى تخمينات مساعد الشيف ويقول: "لا يهمني مدى قرب قواعدك اللغوية من قواعدي. يهمني فقط ما إذا كانت الكلمة التي اخترتها هي التي كنت سأختارها أنا. إذا كانت كذلك، فهذا رائع! وإذا لم تكن، فحاول مجدداً".

التشبيه: الأمر يشبه لوحة السهام. لا يهمك إذا استقرت السهم بالقرب من مركز الهدف؛ ما يهمك هو إذا أصاب المركز تماماً. هذا يجبر مساعد الشيف على التركيز كلياً على الأهداف ذات الاحتمالية العالية.

2. المدرب "الهجين الذكي" (المزج التكيفي - Adaptive Blending)

هذا هو النجم الخارق للورقة البحثية. هذا المدرب ذكي جداً في معرفة متى يستخدم أي استراتيجية.

التدريب المبكر (مرحلة "تعلم المشي"): عندما يكون مساعد الشيف مبتدئاً تماماً ويخمن بشكل عشوائي، يقول المدرب: "حسناً، فقط حاول تقليد أسلوبي (تباعد KL) حتى لا تضل الطريق تماماً". هذا يمنح مساعد الشيف مساراً سلساً يتبعه.
التدريب المتأخر (مرحلة "المحترف"): بمجرد أن يصبح مساعد الشيف جيداً، يغير المدرب تكتيكاته: "حسناً، أنت تعرف الأسلوب الآن. الآن، توقف عن القلق بشأن الظهور مثلي وابدأ في القلق بشأن إصابة الهدف (معدل القبول)".
التشبيه: فكر في الأمر مثل تعلم القيادة. أولاً، تتعلم قواعد الطريق وكيفية التوجيه (تقليد المعلم). وبمجرد أن تصبح مرتاحاً، يتوقف المدرب عن الاهتمام بأسلوب توجيهك ويركز فقط على ما إذا كنت ستبقى في مسارك وتتجنب الاصطدام بالرصيف (الهدف الفعلي).

لماذا يهم هذا الأمر؟

اختبرت الورقة البحثية هذا على نماذج ذكاء اصطناعي ضخمة (بعضها يصل حجمه إلى 685 مليار معلمة) ووجدت أن:

إنه يعمل في كل مكان: سواء كان الذكاء الاصطعي يكتب كوداً برمجياً، أو يحل مسائل رياضية، أو يدردش، فإن استراتيجية "الضربة المباشرة" تجعل تخمينات مساعد الشيف صحيحة بشكل متكرر أكثر.
إنه يساعد الصغار أكثر: النماذج الأصغر والأضعف (ذات السعة المنخفضة) هي التي استفادت أكثر. لم يكن بإمكانها حفظ الكتاب بأكمله، لذا كان إجبارها على التركيز على "الكلمة التالية" المحددة بمثابة تغيير جذري لقواعد اللعبة.
إنه مجاني: هذه الطريقة الجديدة لا تجعل التدريب أبطأ ولا تتطلب قوة حوسبية أكبر. إنها مجرد طريقة مختلفة لتقييم الطالب.

الخلا الخلاصة

تعالج هذه الورقة البحثية خللاً في كيفية تدريب مساعدي الذكاء الاصطناعي ليكونوا أسرع. بدلاً من تدريبهم ليكونوا نسخاً مثالية من العقل الكبير (وهو أمر مستحيل للعقول الصغيرة)، نحن ندربهم ليكونوا مخمنين محظوظين يصيبون الإجابة الصحيحة بشكل متكرر أكثر.

من خلال الانتقال من "انسخ أسلوبي" إلى "أصب الهدف"، يمكن للذكاء الاصطناعي توليد النصوص بسرعة أكبر بنسبة 8% إلى 10% في المتوسط، مما يجعل تفاعلاتنا مع الذكاء الاصطناعي تبدو أكثر سلاسة واستجابة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "خسائر LK: تحسين معدل القبول المباشر لفك التشفير الاستنتاجي (Speculative Decoding)."

1. بيان المشكلة

يعمل فك التشفير الاستنتاجي على تسريع استنتاج النماذج اللغوية الكبيرة (LLM) باستخدام نموذج "مسودة" (draft) خفيف الوزن لاقتراح عدة رموز (tokens) مرشحة، والتي يتم التحقق منها بالتوازي بواسطة نموذج "هدف" (target) أكبر. وتعتمد كفاءة هذه العملية على معدل القبول (احتمالية قبول الرمز المقترح من قبل النموذج المستهدف).

المشكلة الجوهرية: تهدف عملية التدريب القياسية لنماذج المسودة إلى تقليل تباعد كولباك - ليبلر (KL divergence) بين توزيعات المسودة والهدف. وبينما يتشارك تباعد KL ومعدل القبول في نفس النقطة المثلى العالمية (التطابق التام)، إلا أن نماذج المسودة ذات سعة محدودة (عادةً 1-5% من بارامترات النموذج المستهدف).
القصور: في الحلول دون المثلى (التي تصل إليها النماذج ذات السعة المحدودة حتماً)، لا يضمن تقليل تباعد KL بالضرورة تعظيم معدل القبول. وتجادل الورقة بأن تباعد KL يعمل كمؤشر ضعيف عندما لا يستطيع نموذج المسودة مطابقة توزيع الهدف بدقة، مما يؤدي غالباً إلى التقارب نحو حلول دون مثلى للهدف الفعلي لفك التشفير الاستنتاجي.

2. المنهجية: خسائر LK

يقترح المؤلفون خسائر LK، وهي عائلة من أهداف التدريب المصمم لتحسين معدل القبول مباشرة بدلاً من الاعتماد على مؤشرات تقارب التوزيع. وقد قدموا نوعين منها:

أ. النهج القائم على الاحتمالية ( $L^\alpha_{LK}$ )

المفهوم: يعامل هذا الهدف معدل القبول ( $\alpha$ ) كاحتمالية هامشية ويقلل من سالب لوغاريتم الاحتمالية (negative log-likelihood) للقبول:
$L^\alpha_{LK} = -\log \sum_{x \in V} \min(p(x), q(x))$
الآلية: يتناسب تدرج (gradient) هذه الخسارة مع تدرج مسافة التباين الكلي (Total Variation - TV) ولكن مع ضربه في $1/\alpha$ .
الفائدة: يقوم هذا القياس تلقائياً بتضخيم التدرجات عندما يكون معدل القبول منخفضاً (في بداية التدريب)، مما يحل مشكلة "تلاشي التدرج" المرتبطة بتحسين مسافة TV الصرفة، مع الحفاظ على اتجاه تحسين مسافة TV.

ب. الهدف الهجين مع المزج التكيفي ( $L^\lambda_{LK}$ )

المفهوم: مزيج مرجح من تباعد KL ومسافة TV:
$L^\lambda_{LK} = \lambda \cdot KL(p\|q) + (1-\lambda) \cdot TV(p, q)$
الجدولة التكيفية: يتم تعديل الوزن $\lambda$ $λ$ ديناميكياً بناءً على معدل القبول الحالي ( $\alpha$ $α$ ):
$\lambda = \exp(-\eta \cdot \text{sg}[\alpha])$
- بداية التدريب (معدل $\alpha$ منخفض): $\lambda \to 1$ . يعتمد النموذج على تباعد KL، الذي يوفر تدرجات سلسة ومنتظمة للملاحة في مشهد الخسارة وإنشاء "منطقة ثقة" حيث يكون توزيع المسودة قريباً بما يكفي من التوزيع المستهدف.
- نهاية التدريب (معدل $\alpha$ مرتفع): $\lambda \to 0$ . ينتقل التركيز إلى مسافة TV، التي تعمل مباشرة على تعظيم التداخل بين التوزيعات (وبالتالي تعظيم معدل القبول).
التشبيه: يحاكي هذا أساليب "منطقة الثقة" في تحسين السياسات، حيث يستخدم KL كقيد ناعم لاستقرار تحسين الهدف الحقيقي (TV).

ج. التعامل مع اقتطاع المفردات (Vocabulary Truncation)

تشير الورقة إلى أن بعض البنى (مثل EAGLE-3) تستخدم مفردات مقطوعة. يصبح تباعد KL القياسي لانهائياً إذا كانت احتمالية المسودة صفراً لرمز يتوقعه النموذج المستهدف. تتعامل خسائر LK مع هذا بشكل طبيعي لأن الرموز خارج مفردات المسودة تساهم بصفر في معدل القبول، مما لا يتطلب أي قناع (masking) أو تقريب خاص.

3. المساهمات الرئيسية

التحسين المباشر: اقتراح نوعين من الخسائر ( $L^\alpha_{LK}$ و $L^\lambda_{LK}$ ) يستهدفان مباشرة معدل القبول، متجاوزين قيود تباعد KL كبديل.
الرؤية النظرية: تقديم تحليل للتدرج يوضح لماذا يفشل تحسين TV الصرف عند التهيئة العشوائية (تلاشي التدرجات) وكيف يخفف النهج الهجين من ذلك.
الاستقلالية عن البنية: إثبات أن الطريقة تعمل عبر بنى مسودة متنوعة (EAGLE-3، MEDUSA، MLP speculators، و DeepSeek's MTP) ونماذج مستهدفة مختلفة.
المصدر المفتوح: إطلاق مجموعات بيانات التدريب وأوزان نماذج المسودة لتسهيل إعادة الإنتاج.

4. النتائج التجريبية

قيم المؤلفون خسائر LK عبر ستة نماذج مستهدفة (تتراوح من 8 مليار إلى 685 مليار بارامتر) وأربع بنى مسودة في ثلاثة مجالات: المحادثة العامة (MT-bench)، البرمجة (HumanEval)، والرياضيات (GSM8K).

مكاسب الأداء:
- متوسط طول القبول ( $\tau$ ): تفوقت خسائر LK باستمرار على تدريب KL القياسي.
- الحجم: تراوحت التحسينات بين 3.8% و 10% في متوسط طول القبول.
- أبرز النقاط:
  - نماذج ذات سعة منخفضة: شهدت نماذج المسودة الأصغر (مثل MEDUSA و MLP) أكبر المكاسب النسبية (تصل إلى 8.3%)، مما يؤكد أن التحسين المباشر هو الأكثر فائدة عندما تكون فجوة السعة كبيرة بين المسودة والهدف.
  - النماذج المستهدفة الكبيرة: لوحظت مكاسب كبيرة عند استخدام نماذج مسودة صغيرة لأهداف ضخمة (مثلاً +8.2% لـ Qwen3-235B و +7.7% لـ GPT-OSS 120B).
  - DeepSeek-V3: أدى ضبط وحدة التنبؤ متعدد الرموز (MTP) الأصلية باستخدام خسائر LK إلى تحسن بنسبة 5.6% مقارنة بضبط KL، مما يثبت أن الطريقة تعمل حتى على المكونات المدربة مسبقاً.
المقارنة: تفوق الهدف الهجين مع المجدول التكيفي ( $L^\lambda_{LK}$ ) عموماً على نهج الاحتمالية الصرف، وتفوق بشكل كبير على الخلطات ذات الأوزان الثابتة أو خسائر KL/TV الصرفة.

5. الأهمية والأثر

الكفاءة: من خلال زيادة معدل القبول، تترجم خسائر LK مباشرة إلى سرعات استنتاج أسرع دون الحاجة إلى موارد حوسبة إضافية أثناء مرحلة التدريب.
البساطة: الطريقة هي بديل "جاهز للاستخدام" للأهداف القياسية، ولا تتطلب أي تغييرات في خط أنابيب الاستنتاج أو بنية المسودة.
تحول في النموذج الفكري: تتحدى الورقة الافتراض القائم منذ فترة طويلة بأن تقليل التباعد التوزيعي (KL) كافٍ لفك التشفير الاستنتاجي. وتؤكد أنه بالنسبة للنماذج ذات السعة المحدودة، فإن تحسين المقياس المحدد للاهتمام (معدل القبول) يعطي نتائج متفوقة.
القابلية للتوسع: يعد هذا النهج حاسماً بشكل خاص لمستقبل نشر النماذج اللغوية الكبيرة، حيث تعتبر استراتيجية استخدام نماذج مسودة صغيرة وفعالة لتسريع النماذج الضخمة والثقيلة في البارامترات هي الاستراتيجية الأساسية لتقليل زمن الاستجابة والتكلفة.