🤖 AI

Balancing Coverage and Draft Latency in Vocabulary Trimming for Faster Speculative Decoding

تقترح هذه الورقة استراتيجية لتقليم المفردات من أجل فك التشفير التخميني، حيث تصيغ عملية اختيار مفردات النموذج المسودة كمسألة تحسين مقيدة للموازنة بين تغطية الرموز وزمن الاستج้าة، محققةً تحسينات كبيرة في معدل الإنتاجية وخفضاً في زمن الاستجابة من خلال تخصيص المفردات لتناسب أعباء العمل الخاصة بمجالات معينة.

المؤلفون الأصليون: Ofir Ben Shoham

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ofir Ben Shoham

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول كتابة قصة طويلة ومعقدة باستخدام مساعد ذكاء اصطناعي ذكي جدًا ولكنه بطيء (النموذج المستهدف). تريد أن تكون القصة مثالية، لكن الذكاء الاصطناعي يستغرق وقتًا طويلاً في التفكير في كل كلمة على حدة.

لتسريع العملية، تقوم بتعيين مساعد مبتدئ سريع (نموذج المسودة) ليخمن الكلمات القليلة التالية أولاً. ثم يقوم الذكاء الاصطناعي الذكي بالتحقق بسرعة مما إذا كانت تخميناته صحيحة. إذا كانت صحيحة، فإنه يقبلها جميعًا دفعة واحدة، مما يوفر وقتًا هائلاً. وهذا ما يسمى بـ "فك التشفير التخميني" (Speculative Decoding).

المشكلة: المساعد المبتدئ مزدحم للغاية

المشكلة تكمن في أن المساعد المبتدئ يحاول التخمين من قاموس يحتوي على 128,000 كلمة (المفردات الكاملة). ورغم أن المساعد المبتدئ "خفيف الوزن"، إلا أن البحث عن كلمة في قاموس ضخم كهذا يستغرق وقتًا.

في الواقع، تجادل الورقة البحثية بأن المساعد المبتدئ هو في الحقيقة عنق الزجاجة. فهو يقضي وقتًا طويلاً في مسح قاموسه العملاق لدرجة أنه يبطئ العملية بأكملة، مما يلغي فوائد السرعة المرجوة.

الحل: قاموس جيب مخصص

أدرك المؤلفون أنه في أي مهمة محددة، نادرًا ما تستخدم القاموس بأكىمله.

إذا كنت تكتب كودًا برمجيًا، فستستخدم غالبًا كلمات برمجة مفتاحية.
إذا كنت تقوم بعمليات حسابية، فستستخدم الأرقام والرموز.
ونادرًا ما تستخدم كلمات غريبة مثل "البطاطس المهروسة" أو "التسوية الزلزالية" في مهمة برمجية.

لذلك، تقترح الورقة البحثية "تقليم المفردات" (Vocabulary Trimming). بدلاً من إعطاء المساعد المبتدئ قاموس الـ 128,000 كلمة الكامل، سنعطيه قاموس جيب مخصصًا يحتوي فقط على الكلمات الأكثر صلة بالمهمة.

كيف فعلوا ذلك: البحث عن "منطقة التوازن المثالية"

الجزء الصعب هو العثور على الحجم المناسب لقاموس الجيب هذا.

صغير جدًا؟ لن يتمكن المساعد المبتدئ من تخمين الكلمات الصحيحة لأن الكلمة المهمة ليست موجودة في جيبه. سيضطر الذكاء الاصطناعي الذكي إلى رفض التخمين، ونخسر الوقت.
كبير جدًا؟ سيظل المساعد المبتدئ بطيئًا لأن القاموس ثقيل جدًا لحمله.

تعامل المؤلفون مع هذا الأمر كعملية توازن دقيق. لقد أنشؤوا معادلة لإيجاد "منطقة التوازن المثالية" (Goldilocks zone):

التغطية (Coverage): كم عدد الكلمات التي يستخدمها الذكاء الاصطناعي الذكي بالفعل والموجودة في قاموس الجيب؟ (نريد أن تكون هذه النسبة عالية).
زمن الاستجابة (Latency): ما مدى سرعة المساعد المبتدئ في البحث عن الكلمات؟ (نريد أن يكون هذا الزمن منخفضًا).

استخدموا خوارزمية ذكية (تسمى Tree-structured Parzen Estimator) لاختبار آلاف أحجام القواميس المختلفة تلقائيًا، بحثًا عن النقطة المثالية حيث يكون المساعد سريعًا بما يكفي ودقيقًا بما يكفي في آن واحد.

النتائج: فريق خارق القدرات

كانت النتائج مبهرة:

المهام العامة: حتى عندما تم تقليص قاموس المساعد المبتدئ بنسبة 90% (من 128,000 كلمة إلى حوالي 13,000 كلمة فقط)، أصبح الفريق أسرع بنسبة 6.7% في كتابة القصص، وحل المسائل الرياضية، وكتابة الكود.
المهام المتخصصة: عندما قاموا بتخصيص القاموس خصيصًا لمهمة معينة (مثل "التعرف على الكيانات المسماة" أو "استدعاء الدوال")، تمكنوا من تقليص القاموس أكثر (إلى حوالي 4,000 كلمة). وهذا جعل الفريق أسرع بنسبة 20%.

تشبيه الصورة الكبيرة

فكر في "النموذج المستهدف" كـ رئيس طهاة ماهر وفي "نموذج المسودة" كـ مساعد طباخ.

قبل التعديل: كان على مساعد الطباخ الركض إلى مخزن ضخم بحجم المستودع (128 ألف مكون) لجلب المكونات. ورغم أن مساعد الطباخ سريع، إلا أن الركض إلى مؤخرة المستودد يستغرق وقتًا طويلاً.
بعد التعديل: أعطى المؤلفون مساعد الطباخ عربة صغيرة ومنظمة بجانب الموقد مباشرة، تحتوي فقط على الـ 13,000 مكون التي تُستخدم في 99% من الحالات.
النتيجة: يحصل مساعد الطباخ على المكونات فورًا. يتفحصها رئيس الطهاة بسرعة ويوافق عليها. تعمل المطبخ بأكمله بشكل أسرع بكثير، ولا يلاحظ رئيس الطهاة حتى أن مساعد الطباخ يستخدم قائمة أصغر لأن المكونات الأكثر شيوعًا لا تزال موجودة.

لماذا يهم هذا الأمر؟

تظهر هذه الورقة البحثية أننا لسنا بحاجة إلى جعل نماذج الذكاء الاصطناعي أكبر أو أكثر تعقيدًا لجعلها أسرع. أحيانًا، نحتاج فقط إلى تبسيط أدواتها. من خلال إعطاء ذكاء الاصطناعي "المُخمِّن" قاموسًا أصغر وأكثر ذكاءً، يمكننا جعل نماذج اللغة الكبيرة أسرع بكثير دون فقدان الجودة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "موازنة التغطية وزمن انتقال المسودة في تقليم المفردات لتسريع فك التشفير التخميني".

1. بيان المشكلة

يعمل فك التشفير التخميني (Speculative Decoding) على تسريع استنتاج النماذج اللغوية الكبيرة (LLMs) باستخدام نموذج مسودة (Draft Model) خفيف الوزن لاقتراح الرموز (Tokens) المرشحة، والتي يتم التحقق منها بالتوازي بواسطة نموذج مستهدف (Target Model) أكبر. ومع ذلك، يوجد اختناق حرج في التنفيذات الحالية:

زمن انتقال نموذج المسودة: غالبًا ما يهيمن نموذج المسودة على إجمالي زمن انتقال الاستنتاج لأن النموذج يولد الرموز بشكل متسلسل.
عبء المفردات: عادةً ما تشترك نماذج المسودة في كامل مفردات النموذج المستهدف (على سبيل المثال، 128 ألف رمز لنموذج LLaMA 3). ويمثل رأس لغة النمذجة (LM head)، الذي يقوم بإسقاط الحالات الخفية (Hidden States) إلى لوغاريتمات المفردات، جزءًا هائلًا من التكلفة الحسابية لنموذج المسودة (يصل إلى 64% من إجمالي العمليات الحسابية العائمة - FLOPs في بعض البنى الهيكلية).
المقايضة:
- مفردات كبيرة: تضمن تغطية عالية للرموز (التوافق مع النموذج المستهدف) ولكنها تسبب زمن انتقال مرتفعًا بسبب حجم رأس اللغة.
- مفردات صغيرة: تقلل زمن الانتقال بشكل كبير ولكنها تخاطر بفقدان الرموز الضرورية، مما يخفض معدل القبول ويبطل مكاسب السرعة.
قصور الأعمال السابقة: تعتمد الطرق الحالية مثل VocabTrim أو FR-Spec غالبًا على اختيار ثابت لأعلى $k$ من الرموز أو التقليم بعد التدريب. وتفشل هذه الأساليب في الموازنة ديناميكيًا بين مقايضة التغطية وزمن الانتقال، كما أنها تكون أحيانًا غير متوافقة مع البنى المتقدمة مثل EAGLE-3 التي تدمج خرائط المفردات في الأوزان.

2. المنهجية

يقترح المؤلفون نهجًا لـ تقليم المفردات يصيغ اختيار مفردات المسودة كـ مسألة تحسين مقيدة. الهدف هو إيجاد حجم المفردات الأمثل $k$ الذي يعظم دالة المنفعة مع الحفاظ على حد أدنى من عتبة تغطية الرموز.

المكونات الأساسية:

صياغة المشكلة:
- الهدف: تعظيم المنفعة $U(k)$ بشرط أن تكون التغطية $C(k) \geq c_{min}$ .
- تتكون مفردات المسودة $V_d$ من أعلى $k$ من الرموز الأكثر تكرارًا في توزيع التدريب (تحديدًا استجابات المساعد/Assistant responses).
تقدير تغطية الرموز ( $C(k)$ ):
- يتم حسابها بناءً على تكرارات الرموز داخل استجابات المساعد في بيانات التدريب (بما يتوافق مع خسارة ضبط التعليمات القياسية).
- تمثل $C(k)$ كسر رموز التدريب التي تغطيها أعلى $k$ من الرموز الأكثر تكرارًا.
تقدير زمن الانتقال عبر العمليات الحسابية العائمة ( $R(k)$ ):
- يستخدم المؤلفون العمليات الحسابية العائمة (FLOPs) كوسيط لزمن الانتقال.
- لاحظ المؤلفون أن رأس اللغة (LM head) فقط هو الذي يتغير حجمه مع حجم المفردات ($2dk $عملية حسابية للبعد$ d $وحجم المفردات$ k$)، بينما تظل المكونات الأخرى (دمج الميزات، الانتباه، التغذية الأمامية) ثابتة.
- يتم اشتقاق خفض زمن الانتقال $R(k)$ من نسبة العمليات الحسابية بالحجم $k$ مقابل المفردات الكاملة $V$ .
دالة المنفعة:
- $U(k) = \alpha \cdot C(k) + (1 - \alpha) \cdot R(k)$
- $\alpha$ هو وزن قابل للضبط يوازن بين أهمية التغطية وخفض زمن الانتقال.
خوارزمية التحسين (TPE):
- يستخدم المؤلفون مقدر بارزن الهيكلي الشجري (Tree-structured Parzen Estimator - TPE) للبحث بكفاءة عن جبهة باريتو (Pareto frontier).
- يقوم TPE بنمذجة دالة الهدف باستخدام مقدرات الكثافة للمناطق ذات المنفعة العالية والمنخفضة، ويقوم بأخذ عينات من أحجام المفردات المرشحة لتعظيم نسبة التحسين المتوقع.
- يتم تطبيق عقوبة إذا تم انتهاك قيد التغطية ( $C(k) \geq c_{min}$ ).

3. المساهمات الرئيسية

إطار عمل التحسين المقيد: صاغ اختيار مفردات المسودة كمسألة تحسين رياضية توازن بين تغطية الرموز وتقديرات زمن الانتقال المدركة للبنية الهيكلية.
البحث القائم على TPE: قدم استراتيجية بحث فعالة لإيجاد حجم المفردة الأمثل على جبهة باريتو للتغطية وزمن الانتقال، متجنبًا طرق أعلى $k$ الثابتة غير المثالية.
التحقق التجريبي: أثبت أن المفردات المقلمة تحسن الإنتاجية عبر كل من اختبارات التقييم خارج النطاق (OOD) والمهام الخاصة بمجال معين.
المصدر المفتوح: تم إصدار التنفيذ لتسهيل الأبحاث المستقبلية.

4. النتائج التجريبية

استخدمت التجارب نموذج LLaMA-3.1-8B-Instruct كنموذج مستهدف ومجموعة بيانات Open-PerfectBlend للتدريب.

أ. اختبارات التقييم خارج النطاق (OOD)

الإعداد: مقارنة نموذج مسودة بمفردات محسنة مكونة من 13,264 رمزًا (تقليل بنسبة 90% من 128 ألف) مقابل خط الأساس الكامل (128 ألف).
مكاسب الإنتاجية (Throughput): تحسينات متسقة عبر اختبارات متنوعة:
- MT-Bench: +3.0%
- GSM8K: +3.2%
- HumanEval: +2.2%
- MATH-500: +5.1%
- AIME: +6.7%
التغطية: رغم تقليل الحجم بنسبة 90%، حافظت المفردات المحسنة على تغطية بنسبة 97.1% مرجحة بالتكرار عبر توليدات النموذج المستهدف في مهام OOD. كانت الرموز المفقودة في الغالب هي مصطلحات نادرة وخاصة بالمهمة، والتي ظهرت بشكل غير متكرر بما يكفي بحيث لا تعيق قدرة نموذج المسودة على اقتراح مرشحين مقبولين.

ب. نتائج المجال المحدد (المهام الخاصة)

الإعداد: تم الضبط الدقيق لمهام التعرف على الكيانات المسماة (NER) واستدعاء الدوال (Function Calling).
التحسين:
- NER: تم تقليصها إلى 6,521 رمزًا (تقليل بنسبة 95%).
- استدعاء الدوال: تم تقليصها إلى 4,380 رمزًا (تقليل بنسبة 97%).
الأداء:
- NER: تقليل زمن الانتقال بنسبة 16.4% وتحسين الإنتاجية بنسبة 19.6%. ومن الجدير بالذكر أن طول القبول ظل دون تغيير (1.69)، مما يعني أن التسريع جاء حصريًا من تقليل زمن انتقال المسودة دون أي عقوبة في معدل القبول.
- استدعاء الدوال: تقليل زمن الانتقال بنسبة 9.1% وتحسين الإنتاجية بنسبة 10.0%.

ج. تحليل الاستقرار

تقارب حجم المفردات الأمثل بسرعة (حوالي 13 ألف رمز) بعد 10,000 عينة تدريب فقط. أدى زيادة حجم مجموعة البيانات بمقدار 50 ضعفًا (إلى 500 ألف عينة) إلى تغيير الحجم الأمثل بنسبة أقل من 2%، مما يشير إلى أن الطريقة قوية تجاه تغيرات أخذ العينات من البيانات.

5. الأهمية والآثار المترتبة

فك الارتباط بين زمن الانتقال والتغطية: تثبت الورقة أن المفردات الضخمة ليست ضرورية تمامًا لضمان أداء عالٍ لفك التشفير التخميني. من خلال إزالة "الذيل الطويل" للرموز منخفضة التكرار، يمكن تقليل تكلفة رأس اللغة بشكل جذري دون التأثير بشكل كبير على معدل القبول.
التعميم: تتعمم الطريقة بشكل جيد على مهام OOD لأن الرموز عالية التكرار (مثل قواعد اللغة الشائعة، الأرقام، والمعاملات القياسية) هي رموز غير مرتبطة بمجال محدد، بينما الرموز النادرة غالبًا ما تكون خاصة بالمهمة وتظهر بشكل غير متكرر بما يكفي لعدم التأثير على نجاح نموذج المسودة.
النشر العملي: يوفر هذا النهج آلية بسيطة وقوية لتسريع فك التشفير التخميني. وهو فعال بشكل خاص للتطبيقات الخاصة بمجال معين حيث يمكن أن يكون تقليم المفردات أكثر عدوانية (حتى 97% تقليل) مع تحقيق مكاسب إنتاجية أعلى (تصل إلى 19.6%) مقارنة بالإعدادات العامة.
التوافق: على عكس بعض طرق التقليم أثناء الاستنتاج، يقوم هذا النهج بتدريب نموذج المسودة باستخدام المفردات المختزلة، مما يضمن توافق التوزيع والتوافق مع البنى مثل EAGLE-3 التي تعتمد على خرائط أوزان محددة.

في الختن، يقدم هذا العمل نهجًا منهجيًا قائمًا على التحسين لتقليم المفردات يحل المقايضة الأساسية بين سرعة نموذج المسودة وتغطية الرموز، مما يحقق تسريعًا ملموسًا في الاستنتاج الفعلي.