💬 NLP

HiSpec: Hierarchical Speculative Decoding for LLMs

تُعد HiSpec إطار عمل للفك التخميني عالي الإنتاجية يستفيد من نماذج الخروج المبكر لعمليات التحقق الوسيطة منخفضة التكلفة، ويعيد استخدام الحالات الحسابية عبر نماذج المسودة والتحقق والهدف لتسريع استنتاج النماذج اللغوية الكبيرة بشكل كبير دون المساس بالدقة.

المؤلفون الأصليون: Avinash Kumar, Sujay Sanghavi, Poulami Das

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Avinash Kumar, Sujay Sanghavi, Poulami Das

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك رئيس تحرير لصحيفة ضخمة وعالية المخاطر. لديك محرر أول عبقري، بطيء التفكير (النموذج المستهدف - Target Model)، ينتج مقالات مثالية لكنه يستغرق وقتاً طويلاً في كتابة وتدقيق كل كلمة. ولديك أيضاً متدرب مبتدئ سريع ومتحمس (نموذج المسودة - Draft Model)، يمكنه كتابة الجمل في لمح البصر، لكنه غالباً ما يرتكب أخطاءً أو يتخيل حقائق غير موجودة.

الطريقة القديمة: عنق الزجاجة "توقف وتحقق"

في الطريقة التقليدية (المسماة "التشفير الاستدلالي" - Speculative Decoding)، تسير العملية كالتالي:

يكتب المتدرب فقرة كاملة (يفترض 5 كلمات).
يتوقف المحرر الأول عن كل شيء، ويقرأ الفقرة بأكملها، ويدقق كل كلمة منها مقابل معرفته الخاصة.
إذا ارتكب المتدرب خطأً، يرمي المحرر الفقرة بأكملها ويبدأ من جديد. وإذا كان المتدرب محقاً، يقبلها المحرر.

المشكلة: المحرر الأول بطيء جداً في التدقيق لدرجة أن المتدرب يقضي معظم وقته في الانتظار. في الواقع، تشير الورقة البحثية إلى أنه بالنسبة للنماذج الكبيرة، يمكن أن يستغرق التدقيق وقتاً أطح مرتين إلى ما يقرب من 7 مرات أطول من عملية كتابة الكلمات من قبل المتدرب نفسه.

الفكرة الجديدة: HiSpec (التشفير الاستدلالي الهرمي)

أدرك مؤلفو ورقة HiSpec أن انتظار المحرر الأول للتدقيق في كل شيء هو أمر هدِر. لذا اقترحوا سير عمل أكثر ذكاءً باستخدام نظام ثلاثي المستويات داخل نموذج واحد:

المتدرب (طبقة المسودة - Draft Layer): جزء ضحل جداً من النموذج يكتب الكلمات بسرعة فائقة.
رئيس الفريق (المُدقق الوسيط - Intermediate Verifier): طبقة "إدارة وسطى". ليس هو المحرر الأول الكامل، لكنه ذكي بما يكفي لرصد الأخطاء الواضحة بسرعة.
المحرر الأول (الطبقة المستهدفة - Target Layer): النموذج الكامل والعميق الذي يعطي الموافقة النهائية المثالية.

كيف يعمل HiSpec (التشبيه)

بدلاً من أن يكتب المتدرب فقرة كاملة ثم ينتظر المحرر الأول ليدققها كلها، يغير HiSpec قواعد اللعبة:

الخطوة 1: يكتب المتدرب بضع كلمات.
الخطوة 2: يلقي رئيس الفريق (المُدقق الوسيط) نظرة سريعة عليها.
- إذا رأى رئيس الفريق خطأً فادحاً: فإنه يرفضه فوراً. لا يضطر المتدرب لانتظار المحرر الأول لإضاعة الوقت عليه، بل يبدأ المتدرب فوراً في كتابة الدفعة التالية من الكلمات.
- إذا رأى رئيس الفريق أن الأمر يبدو جيداً: فإنه يعطي "موافقة مبدئية".
الخطوة 3: يتدخل المحرر الأول فقط لإجراء تدقيق كامل وعميق على الكلمات التي وافق عليها رئيس الفريق.
الخطوة 4 (شبكة الأمان): لضمان عدم تفويت رئيس الفريق لأي تفاصيل دقيقة، يقوم المحرر الأول بإجراء فحص كامل وعميق كل بضع كلمات لضمان أن المخرج النهائي مثالي بنسبة 100%.

السر الخفي: "إعادة استخدام الملاحظات"

تسلط الورقة الضوء على حيلة ذكية لتوفير المزيد من الوقت. عادةً، عندما تدقق جملة ما، يتعين عليك إعادة قراءة السياق بالكامل من البداية. HiSpec يشبه مساعداً ذكياً يعيد استخدام ملاحظاته.

عندما يكتب المتدرب كلمة، فإنه يترك "ملاحظة لاصقة" (ذاكرة المفتاح-القيمة - Key-Value cache) على المكتب. عندما يدقق رئيس الفريق الكلمة، فإنه يأخذ نفس تلك الملاحظة بدلاً من كتابة ملاحظة جديدة. وعندما يدقق المحرر الأول، فإنه يستخدم نفس الملاحظة مرة أخرى. هذا يعني أن الكمبيوتر لا يحتاج للقيام بالعمل الشاق المتمثل في إعادة حساب السياق لكل خطوة.

النتائج

تزعم الورقة أن هذا النهج يمثل فوزاً كبيراً:

السرعة: يجعل العملية أسرع بمعدل 1.28 مرة، وتصل إلى مرتين أسرع في بعض الحالات، مقارنة بالطرق القديمة.
الدقة: على عكس بعض الطرق "السريعة" الأخرى التي قد تسمح بمرور الأخطاء، يضمن HiSpec أن المخرج النهائي مطابق تماماً لما لو كان المحرر الأول البطيء قد كتبه بمفرده.
الكفاءة: لا يتطلب تدريب "رئيس فريق" جديد بالكامل من الصفر؛ فهو يستخدم ببساطة طبقة محددة داخل النموذج الحالي وهي بالفعل جيدة في هذه المهمة.

الملخص

فكر في HiSpec كأنه مسار أمني سريع في المطار.

الطريقة القديمة: الجميع ينتظر ضابط الأمن الرئيسي ليفحص كل حقيبة، مهما كانت صغيرة.
HiSpec: جهاز مسح سريع (رئيس الفريق) يفحص التهديدات الواضحة أولاً. إذا كان الوضع آمناً، تتحرك بسرعة. إذا بدا الأمر مريباً، يتم وضع علامة عليه. الضابط الرئيسي (المحرر الأول) يقوم فقط بالفحص العمود والبطيء للحقائب التي اجتازت الفحص السريع، ويفعل ذلك بشكل دوري لضمان السلامة.

النتيجة؟ تمر عبر المطار (توليد النص) بشكل أسرع بكثير، ولكن دون المساومة على الأمن (الدقة).

ملخص تقني: HiSpec: فك التشفير الاستباقي الهرمي للنماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

تواجه عملية الاستدلال في النماذج اللغوية الكبيرة (LLM) مقايضة جوهرية بين الإنتاجية والدقة. وبينما يعمل فك التشفير الاستباقي (Speculative Decoding) على تحسين الإنتاجية باستخدام نموذج "مسودة" أصغر لاقتراح الرموز (tokens) التي يقوم نموذج "هدف" أكبر بالتحقق منها، إلا أن هذه التقنية تعاني حاليًا من مشكلة مرحلة التحقق (verification phase).

حدد المؤلفون وجود "جدار تحقق" حيث يكون التحقق من الرموز أبطأ بشكل ملحوظ (بواقع 2 إلى 6.9 مرة، وتصل إلى 10.3 مرة في بعض الإعدادات) من توليد رموز المسودة. تهيمن هذه الكمون (latency) على إجمالي وقت الاستدلال لأن الرموز اللاحقة لا يمكن توليدها حتى يتم التحقق من الرموز السابقة. تركز الأعمال الحالية بشكل أساسي على تسريع مرحلة "المسودة"، مما يحقق مكاسب طفيفة في الإنتاجية لأن عنق زجاجة التحقق يظل دون معالجة.

تعاني المحاولات السابقة لحل هذه المشكلة عبر "التحقق الوسيط" (على سبيل المثال، استخدام نموذج مساعد لاستبعاد الرموز غير الدقيقة مبكرًا، كما في SPRINTER) من ثلاث قيود رئيسية:

الأعباء التدريبية: تتطلب تدريب نماذج مساعدة لتقريب النموذج المستهدف.
البصمة الذاكرية: إدارة عدة نماذج في وقت واحد تزيد من استهلاك الذاكرة.
تدهور الدقة: تعتمد بعض الطرق على استدلالات تقريبية أو تتخطى التحقق الكامل من النموذج المستهدف، مما يؤدي إلى مخرجات غير دقيقة تبتعد عن التوزيع التلقائي للنموذج المستهدف.

2. المنهجية: HiSpec

يقترح المؤلفون فك التشفير الاستباقي الهرمي (HiSpec)، وهو إطار عمل مصمم لتسريع التحقق من الرموز بتكلفة منخفضة مع الحفاظ على دقة خالية من الفقد (lossless). يعتمد HiSpec على نماذج الخروج المبكر (Early-Exit Models - EE)، وهي نماذج لغوية كبيرة مدربة صراحةً للسماح للرموز بالخروج عند طبقات وسيطة مختارة، مما ينتج توزيعات رموز ذات مغزى دون المرور بكامل الشبكة.

الآلية الجوهرية

يستخدم HiSpec نموذجًا واحدًا من نوع EE مع ثلاث طبقات تشغيلية متميزة:

طبقة المسودة ( $L_d$ ): طبقة خروج ضحلة تُستخدم لتوليد رموز المسودة.
طبقة التحقق الوسيطة ( $L_i$ ): طبقة خروج أكثر عمقًا (عادةً حوالي 1/4 عمق النموذج) تُستخدم لإجراء التحقق الوسيط. تقوم بقبول رموز المسودة التي تتوافق مع توزيعها مؤقتًا، وترفض الرموز غير الدقيقة مبكرًا.
طبقة الهدف ( $L_f$ ): الطبقة النهائية (أو النموذج الكامل) تُستخدم للتحقق الدوري من النموذج الكامل لضمان اتساق المخرجات.

الابتكارات التقنية الرئيسية

التحقق الوسيط منخفض التكلفة: على عكس الأعمال السابقة التي تدرب نماذج مساعدة، يستخدم HiSpec طبقات الخروج المتأصلة في نموذج EE. هذا يلغي الحاجة لتدريب متحقق جديد ويتجنب عبء الذاكرة الناتج عن تحميل أوزان نماذج متعددة.
إعادة استخدام ذاكرة الـ KV والحالة المخفية: لمنع الحسابات الزائدة، ينفذ HiSpec آلية لإعادة استخدام مخازن المفتاح-القيمة (KV cache) والحالات المخفية (hidden states) عبر مراحل توليد المسودة، والتحقق الوسيط، وتحقق النموذج المستهدف. يقوم بتخزين هذه الحالات أثناء توليد المسودة ويقوم بتقليم المدخلات المرتبطة بالرموز المرفوضة قبل المرحلة التالية، مما يضمن محاذاة السياق دون إعادة الحساب.
ضمان خلو النتائج من الفقد (Lossless Guarantee): يستخدم HiSpec عملية تحقق من مرحلتين ( $L_d \to L_i \to L_f$ ). يقوم المتحقق الوسيط بالرفض المبكر فقط؛ ولا يقوم بتخفيف معيار القبول النهائي. ومن خلال تطبيق برهان فك التشفير الاستباقي الخالي من الفقد بالتتابع في كلتا المرحلتين، يضمن HiSpec أن المخرجات النهائية مطابقة تمامًا للنموذج المستهدف الذي يعمل بشكل مستقل (التشفير التلقائي).
سياسة التحقق الديناميكية: لموازنة الإنتاجية والدقة، يقوم HiSpec بتجميع نافذة من الرموز المقبولة مؤقتًا (الافتراضي $N_i = 4$ ) قبل استدعاء التحقق من النموذج الكامل المكلف. هذا يقلل من تكرار استدعاءات النموذج الكامل مع منع سلاسل طويلة من الرموز غير المتحقق منها.
دعم الاستدلال المجمع (Batched Inference): على عكس العديد من طرق فك التشفير الاستباقي السابقة التي تواجه صعوبة في التجميع بسبب عدم تجانس أطوال قبول الرموز، يدمج HiSpec الاهتمام المجدول (paged attention) مع جداول الكتل (block tables). وهذا يسمح بالقبول لكل تسلسل دون عبء الحشو (padding)، مما يتيح استدلالًا مجمعًا فعالًا.

3. المساهمات الرئيسية

يدعي البحث المساهمات التالية:

تحديد عنق زجاجة التحقق: يوضح المؤلفون أن زمن انتقال التحقق (الأبطأ بـ 6.9 مرة من التوليد) هو المعيق الرئيسي لإنتاجية فك التشفير الاستباقي، وهي مشكلة تجاهلتها معظم أعمال تسريع المسودة السابقة.
إطار عمل HiSpec: إطار عمل مبتكر يستخدم نماذج الخروج المبكر للتحقق الوسيط منخفض التكلفة، مما يلغي تكاليف التدريب والذاكرة المرتبطة بالمتحققين المساعدين.
كفاءة الموارد: آليات لإعادة استخدام مخازن KV والحالات المخفية عبر جميع المراحل (المسودة، الوسيط، الهدف)، مما يقلل بشكل كبير من تكرار الحسابات والذاكرة.
الحفاظ على الدقة: تصميم يحافظ على اتساق صارم في المخرجات مع النموذج المستهدف من خلال التحقق الدوري من النموذج الكامل، مما يضمن ضمانة خالية من الفقد.
القابلية للتعميم والتوسع: يعمل الأسلوب مع كل من نماذج EE سابقة التدريب والنماذج القياسية المعدلة عبر التدريب اللاحق (عبر ضبط رؤوس التنبؤ)، ويدعم الاستدلال المجمع بشكل طبيعي.

4. النتائج

قيم المؤلفون HiSpec عبر ثمانية نماذج من أحدث التقنيات (بما في ذلك Llama3، Llama2، CodeLlama، Qwen-3، وOPT) وخمسة معايض متنوعة (ShareGPT، CNN/DM، HumanEval، GSM8K، XSum).

تحسين الإنتاجية: مقارنة بخط الأساس (الاستباق أحادي الطبقة بدون التحقق الوسيط)، يحسن HiSpec الإنتاجية بمعدل 1.28× في المتوسط ويصل إلى 2.01×.
المقارنة مع SOTA: يتفوق HiSpec باستمرار على طرق تسريع المسودة الحديثة (AdaDecode، Lookahead، LayerSkip) وطرق تسريع التحقق (SPRINTER).
- مقابل SPRINTER (الذي يستخدم متحققًا مساعدًا)، يحقق HiSpec إنتاجية قدرها 2.01× على ShareGPT مقارنة بـ 1.20× لـ SPRINTER، مع الحفاظ على دقة 100% (بينما أدت SPRINTER إلى تدهور الدقة إلى ~40-52% في اختباراتهم).
- يتفوق HiSpec على LayerSkip و Lookahead عبر جميع المعايض وأحجام النماذج.
كفاءة الموارد: يضيف التحقق الوسيط عبئًا ضئيلاً جدًا على الذاكرة (أقل من 0.01%) بسبب إعادة استخدام مخزن KV.
التجميع (Batching): يحافظ HiSpec على سرعة التسريع عبر أحجام الدفعات (من 1 إلى 16)، بينما تفشل الطرق السابقة غالبًا في التوسع بفعالية مع التجميع.

5. الأهمية والادعاءات

يضع البحث HiSpec كحل لـ "جدار التحقق" الحرج في استدلال النماذج اللغوية الكبيرة. تكمن أهميته في:

تغيير التركيز: نقل تركيز التحسين من تسريع توليد المسودة إلى تسريع التحقق، وهو ما يرى المؤلفون أنه يحقق عوائد أعلى.
الكفاءة: تحقيق إنتاجية عالية دون التكاليف الحسابية والذاكرية لتدريب النماذج المساعدة أو إدارة أوزان نماذج متعددة في آن واحد.
العملية: كونه أول طريقة تجمع بين التحقق الوسيط والدعم الأصلي للاستدلال المجمع مع ضمانات خالية من الفقد، مما يجعله مناسبًا للنشر الواسع النطاق.
المرونة: القدرة على التكيف مع كل من نماذج EE سابقة التدريب والنماذج القياسية المعدلة عبر تدريب لاحق خفيف الوزن (إضافة رؤوس تنبؤ)، مما يضمن قابلية تطبيق واسعة.

يخلص المؤلفون إلى أنه من خلال استغلال طبقات الخروج المبكر للتحقق الوسيط والإدارة الفعالة للموارد، يوفر HiSpec إطار عمل قوي وعالي الإنتاجية للاستدلال لا يضحي بدقة النموذج المستهدف.