💬 NLP

LogitSpec: Accelerating Retrieval-based Speculative Decoding via Next Next Token Speculation

تُعد LogitSpec طريقةً قائمة على الاسترجاع للفك التخميني، وهي خالية من التدريب وتعمل بأسلوب "التوصيل والتشغيل"، حيث تُسرع استنتاج النماذج اللغوية الكبيرة عبر الاستفادة من لوجيتات (logits) الرمز الأخير لتخمين الرمز "التالي-التالي"، مما يوسع نطاق الاسترجاع لتحقيق تسريع يصل إلى 2.61 ضعفاً ومعدلات قبول رموز أعلى.

المؤلفون الأصليون: Tianyu Liu, Qitan Lv, Hao Li, Xing Gao, Xiao Sun, Xiaoyan Sun

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianyu Liu, Qitan Lv, Hao Li, Xing Gao, Xiao Sun, Xiaoyan Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك رئيس طهاة ماهر (النموذج اللغوي الكبير، أو LLM) تحاول كتابة وصفة معقدة. الطريقة القديمة للقيام بذلك بطيئة للغاية: تفكر في كلمة واحدة، ثم تكتبها، ثم تنتظر الكمبيوتر ليتأكد من صحتها، ثم تفكر في الكلمة التالية، وهكذا. الأمر يشبه كتابة رسالة حرفاً بحرف، والانتظار للحصول على ختم موافقة بعد كل حرف.

التوليد التخميني (Speculative Decoding) هو طريقة جديدة لتسريع ذلك. بدلاً من كتابة كلمة واحدة في كل مرة، تقوم بتعيين مساعد طاهٍ (نموذج مسودة) ليخمن الكلمات القليلة التالية من أجلك. ثم تتحقق بسرعة مما إذا كان المساعد قد كان محقاً أم لا. إذا كان صحيحاً، فتقبل كل تلك الكلمات دفعة واحدة. وإذا كان خاطئاً، فتقوم ببساطة برمي التخمينات الخاطئة وتحاول مرة أخرى. هذا يوفر الكثير من الوقت.

ومع ذلك، فإن تعيين مساعد طاهٍ يسبب بعض المشاكل:

يجب عليك تدريبهم خصيصاً لمطبخك (وهذا مكلف وصعب).
إنهم يشغلون مساحة إضافية في مطبخك (الذاكرة).
إذا قمت بتغيير وصفتك الرئيسية، فعليك إعادة تدريب المساعد.

مشكلة "الاسترجاع" (نهج المكتبة)

حاول بعض الباحثين حل هذه المشكلة عبر الاستغناء عن المساعد واستخدام مكتبة بدلاً منه. فبدلاً من وجود شخص يخمن، يقوم الكمبيوتر بالنظر فيما كتبته بالفعل ويبحث في قاعدة بيانات ضخمة من الوصفات السابقة للعثور على عبارة مطابقة.

العيب: هذا يشبه محاولة العثور على الكلمة التالية في جملة من خلال النظر إلى الكلمة السابقة مباشرة.

جملتك: "ما هي مساحة الـ..."
تخمين المكتبة: ترى كلمة "الـ" وتفكر: "أوه، كلمة 'الـ' عادة ما يتبعها 'مثلث'!" (لأنها وجدت جملة سابقة: "ما هي مساحة المثلث؟").
الواقع: أنت في الحقيقة أردت قول "ما هي مساحة الـ دائرة؟" أو "ما هي مساحة الـ حقل؟".
النتيجة: تظل المكتبة عالقة عند الكلمة الخاطئة لأنها تنظر فقط إلى السياق المباشر، وليس إلى الفكرة الكاملة.

الحل: LogitSpec (الطاهي صاحب "البلورة السحرية")

أدرك مؤلفو هذه الورقة البحثية، LogitSpec، أن رئيس الطهاة الرئيسي (الـ LLM) يمتلك في الواقع قوة خارقة خفية لا يستخدمها كثيراً.

عندما يتنبأ رئيس الطهاة بالكلمة التالية، فإنه يمتلك أيضاً "شعوراً" (يسمى رياضياً اللوجيت - logits) بشأن ما سيأتي بعد تلك الكلمة. ورغم أن من المفترض أن ينطق بالكلمة التالية فقط، إلا أن عقله يهمس بالفعل: "وبعد ذلك، من المحتمل أن تكون 'الدائرة'".

يستخدم LogitSpec هذا الهمس لإصلاح عملية البحث في المكتبة.

إليك كيف يعمل ذلك، خطوة بخطوة، باستخدام تشبيه إبداعي:

1. خطوة "البلورة السحرية"

بدلاً من مجرد النظر إلى الكلمة الأخيرة ("الـ")، يسأل LogitSpec رئيس الطهاة: "إذا كان عليك تخمين الكلمة التي ستأتي بعد خطوتين، فماذا ستكون؟"

ينظر رئيس الطهاة إلى "مشاعره" الداخلية ويقول: "أراهن أن الكلمة التي ستلي 'الـ' هي 'دائرة'".
هذا هو تخمين الكلمة التالية-التالية (Next-Next Token Speculation).

2. خطوة "البحث الفائق"

الآن، بدلاً من البحث في المكتبة عن كلمة "الـ" فقط، يبحث LogitSpec عن عبارة "الدائرة".

الطريقة القديمة (الاسترجاع التقليدي): تبحث عن "الـ". فتجد "المثلث"، "السماء"، "الكلب". (خطأ!)
طريقة LogitSpec: تبحث عن "الدائرة". فتجد "دائرة الأصدقاء"، "دائرة الحياة"، "دائرة الحقل". (أكثر دقة بكmuch!)

3. التحقق

يأخذ الكمبيوتر هذه التخمينات الأفضل ويتحقق منها مقابل رئيس الطهاة الرئيسي. ولأن التخمينات الآن أكثر دقة، يقبلها رئيس الطهاة بشكل متكرر أكثر.

لماذا يعد هذا أمراً مهماً؟

لا يحتاج لتدريب إضافي: لا تحتاج لتوظيف أو تدريب مساعد طاهٍ جديد. أنت فقط تستخدم "مشاعر" رئيس الطهاة الموجودة بالفعل (اللوجيت).
جاهز للعمل فوراً (Plug-and-Play): يعمل مع أي نموذج لغوي موجود دون الحاجة لتغيير الكود الخاص به أو أوزانه.
السرعة: في اختباراتهم، جعلت هذه الطريقة الكمبيوتر أسرع بـ 2.6 مرة في كتابة النصوص. كما مكنت الكمبيوتر من قبول، في المتوسط، 3.28 كلمات في المرة الواحدة بدلاً من كلمة واحدة فقط.

الخلا الخلاصة

فكر في LogitSpec كالمحقق الذي لا يكتفي بالنظر إلى مسرح الجريمة (الكلمة الأخيرة) لتخمين ما حدث بعد ذلك. بدلاً من ذلك، يستخدم المحقق حدساً نفسياً (اللوجيت) لتخمين مسرح الجريمة التالي، ثم يستخدم هذا الحدس للعثور على الدليل المثالي في المكتبة.

من خلال النظر خطوتين للأمام، يتوقف النظام عن الارتباك بسبب الكلمات المتشابهة ويجد الكلمات الصحيحة بشكل أسرع بكثير، مما يجعل الذكاء الاصطناعي يكتب النصوص بسرعة أكبر بكثير دون الحاجة إلى أي تدريب إضافي أو أجهزة باهظة الثمن.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LogitSpec: تسريع فك التشفير الاستنتاجي القائم على الاسترجاع عبر استنتاج الرمز التالي-التالي".

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) من زمن انتقال مرتفع أثناء الاستدلال بسبب فك التشفير التلقائي (auto-regressive decoding)، حيث يتم توليد رمز (token) واحد فقط في كل تمريرة أمامية (forward pass). يعالج فك التشفير الاستنتاجي (Speculative Decoding - SD) هذه المشكلة باستخدام نموذج "مسودة" (draft model) صغير لاقتراح رموز متعددة، والتي يقوم النموذج المستهدف بالتحقق من صحتها بالتوازي.

ومع ذلك، تواجه أساليب SD الحالية مشكلتين رئيسيتين:

الـ SD القائم على نموذج المسودة: يتطلب تدريب ونشر نموذج مسودة إضافي (مثل Medusa أو Eagle). وهذا يؤدي إلى عبء كبير على الذاكرة، وتحديات معقدة في النشر، وتكاليف تدريب.
الـ SD الخالي من نموذج المسودة (القائم على الاسترجاع): تعتمد طرق مثل REST أو PLD على استرجاع رموز المسودة من السياق أو من قاعدة بيانات خارجية دون استخدام نموذج مسودة. ومع ذلك، فإنها تعتمد على نموذج المطابقة (matching paradigm) الذي غالباً ما يفشل. فإذا لم يتوفر تطابق n-gram دقيق في المرجع للسياق الحالي، يفشل الاسترجاع، مما يؤدي إلى معدلات قبول منخفضة. وكما هو موضح في الورقة، تفشل طرق الاسترجاع القياسية في العثور على رموز متطابقة في أكثر من 30% من خطوات فك التشفير في بعض السيناريوهات.

التحدي الجوهري: كيف يمكن تحسين دقة فك التشفير الاستنتاجي القائم على الاسترجاع دون تدريب نموذج إضافي، وتحديداً عندما تكون تطابقات السياق الدقيقة نادرة.

2. المنهجية: LogitSpec

يقترح المؤلفون LogitSpec، وهو إطار عمل قابل للتشغيل المباشر (plug-and-play) ولا يتطلب تدريباً، يعمل على تعزيز الـ SD القائم على الاسترجاع من خلال الاستفيد من لوجيتات (logits) الرمز الأخير لاستنتاج الرمز التالي-التالي ( $x_{i+2}$ ).

الرؤية الجوهرية

تلاحظ الورقة تجريبياً أن توزيع اللوجيت (logit distribution) للرمز الحالي ( $x_i$ ) يحتوي على معلومات كافية للتنبؤ بالرمز التالي-التالي ( $x_{i+2}$ ) بدقة عالية، حتى بدون ضبط دقيق (fine-tuning). ففي أكثر من 50% من خطوات فك التشفير، يظهر الرمز التالي-التالي الحقيقي ضمن أعلى 60 مدخلاً في توزيع لوجيت الرمز الأخير.

سير عمل LogitSpec

يعمل LogitSpec في مرحلتين رئيسيتين لكل خطوة فك تشفير:

التوسع في الاستنتاج والاسترجاع:
- الخطوة 1 (الرمز التالي): يتنبأ النموذج بالرمز التالي ( $x_{i+1}$ ) بشكل طبيعي.
- الخطوة 2 (استنتاج الرمز التالي-التالي): بدلاً من التوقف، يأخذ LogitSpec أعلى $k$ من المدخلات من آخر لوجيت (باستثناء الرمز المتوقع $x_{i+1}$ ) كمرشحات استنتاج للرمز التالي-التالي ( $\hat{x}_{i+2}$ ).
- الخطوة 3 (الاسترجاع المزدوج): يقوم النظام باسترجاع المراجع ذات الصلة لكل من الرمز التالي ( $x_{i+1}$ $x_{i + 1}$ ) والرموز المستنتجة للرمز التالي-التالي ( $\hat{x}_{i+2}$ $\overset{x}{^}_{i + 2}$ ).
  - الاستعلام 1: $g^{(1)} = (x_{i-m+2}, \dots, x_i, x_{i+1})$
  - الاستعلام 2: $g^{(2)} = (x_{i-m+3}, \dots, x_i, x_{i+1}, \hat{x}_{i+2})$
- هذا يعمل فعلياً على توسيع نطاق البحث في الاسترجاع. فحتى لو لم يتم العثور على التسلسل الدقيق لـ $x_{i+1}$ ، فقد يجد النموذج تطابقاً للتسلسل $x_{i+1} + \hat{x}_{i+2}$ ، مما يزيد بشكل كبير من احتمالية العثور على رموز مسودة صالحة.
بناء شجرة المسودة والتحقق:
- يتم تنظيم الرموز المسترجعة في شجرة مسودة (draft tree) حيث يكون $x_{i+1}$ هو الجذر، وتمثل الفروع الرموز التالية-التالية المستنتجة المختلفة.
- يتم تطبيق قناع انتباه الشجرة (tree attention mask) للسماح بالتحقق المتوازي لجميع الفروع بواسطة النموذج المستهدف.
- استراتيجية التقليم (Pruning Strategy): للتحكم في التكلفة الحسابية، يتم تطبيق استراتيجية تقليم استدلالية بناءً على رتبة الرمز التالي-التالي المستنتج. فالرموز ذات الثقة الأعلى (الرتبة الأقل) تحتفظ بمزيد من الرموز المسترجعة، بينما تحتفظ الرموز ذات الثقة الأقل بعدد أقل.

3. المساهمات الرئيسية

ملاحظة مبتكرة: أثبت المؤلفون أن لوجيت الرمز الأخير يمكنه التنبؤ بقوة بالرمز التالي-التالي عبر نماذج ومهام متنوعة (Vicuna, Llama, Qwen)، دون الحاجة لضبط دقيق.
إطار عمل LogitSpec: طريقة جديدة لـ SD القائم على الاسترجاع تستخدم استنتاج الرمز التالي-التالي كمرساة توجيه لتوسيع نطاق الاسترجاع. وهي خالية من التدريب وقابلة للتشغيل المباشر.
مكاسب الأداء: تظهر التجارب المكثفة أن LogitSpec يحقق تسريعاً يصل إلى 2.61 ضعفاً ومتوسط 3.28 رمز مقبول في كل خطوة فك تشفير، متفوقاً بشكل كبير على النماذج المرجعية الحالية (REST, PLD, Lookahead).
المتانة: على عكس طرق الاسترجاع الأخرى التي تعاني في السياقات منخفضة التكرار (مثل الترجمة أو الاستدلال المعقد)، يحافظ LogitSpec على أداء عالٍ لأن آلية الاستنتاج تعوض نقص تطابقات السياق الدقيقة.

4. النتائج التجريبية

قيم المؤلفون LogitSpec على معايير متنوعة تشمل Spec-Bench (الترجمة، التحويل، التلخيص، الأسئلة والأجوبة، الرياضيات، RAG)، و HumanEval (البرمجة)، و GSM8K (الرياضيات)، و MATH، و AIME، و LongBench.

التسريع:
- Vicuna-7B: حقق تسريعاً قدره 2.61× في CNN/DM و 2.47× في HumanEval.
- المتوسط: عبر جميع المعايير، حقق LogitSpec تسريعاً قدره 2.26× في المتوسط (Vicuna-7B)، مقارنة بـ ~1.33× لـ REST و ~1.78× لـ PLD.
معدل القبول:
- حقق متوسط الرموز المقبولة (MAT) قدره 3.28 في CNN/DM، مقارنة بـ 1.64 لـ REST.
- في LongBench (السياق الطويل)، حقق تسريعاً قدره 2.01×، مما يثبت فعاليته حتى مع نوافذ السياق الضخمة.
نجاح الاسترجاع:
- فشلت طرق الاسترجاع القياسية (PLD) في العثور على تطابقات في أكثر من 30% من الخطوات.
- حقق LogitSpec معدل استرجاع ناجح بنسبة 97.76% في Spec-Bench، وهو تحسن هائل مدفوع بتوجيه الرمز التالي-التالي.
العبء الإضافي:
- تضيف عملية الاسترجاف عبئاً ضئيلاً جداً (~1.17% من إجمالي وقت التشغيل الفعلي) بفضل التنفيذ الفعال القائم على التجزئة (hash-based).
- يتوافق الأسلوب مع أطر العمل الحالية (مثل Hugging Face Transformers) ولا يتطلب ذاكرة GPU إضافية لنموذج المسودة.

5. الأهمية والأثر

إزالة تكاليف التدريب: يلغي LogitSpec الحاجة لتدريب أو صيانة نموذج مسودة منفصل، مما يجعل فك التشفير الاستنتاجي متاحاً لأي نموذج لغوي كبير مدرب مسبقاً على الفور.
حل مشكلة "البداية الباردة" للاسترجاع: من خلال استخدام القدرة التنبؤية للنموذج نفسه (اللوجيتات) لتوجيه الاسترجاع، يتغلب على القصور الجوهري لطرق الاسترجاع التي تفشل عندما يكون تكرار السياق منخفضاً.
القابلية للتوسع: يتوسع الأسلوب بشكل جيد عبر أحجام نماذج مختلفة (من 0.5B إلى 70B) وبنيات متنوعة، مما يثبت أن إشارة "الرمز التالي-التالي" هي خاصية أساسية في النماذج اللغوية الحديثة.
النشر العملي: كونه قابلاً للتشغيل المباشر، يمكن دمجه بسهولة في محركات الاستدلال الإنتاجية (مثل vLLM) لتسريع خدمة النماذج اللغوية الكبيرة دون تغييرات هيكلية أو إعادة تدريب.

في الختلص، يمثل LogitSpec خطوة مهمة للأمام في كفاءة الاستدلال للنماذج اللغوية الكبيرة من خلال إعادة توظيف لوجيتات النموذج الداخلية بذكاء لتعزيز الاسترجاع، محققاً أداءً يقترب من أداء نموذج المسودة دون التكاليف المرتبطة به.