💬 NLP

RACER: Retrieval-Augmented Contextual Rapid Speculative Decoding

يُعد RACER طريقة خفيفة الوزن ولا تتطلب تدريباً، تعمل على تسريع استنتاج النماذج اللغوية الكبيرة من خلال توحيد الأنماط الدقيقة القائمة على الاسترجاع مع الإشارات المستقبلية المدفوعة باللوجيت (logit) للتغلب على قيود أساليب فك التشفير التخميني الحالية، محققاً تسريعاً يتجاوز ضعفين مع التفوق على الطرق السابقة.

المؤلفون الأصليون: Zihong Zhang, Zuchao Li, Lefei Zhang, Ping Wang, Hai Zhao

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zihong Zhang, Zuchao Li, Lefei Zhang, Ping Wang, Hai Zhao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إنهاء قصة طويلة، ولكن عليك كتابتها كلمة بكلمة، منتظراً موافقة أمين مكتبة ذكي جداً ولكنه بطيء (الذكاء الاصطناعي) قبل أن تنتقل إلى الكلمة التالية. هكذا تعمل النماذج اللغوية الكبيرة (LLMs) الحالية. إنها بارعة، لكنها بطيئة لأنها تكتب في خط مستقيم صارم وخطوة بخطوة.

RACER هي طريقة جديدة مصممة لجعل هذه العملية سريعة كالبرق دون فقدان أي جودة. فكر في الأمر كأنك تعطي الكاتب "مساعداً ذكياً" يمكنه تخمين الكلمات القليلة التالية مسبقاً، و"أمين مكتبة فائق السرعة" يمكنه التحقق من تخميناته فوراً.

إليك كيف يعمل RACER، مقسماً إلى مفاهيم بسيية:

1. المشكلة: عنق الزجاجة "كلمة واحدة في كل مرة"

عادةً، يكتب الذكاء الاصطناعي جملة كهذه:

الخطوة 1: فكر في الكلمة رقم 1. اسأل الذكاء الاصطناناعي: "هل هذا صحيح؟" -> نعم.
الخطوة 2: فكر في الكلمة رقم 2. اسأل الذكاء الاصطناعي: "هل هذا صحيح؟" -> نعم.
الخطوة 3: فكر في الكلمة رقم 3. اسأل الذكاء الاصطناعي: "هل هذا صحيح؟" -> نعم.

هذا بطيء لأن الذكاء الاصطناعي يحتاج للقيام بعمليات حسابية ثقيلة لكل كلمة بمفردها.

2. الحل: "التخمين والتحقق" (Speculative Decoding)

يستخدم RACER استراتيجية التشفير التخميني (Speculative Decoding). بدلاً من طلب كتابة كلمة واحدة من الذكاء الاصطناعي، فإنه يطلب منه كتابة جملة كاملة دفعة واحدة، ثم يتحقق مما إذا كانت صحيحة.

التخمين: يقترح مساعد خفيف الوزن وسريع الكلمات الخمس التالية.
التحقق: يقوم الذكاء الاصطناعي الكبير والبطيء بالتحقق من هذه الكلمات الخمس بسرعة. إذا كانت جميعها صحيحة، فإن الذكاء الاصطناعي يقبل الكلمات الخمس معاً!
النتيجة: بدلاً من اتخاذ 5 خطوات، استغرق الأمر خطوة واحدة فقط. هذا يعني تسارعاً بمقدار 5 أضعاف!

3. التحدي: كيف نصنع تخمينات جيدة؟

الجزء الصعب هو صنع التخمينات. إذا أخطأ المساعد في التخمين، يضطر الذكاء الاصطناعي لرميها والبدء من جديد، مما يهدر الوقت. كانت للطرق السابقة عيبان:

طريقة "النسخ واللصق" (الاسترجاع - Retrieval): تنظر هذه الطريقة إلى ما كتبته سابقاً وتحاول نسخه. تشبيه: الأمر يشبه طالباً لا يعرف إلا كيف يكمل الجملة إذا كان قد رأى تلك الجملة تحديداً من قبل. إذا كانت الجملة جديدة، فإنه يتجمد.
طريقة "الحدس" (اللوجيتس - Logits): تستخدم هذه الطريقة الرياضيات الداخلية للذكاء الاصطناعي لتخمين الكلمة التالية بناءً على الاحتمالات. تشبيه: الأمر يشبه طالباً يخمن الكلمة التالية بناءً على قواعد النحو. هم عادةً على صواب، لكنهم لا يستطيعون الرؤية بعيداً، وقد يفوتهم تفصيل محدد.

4. سحر RACER: الجمع بين الاثنين

RACER هو الطالب المثالي الذي يستخدم كلتا الاستراتيجيتين في نفس الوقت. إنه يبني "شجرة مسودة" (مسار تخمين متفرع) باستخدام أداتين:

الأداة (أ): "بنك الذاكرة" (شجرة الاسترجاع - Retrieval Tree)

يحتفظ RACER بقائمة مستمرة لكل عبارة رآها مؤخراً.

تشبيه: تخيل محققاً لديه لوحة "المطلوبين" للعبارات الشائعة. إذا بدأت القصة بـ "القط جلس على الـ..."، يتحقق المحقق فوراً من اللوحة. إذا كان "السجادة" نهاية شائعة، فإنه يأخذ تلك العبارة كاملة.
اللمسة الذكية: يستخدم RACER نظام "الأقل استخداماً مؤخراً" (LRU). إذا امتلأت لوحة المحقق، فإنه يرمي العبارات القديمة والأقل استخداماً لإفساح المجال لعبارات جديدة. هذا يحافظ على ذاكرته طازجة وذات صلة.

الأداة (ب): "البلورة السحرية" (شجرة اللوجيتس - Logits Tree)

عندما لا يجد بنك الذاكرة تطابقاً، ينتقل RACER إلى "الحدس الداخلي" للذكاء الاصطناعي.

تشبيه: بدلاً من مجرد تخمين الكلمة التالية، ينظر الذكاء الاصطناعي إلى أكثر 10 كلمات احتمالاً ويحاول تخمين الكلمات الـ 10 التالية لكل واحدة من تلك الخيارات العشرة. إنه ينشئ شجرة متفرعة من الاحتمالات.
اللمسة الذكية: لاحظ RACER أنه إذا ظهرت كلمة مرتين في قصة ما، فإنها غالباً ما تؤدي إلى كلمات مستقبلية متشابهة. لذا، فإنه يعيد استخدام "الرياضيات" من الحالات السابقة لنفس الكلمة لتقديم تخمينات أفضل للمستقبل.

5. النتيجة النهائية: "الدمج" (The Merge)

يأخذ RACER أفضل التخمينات من بنك الذاكرة (المطابقات الدقيقة) والبلورة السحرية (الاستنباط الذكي) ويدمجها في قائمة واحدة كبيرة من الكلمات المحتملة.

يرسل هذه القائمة إلى الذكاء الاصطناዊ الكبير للتحقق منها بسرعة.
ولأن التخمينات جيدة جداً (بفضل مزيج الذاكرة والرياضيات)، فإن الذكاء الاصطناعي يقبل جزءاً ضخماً منها دفعة واحدة.

لماذا يعد هذا أمراً مهماً؟

لا يحتاج لتدريب: لا تحتاج لتعليم الذكاء الاصطناعي أي شيء جديد. يمكنك فقط توصيل RACER مثل عدسة جديدة لكاميرا.
يعمل في كل مكان: يعمل في البرمجة، والرياضيات، والكتابة الإبداعية، وحتى في مسائل الرياضيات الصينية.
السرعة: يجعل الذكاء الاصطناعي أسرع بمقدار 2 إلى 2.5 مرة دون أن يجعله أقل ذكاءً.

باختاً شديداً: RACER يشبه إعطاء كاتب دقيق وبطيء فريقاً من المساعدين السريعين والأذكياء الذين يمكنهم البحث في الملاحظات القديمة و استخدام حدسهم لتخمين الفقرة التالية. على الكاتب فقط أن يقول "نعم" أو "لا" للفقرة بأكملة، مما يوفر قدراً هائلاً من الوقت.

إليك ملخص تقني مفصل لورقة البحث بعنوان "RACER: Retrieval-Augmented Contextual Rapid Speculative Decoding".

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) من ارتفاع زمن انتقال الاستدلال (inference latency) بسبب نموذج فك التشفير ذاتي الانحدار (autoregressive decoding)، الذي يولد رمزاً (token) واحداً فقط في كل خطوة. تسبب هذه التبعية التسلسلية في زيادة زمن الانتقال بشكل خطي مع طول التسلسل وحجم النموذج.

فك التشفير التخميني (Speculative Decoding - SD) هو تقنية تُستخدم للتخفيف من ذلك عبر اقتراح رموز مسودة متعددة بالتوازي والتحقق منها مقابل النموذج المستهدف. ومع ذلك، تواجه طرق فك التشفير التخميني الخالية من التدريب (training-free) الحالية مقايضات كبيرة:

الطرق القائمة على الاسترجاع (Retrieval-based methods): (مثل PLD و REST) تعتمد على تطابقات تسلسل الرموز الدقيقة من السياق. وهي تفشل عندما لا يوجد استمرار دقيق في السياق، مما يحد من قابليتها للتطبيق على الأنماط المتكررة فقط.
الطرق القائمة على اللوغيت (Logits-based methods): (مثل Token Recycling و LogitSpec) تعتمد على توزيع احتمالات النموذج المستهدف (logits) لتخمين الرموز المستقبلية. ورغم مرونتها، إلا أنها تفتقر إلى التوجيه الهيكلي من السياق الخارجي، مما يؤدي غالباً إلى نطاقات تنبؤ ضيقة وجودة دون المستوى في مهام الاستدلال المعقدة.

هناك حاجة إلى طريقة توحد بين موثوقية الاسترجاع ومرونة التخمين القائم على اللوغيت دون الحاجة إلى تدريب إضافي أو نماذج مساعدة.

2. المنهجية: RACER

إن RACER (فك التشفير التخميني السريع المعزز بالاسترجاع والسياق) هو طريقة خفيفة الوزن، خالية من التدريب، وقابلة للتركيب والتشغيل مباشرة (plug-and-play)، تدمج إشارتين متكاملتين: الأنماط الدقيقة المسترجعة وتلميحات المستقبل المدفوعة باللوغيت.

أ. شجرة اللوغيت (تلميحات "غير المرئية")

تبني RACER شجرة من رموز المسودة بناءً على لوغيتات النموذج المستهدف، متجاوزة الرمز التالي المباشر.

استراتيجية نسخ اللوغيت (Copy-Logit Strategy): بدلاً من إعادة استخدام لوغيتات الرمز التالي المباشر (Last-Logit)، تقوم RACER بإعادة استخدام لوغيتات أحدث ظهور لنفس معرف الرمز (token ID) في السياق. وتظهر التجارب أن استراتيجية "نسخ اللوغيت" هذه تنتج توزيعاً أكثر حدة وذو ذيل ثقيل للرموز المقبولة، حيث يستحوذ المرتب الأعلى على أكثر من 50% من الحالات المقبولة.
تخصيص الاتساع التكيفي (Adaptive Breadth Allocation): لإدارة الميزانية الحسابية، تتوسع الشجرة بشكل تكراري ولكن مع استراتيجية تقليم. يتم تقليل عرض العقد التابعة إلى النصف في كل طبقة أعمق ( $b_{child} = \lfloor b_{parent} / 2 \rfloor$ ). يضمن هذا التوسع القوي عند الجذر (حيث يكون عدم اليقين في أعلى مستوياته) مع تقليم الطبقات الأعمق للحفاظ على الكفاءة.

ب. شجرة الاسترجاع مع إخلاء LRU (المرتكزات "المرئية")

تستخدم RACER آلية "أهو-كوراسيك" (Aho-Corasick - AC) للحفاظ على فهرس ديناميكي لـ n-grams من السياق الحالي.

إخلاء LRU (الأقل استخداماً مؤخراً): على عكس مكتبات الاسترجاع الثابتة، تستخدم RACER سياسة إخلاء LRU (Least Recently Used). عندما تصل الآلية إلى سعتها القصوى، يتم إخلاء عقدة الورقة الأقل وصولاً مؤخراً لإفساح المجال لـ n-grams جديدة. يضمن هذا أن هيكل الاسترجاع يتكيف مع سياق التوليد الحالي.
الانتقال والتوسع: تتبع الآلية "عقد الحدود" (الحالات ذات العمق $\ge 2$ ). وتقوم بتجميع جميع الاستمرارات الخارجية من هذه الحدود واختيار الأكثر تكراراً منها كمرشحات للاسترجاع.
روابط الفشل (Failure Links): تسمح روابط الفشل القياسية في AC للنظام بالتراجع بكفاءة عندما ينكسر تسلسل الرموز، مما يضمن مطابقة قوية للأنماط.

ج. استراتيجية التكامل

تدمج RACER هذين المصدرين في شجرة مسودة موحدة:

التخصيص الهجين: بالنظر إلى سعة المسودة الثابتة $C$ ، تقوم RACER أولاً بملء الفتحات بمرشحات الاسترجاع عالية الثقة (المطابقات الدقيقة).
ملء اللوغيت: يتم تخصيص الفتحات المتبقية لشجرة اللوغيت للتوسع التخميني.
التحقق: يتم التحقق من الشجرة الموحدة بواسطة النموذج المستهدف باستخدام مخطط "التخمين والتحقق" القياسي. يعمل الاسترجاع كمرتكز هيكلي لتوجيه اللوغيت، بينما توفر اللوغيتات القدرة على الاستقراء خارج المطابقات الصارمة.

3. المساهمات الرئيسية

إطار عمل موحد: RACER هي أول طريقة خالية من التدريب توحد بفعالية بين المطابقة الدقيقة القائمة على الاسترجاع والتخمين القائم على اللوغيت، مستفيدة من المعلومات "المرئية" للموثوقية والمعلومات "غير المرئية" للمرونة.
اكتشاف نسخ اللوغيت (Copy-Logit): تحدد الورقة وتثبت أن استراتيجية نسخ اللوغيت (إعادة استخدام لوغيتات أقرب ظهور سابق للرمز) تتفوق على إعادة استخدام Last-Logit القياسية للتوسع التخميني، مما يوفر توزيعاً أكثر موثوقية لنمو الشجرة.
هيكل استرجاع ديناميكي: يسمح إدخال آلية AC المزودة بإخلاء LRU باسترجاع فعال ومتكيف مع السياق دون تضخم الذاكرة الذي تسببه المجموعات الثابتة أو عبء التدريب الذي تتطلبه الأساليب القائمة على النماذج.
كفاءة التشغيل المباشر (Plug-and-Play): لا تتطلب الطريقة أي تدريب إضافي للنماذج، ولا نماذج مسودة مساعدة، وتتطلب حداً أدنى من ذاكرة الوصول العشوائي، مما يجعلها قابلة للتوسع عبر مختلف عائلات وأحجام النماذج.

4. النتائج التجريبية

قيم المؤلفون RACER على Spec-Bench (المهام العامة)، و HumanEval (توليد الكود)، و MGSM-ZH (الاستدلال الرياضي باللغة الصينية) باستخدام نماذج متنوعة (Vicuna, LLaMA3.1, OpenPangu, Qwen3).

الأداء: تحقق RACER باستمرار تسريعاً يزيد عن 2× مقارنة بفك التشفير ذاتي الاندرار القياسي.
المقارنة:
- تفوقت على طرق الاسترجاع الصرفة (PLD, REST) وطرق اللوغيت الصرفة (Token Recycling, LogitSpec) في جميع الاختبارات المرجعية.
- حققت متوسط رموز مقبولة (MAT) تنافسي أو متفوق مقارنة بالطريقة الرائدة القائمة على النماذج EAGLE-3، ولكن مع زمن انتقال أقل بكثير لأنها تتجنب تكلفة الاستدلال لنموذج مسودة منفصل.
- في مهام الاستدلال (MGSM-ZH)، أظهرت RACER قوة خاصة، حيث تفوقت على EAGLE-3 في نسب التسريع، ويرجع ذلك على الأرجح إلى أن بيانات تدريب EAGLE-3 (التي غالباً ما تكون متمحورة حول الإنجليزية) لا تتوافق مع التوزيع المستهدف في الاستدلال الصيني، بينما يتكيف استرجاع RACER ديناميكياً.
المتانة: تظل الطريقة مستقرة عبر أحجام نماذج مختلفة (من 7B إلى 33B) ودرجات حرارة أخذ العينات المختلفة (من Greedy إلى Nucleus sampling).

5. الأهمية

تعالج RACER عقبة حرجة في نشر النماذج اللغوية الكبيرة: زمن انتقال الاستدلال. من خلال إثبات أن نهجاً خفيف الوزن وخالياً من التدريب يمكن أن يتفوق على الحلول المعقدة القائمة على النماذج، فإنها تقدم حلاً عملياً وقابلاً للتوسع للتطبيقات الواقعية.

فعالية التكلفة: تلغي الحاجة إلى تدريب نماذج مساعدة أو صيانة مجموعات استرجاع ثابتة ضخمة.
القدرة على التعميم: نجاحها عبر مجالات متنوعة (الكود، الرياضيات، المحادثة) ولغات مختلفة (الإنجليزية، الصينية) يشير إلى أنها تقنية تسريع عامة وقوية.
الاتجاه المستقبلي: تفتح الورقة آفاقاً لدمج هياكل استرجاع أكثر تقدماً وتوسيع الطريقة لتشمل المهام متعددة الوسائط، مما يضع معياراً جديداً لفك التشفير التخميني الفعال.

باختاً، تثبت RACER أن الجمع بين التوجيه الهيكلي من الاسترجاع والاستقراء الاحتمالي من اللوغيت يخلق تأثيراً تآزرياً يسرع استدلال النماذج اللغوية الكبيرة بشكل كبير دون المساس بجودة المخرجات أو طلب موارد تدريب إضافية.