← أحدث الأبحاث
💬 NLP

AngelSpec: Towards Real-World High Performance Inference with Speculative Decoding

يقدم AngelSpec إطار عمل تدريب موحد يخصص تخصصاً مشتركاً لهياكل صياغة متميزة (MTP للدردشة وblock-diffusion للكود والرياضيات) ويحسن ديناميكياً موارد التحقق من الاستنتاج لتحقيق تحسينات كبيرة في معدل الإنتاجية ومعدلات قبول أعلى عبر مختلف أعباء العمل الواقعية المتنوعة.

المؤلفون الأصليون: Hong Liu, Rui Cen, Junhan Shi, Guangshuo Qin, Jiebin Zhang, Tianyu Liu, Runzhi Fan, Guoliang Zhao, Ruobing Xie, Kai Zhang, Song Liu, Guanghua Yu, Jianchen Zhu

نُشر 2026-07-29
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Hong Liu, Rui Cen, Junhan Shi, Guangshuo Qin, Jiebin Zhang, Tianyu Liu, Runzhi Fan, Guoliang Zhao, Ruobing Xie, Kai Zhang, Song Liu, Guanghua Yu, Jianchen Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يكتب القصص، أو يحل المسائل الرياضية، أو يكتب أكواد البرمجة. هذا الروبوت، المعروف بنموذج لغوي كبير (LLM)، موهوب للغاية، لكن لديه سمة غريبة محددة: إنه يفكر كلمة بكلمة. لكتابة جملة، يجب عليه أن يتوقف، ويفكر، ثم يولد الكلمة الأولى، ثم يتوقف مرة أخرى ليفكر في الكلمة الثانية، وهكذا. الأمر يشبه طباخاً لا يمكنه إلا تقطيع خضار واحدة، ثم يجب أن ينتظر تبريد المطبخ بأكمله قبل تقطيع الخضار التالية. ومع زيادة ذكاء الروبوت وتعقد الطلبات، تصبح هذه العملية "واحدة تلو الأخرى" بطيئة بشكل مؤلم، مثل مشاهدة طلاء يجف بالحركة البطيئة.

لتسريع هذه العملية، اخترع العلماء حيلة تسمى "الترميز التخميني" (speculative decoding). فكر في الأمر كجهد جماعي؛ لديك روبوت "مسودة" صغير وسريع يخمن الكلمات القليلة التالية في الجملة، وروبوت "هدف" ضخم وبطيء يتحقق مما إذا كانت تخميناته صحيحة. إذا وافق الروبوت الكبير على التخمينات، يمكن للفريق كتابة عدة كلمات في وقت واحد بدلاً من كلمة واحدة فقط. إنه يشبه عداءً سريعاً يخمن المسار أمام ماشي ثقيل الخطى؛ فإذا كان التخمين صحيحاً، يتقدمان معاً، مما يوفر وقتاً هائلاً. ومع ذلك، هناك عقبة: فالعداء السريع ليس دائماً على صواب. إذا خمن الكثير من الكلمات الخاطئة، سيضطر الروبوت الكبير إلى إضاعة الوقت في تصحيحها، مما يبطئ العملية برمتها. السؤال الكبير للعلماء هو: كيف نجعل العداء السريع يخمن بشكل أفضل، وكيف نعرف متى نتوقف عن التخمين حتى لا نضيع الوقت؟

هنا يأتي دور مشروع جديد يسمى AngelSpec. أدرك الباحثون في "Tencent" أن استراتيجية "عداء سريع" واحدة لا تصلح لكل المواقف. تماماً كما قد يكون العداء بارعاً في سباق قصير ولكنه سيء في الماراثون، تتطلب أنواع النصوص المختلفة استراتيجيات تخمين مختلفة. على سبيل المثال، كتابة رسالة دردشة عفوية هي عملية فوضوية ومليئة بالمفاجآت (اعتلال عالٍ/entropy مرتفع)، بينما كتابة برهان رياضي أو برنامج حاسوبي هي عملية منظمة ويمكن التنبؤ بها للغاية. تجادل الورقة البحثية بأن محاولة استخدام روبوت تخمين "عالمي" واحد لكل شيء هو خطأ. بدلاً من ذلك، قاموا ببناء نظام يستخدم نوعين مختلفين من المخمنين بناءً على المهمة، ومديراً ذكياً يقرر بالضبط مقدار الوقت الذي يجب إنفاقه على التحقق من هذه التخمينات بناءً على مدى انشغال النظام.

قدم الفريق طريقة جديدة تسمى DFly للمهام المنظمة مثل البرمجة والرياضيات. تخيل DFly كفريق من المحققين الذين لا يخمنون الدليل التالي واحداً تلو الآخر فحسب، بل ينظرون إلى اللغز بأكرله لرؤية النمط. إنهم يستخدمون "عقلاً هجيناً" خاصاً ينظر إلى الصورة الكبيرة ثم يقوم بضبط تخميناته بناءً على ما سبق مباشرة. يتيح لهم ذلك التنبؤ بسلاسل طويلة من الأكواد أو الخطوات الرياضية بدقة عالية. أما بالنسبة لمهام الدردشة الفوضوية والإبداعية، فهم يتمسكون بطريقة أبسط وأسرع تسمى MTP (التنبؤ متعدد الرموز)، وهي رائعة للاندفاعات الحوارية السريعة.

لكن امتلاك مخمن جيد ليس كافياً؛ فأنت بحاجة أيضاً إلى مدير ذكي. تقدم الورقة البحثية ميزة تسمى D-cut، والتي تعمل كمنظم حركة مرور. في الخادم المزدحم، قد تتعطل عملية "التحقق" أحياناً. يقوم D-cut بمراقبة ثقة التخمينات في الوقت الفعلي. إذا بدا التخمين مهزوزاً، يقوم D-cut بقطعه مبكراً لتوفم الوقت. وإذا كان النظام يعمل بسلاسة والتخمينات تبدو قوية، فإنه يسمح للفريق بالاستمرار لفترة أطول. إنه يشبه قائد الأوركسترا الذي يسرع وتيرة الموسيقى عندما تكون سهلة ويبطئها عندما تصبح النوتات صعبة، مما يضمن بقاء الأداء سريعاً دون تعثر.

النتائج التي حققها هذا النهج مثيرة للإعجاب. فعندما اختبروا نظامهم الجديد على نموذج Hy3-A21B، وجدوا أنه يمكنه معالجة النصوص بشكل أسرع بكثير من السابق. وتحديداً، حقق النظام تسارعاً يتراوح بين 1.98 إلى 2.40 مرة مقارنة بالطريقة القديمة "كلمة بكلمة". والأفضل من ذلك، كان أسرع بنسبة 10.5% إلى 11.8% من الطريقة السابقة الأفضل المعروفة باسم DFlash. أظهر الباحثون أنه من خلال تخصيص استراتيجية التخمين لنوع النص المحدد (دردشة مقابل كود) واستخدام المدير الذكي للتكيف مع حجم العمل، يمكنهم تحقيق أقصى استفادة من قدرات الحوسبة لديهم. لقد أطلقوا مجموعتهم الكاملة، التي تسمى AngelSpec، للجمهور حتى يتمكن العلماء الآخرون من استخدام هذه الحيل لجعل نماذج الذكاء الاصطناعي الخاصة بهم أسرع وأكثر كفاءة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →