🤖 machine learning

Bastion: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting

يُعد BASTION إطار عمل لفك التشفير التخميني (speculative decoding) خالٍ من التدريب ومراعٍ للميزانية، يقوم ببناء هياكل شجرية تعتمد على الاستعلام ديناميكيًا عبر التوسع التكيفي بنظام "الأفضل أولاً" (best-first expansion) لموازنة جودة المسودة مع قيود الأجهزة، محققًا تسريعًا يصل إلى 6.61 ضعفًا مقارنة بفك التشفير التلقائي القياسي، مع التفوق على النماذج المرجعية الحالية القائمة على الانتشار الكتلي (block-diffusion).

المؤلفون الأصليون: Soowon Oh, Nam Cao, Yujin Kim, Hojung Jung, Huzama Ahmad, Sangmin Bae, Se-Young Yun

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Soowon Oh, Nam Cao, Yujin Kim, Hojung Jung, Huzama Ahmad, Sangmin Bae, Se-Young Yun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول كتابة قصة مع محرر حكيم للغاية، ولكنه بطيء بشكل لا يصدق (النموذج المستهدف). في كل مرة تكتب فيها كلمة واحدة، عليك الانتظار حتى يقرأها المحرر، ويفكر فيها، ثم يعطيك الضوء الأخضر قبل أن تتمكن من كتابة الكلمة التالية. هكذا تعمل روبوتات الدردشة الآلية الحالية: فهي تكتب كلمة واحدة في كل مرة، وتنتظر "التحقق" بعد كل خطوة. إنها دقيقة، لكنها بطيئة بشكل مؤلم.

لتسريع هذه العملية، يستخدم الباحثون (نموذج مسودة) وهو مساعد أسرع وأقل حكمة، ليخمن الكلمات القليلة التالية قبل أن يتحقق منها المحرر. إذا وافق المحرر على التخمين، يمكنك كتابة عدة كلمات دفعة واحدة، متجاوزاً وقت الانتظار.

ومع ذلك، هناك عقبة؛ فالنماذج الأحدث والأسرع (المسماة Block Diffusion) لا تخمن الكلمات واحدة تلو الأخرى، بل تصرخ بمجموعة كاملة من الكلمات دفعة واحدة. المشكلة هي أنه بسبب صراخها بالكلمات معاً، لا تكون متأكدة دائماً من كيفية ملاءمة الكلمات لبعضها البعض في تسلسل منطقي. الأمر يشبه طباخاً يلقي بمجموعة من المكونات على الطاولة دفعة واحدة؛ تبدو المكونات جيدة بشكل فردي، ولكن إذا التقطت المكون العلوي فقط، فقد ينتهي بك الأمر بطبق غريب وغير منطقي.

نظام BASTION هو نظام جديد صُمم لإصلاح هذه الفوضى وجعل العملية سريعة للغاية. إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. "شجرة الاحتمالات" (بدلاً من المسار الواحد)

كانت الطرق القديمة تأخذ صرخة المسودة، وتختار الكلمة "الأفضل" الوحيدة، ثم الكلمة التالية "الأفضل"، وتأمل في الحصول على نتيجة جيدة. إذا تبين أن هذا المسار خاطئ، كان على المحرر رفضه بالكامل، مما يعني ضياع الوقت.

BASTION مختلف. تخيل أن المسودة لا تعطيك مساراً واحداً فحسب، بل تعطيك شجرة عائلة من الاحتمالات.

في الخطوة الأولى، تقول: "ربما الكلمة التالية هي 'قطة' (احتمال 80%) أو 'كلب' (احتمال 20%)".
بدلاً من اختيار 'قطة' فقط، يبني BASTION شجرة صغيرة: فرع لـ 'قطة'، وفرع لـ 'كلب'.
ثم، بالنسبة للكلمة التالية، تتفرع الشجرة مجدداً من كل من 'القطة' و'الكلب'.
فجأة، يصبح لديك غابة صغيرة من الجمل المحتملة التي تنمو من نفس نقطة البداية.

2. "البستاني الذكي" (المتحكم الواعي بالميزانية)

هذا هو الجزء الصعب: لا يمكنك زراعة غابة لانهائية. فالمحرر (النموذج المستهدف) لديه حد مسموح به لعدد الفروع التي يمكنه فحصها في المرة الواحدة. إذا زرعت شجرة واسعة جداً أو عميقة جداً، فإن الوقت المستغرق لفحص الشجرة سيصبح أطول من مجرد كتابة الكلمات واحدة تلو الأخرى.

هنا يأتي دور "البستاني الذكي" في BASTION.

الميزانية: يعرف البستاني بالضبط مقدار الوقت الذي يمتلكه المحرر (الميزانية).
الاستراتيجية: بدلاً من نمو الشجرة بحجم ثابت (مثل "دائماً 10 فروع")، ينظر البستاني إلى مدى ثقة كل فرع.
- إذا بدا فرع ما واعداً جداً (ثقة عالية)، يقوم البستاني بتنمية عمقه.
- إذا بدا الفرع ضعيفاً، يتوقف عن النمو هناك.
إشارة التوقف: يسأل البستاني باستمرار: "هل إضافة فرع واحد آخر سيعطينا مزيداً من السرعة، أم أنه سيضيع الوقت فقط في فحص نهايات مسدودة؟" وبمجرد أن تتجاوز تكلفة فحص فرع جديد الفائدة المرجوة، يوقف البرستاني نمو الشجرة ويرسلها إلى المحرر.

3. "عداد السرعة" (الوعي بالأجهزة)

أجهزة الكمبيوتر المختلفة (GPUs) تشبه السيارات المختلفة. السيارة الرياضية (وحدة معالجة رسومات قوية) يمكنها فحص شجرة ضخمة بسرعة كبيرة. أما السيارة الصغيرة (وحدة معالجة رسومات أضعف) فقد تعاني مع نفس الشجرة.

يحتوي BASTION على "عداد سرعة" مدمج يعرف بالضبط مدى سرعة جهاز الكمبيوتر الخاص بك. هو لا يخمن فقط، بل يقيس المدة التي يستغرقها التحقق من شجرة ذات حجم معين على جهازك. ويستخدم هذه البيانات اللحظية لتحديد الحجم المثالي للشجرة لجهازك تحديداً، مما يضمن لك الحصول على أقصى سرعة دون تحميل جهازك فوق طاقته.

النتيجة

من خلال الجمع بين هذه الأفكال، يحقق BASTION ما تسميه الورقة البحثية تسريعاً بمقدار 6.61 ضعفاً.

الذكاء الاصطناعي القياسي: يكتب كلمة واحدة، ينتظر، يكتب كلمة واحدة، ينتظر. (السرعة: 1x)
الطرق السريعة القديمة: تخمن بضع كلمات، لكنها غالباً ما تتعثر في المسار الخاطئ. (السرعة: ~2-3x)
BASTION: ينمي شجرة تخمينات ذكية ومخصصة الحجم، ويفحص المسارات الأكثر وعداً، ويتوقف تماماً عند الوصول لأقصى كفاءة. (السرعة: ~6.6x)

باختصار، BASTION يشبه مدير مشروع ذكي للكتابة بالذكاء الاصطناعي. فبدلاً من التخمين الأعمى أو بناء هيكل جامد، فإنه يبني ديناميكياً "شجرة خيارات" مرنة ومصممة خصيصاً لتناسب سرعة الكمبيوتر، مما يضمن كتابة الذكاء الاصطناعي بأسرع ما يمكن دون ارتكاب أخطاء.

ملخص تقني: BASTION

بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) من تكاليف تشغيل عالية بسبب الطبيعة التتابعية لفك التشفير التوليدي التلقائي (autoregressive decoding)، والذي يتطلب تمريرة أمامية منفصلة لنموذج الهدف لكل رمز (token) يتم توليده. يعالج فك التشفير التكهني (speculative decoding) هذه المشكلة باستخدام مسودة (drafter) خفيفة الوزن لاقتراح رموز مرشحة متعددة، والتي يقوم نموذج الهدف بالتحقق منها بالتوازي.

بينما تسمح التطورات الأخيرة في مسودات الانتشار الكتلي (block-diffusion drafters) (مثل DFlash وTiDAR) بالتنبؤ المتوازي بعدة رموز مستقبلية في خطوة واحدة، إلا أنها تفرض قيداً حرجاً: هذه النماذج تولد هوامش موضعية (position-wise marginals) بدلاً من تسلسلات مشروطة بالكامل. وبناءً على ذلك، فإن الالتزام بمسار واحد جشع (top-1) غالباً ما يؤدي إلى تسلسلات غير متماسكة تحت توزيع نموذج الهدف. كما تعتمد طرق فك التشفير التكهني القائمة على الأشجار (مثل EAGLE-3) عادةً على توبولوجيا أشجار ثابتة ومحددة مسبقاً بشكل استدلالي، والتي لا تتكيف مع الاستعلام المحدد أو قيود الأجهزة، مما يؤدي إلى مقايضات غير مثالية بين جودة المسودة وتكاليف التحقق.

المنهجية: BASTION

BASTION (فك التشفير الكتلي القائم على الأشجار والمدرك للميزانية) هو إطار عمل خالٍ من التدريب يقوم ببناء توبولوجيا أشجار تعتمد على الاستعلام ديناميكياً لتعظيم سرعة فك التشفير. وهو يدمج ثلاثة مكونات متآزرة:

1. مسودة الانتشار الكتلي القائمة على الأشجار

على عكس المسودات التوليدية التلقائية التي تولد الرموز بشكل تتابعي، يستخدم BASTION مسودة انتشار كتلي لإنتاج توزيعات هوامش موضعية $\{q_k(\cdot)\}$ في تمريرة أمامية واحدة.

فصل التوبولوجيا: تكلفة المسودة ( $T_{draft}$ ) ثابتة بغض النظر عن هيكل الشجرة (سلاسل، أشجار عريضة، أو أشجار عميقة) لأن الكتلة تُعالج بالتوازي.
استقلال الهوامش: المرشحون في المواضع المختلفة مستقلون عن بعضهم البعض بالنظر إلى السياق الذي تم التحقق منه، مما يسمح بدمجهم بحرية في شجرة بادئة $\mathcal{T}$ .
تسجيل المسار: يتم تخصيص درجة مسار $\rho(i) = \prod_{k=1}^{d(i)} q_k(x_{ik})$ لكل عقدة $i$ في الشجرة عند العمق $d(i)$ ، وهي تمثل الاحتمال المشترك للمسار تحت توزيع المسودة.

2. البديل الاستدلالي والانتشار القائم على الأفضل أولاً

لتحديد العقد التي يجب تضمينها في شجرة التحقق دون تحمل تكلفة التحقق من نموذج الهدف، يستخدم BASTION بديلاً لثقة المسار.

تقدير البديل: يتم تقريب طول القبول المتوقع $\mathbb{E}[A(\mathcal{T})]$ عن طريق مجموع درجات المسار: $\hat{A}(\mathcal{T}) = \sum_{i \in \mathcal{T}} \rho(i)$ . ويعتمد هذا على فرضية أن مسارات المسودة ذات الاحتمالية العالية تتماشى مع المسار المفضل لنموذج الهدف.
البناء الأمثل: يثبت البحث أن استراتيجية الانتشار القائم على الأفضل أولاً (best-first expansion) هي استراتيجية مثالية بشكل مثبت لتعظيم $\hat{A}(\mathcal{T})$ تحت ميزانية ثابتة. تقوم الخوارزمية بإضافة العقدة الصالحة ذات أعلى درجة $\rho(i)$ بشكل تكراري، مما يضمن نمو الشجرة على طول أكثر المسارات واعدة أولاً. وينتج عن ذلك علاقة مقعرة بين حجم الشجرة والقبول المتوقع، مما يظهر عوائد متناقصة.

3. متحكم الميزانية عبر الإنترنت المدرك للأجهزة

يحدد BASTION ديناميكياً حجم الشجرة الأمثل $N$ عند كل خطوة فك تشفير من خلال موازنة المكاسب الهامشية في طول القبول مقابل الزيادة الهامشية في زمن التحقق.

نمذجة زمن التأخير: يستخدم الإطار نموذج سقف (roofline model) مدرك للأجهزة لتقدير زمن التحقق $T_{verify}(N)$ . يأخذ هذا النموذج في الاعتبار عرض نطاق الذاكرة وقيود الحوسبة، ويتم معايرته عبر أوقات التشغيل المرصودة لتصحيح تجاوزات دمج النواة (kernel fusion) وأعباء الجدولة.
التوقف التكيفي: يقوم المتحكم بتوسيع الشجرة حتى يبدأ التسريع المقدر $S(N) = \frac{\hat{A}(\mathcal{T}_N) \cdot L_{AR}}{C(N)}$ في التناقص. يضمن ذلك توقف النظام عن التوسيع تماماً عندما تفوق تكلفة التحقق من العقد الإضافية فائدة التسلسل المقبول الأطول.

المساهمات الرئيسية

مسودة الانتشار الكتلي القائمة على الأشجار: تقديم خوارزمية بناء شجرة بادئة قائمة على الأفضل أولاً تستفيد من درجات مسار لوغاريتمات المسودة لبناء أشجار مرشحة عالية الجودة ومغلقة البادئة من لوغاريتمات الانتشار الكتلي، متجاوزة بذلك فك التشفير الجشع أحادي المسار.
متحكم الميزانية عبر الإنترنت المدرك للأجهزة: متحكم مبتكر يحدد حجم الشجرة الأمثل ديناميكياً عند كل خطوة من خلال الموازنة بين مكاسب القبول المتوقعة وزمن التحقق المعاير للأجهزة، مما يلغي الحاجة إلى أشجار ثابتة الحجم.
التحقق التجريبي الواسع: تقييم شامل عبر نماذج هدف متنوعة (Qwen3, Llama-3.1)، ومعايير (رياضيات، برمجة، دردشة)، ومعماريات GPU مختلفة (A100, H100, A6000, RTX PRO 6000)، مما يظهر تسريعاً كبيراً دون الحاجة لضبط الإعدادات.

النتائج التجريبية

تم التقييم على وحدة معالجة رسومات NVIDIA A100 مع فك التشفير الجشع (درجة الحرارة 0):

التسريع: يحقق BASTION متوسط تسريع قدره 6.61× مقارنة بفك التشفير التلقائي القياسي على Qwen3-8B.
المقارنة مع الخطوط المرجعية:
- يتفوق على EAGLE-3 (أحدث تقنية لفك التشفير الشجري القائم على التوليد التلقائي) بمقدار 2.45× (6.61× مقابل 2.70× في المتوسط).
- يتفوق على DFlash (أحدث تقنية للمسار الواحد في الانتشار الكتلي) بمقدار 1.39× (6.61× مقابل 4.76× في المتوسط).
طول القبول: يحقق BASTION متوسط طول قبول (AAL) أكبر بكثير مقارنة بالخطوط المرجعية أحادية المسار (مثلاً 8.48 مقابل 6.24 على Qwen3-8B)، مما يؤكد أن التحقق الهيكلي الشجري ينجح في التقاط استمرارات صالحة أطول.
التعميم: تظل مكاسب الأداء متسقة عبر أجيال مختلفة من وحدات معالجة الرسومات (بما في ذلك معماريات H100 وBlackwell)، مما يشير إلى أن الطريقة ليست مرتبطة بجهاز أو نموذج محدد.

الأهمية والادعاءات

يزعم البحث أن BASTION يمثل تقدماً كبيراً في فك التشفير التكهني من خلال حل التوتر بين الكفاءة المتوازية لمسودات الانتشار الكتلي والتماسك التتابعي المطلوب لنماذج الهدف. ومن خلال استبدال أشكال الأشجار الاستدلالية الثابتة ببناء ديناميكي مدرك للميزانية، يستغل BASTION موارد الحوسبة المتوازية المتاحة بالكامل مع تجنب عقوبات زمن التأخير الناتجة عن التحقق الزائد من المسارات ذات الاحتمالية المنخفضة.

الأهم من ذلك، أن الطريقة خالية من التدريب ولا تتطلب أي ضبط لكل إعداد، مما يجعلها قابلة للنشر الفوري عبر مختلف الأجهزة وتكوينات النماذج. ويؤكد المؤلفون أن نهجهم يجسّر الفجوة بفعالية بين الإمكانات النظرية لمسودة الانتشار الكتلي وبين الإنتاجية العملية للاستنتاج، محققاً تسريعاً يقترب من المثالية عبر المواءمة التكيفية لهيكل المسودة مع قيود النظام في الوقت الفعلي.