← أحدث الأبحاث
🤖 machine learning

Multi-Bin Batching for Increasing LLM Inference Throughput

تقترح هذه الورقة "التجميع متعدد الحاويات" (Multi-Bin Batching)، وهو سياسة تحكم تقوم بتجميع طلبات النماذج اللغوية الكبيرة (LLM) ذات أوقات التنفيذ المتوقعة المتشابهة في حاويات محددة مسبقاً لتعظيم إنتاجية الاستدلال تحت ظروف التجميع الثابت بشكل مثبت، مما يقلل بشكل كبير من عدم استغلال الموارد الناتج عن تباين أطوال التوليد.

المؤلفون الأصليون: Ozgur Guldogan, Jackson Kunde, Kangwook Lee, Ramtin Pedarsani

نُشر 2026-08-18
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Ozgur Guldogan, Jackson Kunde, Kangwook Lee, Ramtin Pedarsani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في العصر الرقمي، أصبحت النماذج اللغوية الكبيرة هي المحركات وراء موجة جديدة من الأدوات الذكية، القادرة على كتابة القصص، وتصحيح الأخطاء البرمجية، والإجابة على الأسئلة المعقدة. تعمل هذه الأنظمة عن طريق التنبؤ بالكلمة التالية في تسلسل ما، رمزاً تلو الآخر، وهي عملية تتطلب قدرة حوسبية هائلة. ولجعل هذه الأنظمة مفيدة لعدد كبير من الناس في وقت واحد، يجب على الخوادم التعامل مع آلاف الطلبات في آن واحد. الطريقة القياسية للقيام بذلك هي من خلال تقنية تسمى "التجميع" (batching)، حيث يقوم الحاسوب بتجميع عدة طلبات معاً ومعالجتها جميعاً في نفس الوقت، تماماً مثل حافلة تحمل ركاباً متعددين إلى الوجهة ذاتها. هذه المعالجة المتوازية ضرورية للسرعة، لكنها تسبب عدم كفاءة خفية: إذ يجب على المجموعة بأكملها الانتظار حتى ينتهي أبطأ راكب قبل أن تنطلق الحافلة في الرحلة التالية. فإذا احتاج شخص واحد في مجموعة مكونة من عشرة أشخاص وقتاً طويلاً للاستعداد بينما كان الآخرون مستعدين فوراً، فإن الحاسوب يظل خاملاً، ينتظر ذلك الطلب البطيء الوحيد، مما يهدر وقتاً وطاقة ثمينين.

لطالما سعى الباحثون لإيجاد طريقة لإصلاح لعبة الانتظار هذه دون التخلي عن كفاءة التجميع. يقترح بحث جديد حلاً يسمى "التجميع متعدد الصناديق" (multi-bin batching)، وهو أسلوب ينظم الطلبات الواردة في خطوط انتظار منفصلة بناءً على المدة المتوقع استغراقها. فبدلاً من إلقاء كل طلب في طابور مختلط واحد، يتنبأ النظام بطول الإجابة التي يريدها كل مستخدم ويصنفها في "صناديق" مختلفة. الطلبات التي يُحتمل أن تكون قصيرة تذهب إلى صندوق واحد، بينما تلك التي يُحتمل أن تكون طويلة تذهب إلى صندوق آخر. ومن ثم يتم تشكيل مجموعات داخل هذه الصناديق، مما يضمن أن الطلبات في أي مجموعة واحدة لها مدد زمنية متقاربة. هذا يمنع الطلبات السريعة من التعطل بسبب الطلبات البطيئة، مما يسمح للحاسوب بإنهاء عمله على مجموعة ما في وقت أقصر بكثير والبدء في المجموعة التالية.

اختبر الباحثون هذه الفكرة باستخدام إطار عمل رياضي يعامل الخادم كآلة واحدة تعالج تدفقاً مستمراً من الطلبات. وقد أثبتوا أنه من خلال زيادة عدد الصنفيات، يمكن للنظام الاقتراب أكثر فأكثر من السرعة القصوى النظرية حيث لا تضيع أي مدة في انتظار المتأخرين. وفي تحليلهم، أظهروا أنه إذا تم إعداد الصناديق بشكل صحيح، فإن الوقت الذي يقضيه الحاسوب في انتظار انتهاء مجموعة ما يتناقص بشكل كبير. كما استكشفت الدراسة كيف يعمل هذا عندما يتبع الوقت المستغرق لتوليد الإجابة نمطاً إحصائياً معيناً، مما أكد أن المنطق يظل صامداً حتى عندما يكون التوقيت غير قابل للتنبؤ. والنتيجة الجوهرية هي أن مجرد تجميع المهام المتشابهة معاً، بدلاً من معالجتها حسب ترتيب وصولها، يمكن أن يقلل بشكل كبير من وقت الخمول الذي يعيب الأنظمة الحالية.

ولرؤية ما إذا كانت هذه النظرية تنجح في العالم الحقيقي، أجرى الفريق تجارب باستخدام نموذج مفتوح المصدر شائع على بطاقة رسوميات عالية الأداء. وقارنوا طريقتهم الجديدة بطريقة التجميع القياسية، وبنظام أكثر تقدماً يسمى "التجميع المستمر" (continuous batching)، والذي يسمح للطلبات الجديدة بالانضمام إلى مجموعة بمجرد توفر مكان شاغر. في اختبار محكم حيث عرف الباحثون بالضبط طول كل إجابة، تفوقت طريقة "التجميع متعدد الصناديق" الخاصة بهم، المكونة من ستة عشر صندوقاً، على النهج القياسي بنسبة تزيد عن 150 بالمائة. وفي هذا السيناريو المحدد، تفوقوا قليلاً حتى على نظام التجميع المستمر، مما يشير إلى أنه إذا استطعت التنبؤ بدقة بكيفية استغراق المهمة لوقتها، فإن فرزها في مجموعات محكمة يعد استراتيجية فعالة للغاية.

ومع ذلك، نادراً ما يكون العالم الحقيقي بهذا القدر من القدرة على التنبؤ. فعندما طبق الباحثون الطريقة على مجموعة بيانات من أسئلة المستخدمين الحقيقية، حيث كان عليهم تقدير طول الإجابة بدلاً من معرفتها بشكل مؤكد، كانت النتائج لا تزال مثيرة للإعجاب ولكنها أكثر تواضعاً. وباستخدام أداة خفيفة لتخمين طول الاستجابة، حسّن نظام التجميع متعدد الصناديق الإنتاجية بنسبة 150 بالمائة مقارنة بالطريقة القياسية، وهي زيادة هائلة. ومع ذلك، ظل خلف نظام التجميع المستمر، الذي ظل الأسرع إجمالاً. وأظهرت الفجوة بين النتائج التقديرية ونتائج "المعرفة المثالية" أن دقة التنبؤ مهمة للغاية؛ فعندما خمن النظام الطول بشكل صحيح، قفز الأداء بشكل كبير. وهذا يشير إلى أنه بينما تعد استراتيجية الفرز قوية، فإن إمكاناتها الكاملة تعتمد على امتلاك طريقة جيدة جداً للتنبؤ بمدة المهمة قبل بدئها.

تخلص الدراسة إلى أن نهج التجميع هذا ليس بديلاً للأنظمة المتطورة المستخدمة بالفعل، ولكنه أداة قوية يمكن إضافتها إليها. فمن خلال العمل كآلية فرز ذكية قبل وصول الطلبات إلى طابور المعالجة الرئيسي، يمكنه مساعدة الخوادم الحديثة على التعامل مع حركة المرور بكفاءة أكبر. ووجد الباحثون أن عدد الصناديق يعمل كـ "مقبض ضبط": فإذا كان العدد قليلاً جداً، سيظل النظام يعاني من تفاوت السرعات؛ وإذا كان كثيراً جداً، فقد يؤدي الوقت المستغرق في فرز الطلبات إلى إبطاء الأمور. وتعتمد "النقطة المثالية" على طبيعة العمل ومدى دقة قدرة النظام على التنبؤ بأطوال المهام. وفي النهاية، يوضح هذا العمل أن تغييراً بسيطاً في كيفية تجميع الطلبات — عبر معاملة المهام المتشابهة كجيران بدلاً من غرباء — يمكن أن يفتح آفاقاً لتحسينات كبيرة في السرعة لأنظمة الذكاء الاصطناعي التي تدعم حياتنا الرقمية اليومية.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.LG →