Benchmarking LLM Serving Systems for Agentic AI Workloads with XPerf
تقدم هذه الورقة XPerf، وهو إطار عمل للقياس المرجعي يتيح اختبار التحميل القابل لإعادة الإنتاج والتحليل التفصيلي لأداء أنظمة خدمة النماذج اللغوية الكبيرة (LLM) تحت أعباء عمل الذكاء الاصطناğı الوكيل المتنوعة، وذلك من خلال استخدام نهج إعادة تشغيل التتبع دقيق التفاصيل للتغلب على تحديات تدفقات التحكم غير الحتمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في ظل المشهد المتطور بسرعة للذكاء الاصطناعي، ظهر جيل جديد من البرمجيات التي تفعل ما هو أكثر من مجرد الإجابة على الأسئلة؛ إنها تعمل. هذه البرامج، المعروفة باسم "الوكلاء" (agents)، يمكنها تفكيك المهام المعقدة إلى خطوات أصغر، واستخدام الأدوات الرقمية لجمع المعلومات، واتخاذ القرارات بناءً على ما تجده. وخلافًا لروبوت الدردشة القياسي الذي ينتظر مطالبة جديدة بعد كل استجابة، يمكن للوكيل أن يخطط لمشروع بحثي، ويبحث في الويب عن بيانات، ويكتب كودًا لتحليل تلك البيانات، ثم يحسن نهجه بناءً على النتائج. تتضمن هذه العملية حلقة مستمرة من التفكير والعمل، حيث يستدعي البرنامج نموذج لغة ضخمًا عدة مرات في جلسة واحدة لتوجيه رحلته.
ولكي تكون هذه الوكلاء مفيدة في العالم الحقيقي، يجب أن تكون أنظمة الكمبيوتر التي تشغلها سريعة وفعالة للغاية. هذه الأنظمة، التي تسمى محركات الخدمة (serving engines)، مسؤولة عن معالجة حسابات نموذج اللغة. ومع ذلك، فإن اختبار مدى كفاءة هذه المحركات أمر صعب لأن المسار الذي يسلكه الوكيل غير متوقع. تمامًا كما قد يحل الإنسان مشكلة في خمس خطوات يومًا ما وعشر خطوات في يوم آخر، فإن رحلة الوكيل تتغير في كل مرة يعمل فيها، حتى عند إعطائه نفس التعليمات الأولية بالضبط. هذا عدم القدرة على التنبؤ يجعل من الصعب على المهندسين معرفة ما إذا كان النظام سريعًا حقًا أم أنه كان محظوظًا فقط لأن اختبارًا معينًا كان بسيطًا.
ولحل هذه المشكلة، طور باحثون في جامعة إلينوي وشركة IBM للأبحاث أداة جديدة تسمى XPerf. يسمح هذا النظام للمهندسين بتسجيل المسار الدقيق الذي يسلكه الوكيل خلال مهمة حقيقية، ثم إعادة تشغيل هذا المسار نفسه مرارًا وتكرارًا لاختبار أنظمة كمبيوتر مختلفة. ومن خلال التقاط التسلسل المحدد للقرارات والإجراءات، يزيل XPerf عنصر الصدفة. فهو يضمن أنه عندما يختبر المهندس تحديثًا جديدًا للبرامج، فإنه يقارنه ضد نفس عبء العمل بالضبط، بدلاً من التخمين حول كيفية تعامل النظام مع مجموعة مختلفة وعشوائية من الخطوات. هذه الدقة أمر بالغ الأهمية لتحديد الاختناقات وفهم سبب تباطؤ النظام تحت الضغط.
استخدم الباحثون XPerf لدراسة ثمانية أنواع مختلفة من تطبيقات الوكلاء، تتراوح من الأدوات التي تكتب الكود وتصلح البرمجيات إلى الأنظمة التي تجري أبحاثًا عميقة وتجيب على أسئلة معقدة. ووجدوا أن هذه التطبيقات تسلك سلوكًا مختلفًا تمامًا عن روبوتات الدردشة القياسية. فبينما قد تتضمن المحادثة النموذجية بضع رسائل متبادلة، يمكن للوكيل أن يطلق عشرات النداءات الداخلية لنموذج اللغة لإكمال طلب مستخدم واحد. وفي بعض الحالات، أدى طلب واحد لوكيل برمجي إلى ما معدله سبعة عشر نداءً منفصلاً لنموذج اللغة، بل وصلت بعض الطلبات إلى ما يقرب من أربعين نداءً. هذا التعقيد يعني أن النظام يجب أن يدير شبكة من المهام المعتمدة على بعضها البعض، حيث لا يمكن أن تبدأ خطوة قبل انتهاء الخطوة التي تسبقها.
كان اكتشافهم الرئيسي من هذا الاختبار هو أن أداء هذه الأنظمة حساس للغاية لكيفية التعامل مع الطلبات. لاحظ الباحثون أنه عندما تعمل العديد من الوكلاء في وقت واحد، غالبًا ما يعاني النظام من صعوبة في تذكر سياق الخطوات السابقة. تعتمد نماذج اللغة على شكل من أشكال الذاكرة قصيرة المدى تسمى "المخزن المؤقت" (cache) لتجنب إعادة قراءة المعلومات التي تمت معالجتها بالفعل. ومع ذلك، عندما يكون النظام تحت حمل ثقيل، فإنه يقوم أحيانًا بطرد المعلومات القديمة لإفساح المجال لطلبات جديدة، حتى لو كانت تلك المعلومات ستكون مطلوبة مرة أخرى بعد لحظة وجيزة. وهذا يجبر الكمبيوتر على إعادة حساب كل شيء من الصفر، مما يهدر الوقت والطاقة. وأظهرت الدراسة أن تأثير "الاضطراب" (thrashing) هذا يمكن أن يتسبب في تباطؤ النظام بشكل كبير، حيث شهدت بعض التطبيقات انخفاضًا في سرعتها بنسبة تقارب أربعين بالمائة مع زيادة عدد الطلبات.
كما اختبر الفريق مدى فعالية استراتيجيات مختلفة لإدارة معالجات الكمبيوتر المتعددة. ووجدوا أن مجرد توزيع العمل بالتساوي عبر جميع المعالجات المتاحة لا يؤدي دائمًا إلى أفضل النتائج. في الواقع، كانت الاستراتيجية التي تبقي جميع خطوات رحلة الوكيل الواحد على نفس المعالج أكثر كفاءة بكثير. سمح هذا النهج للنظام بالاحتفاظ بالسياق الضروري في الذاكرة، وتجنب الحاجة إلى إعادة حساب المعلومات. ومن خلال استخدام XPerf لإعادة تشغيل نفس عبء العمل بالضبط تحت ظروف مختلفة، استطاع الباحثون رؤية أن هذا النهج المستهدف حسن سرعة المعالجة بأكثر من ثلاث مرات مقارنة بالطريقة القياسية المتمثلة في توزيع العمل عشوائيًا.
وإلى جانب قياس السرعة، قدم XPerf نظرة تفصيلية على العمليات الداخلية لأجهزة الكمبيوتر نفسها. تمكن الباحثون من رؤية مقدار الذاكرة التي يستخدمها الكمبيوتر بالضبط ومدى جهد رقائق المعالجة. واكتشفوا أنه عندما يُجبر النظام على إعادة حساب المعلومات بسبب سوء إدارة الذاكرة، فإن معالجات الكمبيوتر تعمل بجهد كبير ولكن دون إنتاج نتائج مفيدة. لقد كانت حالة من الجهد العالي مع كفاءة منخفضة. هذا المستوى من التفاصيل يساعد المهندسين ليس فقط في معرفة أن النظام بطيء، بل في فهم السبب الدقيق وراء ذلك البطء، مما يسمح لهم بإصلاح الجزء المحدد من البرنامج الذي يسبب المشكلة.
كما سلطت الدراسة الضوء على أن الطريقة التي يُصمم بها الوكيل تهم بقدر أهمية الكمبيوتر الذي يعمل عليه. فقد وُجد أن بعض التطبيقات أكثر كفاءة من غيرها، ليس لأنها أذكى، بل لأنها صُممت لتعمل بشكل أفضل مع ذاكرة الكمبيوتر. على سبيل المثال، إحدى أدوات البحث التي كانت تضيف طابعًا زمنيًا متغيرًا إلى كل رسالة ترسلها، تسببت دون قصد في تدمير قدرتها على إعادة استخدام الذاكرة، مما أجبر النظام على البدء من الصفر في كل مرة. ومن خلال إزالة هذا التغيير غير الضروري، تمكن الباحثون من تحسين كفاءة النظام بشكل كبير. يشير هذا إلى أن التغييرات الصغيرة في كيفية كتابة البرامج يمكن أن يكون لها تأثير هائل على الأداء.
في النهاية، يعمل XPerf كمرآة موثوقة لعالم وكلاء الذكاء الاصطناعي. فهو يتيح للمطورين رؤية أنظمتهم بوضوح، دون تشويه من التباين العشوائي. ومن خلال توفير طريقة لاختبار وقياس وفهم هذه التطبيقات المعقدة، يساعد هذا الأداة في ضمان أن الجيل القادم من برامج الذكاء الاصطناعي سيكون قويًا وسريعًا وجاهزًا لمتطلبات الاستخدام في العالم الحقيقي. وقد وضع الباحثون هذه الأداة تحت تصرف الجمهور، آملين أن يؤدي ذلك إلى تسريع تطوير أنظمة أفضل للجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.