HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization
تُعد HeraSys نظاماً لخدمة النماذج اللغوية الكبيرة يعمل على تحسين الأداء الشامل لسير العمل المتزامن متعدد المستأجرين من خلال القضاء على التكرار الحسابي عبر تداخل سير العمل باستخدام دمج العقد الهيكلي، وتطبيق سياسة جدولة مشتركة مدركة للحمل لتقليل زمن الاستجابة في الحالات القصوى بشكل كبير مع زيادة الإنتاجية.
تخيل مطبخاً يعج بالحركة حيث يحاول فريق من الطهاة طهي مئات الوجبات المعقدة في آن واحد. في عالم الذكاء الاصطناعي، هذه "الوجبات" هي المهام التي تؤديها النماذج اللغوية الكبيرة (LLMs)—وهي عقول حاسوبية فائقة الذكاء تكتب القصص، وتجيب على الأسئلة، وتحل المشكلات. عادةً، عندما تطلب من الذكاء الاصطناعي القيام بشيء ما، يتم التعامل معه كطلب منفرد ومعزول. ولكن في العالم الحقيقي، أصبحت التطبيقات تشبه المآدب الفاخرة: قد يتضمن الطلب الواحد البحث عن معلومات، والتحقق من قاعدة بيانات، ثم كتابة ملخص، كل ذلك في خطوة واحدة. تُسمى هذه العمليات "سير العمل" (workflows).
المشكلة هي أنه عندما يطلب الكثير من الناس هذه المآدب المعقدة في نفس الوقت، تصبح المطبخ فوضوياً. إذا طلب زبونان نفس المكون لتقطيعه، فقد يقوم المطبخ بتقطيعه مرتين، مما يهدر الوقت والطاقة. والأسوأ من ذلك، إذا طلب أحد الزبائن حساءً ضخماً يستغرق وقتاً طويلاً في الطهي، فقد يعلق الطهاة عنده، مما يترك الجميع ينتظرون تقديم سلطاتهم السريعة. هذا هو تحدي "خدمة" الذكاء الاصطناعي: كيف تدير فيضاً من الطلبات المعقدة والمتداخلة دون أن يتوقف النظام عن العمل أو يترك بعض الناس ينتظرون للأبد؟
هنا يأتي دور نظام جديد يسمى HeraSys. فكر في HeraSys كمدير مطبخ ثوري لا ينظر فقط إلى طلب واحد في كل مرة، بل يراقب أرضية المطبخ بأكملها ليرى كيف يمكن للطلبات المختلفة أن تساعد بعضها البعض. بدلاً من معاملة كل طلب كجزيرة منعزلة، يبحث HeraSys عن التداخلات. إذا كان زبونان مختلفان يحتاجان إلى تحليل نفس المستند أو استخدام نفس الأداة، يقول HeraSys: "مهلاً، دعونا نفعل ذلك مرة واحدة ونشارك النتيجة!". كما يعمل مثل شرطي المرور، حيث يضمن عدم تعثر الطلبات السريعة والبسيطة خلف الطلبات الثقيلة والبطيئة، ويضمن عدم حرمان الطلبات البطيئة من الاهتمام.
قام الباحثون وراء HeraSys ببناء نظام يفكك مهام الذكاء الاصطناعي المعقدة هذه إلى قطع صغيرة دقيقة. وقد وجدوا أنه من خلال دمج الخطوات المكررة وجدولة ذكية لمن يحصل على موارد المطبخ (مثل الرقائق الحاسوبية القوية)، استطاعوا جعل النظام بأكمله أسرع بكثير. وفي اختباراتهم، أظهروا أن HeraSys يمكنه تقليل الوقت الذي تستغرقه أبطأ الطلبات للانتهاء بما يصل إلى 2.17 مرة (أي أنها كانت أسرع بأكثر من الضعف) وزاد إجمالي عدد المهام التي يمكن للنظام التعامل معها بما يصل إلى 1.85 مرة مقارنة بأفضل الأنظمة الموجودة.
تجادل الورقة البحثية ضد الطريقة القديمة في العمل، حيث تعامل الأنظمة كل طلب كوظيفة مستقلة ومعزولة. وهي توضح أن هذا "العزل" يخلق هدراً واختناقات غير ضرورية. بدلاً من ذلك، يقترحون نهجاً تعاونياً حيث يبحث النظام بنشاط عن العمل المشترك. كما يجادلون ضد قواعد الجدولة البسيطة مثل "من يأتي أولاً يُخدم أولاً"، والتي يمكن أن تتسبب في حجز المهام الطويلة للجميع، أو "أقصر وظيفة أولاً"، والتي قد تجعل المهام الطويلة تنتظر للأبد. يقترح HeraSys استراتيجية متوازنة "واعية بالحمل" تحجز بعض الموارد للمهام الثقيلة مع إعطاء الأولوية للطلبات السريعة، مما يضمن العدالة والسرعة للجميع.
تشير النتائج، التي تم قياسها من خلال تجارب مكثفة على أجهزة حقيقية، إلى أن هذا النهج التعاوني دقيق التفاصيل يمثل خطوة كبيرة للأمام. فمن خلال دمج الخطوات المتكررة وتعديل كيفية تجميع وتنفيذ المهام ديناميكياً، ينجح HeraSys في الحفاظ على انخفاض متوسط وقت الانتظار مع منع "ذيل" التأخيرات البطيئة والمحبطة التي غالباً ما تعاني منها أنظمة الذكاء الاصطناسي المعقدة. الأمر يشبه إدراك أنه إذا قمت بتنظيم مجموعة من الأصدقاء لتنظيف منزل، فلا ينبغي عليك فقط تعيين غرفة لكل شخص؛ بل يجب أن تلاحظ أن شخصين يقومان بكنس نفس الممر معاً وتجعلهما يعملان معاً، مع التأكد من أن الشخص الذي يغسل النوافذ لا يظل عالقاً في انتظار المكنسة الكهربائية.
ملخص تقني: HeraSys
بيان المشكلة
أدى انتشار النماذج اللغوية الكبيرة (LLMs) إلى تحويل تطوير التطبيقات من تفاعلات بسيطة أحادية الدور إلى سير عمل وكيلية (agentic workflows) معقدة ومتعددة المستأجرين، ممثلة في رسوم بيانية موجهة غير حلقية (DAGs). تركز أنظمة الخدمة الحالية بشكل أساسي على تحسين الأداء ضمن سير عمل واحد أو التركيز على التبعيات داخل سير العمل الواحد (مثل تجميع استدلال النموذج اللغوي الكبير - LLM inference batching). ومع ذلك، تعامل هذه النهج سير العمل المتزامن كحالات مستقلة، مما يؤدي إلى عدم كفاءة حرجتين في البيئات متعددة المستأجرين:
التكرار الحسابي: غالبًا ما تشترك الاستعلامات المتزامنة في سمات هيكلية مشتركة، مثل تضمين (embedding) قطع وثائق متطابقة، أو استرجاع بيانات متماثلة، أو استدعاء نفس الأدوات بسياقات متشابهة. تفتقر التصميمات النمطية الحالية إلى رؤية شاملة للكشف عن هذه التداخلات، مما يجبر النظام على تنفيذ مهام مكررة.
عدم كفاءة الجدولة وعدم العدالة: تُظهر أعباء العمل في العالم الحقيقي تباينًا عاليًا، حيث تمزج بين المهام القصيرة (مثل الأسئلة والأجوبة البسيطة) والمهام الطويلة (مثل الاستنتاج متعدد الجولات). تعاني سياسات الجدولة التقليدية مثل "من يأتي أولاً يُخدم أولاً" (FCFS) من مشكلة "انسداد رأس الصف" (Head-of-Line blocking)، حيث تؤخر المهام الطويلة المهام القصيرة. وعلى العكس من ذلك، فإن إعطاء الأولوية الصارمة للمهام القصيرة (مثل "الأقصر مهمة أولاً" - SJF) يمكن أن يؤدي إلى تجويع (starvation) المهام الطويلة، مما يقلل من العدالة وزمن الاستجابة في الذيل (tail latency).
المنهجية
يقترح المؤلفون HeraSys، وهو نظام خدمة دقيق وشامل مصمم لتحسين سيناريوهات سير العمل المتعدد المتزامنة من خلال بنية تحسين ثنائية الطبقة.
1. تحسين ما قبل التنفيذ: دمج الرسم البياني الدلالي (Semantic Graph Fusion)
يكسر HeraSys عزلة مستوى الطلب من خلال تحليل السياق العالمي للاستعلامات الواردة قبل التنفيذ.
البصمة الدلالية للعقدة (Node Semantic Signature): يخصص النظام بصمة هاش (hash signature) فريدة لكل عقدة مهمة بناءً على نوع المشغل (operator type)، والمعلمات، وبيانات المدخلات، وبصمات العقد السابقة لها. يسمح هذا للنظام بتحديد المهام المستقلة منطقيًا ولكنها متكافئة حسابيًا عبر استعلامات مختلفة.
الدمج الطوبولوجي (Topological Fusion): بالنسبة للاستعلامات المتزامنة التي تصل ضمن نافذة زمنية قصيرة، يقوم النظام بدمج العقد المكررة. إذا كانت العقدة في استعلام جديد تطابق عقدة موجودة بالفعل في طابور الاستعداد، يتم إزالة العقدة الجديدة من الرسم البياني للتنفيذ، ويتم إعادة توجيه تبعياتها اللاحقة إلى العقدة الموجودة.
إعادة استخدام التخزين المؤقت غير المتزامن: بالنسبة للطلبات خارج النافذة الزمنية، يعيد النظام استخدام نتائج العقد المكتملة أو ينتظر انتهاء العقد الجاري تنفيذها، مما يؤدي إلى مشاركة المخرجات.
تعديل الأولوية: يتم تعيين أولوية جدولة أعلى للعقد المدمجة، والتي تُحسب كمجموع مساهمات جميع العقد المنطقية المدمجة، لتسريع تقدم المسارات اللاحقة المتعددة في آن واحد.
2. تحسين وقت التشغيل: الجدولة المشتركة المدركة للحمل (Load-Aware Joint Scheduling)
تدير المجدولة في وقت التشغيل ترتيب التنفيذ وتخصيص الموارد ديناميكيًا لموازنة متوسط زمن الاستجابة مع العدالة للمهام طويلة الذيل.
التقدير الديناميكي للوقت المتبقي: يقدر النظام وقت الخدمة المتبقي (S^q) لكل استعلام من خلال الجمع بين التوصيف (profiling) في وضع عدم الاتصال (offline) والتقدم في التنفيذ عبر الإنترنت (online). يتم تفكيك مشغلات فك الترميز (decoding) الطويلة إلى عقد فرعية متسلسلة لتمكين الاستقطاع (preemption) الدقيق والتتبع الدقيق.
مقياس مساهمة العقدة: يحدد مقياس (ϕv) مساهمة العقدة في تقدم الاستعلام بناءً على عبء العمل اللاحق، وطول المسار، والفروع المتوازية.
انحياز وتقسيم الموارد: لمنع التجويع، يصنف النظام الاستعلامات إلى "طويلة" أو "قصيرة" بناءً على عتبة ديناميكية مشتقة من توزيع الأوقات المتبقية. يفرض النظام حدًا أدنى لحجز الموارد للعقد الثقيلة في الاستعلامات الطويلة، مما يضمن حصولها على حصة مضمونة من الموارد بينما تُعطى الأولوية للمهام القصيرة لضمان زمن استجابة منخفض.
دالة الأولوية المشتركة: تقوم المجدولة بترتيب العقد الجاهزة باستخدام دالة أولوية مركبة πv توازن بين ثلاثة عوامل:
الأقصر وقتًا متبقيًا أولاً (SRTF) الديناميكي: لتقليل متوسط زمن الاستجابة.
المساهمة الطوبولوجية: لإعطاء الأولوية للعقد الحرجة التي تفتح العمل اللاحق.
مكافحة التجويع: لرفع أولوية العقد الثقيلة في المهام الطويلة.
التنفيذ التكيفي: يعدل النظام أحجام الدفعات (batch sizes) ودقة تفكيك خط الأنابيب (pipeline decomposition) ديناميكيًا بناءً على حمل النظام. تحت الحمل العالي، يزيد من التجميع (batching) لتحسين الإنتاجية؛ وتحت الحمل المنخفض، يزيد من تقسيم خط الأنابيب لاستغلال توازي البيانات وتقليل زمن الاستجابة.
المساهمات الرئيسية
بنية تحسين ثنائية الطبقة: يقدم HeraSys نظامًا يتغلب على عزلة مستوى الطلب التقليدية من خلال دمج دمج الرسم البياني قبل التنفيذ مع الجدولة الديناميكية في وقت التشغيل، محققًا تحسينًا مشتركًا لاستغلال الموارد وكفاءة الجدولة.
إعادة استخدام عقد الرسم البياني عبر الاستعلامات: آلية لتحديد وإزالة الرسوم البيانية الفرعية الحسابية المكررة عبر سير العمل عبر مطابقة البصمة الدلالية، مما يقلل بشكل كبير من العبء الحسابي.
استراتيجية الجدولة المشتركة المدركة للحمل: استراتيجية تدمج تصنيف المهام الديناميكي، وتخصيص الموارد المنحاز، والتجميع التكيفي لتقليل زمن الاستجकी النهائي بفعالية مع ضمان العدالة للمهام طويلة الذيل.
التنفيذ والتقييم: قام المؤلفون بتنفيذ HeraSys على خادم مزود بوحدات معالجة رسومات NVIDIA RTX 4090 باستخدام vLLM كخلفية (backend) وأثبتوا فعاليته من خلال مقارنات واسعة مع خطوط الأساس المتطورة.
النتالئج التجريبية
قيم المؤلفون HeraSys مقابل LangGraph وLlamaIndex والنظام المتطور Ayo عبر أعباء عمل متنوعة (RAG مع/بدون إعادة ترتيب - reranking، بحث الويب، وسيناريوهات مختلطة) تحت مستويات تزامنية متفاوتة (من 6 إلى 300).
تقليل زمن الاستجابة: قلل HeraSys زمن استجابة P99 بنسبة تصل إلى 2.17× وزمن استجابة P95 بنسبة تصل إلى 1.94× مقارنة بالنماذج المرجعية تحت ضمانات زمن استجابة صارمة. في أعباء العمل المختلطة، حقق تحسنًا قدره 2.17× في زمن استجابة P99.
تحسين الإنتاجية: زاد النظام من إنتاجية الخدمة بنسبة تصل إلى 1.85× مقارنة بالنماذج المرجعية.
دراسات الاستئصال (Ablation Studies): أكدت التجارب أن إزالة دمج الرسم البياني (Graph Fuser) قلل الإنتاجية بنسبة 1.16× تقريبًا، وأن استخدام جدولة SRTF فقط (بدون انحياز الموارد) زاد من زمن استجابة P99 بنسبة 22.3% مقارنة بالنظام الكامل، مما يسلط الضوء على ضرورة نهج التحسين المشترك.
العدالة: نجحت آلية انحياز الموارد في التخفيف من مشكلات التجويع الشائعة في استراتيجيات SRTF البحتة، مما وفر جودة خدمة (QoS) أكثر قابلية للتنبؤ للمهام الطويلة دون المساس بشكل كبير باستجابة المهام القصيرة.
الأهمية والادعاءات
يزعم البحث أن HeraSys يمثل خطوة كبيرة للأمام في البنية التحتية لخدمة النماذج اللغوية الكبيرة من خلال نقل التركيز من تحسين الطلب المعزول إلى التحسين التعاوني عبر سير العمل. من خلال استغلال السمات الهيكلية الدقيقة والموازنة الديناميكية لتنازع الموارد، يعالج HeraSys حالات التكرار المتأصلة وتحديات الجدولة في سير العمل الوكيلية متعددة المستأجرين. ويرى المؤلفون أن هذا النهج يقدم رؤى لبناء أنظمة خدمة تطبيقات النماذج اللغوية الكبيرة أكثر كفاءة وقابلية للتوسع وعدالة، مما يقلل في النهاية من استهلاك الموارد الحسابية والتكاليف التشغيلية مع تعزيز تجربة المستخدم.