ملخص تقني: مجموعات الاستعداد (Ready Cohorts) – تحديد فرصة وحدة معالجة الرسومات (GPU) وتجنب رحلات العودة إلى المضيف في التحكم في وكلاء النماذج اللغوية الكبيرة (LLM-Agent)

بيان المشكلة

تنفذ خدمات وكلاء النماذج اللغوية الكبيرة (LLM-agent) عمليات انتقال تحكم حتمية بين استدعاءات النموذج والأدوات (مثل: نتائج التوجيه، تحديث الحالة، إصدار التأثيرات). وبينما تكون هذه الانتقالات الفردية صغيرة، فإن الخدمات ذات التزامن العالي تنفذها باستمرار، مما يخلق مصدر قلق في مراكز البيانات حيث يقع تنسيق المضيف (host orchestration) على المسار الحرج، مما يسبب طلباً متفجراً على وحدة المعالجة المركزية (CPU) وعمليات عبور متكررة بين حدود وحدة المعالجة المركزية ووحدة معالجة الرسومات (CPU–GPU).

تعالج الورقة سؤالين نظاميين محددين:

1. إمداد المجموعة (Cohort Supply): تحت أي ظروف يكشف مسار التحكم الحتمي عن عمل متزامن كافٍ ليتم تجميعه وتنفيذه بشكل مربح على وحدة معالجة الرسومات؟
2. مكان الملاحظة (Observation Placement): ما هي تكلفة الأداء المترتبة على إرجاع قرار تم حسابه بواسطة وحدة معالجة الرسومات إلى المضيف لإعادة الإرسال (redispatch) مقابل إبقاء ذلك القرار على الجهاز؟

يعرّف المؤلف "حد مجموعة الاستعداد" (ready-cohort boundary) بأنه الواجهة بين إمداد العمل المتزامن الكافي وتكلفة مكان الملاحظة.

المنهجية

تستخدم الورقة تجربتين منفصلتين عددياً للإجابة على هذه الأسئلة، متجنبة خلط خصائص عبء العمل مع أداء الآلية.

1. دراسة الأثر: تحليل إمداد المجموعة

• مصدر البيانات: إعادة تشغيل محددة مسبقاً ومجمدة من مجموعة بيانات آثار الوكلاء Exigent العامة (tau2_airline, tau2_retail, tau2_telecom)، والتي تضم 851 جلسة و9,031 نطاقاً للنماذج اللغوية الكبيرة (LLM spans).
• النموذج: عملية بواسون (Poisson process) ثابتة تولد وصول الجلسات. يتم تجميع الأحداث حسب "مفتاح مسار مشتق من النتيجة" (outcome-derived route key) (وهو وسيط للتوافق القابل للتنفيذ، وليس دليلاً على الاندماج الدلالي).
• المقاييس:
  • $F$ (حصة القسم الثابت): كسر الأحداث المؤهلة للتجميع تحت نوافذ زمنية ثابتة.
  • $P^\star$ (الحصة غير المتصلة المثالية): أقصى كسر من الأحداث القابلة للجدولة بواسطة خوارزمية مثالية غير متصلة (offline) تمتلك معرفة مستقبلية، وزمن خدمة صفري، وسعة غير محدودة. يتم حسابها عبر برنامج ديناميكي متخصص للمواعيد النهائية النسبية المتساوية.
  • $U$ (الحد العلوي المحلي): كسر الأحداث التي تتداخل محلياً مع $K$ من الأحداث ذات المسار نفسه ضمن نافذة الإطلاق الخاصة بها.
  • $K$ (العتبة العتادية): عتبة لاحقة آمنة حيث تُعتبر أحجام المجموعات $\ge K$ مربحة.
• التكوين: يختبر الخلية الأساسية 100,000 جلسة نشطة مستهدفة، و$K=256$، وموعد نهائي للإطلاق قدره 50 مللي ثانية.

2. دراسة الآلية: مكان الملاحظة

• الإعداد: تجربة تعتمد على CUDA تقارن بين ثلاث آليات لتنفيذ انتقال الحالة وقرار مسار ثنائي على وحدة معالجة الرسومات:
  • رحلة العودة إلى المضيف (Host Round Trip): إطلاق المحمول (predicate) $\leftarrow$ نسخ النتيجة إلى المضيف $\leftarrow$ المزامنة $\leftarrow$ إطلاق رسم بياني للمسار المختار.
  • المقيم على الجهاز (Device Resident): إطلاق رسم بيائي جذري حيث يقوم مُحدد من جانب الجهاز بإطلاق مسار الرسم البياني المختار (tail-launching)، مع إبقاء القرار على الجهاز لـ $H$ من الحقبات (epochs).
  • أرضية عدم اتخاذ القرار (No-Decision Floor): خط أساس هيكلي يستبعد منطق اتخاذ القرار (النموذج المثالي/oracle).
• الشبكة (Grid): أربعة مواضع لوحدة معالجة الرسومات (GTX 1660 Ti محلي، Modal L4، RunPod L4، Lambda H100)، مع تغيير عدد الوكلاء ($N$) وآفاق الحقبات ($H$).
• الصحة: تم التحقق منها مقابل "أوراكل" (oracle) منفصل للمضيف لضمان تساوي الحالة وتسلسل القرارات بدقة عبر 14.5 مليون استدعاء مجمع.

المساهمات الرئيسية

1. صياغة مجموعة الاستعداد: تصيغ الورقة الحدود باستخدام كميات متميزة: العتبة العتادية $K$، حصة القسم الثابت $F$، الحصة المثالية غير المتصلة $P^\star$، الحد العلوي المحلي $U$، والحصة المحققة عبر الإنترنت $A$. وتثبت الترتيب $F \le P^\star \le U$.
2. أداة قياس دقيقة للفرصة: يحسب برنامج ديناميكي متخصص قيمة $P^\star$ بدقة تحت ظروف زمن خدمة صفري ومواعيد نهائية نسبية متساوية، مما يوفر قياساً قابلاً للتكرار لعبء العمل دون ادعاء ابتكار خوارزمي.
3. أدلة الأثر على وجود إمداد خفي: تظهر الدراسة أن التعبئة المثالية للمواعيد النهائية المنزلقة تستعيد جزءاً كبيراً من الفرص الضائعة عند حدود النوافذ الثابتة.
4. أدلة آلية عبر مقدمي الخدمات: إثبات تجريبي بأن الاحتفاظ بقرار ثنائي على الجهاز أسرع باستمرار من رحلة العودة إلى المضيف عبر أجهزة ومزودي سحابي متنوعين.

النتائج

إمداد المجموعة (دراسة الأثر)

في الخلية الأساسية ($C=100,000$، $K=256$، $\delta=50$ مللي ثانية):

• حصة القسم الثابت ($F$): 30.19%
• الحصة المثالية غير المتصلة ($P^\star$): 43.00%
• الحد العلوي المحلي ($U$): 45.85%
• استعادة الفجوة: استعادت التعبئة المثالية 81.83% من الفرصة المفقودة عند حدود النوافذ الثابتة ($P^\star - F$).
• حساسية الحدود: ينهار إمداد المجموعة إلى الصفر عندما يكون $C \le 10,000$ عند $K=256$. كما يؤدي خفض $K$ إلى زيادة $P^\star$ بشكل كبير (على سبيل المثال، عند $C=100,000$، ترتفع $P^\star$ من 43.00% عند $K=256$ إلى 66.8% عند $K=32$).

مكان الملاحظة (دراسة الآلية)

• مكاسب الأداء: المسار المقيم على الجهاز أسرع من رحلة العودة إلى المضيف في جميع التكوينات الـ 36 عبر أربعة مواضع.
• نسب التسريع: تتراوح الوسائط داخل الموضع (row-medians) بين 1.19$\times$ و 2.39$\times$.
  • الخلية الأساسية ($N=256, H=32$): 1.71$\times$ (GTX)، 2.39$\times$ (Modal L4)، 2.06$\times$ (RunPod L4)، 1.84$\times$ (Lambda H100).
  • زمن الوصول المطلق: المسار المعتمد على الجهاز (258–309 $\mu$s) مقابل رحلة العودة للمضيف (467–625 $\mu$s).
• التحكم السلبي (Negative Control): كان "الرسم البياني المتداخل للجهاز" (الذي يطلق رسوماً بيانية فرعية من الجهاز ولكنه يحتفظ بحقبة قرار المضيف) أبطأ في جميع التكوينات الـ 60. وهذا يؤكد أن التسريع يأتي من إزالة حقبة قرار المضيف، وليس مجرد الإطلاق من جانب الجهاز.

الأهمية والادعاءات

تحدد الورقة بوابتين قابلتين للقياس لنظام تحكم وكيل يعتمد على وحدة معالجة الرسومات:

1. إمداد مجموعة قابل للجدولة وفق الموعد النهائي: يجب أن يوفر عبء العمل ما يكفي من العمل من نفس المجموعة قبل مواعيد الإطلاق النهائية. النوافذ الثابتة تفقد جزءاً كبيراً من العمل القابل للجدولة؛ التعبئة المثالية تكشف عن هذا الهامش.
2. مكان الملاحظة: يتجنب القرار المقيم على الجهاز (device-resident decision) التكاليف الملحوظة لرحلة العودة إلى المضيف (نسخ، مزامنة، تفرع، إعادة إرسال).

النطاق المحدود والقيود:

• تنص الورقة صراحة على أن عتبة الأثر $K=256$ هي مرشح تم مسحه (swept candidate)، وليست تقاطعاً مقاساً للسياسة المقيمة.
• لم يتم استنتاج أفق الآلية ($H=32$) من الأثر.
• الدراستان غير مدمجتين؛ فالنموذج المثالي غير المتصل يفترض زمناً صفرياً للخدمة وسعة غير محدودة، بينما تستخدم دراسة الآلية حالة اصطناعية.
• "مفتاح المسار" هو وسيط شرطي، وليس دليلاً على الاندماج الدلالي.
• لا تقيس الورقة الحصة المحققة عبر الإنترنت ($A$)، أو إزاحة وحدة المعالجة المركزية (CPU displacement)، أو أهداف مستوى الخدمة (SLOs) النهائية.

الخلاصة:
توفر النتائج ميزانية عبء العمل واختبار آلية لمُكثف مسارات (route compactor) يعمل عبر الإنترنت. وتجادل الورقة بأن أي نظام قابل للتطبيق يجب أن يجتاز كلتا البوابتين: يجب أن يحول الهامش غير المتصل إلى عمل عبر الإنترنت ($A$)، ويحل محل وحدة المعالجة المركزية دون الإضرار بخدمة النموذج. إذا لم يستطع ذلك، فإن "الحد" يرفض تصميم وحدة معالجة الرسومات؛ وإذا استطاع، فإن هذه الكميات تحدد أين ينتمي تحكم الوكيل المقيم على الجهاز في مراكز البيانات.