ملخص تقني: نحو تصميم موثوق لسير عمل الوكلاء المعتمد على النماذج اللغوية الكبيرة (LLM)

1. بيان المشكلة

تعتمد أنظمة الذكاء الاصطناعي الحديثة بشكل متزايد على سير عمل الوكلاء (agentic workflows)، حيث تتعاون عدة وكلاء متفاعلة (بعضها مدعوم بالنماذج اللغوية الكبيرة [LLMs] والبعض الآخر بوحدات حوسبة تقليدية) لحل مهام معقدة. ومع توسع سير العمل هذا، يصبح نشره مستهلكاً للموارد، مما يخلق تحدياً جوهرياً: كيف يمكن تهيئة هذه الأنظمة بكفاءة وموثوقية؟

تعتمد ممارسات التصميم الحالية غالباً على الاستدلالات التجريبية أو محاولات الخطأ والصواب المكلفة. وهناك نقص في الأطر الرياضية لتحليل وتحسين المقايضات بين ثلاثة مقاييس أداء حاسمة:

1. زمن الاستجابة (Latency): الوقت المطلوب لإكمال سير العمل.
2. الموثوقية (Reliability): احتمالية أن ينتج سير العمل مخرجاً مقبولاً.
3. التكلفة (Cost): النفقات الحوسبية والظاهرة للمستخدم.

تعالج هذه الورقة الحاجة إلى طرق مبدئية لتحسين تخصيص الموارد لسير عمل الوكلاء المعتمد على النماذج اللغوية الكبيرة، مع التركيز بشكل خاص على سير العمل المتسلسل (sequential workflows) تحت قيود زمن الاستجابة والتكلفة.

2. المنهجية

2.1 نمذجة الأداء

قدم المؤلفون نماذج أداء بارامترية لكل من الوكلاء المعتمدين على النماذج اللغوية الكبيرة وغير المعتمدين عليها لالتقاط العلاقة بين الجهد الحوسبي وجودة المخرجات.

• وكلاء النماذج اللغوية الكبيرة (LLM Agents): يتم نمذجة التنفيذ في مرحلتين:

  • الاستنتاج (Reasoning): الحوسبة الداخلية لبناء الحل، وتُقاس بتوكينات الاستنتاج ($X_j$).
  • التوليد (Generation): إنتاج الاستجابة النهائية، وتُقاس بتوكينات المخرجات ($L_j$).
  • زمن الاستجابة: يُنمذج كمتغير عشوائي بمتوسط $\bar{T}_j = \bar{\tau}_j + (X_j/\lambda_{th}) + (L_j/\lambda_{gen})$، حيث $\bar{\tau}_j$ هو تأخير البنية التحتية، وتمثل حدود $\lambda$ معدلات المعالجة.
  • الموثوقية: تُعرف بأنها احتمالية الحصول على مخرج مقبول، وتُنمذج باستخدام دالة أسية بارامترية:
    $$\rho_j(X_j, L_j) = (1 - e^{-\alpha_j X_j})(1 - e^{-\beta_j L_j})$$
    وتلتقط هذه الدالة العوائد الحدية المتناقصة لكل من جهد الاستنتاج وطول المخرجات.
  • التكلفة: يتم التمييز بين تكلفة المستخدم (تتناسب مع توكينات المخرجات $L_j$) وتكلفة النظام الحوسبية (تتناسب مع إجمالي التوكينات $X_j + L_j$).

• الوكلاء غير المعتمدين على النماذج اللغوية الكبيرة: يتم نمذجتهم باستخدام تجريدات نظرية الطوابير (queueing-theoretic) حيث يكون زمن الاستجابة هو مقلوب معدل الخدمة ($1/\lambda_i$) والموثوقية هي احتمالية ثابتة $\rho_i$.

2.2 تجميع سير العمل

تحلل الورقة كيفية تجميع مقاييس الوكلاء الفردية بناءً على هيكل سير العمل:

• المتسلسل (Sequential): تُجمع أزمنة الاستجابة؛ والموثوقية هي حاصل ضرب موثوقيات الأفراد.
• المتوازي (Parallel): يتحدد زمن الاستجابة بالمسار الحرج (الأقصى)؛ وتعتمد الموثوقية على منطق التجميع (الاقتران مقابل التكرار).
• التغذية الراجعة (Feedback): يتوسع زمن الاستجابة مع عدد التكرارات؛ وتتوسع الموثوقية أسياً مع عدد التكرارات.

تركز الدراسة بشكل أساسي على سير العمل المتسلسل، مشيرة إلى أن الهياكل المعقدة يمكن اعتبارها تركيبات متسلسلة لوحدات مركبة.

2.3 صياغة التحسين

تتم صياغة مشكلة التصميم كعملية تعظيم لموثوقية سير العمل مع مراعاة القيود التالية:

1. ميزانية زمن الاستجابة ($T$).
2. ميزانية تكلفة المستخدم ($C$).

بافتراض أن تخصيصات الاستنتاج ($X_j$) هي معاملات داخلية ثابتة، تتقلص المشكلة إلى تحسين أطوال الاستجابة ($L_j$) للوكلاء المعتمدين على النماذج اللغوية الكبيرة. الهدف هو تعظيم حاصل ضرب الموثوقيات، والذي يتم تحويله إلى تعظيم مجموع لوغاريتمات الموثوقية لتسهيل التحسين المحدب (convex optimization).

3. المساهمات الرئيسية والنتائج

3.1 سياسة تخصيص التوكينات بطريقة "ملء الفراغ بالماء" (Water-Filling Token Allocation Policy)

النتيجة النظرية الأساسية هي اشتقاق سياسة تخصيص مثلى ذات صيغة مغلقة لتوكينات المخرجات، تسمى تخصيص التوكينات بطريقة ملء الفراغ بالماء.

• الميزانية الفعالة: يتم دمج القيود في ميزانية توكينات فعالة واحدة $B = \min \{ \lambda_{gen} B_T, C/c_{tok} \}$.
• الحل الأمثل: يُعطى طول الاستجابة الأمثل $L_j^*$ لكل وكيل من خلال:
  $$L_j^* = \left[ \frac{1}{\beta_j} \log \left( 1 + \frac{\beta_j}{\theta} \right) \right]_+$$
  حيث $\theta \ge 0$ هو مضاعف لاجرانج (سعر الظل) يتم اختياره بحيث يساوي إجمالي التوكينات المخصصة الميزانية $B$.
• التفسير: تعمل هذه السياسة على مساواة الربح الحدي في لوغاريتم الموثوقية لكل توكين عبر جميع الوكلاء النشطين. الوكلاء الذين لديهم معاملات حساسية أقل ($\beta_j$)، والذين يتطلبون المزيد من التوكينات لتحقيق موثوقية عالية، يحصلون على حصة أكبر من الميزانية.

3.2 توصيف الموثوقية المثلى

تقدم الورقة توصيفاً ذا صيغة مغلقة للموثوقية المثلى لسير العمل ($R^*_{wf}$) بدلالة سعر الظل $\theta$:
$$R^*_{wf} = \prod_{j \in ALLM} (1 - e^{-\alpha_j X_j}) \frac{\beta_j}{\beta_j + \theta}$$
تربط هذه النتيجة الموثوقية القصوى القابلة للتحقيق للنظام مباشرة بندرة ميزانية التوكينات.

3.3 التحقق العددي

تظهر التجارب العددية على سير عمل متسلسل مكون من 5 وكلاء متباينين أن سياسة "ملء الفراغ بالماء" تتفوق باستمرار على استراتيجيات الأساس (التوزيع الموحد، والتناسب، والتناسب العكسي). وتؤكد النتائج أن السياسة المثلى تخصص التوكينات ديناميكياً للوكلاء الذين يصعب إرضاؤهم (أقل $\beta_j$) لتعظيم الموثوقية الإجمالية للنظام.

4. الأهمية والادعاءات

تدعي الورقة تقديم إطار رياضي مبدئي لتهيئة الأنظمة المعتمدة على النماذج اللغوية الكبيرة، والابتعيد عن التصميم القائم على الاستدلالات. وتكمن أهميتها في:

• تكميم المقايضات: النمذجة الصريحة للتفاعل بين الجهد الحوسبي (التوكينات)، وزمن الاستجابة، والتكلفة، والموثوقية.
• التخصيص الأمثل للموارد: اشتقاق حل ذي صيغة مغلقة يضمن الموثوقية المثلى تحت قيود الموارد.
• التفسير الاقتصادي: صياغة مشكلة التحسين من خلال منظور أسعار الظل، مما يوفر للمصممين مقياساً واضحاً للقيمة الحدية للتوكينات الإضافية.

يشير المؤلفون إلى أن العمل المستقبلي سيمتد ليشمل التحسين المشترك لأطوال الاستنتاج والاستجابة، وكذلك سياسات التخصيص التكيفية التي تعدل الميزانيات ديناميكياً بناءً على النتائج الوسيطة. وتظل الدراسة الحالية متواضعة، حيث تركز حصرياً على سير العمل المتسلسل مع تخصيصات استنتاج ثابتة.