ملخص تقني: SkillOps

بيان المشكلة: الدين التقني للمهارات (Skill Technical Debt)

بينما تعتمد وكلاء النماذج اللغوية الكبيرة (LLM agents) بشكل متزايد على مكتبات المهارات لحل المهام المعقدة ومتعددة الخطوات، تتطور هذه المكتبات من مجرد مستودعات استرجاع ثابتة إلى أصول برمجية مستمرة. ومع ذلك، مع إضافة المهارات، وتصحيحها، وإعادة استخدامها، وربطها بتبعيات متغيرة، تتراكم في المكتبات ما يسمى بـ الدين التقني للمهارات. يشير هذا النمط من الفشل إلى عيوب مستمرة على مستوى المكتبة — مثل التكرار، وفقدان أدوات التحقق، وانحراف الواجهات، والعمليات القديمة — وهي عيوب قد لا تسبب فشل مهارة واحدة محلياً، ولكنها تؤدي إلى تدهور موثوقية عمليات الاسترجاع والتركيب والتنفيذ المستقبلية.

تركز الوكلاء الحاليون القائمة على المهارات بشكل أساسي على عمليات وقت المهمة (الاسترجاع، والتخطيط، والإصلاح الفوري). وغالباً ما يفترضون أن المكتبة الأساسية سليمة، وهو افتراض يضعف مع نمو المكتبة. وبناءً على ذلك، فإن الإصلاحات في وقت المهمة تعالج الحلقات الفردية دون معالجة السبب الجذري: العيوب المستمرة داخل المكتبة نفسها. تحدد الورقة فجوة في الصيانة في وقت المكتبة، حيث يتم التعامل مع مكتبة المهارات كنظام بيئي برمجي مُدار وليس كمورد ثابت.

المنهجية: إطار عمل SkillOps

يقترح المؤلفون SkillOps، وهو إطار عمل "مستقل عن الطريقة" (method-agnostic) وقابل للتركيب (plug-in)، مصمم للحفاظ على مكتبات المهارات كنظم بيئية برمجية ذاتية الاستدامة. يعمل SkillOps عبر حلقتين متبادلتين: حلقة وقت المهمة للتنفيذ، وحلقة وقت المكتبة للصيانة.

1. التمثيلات الجوهرية

• عقد المهارة (Skill Contract): يتم نمذجة كل مهارة $s$ كعقد تنفيذي نمطيز $(P, O, A, V, F)$:
  • $P$: الشروط المسبقة (Preconditions).
  • $O$: العملية التنفيذية (Executable operation).
  • $A$: النواتج المستخرجة (Produced artifacts).
  • $V$: أدوات التحقق (Validators) (للتأكد من $A$).
  • $F$: أنماط الفشل المعروفة (Known failure modes).
    توجد "فجوة تحقق" إذا كانت $V = \emptyset$.
• رسم بياني للنظام البيئي الهرمي للمهارات (HSEG): تُنظم المهارات في رسم بياني $L = (S, R)$ مع أربعة علاقات موجهة ونمطية:
  • **التبعية (dependency - $dep$):** ناتج المهارة$s_i$يلبي الشرط المسبق للمهارة$s_j$.
  • **التوافق (compatibility - $comp$):** نوع مخرج$s_i$يتوافق مع نوع مدخل$s_j$.
  • **التكرار (redundancy - $red$):** واجهات متكافئة ($P_i \equiv P_j, A_i \equiv A_j$).
  • البديل (alternative - $alt$): نفس الهدف ولكن بعمليات مختلفة.

2. حلقة وقت المهمة

تقوم هذه الحلقة بتخطيط وتنفيذ المهام باستخدام المكتبة التي تمت صيانتها:

• مطابقة المهارات: تقييم المهارات باستخدام مزيج من الارتباط اللفظي (BM25) والارتباط الدلالي، مع التصفية بناءً على الشروط المسبقة المستوفاة.
• ربط التبعيات (Dependency Stitching): بناء الخطط عبر تتبع الـ HSEG، مع فرض قيود التبعية والتوافق لتجنب عدم تطابق الواجهات في وقت التشغيل.
• إدراج أدوات التحقق والمهايئات: إدراج عقد التحقق ديناميكياً للمهارات التي تعاني من فجوات ($V=\emptyset$) وعقد المهايئات (adapters) لعدم تطابق الأنواع بين المهارات المعتمدة.
• الإصلاح المحلي: استبدال المهارات الفاشلة ببدائل أو إعادة استدعاء الإصلاح بناءً على آثار الخطأ.

3. حلقة وقت المكتبة

تقوم هذه الحلقة بتشخيص وإصلاح المكتبة بعد التنفيذ، باستخدام إشارات قابلة للملاحظة بدلاً من استدعاءات إضافية للنماذج اللغوية الكبيرة (LLM):

• التشخيص الصحي خماسي الأبعاد: يتم تقييم المهارات بناءً على:
  1. الفائدة (Utility): معدل نجاح الاستدعاءات الأخيرة.
  2. التكرار (Redundancy): حجم كتلة التكرار.
  3. التوافق (Compatibility): نسبة حواف التبعية التي هي أيضاً حواف توافق.
  4. خطر الفشل (Failure-Risk): معدل الفشل التجريبي.
  5. فجوة التحقق (Validation-Gap): وجود أدوات تحقق مفقودة.
• التشخيص المنتشر عبر رسم عقد المهارات (CGPD): آلية متقدمة تعمل على نشر درجات المخاطر عبر حواف التبعية. إذا كانت المهارة في المنبع (upstream) ذات مخاطر عالية، فإن المهارات في المصب (downstream) ترث هذه المخاطر، مما يستوجب صيانة وقائية (مثل إضافة أدوات التحقق) قبل وقوع الفشل.
• إجراءات الصيانة النمطية: بناءً على درجات الصحة وCGPD، يطبق النظام إجراءات محددة:
  • merge (دمج): دمج المهارات المتكررة.
  • repair (إصلاح): إعادة كتابة العمليات باستخدام التغذية الراجعة.
  • retire (إخراج من الخدمة): إزالة المهارات القديمة أو الفاشلة.
  • add_validator (إضافة أداة تحقق): إدراج أدوات التحقق المفقودة.
  • add_adapter (إضافة مهايئ): إدراج وصلات لتحويل الأنواع.
  • instantiate (تجسيد): ربط الوسائط الخاصة بالمهمة.

المساهمات الرئيسية

1. صياغة الدين التقني للمهارات: حددت الورقة قابلية صيانة مكتبة المهارات كمسألة منفصلة في "وقت المكتبة"، مع تقديم الـ HSEG وأبعاد الصحة (الفائدة، التكرار، التوافق، الخطر، فجوة التحقق) لالتقاط تدهور المكتبة.
2. إطار عمل SkillOps: نظام صيانة قابل للتركيب يحول المكتبات الخام إلى مكتبات مُصانة عبر إجراءات نمطية (الدمج، الإصلاح، الإخراج من الخدمة، إلخ) دون الحاجة لتغيير كود الوكيل (agent) في مرحلة تنفيذ المهمة.
3. التأثيرات المشروطة بالمنهج: أدلة تجريبية تظهر أن فوائد الصيانة تعتمد على نوع الوكيل؛ فهي تساعد بشكل كبير الوكلاء الذين يعتمدون بكثافة على الاسترجاع، بينما يكون تأثيرها محايداً أو متضارباً مع الوكلاء الذين يمتلكون قدرات قوية للإصلاح الذاتي في وقت المهمة.
4. تنفيذ منخفض التكلفة: التنفيذ الحالي القائم على القواعد يؤدي الصيانة بتكلفة تقارب صفر من استدعاءات أو توكنات الـ LLM، مما يجعل الصيانة طبقة معمارية خفيفة الوزن بدلاً من كونها عبئاً على عملية الاستدلال.

النتائج التجريبية

تم تقييم إطار العمل على ALFWorld، وهو اختبار قياسي للتلاعب المنزلي القائم على النصوص، باستخدام مكتبة مهارات تتراوح من 200 إلى 2000 مهارة (بما في ذلك الدين التقني الاصطناعي).

• الأداء المستقل: كوكيل مستقل، حقق SkillOps معدل نجاح مهمة (SR) بنسبة 79.5%، متفوقاً على أقوى خط أساس (LLM_Skill_Planner) بمقدار +8.8 نقطة مئوية دون استخدام استدعاءات إضافية للـ LLM في وقت المهمة.
• فعالية الإضافة (Plug-in): عند استخدامه كطبقة صيانة للخطوط الأساسية الموجودة، حسن SkillOps باستمرار الطرق التي تعتمد على الاسترجاع المكثف:
  • الاسترجاء الهجين (Hybrid Retrieval): +2.90 نقطة مئوية.
  • BM25 فقط: +1.00 نقطة مئوية.
  • الكثافة فقط (Dense Only): +1.12 نقطة مئوية.
    كانت المكاسب أقل للنماذج القائمة على الرسم البياني أو تخطيط الـ LLM، والتي تمتلك بالفعل بعض قدرات التصفية.
• القابلية للتوسع والمتانة: ظل SkillOps مستقراً مع زيادة حجم المكتبة إلى 2000 مهارة وارتفاع كثافة التدهور إلى 90%، محافظاً على تفوق قدره 31 نقطة مئوية على أفضل خط أساس تالٍ. في المقابل، تدهورت الخطوط الأساسية التي تعتمد على "وقت المهمة فقط" بشكل كبير تحت وطأة الضجيج.
• كفاءة التكلفة: لم تتضمن حلقة الصيانة سوى شبه معدومة من استدعاءات الـ LLM. وكان استخدام التوكنات في وقت المهمة محايداً بشكل عام أو منخفضاً (حتى -3.95% في حالة Dense Only) لأن المكتبة المُصانة وفرت مجموعة مرشحة أنظف وأقل تكراراً لعملية الاسترجاع.

الأهمية والادعاءات

تجادل الورقة بأن مكتبات المهارات يجب أن تُعامل كـ أصول برمجية مُدارة وليس كمجرد مستودعات استرجاع ثابتة. ومن خلال تقديم طبقة صيانة في "وقت المكتبة"، يعالج SkillOps تراكم الدين التقني الذي يقوض موثوقية الوكيل بمرور الوقت.

يدعي المؤلفون أن:

• الصيانة هي طبقة معمارية متميزة: يمكن فصلها عن تخطيط وقت المهمة ودمجها في الأنظمة الحالية كعنصر "جاهز للتركيب".
• العقود النمطية وهياكل الرسوم البيانية ضرورية: فهي تمكن من اكتشاف عدم تطابق الواجهات والتكرار الذي تغفله عمليات الاسترجاع المسطحة.
• الصيانة القائمة على القواعد قابلة للتطبيق: لا تتطلب صيانة المكتبة عالية الجودة بالضرورة استدلالاً مكلفاً من الـ LLM؛ إذ يمكن للإشارات القابلة للملاحظة والإجراءات القائمة على القواعد تنظيف وإصلاح النظام البيئي بفعالية.
• السياق مهم: تكون قيمة الصيانة في وقت المكتبة في أعلى مستوياتها للوكلاء الذين يعتمدون بشدة على الاسترجاع، بينما قد تشهد الوكلاء الذين يمتلكون آليات إصلاح ذاتي قوية في وقت المهمة عوائد متناقصة أو تضارباً.

يشير العمل إلى تحول في تصميم وكلاء الـ LLM: الانتقال من الإصلاح التفاعلي البحت في وقت المهمة إلى الإدارة الاستباقية للنظام البيئي في وقت المكتبة لضمان موثوقية الوكيل على المدى الطويل.