ملخص تقني: SkillGrad

بيان المشكلة

أظهرت وكلاء النماذج اللغوية الكبيرة (LLMs) كفاءة في مهام اتخاذ القرار طويلة المدى مثل الاستنتاج، والتخطيط، والتنقل عبر الويب. ومع ذلك، فإن تكييف هذه الوكلاء مع المجالات المتخصصة ذات الإجراءات الكثيفة (مثل التعامل مع جداول البيانات، أو تحرير المستندات، أو صيانة الأكواد البرمجية) لا يزال يمثل تحديًا. وتظل طرق التكييف التقليدية مثل الضبط الدقيق (Fine-tuning) أو مسارات الاسترجاع (Retrieval pipelines) مكلفة أو مرهقة، خاصة عندما تكون المعرفة المطلوبة إجرائية وليست مجرد حقائق.

بينما توفر "مهارات الوكيل" (Agent Skills)—وهي حزم ملفات مهيكلة تحتوي على بيانات وصفية، وسير عمل إجرائي، وموارد—بديلًا خفيف الوزن للتكيف مع المجالات، إلا أن فعاليتها غالبًا ما تتأثر بمشكلات الجودة. فالمهارات التي يتم إنشاؤها تلقائيًا أو التي يتم تحميلها من أطراف ثالثة غالبًا ما تكون غير موثوقة، أو غير مكتملة، أو قديمة. كما تعتمد الطرق الحالية لتطور المهارات على التأملات الاستدلالية (Heuristic reflections) دون صياغة تحسين صريحة، وغالبًا ما تعالج أوجه القصور من خلال تحليل الفشل فقط، وتفتقر إلى نهج منهجي للحفاظ على السلوكيات الناجحة أو تثبيت التحديثات عبر الدورات المتكررة.

المنهجية: SkillGrad

يقترح المؤلفون SkillGrad، وهو إطار عمل مستوحى من خوارزمية الانحدار الاشتقاقي (Gradient Descent) لتحسين مهارات الوكيل بشكل منهجي. وبدلاً من معاملة المهارات كنصوص توجيهية (Prompts) ثابتة، يعامل SkillGrad حزمة المهارة المهيكلة كمعلمة قابلة للتحسين (Optimizable parameter). يستمد الإطار تناظرًا مفاهيميًا، وليس عدديًا، بين مكونات الانحدار الاشتقاقي ووحدات تحسين المهارة (الجدول 1).

1. المعلمة (Parameterization)

المعلمة القابلة للتدريب هي حزمة المهارة المهيكلة $S_t = (H, B, Q)$، والتي تتكون من ثلاث طبقات:

• L1 (البيانات الوصفية - Metadata): وصف بصيغة YAML لمنطق التنشيط.
• L2 (SKILL.md): متن المهارة الذي يتم تحميله دائمًا، ويحتوي على المبادئ، وسير العمل، وأمثلة الأكواد.
• L3 (الموارد - Resources): ملفات يتم تحميلها مشروطًا للحالات الحدية والإجراءات التفصيلية.
  تتطلب هذه البنية تحديثات "واعية بالطبقات"، حيث يجب على النظام أن يقرر ليس فقط ما هي المعرفة التي يجب إضافتها، ولكن أين (L2 أم L3) يجب وضعها لتجنب تضخم السياق أو فشل الاسترجاع.

2. أدلة الخسارة (Loss Evidence)

بدلاً من استخدام قيمة عددية للخسارة (Scalar loss)، يستخدم SkillGrad أدلة على مستوى المسار (Trajectory-level evidence).

• التنفيذات الفاشلة: توفر أدلة سلبية ($\tau^-_t$) تشير إلى وجود توجيه مفقود أو خاطئ.
• التنفيذات الناجحة المقارنة: عندما يتم حل مهمة فشلت في البداية باستخدام المهارة الأساسية بواسطة المهارة الحالية، يقوم النظام بربط النجاح الحالي ($\tau^+_t$) بالفشل الأولي ($\tau^-_0$). هذا التباين في الأدلة يحدد السلوكيات التي تستحق الحفاظ عليها والتي تميز النجاح عن الفشل.

3. إشارات التشخيص (Gradient Signals)

بما أن المهارات هي نصوص منفصلة، فإن المشتقات العددية غير متاحة. يستخدم SkillGrad وكيلًا مشخصًا (Diagnoser) لتحويل أدلة المسار إلى إشارات تحديث نصية ($d_{t,i}$).

• بالنسبة للإخفاقات، يشرح التشخيص الانحراف عن الحقيقة الأرضية (Ground truth) ويقترح تصحيحات سلوكية عامة.
• بالنسبة للنجاحات المقارنة، فإنه يحدد التغييرات المحددة (مثل استراتيجيات البرمجة القوية، أو خطوات التحقق) التي مكنت من النجاح.
  تعمل هذه التشخيصات كمعادل نصي للاشتقاقات لكل مثال (Per-example gradients).

4. الزخم (Momentum)

لضمان استقرار عملية التحسين ومنع "تذبذب التحديثات" (Update churn)، يقوم وكيل الزخم (Momentum Agent) بتجميع الأنماط التشخيصية المتكررة في ذاكرة مستمرة ($M_t$) وطبقة تغطية حالية ($O_t$).

• يتتبع ما إذا كان الآلية التي تم تشخيصها جديدة، أم متكررة، أم مغطاة بالفعل، أم لم تُحل بعد.
• يسمح ذلك للنظام بتعزيز الاتجاهات التي تتكرر عبر الدورات وحمل السلوكيات الناమైన الناجحة للمستقبل، بدلاً من مطاردة حالات الفشل المنعزلة.

5. تحديث المعلمات (Patching)

يقوم وكيل الترقيع (Patcher) بتنفيذ التحديث عن طريق تطبيق تعديلات واعية بالطبقات على حزمة المهارة ($S_{t+1} = \text{Patch}(S_t, D_t, M_t, O_t)$).

• يعمل المرقّع على الأنماط بدلاً من المهام الفردية، مما يؤدي إلى تعميم عمليات التشخيص المتعددة في تعديل واحد.
• يقرر ما إذا كان سيقوم بتحديث متن L2 المحمل دائمًا أو إنشاء/تعديل موارد L3 المشروطة، مما يضمن بقاء المهارة منظمة وقابلة للاسترجاع.

المساهمات الرئيسية

1. الصياغة: يصيغ البحث تحسين مهارة الوكيل كمسألة تحسين فوق عنصر مهيكل، مع ربط صريح لمفاهيم المعلمة، ودليل الخسارة، والاشتقاق، والزخم، والتحديث بمجال المهارة.
2. إطار العمل: يقدم SkillGrad، وهو نظام متعدد الوكلاء يقوم بتشخيص التنفيذات، وتجميع الأنماط المتكررة عبر الزخم النصي، وتطبيق ترقيعات واعية بالطبقات.
3. التحقق التجريبي: تُظهر التجارب أن SkillGrad يحسن أداء الوكيل في مهام جداول البيانات باستخدام كل من المهارات المولدة بواسطة LLM والمهارات من أطراف ثالثة، متفوقًا على النماذج القائمة على التدريب في كل من الإعدادات داخل النطاق وخارجه.

النتائج التجريبية

تم تقييم إطار العمل على SpreadsheetBench Verified و WikiTableQuestions باستخدام نموذجين أساسيين (GPT-5.4 و GPT-4.1).

• مكاسب الأداء: تفوق SkillGrad باستمرار على الإعدادات الخالية من التدريب والنماذج القائمة على التدريب (EvoSkill و Trace2Skill).
  • في SpreadsheetBench مع GPT-5.4، حقق SkillGrad دقة بنسبة 71.11%، محققًا تحسنًا قدره 4.44 نقطة مئوية فوق متوسط النموذجين القائمين على التدريب.
  • مع GPT-4.1، كان التحسن أكثر وضوحًا، حيث وصل إلى 54.17% مقارنة بـ 37.22% للنماذج المرجعية.
• المتانة: نجح إطار العمل في تحسين المهارات المولدة بواسطة LLM (والتي أدت في البداية إلى تدهور الأداء مقارنة بـ "عدم وجود مهارة") والمهارات من الأطراف الثالثة.
• التعميم: في اختبار WikiTableQuestions خارج النطاق، حقق SkillGrad أعلى دقة عبر جميع كتل التهيئة، مما يشير إلى أن المهارات المُحسّنة تحتوي على إرشادات إجرائية قابلة لإعادة الاستخدام تتجاوز مهام التدريب المحددة.
• دراسات الاستبعاد (Ablation Studies): أدى إزالة آلية الزخم إلى تقليل الدقة بمقدار 6.67 نقطة مئوية، وإزالة التشخيص المقارن إلى تقليلها بمقدار 4.17 نقطة مئوية، مما يؤكد ضرورة كلا المكونين لتطور المهارات عالي الجودة.

الأهمية والقيود

يدعي البحث أن SkillGrad يوفر مسارًا مبدئيًا مستوحى من التحسين لتطوير مهارات الوكيل دون الحاجة إلى الضبط الدقيق للنموذج أو عمليات التحقق الواسعة. ومن خلال معاملة المهارات كعناصر قابلة للتحسين، يعالج إطار العمل هشاشة المهارات الثابتة المولدة تلقائيًا.

يقر المؤلفون بالقيود، مشيرين إلى أن التقييم يركز بشكل أساسي على مهام جداًول البيانات، مع كون WikiTableQuestions هو الإعداد الوحيد لنقل المعرفة خارج النطاق. ويقترحون أن العمل المستقبلي يمكن أن يختبر إطار العمل في مجالات أخرى مثل أتمتة الويب وصيانة الأكواد البرمجية. علاوة على ذلك، فإن التحليل الحالي تجريبي ونوعي؛ حيث يظل تقديم حساب أكثر رسمية لكيفية إنتاج التشخيصات النصية لتحديثات مستقرة مسارًا مفتوحًا لتعزيز الربط بين تحسين مهارة الوكيل ونظرية التحسين الكلاسيكية.