ملخص تقني: SkillLens: إعادة استخدام المهارات التكيفية متعددة التدرج لرفع كفاءة وكلفة وكلاء النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

تعتمد وكلاء النماذج اللغوية الكبيرة (LLM) بشكل متزايد على مكتبات المهارات لتقنين الخبرات الإجرائية، لتجنب الحاجة إلى إعادة اكتشاف السلوكيات من الصرامة لكل مهمة. ومع ذلك، فإن الأنظمة الحالية (مثل Voyager وReflexion وSkillAct) تتعامل عادةً مع المهارات كـ كتل نصية (prompts) مسطحة أحادية الدقة. هذا النهج الذري يخلق توتراً جوهرياً بين الصلة والتكلفة:

• الحقن الخشن (Coarse Injection): يؤدي حقن مهارة مسترجعة ككتلة كاملة غالباً إلى إدخال سياق غير ذي صلة أو مضلل إذا كانت المهارة متوافقة جزئياً فقط مع المهمة الحالية، مما يؤدي إلى تضخم نافذة السياق وبذر الهلوسة.
• التخلص بنظام "الكل أو لا شيء" (All-or-Nothing Discard): إذا لم تكن المهارة مطابقة تماماً، غالباً ما يتخلص الوكلاء منها بالكامل، مما يضطرهم للحل من الصفر وإضاعة البنية الفرعية القابلة لإعادة الاستخدام.
• إعادة الكتابة غير الفعالة (Inefficient Rewriting): إن إعادة كتابة مهارة كاملة لتناسب سياقاً جديداً هي عملية مكلفة حاسوبياً وغالباً ما تكون غير ضرورية، حيث قد تتطلب أجزاء محددة فقط التكيف.

السؤال الجوهري الذي تعالجه الدراسة هو: عند أي مستوى من الدقة يجب إعادة استخدام المهارة المسترجعة؟ يجادل المؤلفون بأن المهارات نادراً ما تكون مفيدة أو عديمة الفائدة بشكل موحد؛ فقد تكون الخطط عالية المستوى متطابقة بينما لا تكون الخطوات منخفضة المستوى كذلك، أو العكس.

المنهجية: إطار عمل SkillLens

يقترح SkillLens إطار عمل هرمي لتطور المهارات ينظم المهارات في رسم بياني مكون من أربع طبقات، ويسترجعها ويكيفها عند تدرجات مختلطة.

1. الرسم البياني الهرمي للمهارات

تُنظم مكتبة المهارات $S$ في رسم بياني $G = (S, E)$ يتكون من أربع طبقات تجريد، مستوحاة من أطر الخيارات وتخطيط HTN:

1. السياسة (Policy - $\ell=1$): توجه المهام إلى الاستراتيجيات اللاحقة.
2. الاستراتيجية (Strategy - $\ell=2$): توفر خططاً طويلة الأمد.
3. الإجراء (Procedure - $\ell=3$): إجراءات تشغيل قياسية (SOPs) قابلة لإعادة الاستخدام مع منطق التفرع وإعادة المحاولة.
4. الأساسي (Primitive - $\ell=4$): وحدات تنفيذية ذرية (استدعاء أدوات، إجراءات بيئية).

تربط الحواف بين الطبقات المتجاورة (أب-ابن) والمتجاورة (جانبية)، وهي موزونة بالتشابه الدلالي والعلاقات الهيكلية.

2. التكيف متعدد التدرج (أثناء الاستدلال)

بالنظر إلى استعلام المهمة $Q$، يقوم SkillLens بإنشاء سياق مهارة مدمج $K(Q)$ عبر عملية مكونة من مرحلتين:

• استرجاع البذور والتوسع (Seed Retrieval & Expansion): يسترجع بذور التضمين (embedding seeds) من أعلى $K$ ويوسعها عبر مسار عشوائي مصحح بالدرجة (degree-corrected random walk) فوق رسم المهارات البياني لتحديد المرشحين المرتبطين إجرائياً.
• التتبع المدفوع بالتحقق (Verifier-Driven Traversal): يقوم مُتحقق $V_\phi$ بالتنقل بشكل متكرر في شجرة التفكيك (decomposition subtree) للمرشحين ذوي الصلة الجزئية. لكل وحدة $u$، يقرر المُتحقق أحد أربعة إجراءات:
  • القبول (ACCEPT): الوحدة متوافقة؛ يتم الاحتفاظ بها والتوقف عن التنقل في شجرة الابن الخاصة بها.
  • التفكيك (DECOMPOSE): الوحدة خشنة للغاية؛ يتم التوسع إليها للوصول إلى أبنائها لمزيد من التقييم.
  • إعادة الكتابة (REWRITE): الوحدة مفيدة ولكنها غير متطابقة؛ يقوم كاتب $W_\phi$ بتكييفها محلياً.
  • التخطي (SKIP): الوحدة غير ذات صلة؛ يتم استبعادها.

يتكون السياق النهائي $K(Q)$ فقط من الوحدات المقبولة والتي تمت إعادة كتابتها محلياً، مما يضمن أن يتلقى الوكيل سياقاً مخصصاً للمهمة بدلاً من كتلة مسترجعة كاملة.

3. السجل المزدوج للتطوير التكراري

يربط SkillLens التكيف أثناء الاستدلال مع التطوير أثناء التطور باستخدام سجلين مقترنين:

• سجل الوكيل (Agent Registry - $S$): المعرفة الإجرائية التي يستشيرها الوكيل.
• سجل المُتحقق (Verifier Registry - $S_V$): يحدد سياسة التوجيه (متى يتم القبول/التفكيك/إعادة الكتابة/التخطي).

العملية:

1. بناء تقرير الفجوة (Gap Report Construction): يتم تحليل المسارات الفاشلة في تقسيم التطور لتسجيل أنواع الأخطاء، ومسارات التتبع، وقرارات التوجيه.
2. التحديث المقترن (Coupled Update): يقترح الكاتب $W_\phi$ تعديلات على السجلات بناءً على تقارير الفجوة. يتم تحديث سجل المُتحقق $S_V$ أولاً لتحسين قرارات التوجيه. ثم يتم استقراء سجل الوكيل $S$ من قرارات التوجيه هذه (تجسيد التعديلات الإجرائية الضرورية).
3. الهدف: يعمل النظام بشكل تكراري على تعظيم الهدف $J(S) = \mathbb{E}[M(Y, O_S(Q)) - C(Q, S)]$، موازناً بين دقة المهمة ($M$) وتكلفة الاستدلال ($C$).

4. الضمانات النظرية

تقدم الورقة ثلاث نتائج نظرية رئيسية:

• تكلفة دون خطية (Sublinear Cost): تحت افتراضات عدم التطابق المتفرقة، تكون تكلفة التكيف دون خطية ($o(n)$) بالنسبة لحجم شجرة المهارات المسترجعة، حيث يتجنب المُتحقق التنقل في أشجار فرعية متوافقة.
• التحسن الرتيب (Monotone Improvement): تضمن قاعدة التحديث التطوري تحسناً رتيباً لهدف التحقق حتى الوصول إلى الحد الأمثل المحلي.
• ضمان التقريب (Approximation Guarantee): توفر الخوارزمية المركبة (الاسترجاع + إعادة الكتابة) ضمان تقريب $(1 - 1/e)$ للهدف البديل، وهو مقيد بالأخطاء في الاسترجاع، وتصنيف المسار العشوائي، وتوجيه المُتحقق.

المساهمات الرئيسية

1. الصياغة: تمت إعادة صياغة إعادة استخدام المهارات كمسألة اختيار سياق وتكييف، متجاوزة تجاوز حقن النصوص المسطحة إلى تحديد وتكوين الأجزاء المفيدة من المعرفة المسترجعة.
2. إطار العمل: تقديم SkillLens، وهو إطار عمل مدرك للدقة يستخدم الاسترجاع الهرمي، والتفكيك الموجه بالمُتحقق، والتكيف المحلي. يسمح هذا بإعادة استخدام المهارات جزئياً بالدقة المناسبة.
3. الدليل: تحليل نظري يظهر التكلفة دون الخطية والتقارب الرتيب، جنباً إلى جنب مع أدلة تجريبية على تحسين الكفاءة والأداء.

النتائج التجريبية

تم تقييم إطار العمل على MuLocbench (تحديد الأخطاء على مستوى المستودع) و ALFWorld (مهام نصية تفاعلية طويلة الأمد).

• MuLocbench: حقق SkillLens أفضل Acc@1 عبر جميع مستويات الدقة:
  • مستوى الملف (File Level): 61.13% (مقابل 58.87% للأساس).
  • مستوى الوحدة (Module Level): 59.26% (مقابل 55.56% للأساس).
  • مستوى الدالة (Function Level): 43.68% (مقابل 37.37% للأساس).
  • الملاحظة: كانت المكاسب أكثر وضوحاً عند مستويات الدقة الأدق (مستوى الدالة)، حيث يكون حقن المهارة الكاملة أكثر عرضة لكونه خشناً للغاية.
• ALFWorld: رفع SkillLens معدل النجاح الإجمالي من 45.00% (النموذجي) إلى 51.31%، متفوقاً على أسس المهارات المسطحة (AutoSkill, EvoSkill) بمقدار 4.17 نقطة مئوية.
• دراسات الاستئصال (Ablation Studies):
  • الرجل العشوائي المصحح بالدرجة (Degree-Corrected RWR): أدى إزالة المسار العشوائي إلى تقليل الأداء، مما أكد أن انتشار الرسم البياني يبرز المهارات ذات الصلة هيكلياً والمتباعدة نصياً.
  • إعادة الكتابة الانتقائية (Selective Rewriting): تفوقت استراتيجية التعمق الانتقائي المقترحة على نماذج "إعادة الكتابة للكل" و"الأب فقط" مع استخدام عدد أقل بكثير من الرموز (16.4 مليون مقابل 115.5 مليون لـ "إعادة الكتابة للكل") ووقت أقل.

الأهمية والادعاءات

تدعي الورقة أن SkillLens يعالج قصوراً هيكلياً في الأنظمة الوكيلية الحالية: عدم القدرة على إعادة استخدام المهارات بمستويات دقة متفاوتة. من خلال معاملة المهارات ككائنات إجرائية هرمية بدلاً من كتل ذرية، يتيح SkillLens للوكلاء:

• إعادة استخدام المهارات الفرعية المتوافقة مباشرة دون تعديل.
• تكييف المكونات غير المتطابقة محلياً فقط، مما يقلل من تكلفة الرموز ومخاطر الهلوسة.
• تطوير كل من المحتوى الإجرائي ومنطق التوجيه في آن واحد، مما يؤدي إلى مكتبات مهارات أكثر قوة بمرور الوقت.

يؤكد المؤلفون أن هذه الفوائد تكون بالغة الأهمية للمهام التي تتطلب استخدام مهارات دقيق أو تركيبي، حيث تفشل مقاربة "الكل أو لا شيء" في الأنظمة الحالية في التقاط التفاصيل الدقيقة للصلة الجزئية. كما تمت الإشارة إلى أن العمل المستقبى سيمتد ليشمل البيئات متعددة الوسائط والبيئات متعددة الوكلاء.