ملخص تقني: SKILLC – التعلم الداخلي للمهارات المستقلة في الوكلاء القائمين على النماذج اللغوية الكبيرة عبر التخصيص التبايني للائتمان

1. بيان المشكلة: العمى عن الاستيعاب الداخلي (Internalization Blindness)

أصبحت مطالبات المهارات المهيكلة آلية عملية لتعزيز الاستكشاف وكفاءة العينات في التعلم المعزز (RL) طويل الأمد للوكلاء. ومع ذلك، يوجد تناقض في النهج الحالية:

• التعلم المعزز بالمهارات (Skill-Augmented RL): تحتفظ هذه الطرق بالمهارات الخارجية وقت الاستدلال، مما يحسن الأداء مع دعم المهارة أثناء التشغيل.
• التعلم بالاستيعاب الداخلي للمهارات (Skill-Internalization RL): تسحب هذه الطرق (مثل SKILL0) المهارات أثناء التدريب لتمكين الأداء المستقل، لكنها تعاني من عدم تطابق حرج في التحسين يُسمى "العمى عن الاستيعاب الداخلي".

في أطر الاستيعاب الداخلي الحالية، تولد تحديثات السياسة (مثل GRPO) جميع المسارات لمهمة ما تحت حالة مطالبة واحدة. ونتيجة لذلك، لا يمكن للتدرج (gradient) التمييز بين مسار ناجح ناتج عن استقلالية حقيقية ومسار ناجح يعتمد فقط على المهارة. حتى لو كان المنهج التعليمي يعرف أن المهارة مفيدة عالميًا، فإن تحديث السياسة يعزز النجاح تحت النظام الحالي بدلاً من دفع الوكيل نحو النجاح بدون المهارة. هذا يمنع السياسة من تعلم النجاح بشكل مستقل خلال مرحلة التدريب، مما يؤدي إلى فجوة مستمرة بين الأداء "مع المهارة" والأداء "بدون المهارة"، وهي فجوة لا تتقلص (إن تقلصت) إلا بعد تحول حاد في المنهج التعليمي.

2. المنهجية: إطار عمل SKILLC

يقترح المؤلفون SKILLC، وهو إطار عمل يعتمد على التخصيص التبايني لائتمان المهارة (CSCA). يقوم SKILLC بتحويل التباين بين الأداء المدعوم بالمهارة والأداء الخالي من المهارة إلى إشارة تعلم مباشرة لحل مشكلة العمى عن الاستيعاب الداخلي. يعمل الإطار من خلال ثلاث آليات منسقة:

أ. المسارات التباينية المزدوجة (Paired Contrastive Rollouts)

بالنسبة للمهام ضمن مجموعة المهارات النشطة، يقوم SKILLC بأخذ مسارات مزدوجة ضمن نفس تحديث السياسة:

• المسار المدعوم بالمهارة ($\tau^+$): يتم توليده باستخدام مطالبة مهارة ($z=1$).
• المسار الخالي من المهارة ($\tau^-$): يتم توليده بدون مطالبة المهارة ($z=0$).
  كلاهما يستخدم نفس معاملات السياسة $\pi_\theta$، مما يخلق تصميمًا تباينيًا ذاتيًا. يسمح هذا للنظام بقياس فجوة التباين على مستوى المهمة $\Delta(x) = E[R|x, z=1] - E[R|x, z=0]$. تشير الفجوة الإيجابية إلى الاعتماد على المهارة، بينما تشير الفجوة القريبة من الصفر إلى الاستيعاب الداخلي.

ب. مقدر الائتمان ثنائي المسار (Dual-Stream Advantage Estimator)

لحقن هذا التباين في عملية التحسين دون تشويه التصنيفات العالمية، يستخدم SKILLC مقدر ميزة ثنائي المسار:

1. المسار 1 (التصنيف العالمي): يحافظ على الميزة القياسية النسبية للمجموعة باستخدام المتوسط والتباين لجميع المسارات في الدفعة (batch).
2. المسار 2 (ضغط الاستيعاب الداخلي): يطبق تصحيحًا أحادي الجانب بناءً على فجوة التباين.
   • بالنسبة للمسارات المدعومة بالمهارة ($z=1$)، يتم تقليل وزن الميزة بواسطة حد تصحيحي $C(x)$.
   • بالنسبة للمسارات الخالية من المهارة ($z=0$)، يتم زيادة وزن الميزة بواسطة $C(x)$.
   • تتناسب قيمة التصحيح $C(x)$ مع الفجوة المقدرة $\hat{\Delta}(x)$ وقوة الإسناد $\lambda$.
     هذه الآلية توجه الائتمان صراحةً نحو النجاح المستقل ("النجاح بدون دعم المهارة") أثناء تعلم الوكيل، بدلاً من الانتظار حتى حدوث تحول في المنهج التعليمي.

ج. منهج تعليمي مدرك للاستيعاب الداخلي (Internalization-Aware Curriculum)

يقود إشارة سلسة من مستوى التحقق منهجًا تعليميًا تكيفيًا يتحكم ديناميكيًا في ثلاثة معاملات فائقة:

1. قوة الإسناد ($\lambda$): تتحكم في حجم التصحيح التبايني.
2. تخصيص المسارات ($\rho$): تعدل نسبة المسارات المدعومة بالمهارة مقابل المسارات الخالية من المهارة.
3. تقليم مجموعة المهارات النشطة: تسحب أنواع المهارات التي ينخفض فيها فارق التحقق $\bar{\Delta}_{val}$ عن حد معين بشكل رتيب.
   على عكس الطرق ذات الجداول الزمنية الثابتة، فإن هذا المنهج مدفوع بالبيانات، حيث يستجيب للتقدم الفعلي المقاس للاستيعاب الداخلي.

3. المساهمات الرئيسية

1. تحديد العمى عن الاستيعات الداخلي: حددت الورقة أن الاستيعاب الداخلي ذو الجدول الزمني الثابت يفشل لأن تدرجات السياسة القياسية لا تستطيع التمييز بين النجاح المستقل والنجاح المعتمد على المهارة عندما تشترك جميع المسارات في حالة مطالبة واحدة.
2. إطار عمل SKILLC: اقترح المؤلفون حلاً يستخدم المسارات التباينية المزدوجة ومقدر ميزة ثنائي المسار لجعل فجوة الاستيعاب الداخلي قابلة للملاحظة والتنفيذ في كل خطوة تدرج.
3. منهج تعليمي تكيفي: آلية مدفوعة بالتحقق تعمل على ضبط قوة الإسناد، وميزانية المسارات، وتقليم المهارات بشكل مشترك، مما يضمن أن سحب المهارات يتوافق مع القدرة الفعلية للوكيل.
4. توصيف دقيق للقابلية للتطبيق: تقدم الورقة تحليلًا دقيقًا يوضح أن فعالية CSCA تعتمد على جودة الإشارة؛ حيث تحقق الإشارات التباينية القوية مكاسب كبيرة (مثل +33.4% في مهمة "Pick2" في ALFWorld)، بينما قد تؤدي الإشارات الضعيفة في المهام ذات تأثير السقف (ceiling-effect) إلى تراجع الأداء.

4. النتائج التجريبية

أجريت التجارب على ALFWorld (مهام منزلية قائمة على النصوص) و WebShop (التسوق عبر الإنترنت) باستخدام النموذج الأساسي Qwen2.5-7B-Instruct.

• مكاسب الأداء: بدون الوصول إلى المهارة في وقت التشغيل، يتفوق SKILLC على أقوى نموذج سابق للاستيعاد الداخلي للمهارات (SKILL0) بنسبة 5.5% في ALFWorld (85.9% $\to$ 90.6%) وبنسبة 4.4% في WebShop (70.9% $\to$ 74.0%).
• التنافسية: يظل SKILLC منافسًا للطرق المعززة بالمهارات (التي تحتفظ بالمهارات عند الاستدلال). في ALFWorld، يضاهي SKILLC أداء D2Skill (وهو طريقة معززة بالمهارات) رغم عدم امتلاكه وصولاً للمهارات أثناء الاستدلال.
• دراسات الاستئصال (Ablation Studies):
  • إزالة المسارات المزدوجة (تحديثات الحالة الواحدة) يؤدي إلى انخفاض الأداء بنسبة 3.3%.
  • استبدال التنميط ثنائي المسار بتنميط مختلط يؤدي إلى انخفاض الأداء بنسبة 2.2%.
  • تثبيت بوابة المنهج التعليمي أو إزالة التقليم يؤدي إلى انخفاضات أصغر ولكنها مستمرة في الأداء.
• ديناميكيات التدريب: على عكس SKILL0، الذي يحافظ على فجوة كبيرة بين معدلات النجاح مع المهارة وبدون المهارة حتى حدوث التحول الحاد، يظهر SKILLC انخفاضًا رتيبًا في هذه الفجوة، حيث تعبر الصفر خلال منتصف التدريب. وهذا يؤكد أن السياسة تتعلم الاستقلالية باستمرار بدلاً من الاعتماد على النقل السلبي.

5. الأهمية والادعاءات

تدعي الورقة أن SKILLC يعالج قيدًا جوهريًا في التعلم المعزز للوكلاء: عدم القدرة على التحسين من أجل الاستقلالية أثناء عملية التدريب عندما تكون المهارات موجودة. ومن خلال تحويل "فائدة" المهارة إلى إشارة مباشرة لتخصيص الائتمان للنجاح المستقل، يقضي SKILLC على "العمى عن الاستيعات الداخلي" المتأصل في الطرق السابقة.

يؤكد المؤلفون أن نهجهم لا يتطلب تغيير إطار تحسين السياسة الأساسي (GRPO) بل يعدل آلية تخصيص الائتمان. تكمن الأهمية في تحقيق أداء مستقل يضاهي الطرق المعززة بالمهارات دون عبء التشغيل لاسترجاع المهارة، وكل ذلك مع توفير آلية تكيفية مدفوعة بالبيانات لتقليم المهارات.

القيود المعترف بها:
تشير الورقة إلى أن SKILLC يعتمد على قوائم مهارات محددة مسبقًا وقد يواجه صعوبة في البيئات مفتوحة النهايات ذات الصلة الديناميكية بالمهارات. بالإضافة إلى ذلك، يتسبب المنهج في عبء حسابي بنسبة 26% تقريبًا في بداية التدريب بسبب أخذ العينات المزدوجة، وإن كان هذا ينخفض مع تقليم المهارات. كما تعتمد فعالية الطريقة على جودة الإشارة التباينية؛ ففي المهام التي يقترب الأداء فيها بالفعل من السقف، قد تكون الإشارة ضعيفة جدًا لدفع المزيد من الاستيعاب الداخلي.