ملخص تقني: PCSD – الاتساق المستمر في التقطير الذاتي للتعلم التعزيزي الوكيل

بيان المشكلة

تواجه وكلاء النماذج اللغوية الكبيرة (LLM agents) تحديات كبيرة في المهام التفاعلية المعقدة متعددة الخطوات بسبب ندرة المكافأة (reward sparsity). ففي بيئات مثل ALFWorld أو WebShop، قد تمتد المسيرة (trajectory) لعشرات الخطوات ومئات الرموز (tokens)، ومع ذلك لا تتلقى سوى إشارة ناتج قياسية واحدة (نجاح أو فشل) في النهاية. هذا التغذية الراجعة المتأخرة تجعل عملية "تخصيص الائتمان" (credit assignment) — أي تحديد أي الأفعال أو الرموز الوسيطة المحددة ساهمت في النتيجة النهائية — أمراً صعباً للغاية.

بينما يوفر التقطير الذاتي عبر السياسة المباشرة (OPSD) حلاً من خلال استخدام معلم متميز (نسخة مجمدة ومعززة بالمهارات من الطالب) لتوفير إشراف كثيف على مستوى الرمز، إلا أنه يطرح مشكلة موثوقية جديدة. فإرشادات المعلم ليست جديرة بالثقة بشكل موحد؛ حيث يمكن لعوامل مثل الاسترجاع غير المثالي، أو السياق الضوضائي، أو غموض المهمة أن تؤدي إلى تفضيل المعلم لرموز دون المستوى في مواضع محددة. وتكافح طرق التقطير الحالية الواعية بالمصداقية للموازنة بين طرفين متطرفين:

1. الطرق على مستوى الرمز (Token-level): تعتمد على اختلافات معزولة عند موضع واحد، مما يجعلها حساسة لضوضاء العينات والتقلبات العابرة.
2. الطرق على مستوى الخطوة (Step-level): تجمع الإشارات عبر خطوة استدلال كاملة، وتخصص وزناً مشتركاً لجميع الرموز. هذا يحسن المتانة ولكنه يحجب الاختلافات الموضعية الحرجة في موثوقية المعلم.

المنهجية: PCSD

يقترح المؤلفون التقطير الذاتي ذو الاتساق المستمر (PCSD)، وهو إطار عمل يقدر مصداقية المعلم بناءً على الاستمرارية المحلية (local persistence) للإشارات التي يفضلها المعلم. الجوهر يكمن في أن مزايا المعلم المعلوماتية يجب أن تستمر عبر جوار محلي، بينما الارتفاعات المعزولة غالباً ما تعكس ضوضاء. يعمل PCSD من خلال ثلاث آليات متكاملة لتوليد أوزان تقطير مستمرة على مستوى الرمز ($w_{k,i}$):

1. تقييم الاتساق المستمر

بدلاً من الاعتماد على فجوة احتمالية نقطية واحدة ($\delta_{k,i}$) بين المعلم والطالب، يقوم PCSD بتجميع هذه الفجوات عبر نافذة استشرافية باستخدام التلاشي الأسي (exponential decay). هذا يمنح أهمية أكبر للمواضع الأقرب إلى الرمز الحالي مع دمج الأدلة من المنطقة المحلية المباشرة، مما يخلق "تقدير اتساق مستمر" ($\bar{\delta}^{(N)}_{k,i}$).

2. آلية التجميع التكيفي

إدراكاً بأن أنماط الفجوات تختلف عبر الاستجابة، يستخدم PCSD استراتيجية نافذة تكيفية ناعمة. حيث يحسب التباين المحلي لتسلسل الفجوات ضمن نافذة تحليل قصوى ($N_{max}$).

• التباين المنخفض: إذا كانت الفجوة المحلية مستقرة، تفضل الآلية تقدير النافذة القصيرة للحفاظ على دقة موضعية دقيقة.
• التباين العالي: إذا كانت الفجوة المحلية ضوضائية، فإنها تحول الوزن نحو تقدير النافذة الطويلة لتوفير تنعيم أقوى.
  ينتج عن ذلك تقدير تكيفي ($\bar{\delta}^{adaptive}_{k,i}$) يوازن ديناميكياً بين الدقة والمتانة دون تبديل نوافذ منفصل.

3. تعديل الاتجاه والبوابة المستمرة

لمنع الإشارات العابرة من الهيمنة، يطبق PCSD تعديل اتجاه أحادي الجانب. فهو يحسب الميل المحلي لتسلسل الفجوة؛ فإذا كان دعم المعلم في تناقص (ميل سالب)، يتم تخفيف الوزن. ويُدمج هذا مع دالة بوابة سيجمويد (sigmoid gating) التي ترسم التقدير التكيفي إلى وزن محدود ($w_{k,i}$).

• عامل الاتجاه ($\eta_{k,i}$): يقلل الاعتماد على الإشارات التي يتناقص فيها الدعم.
• بوابة السيجمويد: تحول تقدير المصداقية إلى وزن مستمر وناعم.

هدف التدريب

يجمع الهدف النهائي بين خسارة GRPO (تحسين السياسة النسبية للمجموعات) القياسية، والتي تستخدم مكافآت مسيرة نادرة المستوى، مع خسارة تقطير PCSD:
$$\mathcal{L}_{total} = \mathcal{L}_{GRPO} + \lambda_{PCSD} \mathcal{L}_{PCSD}$$
حيث أن $\mathcal{L}_{PCSD}$ هي احتمالية سالبة لوغاريتمية موزونة تشجع الطالب على التوافق مع المعلم فقط في المواضع التي يتم فيها اكتشاف دعم مستمر ومستقر.

المساهمات الرئيسية

1. إطار عمل PCSD: طريقة تقطير ذاتي على السياسة المباشة على مستوى الرمز، تقدر مصداقية المعلم من الاستمرارية المحلية للإشارات، مما يجمع بفعالية بين التمييز الدقيق والمتانة ضد الضوضاء.
2. التجميع التكيفي: آلية تعدل حجم نافذتها الفعالة بناءً على إحصاءات الفجوة المحلية وتستخدم التلاشي الأسي للحفاظ على الموضعية المكانية.
3. التعديل المدرك للاتجاه: تقديم تعديل اتجاه أحادي الجانب وبوابة سيجمويد مستمرة لتصفية دعم المعلم المتناقص أو غير المستقر.
4. التحقق التجريبي: تجارب واسعة تثبت تفوق PCSD على GRPO القائم على النتيجة فقط وعلى مخططات الوزن الموجودة (مثل RLSD و SDAR) عبر نماذج وأداء مهام مختلفة.

النتائج التجريبية

قيم المؤلفون PCSD على ALFWorld (ذكاء جسدي قائم على النصوص) و WebShop (ملاحة التجارة الإلكترونية) باستخدام نماذج خلفية Qwen2.5-3B-Instruct و Qwen3-1.7B-Instruct.

• أداء ALFWorld: حقق PCSD أعلى معدلات نجاح إجمالية بين جميع النماذج المرجعية.
  • مع Qwen2.5-3B: 90.6% (متجاوزاً GRPO بمقدار 15.6 نقطة و SDAR بمقدار 6.2 نقطة).
  • مع Qwen3-1.7B: 59.4% (متجاوزاً GRPO بمقدار 13.3 نقطة و SDAR بمقدار 5.5 نقطة).
  • لوحظت تحسينات ملحوية في مهام فرعية مثل Heat و Cool و Pick2.
• أداء WebShop: حقق PCSC أعلى درجة (85.0) مع Qwen2.5-3B وتساوى في أعلى دقة (67.2%) مع SDAR على كلا النموذجين.
• التعميم: في تقسيم غير مرئي من ALFWorld، حافظ PCSC على أداء قوي (معدل نجاح 86.7%)، متفوقاً بشكل كبير على GRPO (70.9%) و SDAR (72.7%).
• دراسات الاستئصال (Ablation Studies): أدى إزالة التجميع التكيفي، أو تعديل الاتجاه، أو التلاشي الأسي باستمرار إلى تدهور الأداء، مما يؤكد ضرورة كل مكون. كما وجد أن معامل التقطير $\lambda_{PCSD}$ غير رتيب، حيث حقق 0.01 أفضل النتائج.

الأهمية والادعاءات

يزعم البحث أن الاتساق المستمر هو عامل حاسم في التقطير الذاتي الفعال للتعلم التعزيزي الوكيل. ومن خلال تجاوز الاختلافات المنفردة للرموز أو المتوسطات الخشنة على مستوى الخطوة، ينجح PCSD في تحديد أي إشارات المعلم موثوقة. يؤكد المؤلفون أن طريقتهم تحقق هذه النتائج دون الحاجة إلى استرجاع المهارات أثناء الاستدلال، معتمدة فقط على قدرة سياسة الطالب المدربة على الاستفادة من إرشاد المعلم المستمر.

يعالج هذا العمل المقايضة الأساسية بين دقة مستوى الرمز والمتانة القائمة على التجميع، مقدمًا حلاً يسمًح للإرشادات الكثيفة للمعلم بتكملة التغذية الراجعة البيئية النادرة بفعالية. ويشير المؤلفون إلى أنه بينما يستخدم نهجهم الحالي معاملات ثابتة لعزل تأثير آلية الوزن، فإن العمل المستقبلي يمكن أن يستكشف تعلم هذه المعاملات ديناميكياً من إحصاءات المسيرة وعدم يقين المعلم.