ملخص تقني: تعلم السياسات الموجه بالمعالم لعملاء اللغة ذوي الأفق الطويل (BEACON)

بيان المشكلة

يواجه تدريب عملاء اللغة لأداء مهام طويلة الأفق — تتطلب عشرات القرارات المتتالية — عبر التعلم المعزز (RL) مشكلتين جوهريتين متأصلتين في طرق تحسين مستوى المسار مثل GRPO:

1. خطأ في عزو الائتمان (Credit Misattribution): تعتمد الطرق الحالية في تخصيص الائتمان على النتائج النهائية فقط. وبناءً على ذلك، يتم معاقبة الأفعال الصحيحة المبكرة إذا أدت الأفعال اللاحقة إلى الفشل. يؤدي هذا إلى خلق إشارات تدرج متناقضة لأزواج (الحالة-الفعل) المتطابقة اعتماداً على العشوائية اللاحقة، مما يسبب صراع التدرج وانهيار التعلم مع امتداد أفق المهمة.
2. عدم كفاءة العينات (Sample Inefficiency): مع طول أفق المهام، تصبح المسارات الناجحة نادرة. والأهم من ذلك، أن المسارات التي تحقق أهدافاً فرعية هامة ولكنها تفشل في الهدف النهائي تتلقى نفس المكافأة الصفرية التي تتلقاها حالات الفشل الكامل. يؤدي هذا إلى التخلص من إشارات التعلم القيمة المستمدة من "النجاحات الجزئية"، مما ينتج نسبة عالية من العينات التي لا تقدم أي تدرج مفيد.

إن المحاولات الحالية لتكثيف تخصيص الائتمان، مثل نماذج مكافأة العمليات (PRMs) أو تقدير قيمة مونت كارلو، تفرض تكاليف وسم باهظة، أو عبئاً حسابياً، أو تعتمد على أنماط تكرار الحالة التي تتضاءل في بيئات الأفق الطويل.

المنهجية: إطار عمل BEACON

يقترح المؤلفون BEACON (بيئة التقييم للملاحة الموجهة بالأفعال)، وهو إطار عمل يستفيد من البنية التركيبية للمهام طويلة الأفق لفصل تخصيص الائتمان عبر المراحل. الافتراض الجوهري هو خاصية ماركوف للمعالم (Milestone Markov Property): بمجرد تحقيق هدف فرعي دلالي (معلم)، يعتمد توزيع المسار المستقبلي بشكل أساسي على الأهداف الفرعية المتبقية بدلاً من تاريخ التنفيذ الكامل.

يعمل BEACON من خلال ثلاث آليات متكاملة:

1. تقسيم المسار عند حدود المعالم

بدلاً من معاملة المسار كسلسلة مسطحة، يقوم BEACON بتقسيمه إلى مقاطع بناءً على انتقالات الحالة الملحوظة التي تشير إلى اكتمال الهدف الفرعي (مثل التقاط جسم، أو الوصول إلى صفحة ويب). يحدد كاشف المعالم $\Phi$ هذه الانتقالات من تغذية البيئة الراجعة دون الحاجة إلى نماذج متعلمة أو وسم يدوي.

• النتيجة: يتم تقسيم المسارات إلى مقاطع $Seg_k$ محددة بمعالم $M_k$.

2. تشكيل المكافأة الزمنية

لمعالجة عدم كفاءة العينات، يقوم BEACON بتخصيص مكافآت مشكلة داخل المقاطع لتخصيص الائتمان للتقدم الجزئي.

• الآلية: بالنسبة للأفعال في مقطع ينجح في الوصول إلى معلم ما، يتم تخصيص مكافأة إيجابية مع اضمحلال زمني ($\gamma^{t_k - t}$). أما الأفعات في المقاطع التي تفشل في الوصول إلى معلم فتتلقى مكافأة صفرية.
• الأثر: يحول هذا الإشارات النهائية المتفرقة إلى تغذية راجعة كثيفة، مما يضمن تعلم الوكلاء من المسارات التي تكمل الأهداف الفرعية حتى لو فشلت المهمة النهائية.

3. تقدير الميزة ثنائي المقياس

لمعالجة خطأ عزو الائتمان، يقوم BEACON بتقدير المزايا على مستويين:

• ميزة مستوى المسار ($A_{traj}$): تُحسب عالمياً بناءً على النتائج النهائية (على غرار GRPO) للحفاظ على التوافق مع نجاح المهمة الإجمالي.
• ميزة مستوى المقطع ($A_{seg}$): تُحسب محلياً من خلال مقارنة عائد المقطع فقط مع المسارات الأخرى التي وصلت إلى نفس المعلم.
• عزل التباين: من خلال قصر مجموعات المقارنة على المسارات التي تشترك في تاريخ المعلم نفسه، يعزل $A_{seg}$ جودة الأفعال المحلية عن التباين الناتج عن المقاطع اللاحقة. هذا يمنع معاقبة الأفعال الصحيحة المبكرة بسبب الإخفاقات اللاحقة.
• الدمج: الميزة النهائية هي مجموع مرجح: $\hat{A} = A_{traj} + \lambda \cdot A_{seg}$.

المساهمات الرئيسية

1. تشخيص القيود: يحدد البحث تجريبياً ويقيس خطأ عزو الائتمان (أكثر من 40% من تحديثات التدرج تحتوي على إشارات متناقضة في المهام الطويلة) وعدم كفاءة العينات (النجاحات الجزئية التي تعطي مكافأة صفرية) كأسباب جذرية لانهيار الأداء في المهام طويلة الأفق.
2. إطار عمل BEACON: تقديم إطار عمل لتعلم السياسات الموجه بالمعالم يقوم بتقسيم المسارات، وتطبيق تشكيل المكافأة الزمنية، واستخدام تقدير الميزة ثنائي المقياس لفصل جودة الفعل المحلي عن التباين اللاحلي.
3. الضمان النظري: برهان يوضح أنه بموجب خاصية ماركوف للمعالم، تعزل مزايا مستوى المقطع جودة الفعل المحلي عن التباين اللاحق، مما يعالج مباشرة خطأ عزو الائتمان.
4. التحقق التجريبي: تقييم شامل عبر ثلاثة معايير متنوعة (ALFWorld، وWebShop، وScienceWorld) يظهر أن BEACON يتوسع بفعالية مع أفق المهمة، على عكس النماذج المرجعية الحالية.

النتائج التجريبية

أُجريت التجارب باستخدام نماذج Qwen2.5-1.5B وQwen2.5-7B على ALFWorld وWebShop وScienceWorld.

• الأداء في المهام طويلة الأفق: في ALFWorld، يحقق BEACON معدل نجاح بنسبة 92.9% في المهام الطويلة، وهو ما يقرب من ضعف نسبة 53.5% التي حققها GRPO. في المقابل، يتدهور أداء GRPO بشكل حاد من 76.7% في المهام القصيرة إلى 53.5% في المهام الطويلة.
• كفاءة العينات: يحسن BE_ACON كفاءة استخدام العينات الفعالة من 23.7% (GRPO) إلى 82.0%، حيث يستخرج بنجاح إشارات التعلم من النجاحات الجزئية التي تتجاهلها الطرق الأخرى.
• جودة التدرج: ينخفض معدل الميزة الصفرية (العينات التي تتلقى ميزة قريبة من الصفر) من حوالي 55% (GRPO) إلى حوالي 10% (BEACON)، كما انخفض معدل الفعل المتناقض بشكل كبير.
• المقارنة مع SFT: يتفوق BEACON على الضبط الدقيق الخاضع للإشراف (SFT) باستخدام المسارات المثالية (91.4% مقابل 43%)، مما يؤكد أن المكاسب ناتجة عن تحسين السياسة لاكتشاف استراتيجيات متفوقة على النموذج المثالي، وليس مجرد التقليد البسيط.
• المتانة: يحافظ BE_ACON على أداء قوي عبر الآفاق القصيرة والمتوسطة والطويلة، بينما تظهر النماذج المرجعية مثل GRPO وGiGPO تدهوراً كبيراً مع زيادة طول المهمة.

الأهمية والادعاءات

يزعم البحث أن تخصيص الائتمان المرتكز على المعالم يمثل نموذجاً فعالاً لتدريب عملاء اللغة ذوي الأفق الطويل. من خلال استغلال البنية التركيبية المتأصلة في المهام الوكيلية، يتغلب BEACON على انهيار الأداء المنهجي المرتبط بزيادة تسلسلات القرار.

يؤكد المؤلفون أن طريقتهم لا تتطلب نماذج مكافأة عمليات مكلفة أو نقاداً متعلمين إضافيين. بدلاً من ذلك، تستخدم انتقالات الحالة الملحوظة لتوفير تخصيص دقيق للائتمان، مما يمكن الوكلاء من التعلم بكفاءة من النجاحات الجزئية وحل صراعات التدرج. تشير النتائج إلى أن الأولويات الهيكلية (المعالم) حاسمة لتوسيع نطاق التعلم المعزز في عملاء اللغة، مما يوفر مساراً نحو أنظمة أكثر قدرة للمهام المعقدة متعددة الخطوات مثل الملاحة عبر الويب، والتحكم المجسم، والتجارب العلمية.