AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling

إليك ملخص تقني مفصل لورقة "AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling".

1. بيان المشكلة

تعاني مسارات تدريب وكلاء النماذج اللغوية الكبيرة (LLM) الحالية من مشكلة حرجة وهي هدر البيانات. فعلى الرغم من معدلات الفشل المرتفعة للوكلاء في المهام الواقعية (على سبيل المثال، ينجح GPT-4o في حوالي 14% فقط من مهام WebArena وأقل من 55% من مهام ToolBench)، إلا أن بروتوكولات التدريب القياسية تتخلص من جميع المسارات الفاشلة.

• المشكلة: هذه الإخفاقات ليست ضجيجاً عشوائياً؛ فهي غالباً ما تحتوي على خطوات وسيطة صحيحة ومتماسكة وملاحظات واقعية، لكنها ببساطة فشلت في تحقيق الهدف الأصلي المحدد.
• الفرصة: المسار الذي يفشل في تحقيق الهدف (أ) قد يكون نموذجاً مثالياً لتحقيق هدف (ب) آخر قابل للتحقيق. تفشل الأساليب الحالية في استغلال إمكانات "الرؤية المتأخرة" (Hindsight) هذه، وتعتمد فقط على النماذج الناجحة النادرة لعملية الضبط الدقيق تحت الإشراف (SFT).

2. المنهجية: إطار عمل AgentHER

يقوم AgentHER بتكييف مبدأ Hindsight Experience Replay (HER) من التعلم المعزز إلى وكلاء النماذج اللغوية الكبيرة ذات اللغة الطبيعية. وهو يقترح مساراً يتكون من أربع مراحل لتحويل المسارات الفاشلة إلى بيانات تدريب عالية الجودة (بتنسيقات SFT وDPO وShareGPT) دون الحاجة إلى تفاعلات جديدة مع البيئة.

المسار المكون من أربع مراحل

1. كاشف الفشل (المرحلة 1):
   • الوظيفة: يصنف نوع الفشل (مثل: عدم الاكتمال، انتهاك القيود، النتيجة الخاطئة، خطأ في الأداة، الهلوسة) ويحدد وزن الشدة ($w$).
   • الآلية: يستخدم قواميس الكلمات المفتاحية القائمة على القواعد أو حكماً يعتمد على النموذج اللغوي الكبير. يتم استبعاد المسارات ذات العيوب الجسيمة (مثل الهلوسة أو سوء استخدام الأدوات الكارثي) ($w < 0.3$). أما الإخفاقات القابلة للاسترداد، فتمر للمراحل التالية مع وزن لتعديل خسارة التدريب.
2. مستخرج النتائج (المرحلة 2):
   • الوظيفة: يستخرج REPLAYOUTCOME — وهو قائمة بالإنجازات الفعلية، والبيانات الرقمية، والملاحظات الواقعية من المسار.
   • الغرض: ربط خطوة إعادة التسمية (Relabeling) اللاحقة بأدلة واقعية لمنع توليد أهداف هلوسة.
3. معيد تسمية المطالبات (المرحلة 3):
   • الوظيفة: يقوم نموذج لغوي كبير بتوليد هدف جديد بلغة طبيعية ($\hat{g}$) يحققه المسار ($\tau$) بالفعل، بناءً على الـ REPLAYOUTCOME.
   • القيود: يجب أن يكون الهدف الجديد طلباً طبيعياً للمستخدم، مدعوماً بالحقائق من الملاحظات، مستقلاً عن المطالبة الأصلية الفاشلة، ومتوافقاً مع مستوى التعقيد الأصلي.
   • التحقق عبر تعدد الحكام: لضمان الجودة، يقوم حكم مستقل ثانٍ بالتحقق من عملية إعادة التسمية. لا يتم قبول إعادة التسمية إلا إذا اتفق كلا الحكمين بثقة عالية ($c \ge \theta$). هذا يقلل ضجيج التسميم من 5.9% إلى 2.3%.
4. معزز البيانات (المرحلة 4):
   • الوظيفة: يجمع أزواج $(\hat{g}, \tau)$ التي تم التحقق منها في مجموعات بيانات تدريبية.
   • التنسيقات:
     • SFT: يعيد بناء سلسلة الأفكق (Chain of Thought) كحوار.
     • DPO: ينشئ زوج تفضيل حيث يكون الهدف المعاد تسميته هو "المختار" (Chosen) والهدف الأصلي الفاشل هو "المرفوض" (Rejected)، لتعليم النموذج أن المسار صالح للهدف الجديد.
     • ShareGPT: ينسق البيانات للتوافق مع الحوارات متعددة الأدوار.

الآليات الرئيسية

• توزين شدة الفشل: يعمل على تقليل وزن المسارات التي تحتوي على عيوب طفيفة في الاستنتاج أثناء التدريب لتقليل الضجيج.
• التحقق عبر تعدد الحكام: يتطلب توافقاً بين حكمين، مما يرفع دقة النظام بشكل كبير (97.7%) مقارنة بنهج الحكم الواحد (94.1%).

3. المساهمات الرئيسية

1. صياغة مبتكرة: أول مسار منهجي يربط بين HER المشروط بالهدف وبين توليد بيانات الوكيل بلغة طبيعية. وخلافاً للأعمال السابقة التي تعيد استخدام الإخفاقات للذاكرة أثناء الاستنتاج (مثل ECHO)، يركز AgentHER على تعزيز بيانات التدريب خارج الخط (Offline Training Data Augmentation) عن طريق إعادة تسمية الأهداف مع إبقاء المسارات ثابتة.
2. هندسة المتانة: تقديم توزين شدة الفشل والتحقق عبر تعدد الحكام، وهي ممارسات هندسية ترفع دقة المسار وتقلل ضجيج التسمية، مما يجعل النظام جاهزاً للإنتاج.
3. الضمان النظري: يقدم مقترحاً بأنه في حال وجود حكم مثالي، فإن البيانات المعاد تسميتها هي عينة غير منحازة من سياسة الهدف المشروطة المثالية. كما يشتق حداً أدنى لزيادة الأداء بناءً على دقة الحكم.

4. النتائج التجريبية

قيم المؤلفون AgentHER على WebArena (التنقل عبر الويب) و ToolBench (تنسيق واجهة برمجة التطبيقات API) عبر أربع عائلات من النماذج (GPT-4o, Qwen2.5-72B/7B, LLaMA-3.1-8B).

• مكاسب الأداء:
  • حقق AgentHER-MJ (تعدد الحكام) تحسناً قدره +7.1 إلى +11.7 نقطة مئوية (pp) مقارنة بـ SFT-Success (التدريب على النجاحات فقط) عبر جميع النماذج والمعايير.
  • مثال: في WebArena مع Qwen2.5-7B، قفز الأداء من 18.9% (SFT-Success) إلى 27.8% (AgentHER-MJ).
• كفاءة البيانات:
  • يحقق AgentHER نفس أداء SFT-Success باستخدام 50% فقط من العروض الناجحة، مما يضاعف كفاءة البيانات فعلياً.
  • يتوسع بشكل لوغاريتمي خطي مع حجم المسارات الفاشلة، بينما لا يستطيع SFT-Success الاستفادة من أي إخفاقات إضافية.
• توسع النماذج:
  • المكاسب متسقة عبر أحجام النماذج المختلفة (من 1.5B إلى 72B). تستفيد النماذج الأصغر (7B/8B) بشكل أكبر، مع مكاسب تصل إلى +11.7 pp في ToolBench، مما يشير إلى أنها تفتقر إلى المعرفة العالمية للتصحيح الذاتي وتستفيد أكثر من الأمثلة المتنوعة المعاد تسميتها.
• إعادة النشر التكراري:
  • استخدام AgentHER في حلقة تكرارية (جمع إخفاقات جديدة من النموذج المحسن، ثم إعادة التسمية، ثم إعادة التدريب) يؤدي إلى مكاسب تراكمية، بإضافة +2.1 pp فوق الجولات الإضافية.
• التعميم:
  • النماذج المدربة عبر AgentHER على إخفاقات WebArena أظهرت ميزة نقل قدرها +9.5 pp عند تقييمها بصفر محاولة (Zero-shot) على ToolBench، مما يثبت أن النموذج يتعلم سلوكيات التخطيط العامة بدلاً من حفظ أنماط مهام محددة.

5. الأهمية والخاتمة

• تحول في النموذج الفكري: يتحدى AgentHER المعيار الصناعي المتمثل في التخلص من الإخفاقات. فهو يفترض أن التمييز بين النجاح والفشل هو أمر مرتبط بالمهمة، وليس مطلقاً بالنسبة للمسار.
• فعالية التكلفة: يحول "المصدر الرئيسي للخبرة المجموعة" (الإخفاقات) إلى بيانات تدريب عالية القيمة دون الحاجة إلى تسمية بشرية أو عمليات تشغيل إضافية للبيئة.
• الأثر العملي: من خلال تحويل البيانات المهدرة إلى مجموعات بيانات SFT وDPO، يقدم AgentHER طريقة قابلة للتوسع وتلقائية لتحسين قدرات الوكيل، خاصة للنماذج الأصغر وفي السيناريوهات التي تفتقر إلى البيانات.

تخلص الورقة إلى أن إدراك الإمكانات الكامنة في المسارات الفاشلة يحول كل عملية نشر فاشلة إلى منهج تعليمي (Curriculum) للنسخة القادمة من الوكيل.