ملخص تقني: ما الذي تعلمه بيانات التدريب لوكلاء الذاكرة القائمين على التعلم المعزز (RL)

بيان المشكلة

تفتقر النماذج اللغوية الكبيرة (LLMs) إلى الذاكرة المستمرة عبر الحوارات متعددة الجلسات، وهو قصور يتم معالجته عبر تعزيزها ببنوك ذاكرة خارجية. وبينما برز التعلم المعزز (RL) كمنهجية لتدريب الوكلاء على اختيار والاستدلال على الذكريات المسترجعة، فإن الأدبيات الحالية تعتمد بشكل أساسي على التدريب حصرياً على معيار مرجعي واحد (Benchmark). هذا النهج يترك تساؤلات حرجة مفتوحة حول كيفية تأثير تكوين بيانات التدريب على المهارات المحددة التي يكتسبها وكيل الذاكرة. وتحديداً، ليس من الواضح ما إذا كان خلط المعايير المرجعية يؤدي إلى إنتاج وكيل أكثر عمومية أم يؤدي إلى إضعاف المهارات المتخصصة في المجال، وما إذا كان التدريب على مجموعات بيانات صغيرة وخارج نطاق المجال (out-of-domain) يمكن أن يستحث قدرات مستهدفة أو يؤدي إلى الفشل.

المنهجية

قدم المؤلفون دراسة تجريبية مضبوطة تعزل متغير تكوين منهج التدريب (training curriculum composition) مع تثبيت جميع العوامل الأخرى.

• المتغيرات الثابتة:

  • البنية (Architecture): نموذج Qwen-2.5-7B-Instruct باستخدام تقنية LoRA (الرتبة 16، ألفا 32).
  • الخوارزمية: تحسين السياسة النسبي للمجموعات (GRPO) مع حجم مجموعة ($G$) يساوي 4 (وهو الحد الأقصى الذي يتسع له معالج رسوميات واحد بسعة 48 جيجابايت).
  • المعلمات الفائقة (Hyperparameters): معدل تعلم متطابق ($5 \times 10^{-6}$)، واضمحلال جيب التمام (cosine decay)، وحجم دفعة (batch size) عبر جميع عمليات التشغيل.
  • المهمة: الإجابة على الأسئلة (QA) المعززة بالذاكرة، حيث يقوم الوكيل باختيار المدخلات ذات الصلة من مجموعة ذكريات مسترجعة للإجابة على سؤال.

• المتغير (مناهج التدريب):
  ثلاثة تكوينات تم تدريبها على تركيبات مختلفة من البيانات:

  • التكوين أ (داخل النطاق - In-Domain): 152 زوجاً من الأسئة والأجوبة من LoCoMo فقط.
  • التكوين ب (مختلط - Mixed): 212 زوجاً من الأسئلة والأجوبة تجمع بين LoCoMo (152) و LongMemEval (60).
  • التكوين ج (خارج النطاق - Out-of-Domain): 60 زوجاً من الأسئلة والأجوبة من LongMemEval فقط.

• التقييم:
  تم تقييم النماذج على كل من LoCoMo (1,307 سؤال اختبار، 4 أنواع) و LongMemEval (415 سؤال اختبار، 6 أنواع). المقياس الأساسي هو درجة F1 على مستوى الرمز (token-level F1). كما استُخدم نموذج لغوي كبير كحكم (Claude 3 Haiku) للتحقق من التوافق النوعي الدلالي.

• التعديلات الهندسية:

  • معالجة الذاكرة مسبقاً: بالنسبة للتدريب عبر المعايير المرجعية المختلفة، تمت تصفية استجابات المساعد الطويلة والعامة لإزالة الضجيج الخاص بالتنسيق.
  • دالة المكافأة: انتقل المؤلفون من مكافآت المطابقة التامة (EM) الثنائية إلى مكافأة F1 المستمرة على مستوى الرمز. وقد وجدوا أنه مع حجم مجموعة صغير ($G=4$)، أدت المكافآت الثنائية إلى صفر من التباين داخل المجموعة، مما أدى إلى انهيار إشارة الميزة (advantage signal) إلى الصفر.

النتائج الرئيسية

1. تكوين المنهج يقود التخصص، وليس مجرد التوسع

وجدت الدراسة أن تكوين المنهج يعمل كـ "رافعة دقيقة للتحكم في التخصص" بدلاً من كونه عاملاً موحداً للتوسع في الأداء العام.

• المنهج المختلط (التكوين ب): حقق أعلى درجة F1 إجمالية على كلا المعيارين، متفوقاً على خط الأساس أحادي المعيار بمقدار +0.012 (في LoCoMo) و +0.014 (في LongMemEval).
• التباين حسب النوع: كانت الاختلافات في الأداء عبر أنواع الأسئلة المحددة أكبر بكثير من الاختلافات الإجمالية. على سبيل المثال، أظهر التكوين أ (LoCoMo فقط) مكاسب كبيرة في الاستدلال الزمني (temporal) و متعدد الخطوات (multi-hop)، بينما أظهر التكوين ب أقوى المكاسب في فئات تحديث المعرفة (knowledge-update) و المستخدم في الجلسة الواحدة (single-session-user).
• التخصص المستهدف: نجح التكوين ج (LongMemEval فقط)، رغم امتلاكه أصغر مجموعة بيانات وأداء إجمالي ضعيف، في نقل مهارة مستهدفة وهي: الاستدلال الزمني. فقد حقق أعلى درجة في الاستدلال الزمني (0.202) بين جميع التكوينات، مما يثبت أن حتى المجموعات الصغيرة خارج نطاق المجال يمكن أن تستحث سلوكيات محددة.

2. النتائج الهندسية حول التعلم المعزز (RL) على معالج رسوميات واحد

• ضجيج البيانات: خلط المعايير المرجعية دون معالجة مسبقة (تحديداً تصفية استجابات المساعد الطويلة في بيانات تنسيق الدردشة) أدى إلى تدهور إشارة التدريب. النسخة المصفاة من المنهج المختلط أظهرت متوسط F1 أعلى بنسبة 22% أثناء التدريب.
• ندرة المكافأة: فشلت مكافآت المطابقة التامة الثنائية في توفير إشارة تعلم عند $G=4$ لأن احتمال المطابقة التامة كان قريباً من الصفر، مما أدى إلى صفر تباين داخل المجموعة. كانت مكافآت F1 المستمرة ضرورية للحفاظ على التباين وتمكين التعلم في هذا النطاق.

3. عتبات حجم البيانات

لاحظت الدراسة نقطة انتقال بين التخصص المستهدف والتحسين الإجمالي المستقر.

• ~60 مثالاً: كافية لاستحثاث سلوكيات مستهدفة (مثل الاستدلال الزمني) ولكنها غير كافية لتحقيق تحسن إجمالي موثوق.
• ~150 مثالاً: تبدو هي العتبة التي تصبح عندها الزيادات الإجمالية الإيجابية مستقرة.

الأهمية والادعاءات

يدعي البحث سد فجوة في الأدبيات من خلال فصل تأثيرات تكوين البيانات عن تأثيرات البنية والخوارزمية في وكلاء الذاكرة القائمين على التعلم المعزز. وتكمن أهميته في ثلاثة مجالات:

1. رؤية تجريبية: يوضح أن مقارنات المعايير المرجعية ذات الرقم الواحد تغفل بشكل منهجي تأثيرات المنهج. إن "ملف التخصص" للوكيل يحدده توزيع المصدر لبيانات تدريبه بشكل كبير، وليس فقط الحجم.
2. إرشادات عملية: يوفر نصائح قابلة للتطبيق للممارسين:
   • خلط المعايير المرجعية ينتج أقوى الوكلاء الأكثر عمومية.
   • يمكن استخدام المجموعات الضيقة خارج نطاق المجال لاستحثاث قدرات محددة (مثل الاستدلال الزمني) حتى لو ظلت الدرجات الإجمالية منخفضة.
   • يتطلب التدريب عبر المعايير المرجعية تنظيفاً صارماً للبيانات لإزالة ضجيج التنسيق المحدد.
3. قيود قابلية التكرار: يسلط الضوء على قيد حرج لأبحاث التعلم المعزز على معالج رسوميات واحد: مكافآت المطابقة التامة الثنائية غير فعالة مع أحجام المجموعات الصغيرة ($G \approx 4$)، مما يستلزم دوال مكافأة مستمرة مثل F1 لضمان نجاح التدريب.

خلص المؤلفون إلى أن دراستهم المضبوطة تقدم "شريحة مفيدة من مساحة التصميم" للممارسين الذين يفكرون في كيفية تخصيص ميزانيات تدريب التعلم المعزز المحدودة عبر مختلف المعايير المرجعية.