ملخص تقني: تدريب الوكلاء اللغويين على التعلم من الخبرة

بيان المشكلة

تركز الأساليب الحالية القائمة على التأمل (reflection-based methods) لوكلاء النماذج اللغوية الكبيرة (LLM) بشكل أساسي على التصحيح الذاتي ضمن مثيل مهمة واحدة. وبينما تعد هذه الأساليب فعالة في تحسين السلوك لمشكلة معينة من خلال المحاولات المتكررة، إلا أنها تفشل في استخلاص الخبرات وتحويلها إلى دروس قابلة لإعادة الاستخدام لتحسين الأداء في مهام مستقبلية غير مرئية. هذا القصور يعد أمراً حرجاً في السيناريوهات الواقعية حيث لا يمكن تكرار المهام (مثل ألعاب الشطرنج أو الطبخ) وحيث ينبغي للرؤى المستخلصة من مثيل مهمة واحدة أن تعمم مثاليًا على مهام أخرى مشابهة وغير مرئية. السؤال البحثي المركزي الذي يتم تناوله هو ما إذا كان يمكن تدريب النماذج اللغوية الكبيرة لتوليد تأملات تسهل التحسين الذاتي عبر المهام، وإذا كان الأمر كذلك، كيف يمكن تحقيق ذلك دون الاعتماد على أمثلة مقدمة من البشر.

المنهجية

مهمة التدريب داخل السياق (ICT)

يقدم المؤلفون مهمة التدريب داخل السياق (ICT)، وهي إطار عمل مصمم لتقييم قدرة النموذج اللغوي الكبير على التعلم من الخبرة من أجل التحسين الذاتي عبر المهام. يستخدم الإطار بنية ثنائية للنماذج اللغوية الكبيرة:

1. الممثل (Actor - $LLM_{act}$): وكيل تشغيلي يتفاعل مع البيئة بناءً على مطالبة نظام (system prompt). ومن الأهمية بمكان أنه في كل دورة من دورات مهمة ICT، يواجه الممثل دفعة جديدة وغير مرئية من المهام، ولديه محاولة واحدة فقط لكل مهمة.
2. المتأمل (Reflector - $LLM_{refl}$): وكيل ميتا (meta-agent) يراقب المسارات التي جمعها الممثل ويولد مطالبة نظام محسنة ($sp_i$) تهدف إلى تعزيز أداء الممثل في الدفعة التالية من المهام غير المرئية.

الهدف هو أن يقوم المتأمل بتحليل حلقات من مجموعة تدريب ($E_{train}$) وتوليد مطالبة نظام تزيد من المكافأة التراكمية للممثل في مجموعة تحقق محجوزة ($E_{val}$) من أنواع المهام غير المرئية.

مسار التدريب (Training Pipeline)

لتمكين المتأمل من اكتساب هذه القدرة، يقترح المؤلفون مسار تدريب يعتمد على التعلم التعزيزي (RL-based fine-tuning pipeline):

• إنشاء مجموعة البيانات: يتم تشغيل حلقة ICT عدة مرات باستخدام نموذج أساسي لإنشاء مجموعة بيانات من الأزواج $(sp_i, obs_i, \text{task batch})$. يلتقط هذا التنسيق مطالبات النظام المتنوعة والبيانات الوصفية المقابلة لها (مسارات التفاعل).
• إشارة المكافأة: تُشتق مكافأة التدريب مباشرة من الخبرة. بالنسبة لمطالبة نظام مرشحة يولدها المتأمل، يتم حساب المكافأة عن طريق إعادة تشغيل الدفعة السابقة من المهام باستخدام نموذج الممثل تحت المطالبة الجديدة. وهذا يشجع المتأمل على تحديد مشكلات الأداء في الدفعة السابقة واقتراح إصلاحات تعمم، بدلاً من الإفراط في التخصيص (overfitting) للدفعة الفورية.
• التحسين (Optimization): يتم ضبط المتأمل بدقة باستخدام خوارزمية GRPO (تحسين السياسة النسبي للمجموعات). أثناء التدريب، يقوم المتأمل بأخذ عينات من عدة مطالبات مرشحة، والتي يتم تقييمها عن طريق إعادة تشغيل المهام باستخدام ممثل مجمد. وتقوم هذه الدرجات بقيادة تقدير الميزة وتحديث المعلمات.

البنية التحتية: MetaGym

يقدم المؤلفون MetaGym، وهو مكتبة بايثون عامة لبناء بيئات ميتا من بيئات موجودة تشبه Gym. تسهل هذه الأداة إنشاء الإعداد الثنائي للنماذج اللغوية الكبيرة المطلوب لـ ICT، حيث تدير إنشاء المهام، والتنفيذ المتوازي، والتفاعل بين الممثل والمتأمل.

المساهمات الرئيسية

1. مسار تدريب للتحسين الذاتي عبر المهام: طريقة لضبط النماذج اللغوية الكبيرة بدقة لتوليد تأملات تحسن الأداء عبر مثيلات المهام غير المرئية دون الاعتماد على تسميات أو أمثلة مقدمة من البشر.
2. مهمة التدريب داخل السياق (ICT): إطار تقييم مبتكر يقيس قدرات التحسين الذاتي عبر الإنترنت حيث تكون المهام غير قابلة للتكرار، مما يجبر النموذج على تعلم استراتيجيات قابلة للنقل بدلاً من حفظ حلول محددة.
3. MetaGym: مكتبة مفتوحة المصدر تتيح بناء بيئات ميتا لأبحاث الوكلاء اللغويين ذاتية التحسين.

النتائج التجريبية

تم تقييم النهج على معيارين: ALFWorld (مهام منزلية قائمة على النصوص) و MiniHack (مهام عالم شبكي ثنائي الأبعاد). في كلتا الحالتين، تم تقسيم أنواع المهام إلى مجموعات تدريب ميتا واختبار ميتا لضمان تعلم المتأمل لاستراتيجيات قابلة للتعميم بدلاً من حفظ مثيلات مهام محددة.

• التحسين عبر المهام: تفوقت المتأملات المدربة باستمرار على النماذج الأساسية غير المدربة (Qwen2.5-7B-Instruct) والمطالبات الأولية في معظم أنواع المهام المحجوزة في كلا المعيارين. وهذا يثبت أن القدرة على التعلم من الخبرة هي في حد ذاتها مهارة ميتا قابلة للتعلم.
• التعميم لما وراء التدريب: في بعض الحالات، نجحت المتأملات المدربة على MiniHack في تحسين الأداء على مهام ALFWorld (والعكس صحيح)، مما يشير إلى قابلية الانتقال بين بيئات مختلفة جوهرياً.
• دورات الميتا والأفق الزمني: استمر الأداء في التحسن بعد عدد دورات الميتا التي تمت رؤيتها أثناء التدريب (الدورة 4)، مما يشير إلى أن النموذج يمكنه صقل المطالبات التي يولدها بشكل متكرر.
• تأثير حجم الدفعة: حققت أحجام الدفعات الأكبر ($k=5$) نتائج أفضل بشكل عام، لا سيية في MiniHack، من خلال توفير خبرة أكثر تنوعاً وتقليل ندرة إشارات المكافأة. ومع ذلك، في ALFWorld، كانت الدفعات الأصغر ($k=3$) كافية أحياناً، مما يشير إلى تناقص العوائد مع زيادة حجم الدفعة اعتماداً على البيئة.

الأهمية والادعاءات

يزعم البحث أن التعلم من الخبرة هو قدرة قابلة للتعلم. ومن خلال نقل التركيز من التصحيح الذاتي داخل مهمة واحدة إلى التحسين الذاتي عبر عائلة من المهام، يوفر المؤلفون مساراً لتطوير وكلاء عامين قادرين على التكيف مع البيئات مفتوحة النهاية.

يؤكد العمل على أن:

• آليات التأمل يمكن تدريبها لاستخراج دروس قابلة لإعادة الاستخدام، متجاوزة بذلك النموذج الحالي حيث يجب على الوكلاء "إعادة تعلم" الدروس لكل مهمة جديدة.
• يمكن اكتساب هذه القدرة دون إشراف بشري، بالاعتماد فقط على بيانات التفاعل الخاصة بالوكيل نفسه.
• يوفر الإطار المقترح (ICT) والأداة (MetaGym) طريقة معيارية لتقييم وبحث الوكلاء ذاتيي التحسين، مما قد يوجه انتباه المجال نحو التعميم عبر المهام.

يبقى المؤلفون متواضعين فيما يتعلق بالقيود، مشيرين إلى أن الحفاظ على نماذج منفصلة للممثل والمتأمل مكلف حاسوبياً، وأن الاعتماد الحالي على مجموعة محجوزة ثابتة للتقييم قد لا يعكس تماماً سيناريوهات العالم الحقيقي حيث قد لا تتوفر مثل هذه المجموعات. ويقترحون أن العمل المستقبلي يمكن أن يستكشف التعلم مدى الحياة دون معايير توقف ثابتة.