ملخص تقني: تعلم الوكيل عبر الخبرة المبكرة

1. بيان المشكلة

الهدف طويل الأمد لوكلاء اللغة هو التعلم والتحسن من خلال تجربتهم الخاصة في المهام المعقدة والواقعية. ومع ذلك، تواجه نماذج التدريب الحالية قيودًا كبيرة:

• التعلم التعزيزي (RL): رغم نجاحه في المجالات ذات المكافآت القابلة للتحقق (مثل الألعاب)، إلا أن تطبيق التعلم التعزيزي على وكلاء اللغة في العالم الحقيقي أمر صعب. فالعديد من البيئات (مثل المواقع الإلكترونية، واستخدام الأدوات متعدد الخطوات) تفتقر إلى إشارات مكافأة كثيفة أو قابلة للتحقق، أو تتطلب عمليات تشغيل طويلة المدى غير فعالة مما يجعل تخصيص الائتمان (credit assignment) غير مستقر.
• الضبط الدقيق الخاضع للإشراف (SFT/تعلم التقليد): تعتمد معظم الوكلاء الحالية على الضبط الدقيق الخاضع للإشراف باستخدام بيانات منسقة من قبل خبراء. ورغم كفاءة هذا النهج، إلا أنه ينطوي على قيود جوهرية:
  • انزياح التوزيع (Distribution Shift): لا يتفاعل الوكلاء مع البيئة أثناء التدريب، لذا فهم لا يلاحظون أبدًا عواقب الأفعال غير الخبيرية. يؤدي هذا إلى تراكم الأخطاء عندما ينحرف الوكيل عن توزيع التدريب.
  • التعميم المحدود: تلتقط العروض التوضيحية للخبير نطاقًا ضيقًا فقط من السيناريوهات، مما يحد من قدرة الوكيل على التعميم في المواقف غير المرئية أو التعافي من الإخفاقات.
  • القابلية للتوسع: الحصول على عروض توضيحية عالية الجودة من الخبراء مكلف للغاية من حيث التوسع.

التحدي الجوهري هو كيفية تدريب الوكلاء على النمو من خلال تجربتهم الخاصة دون الاعتماد على إشارات مكافأة خارجية أو الارتباط الصارم بتغطية العروض التوضيحية البشرية.

2. المنهجية: نموذج الخبرة المبكرة

يقترح المؤلفون الخبرة المبكرة (Early Experience)، وهو نموذج يمثل منطقة وسطى بين تعلم التقليد والتعلم التعزيزي. في هذا الإعداد، لا يتعلم الوكلاء من البيانات المنسقة بشريًا فحسب، بل يتعلمون أيضًا من الحالات المستقبلية الناتجة عن أفعالهم المقترحة في البيئة. تعمل هذه الحالات المستقبلية كإشارات إشراف دون الحاجة إلى مكافآت خارجية.

يعتمد هذا النموذج على مجموعة بيانات من مسارات الخبراء $D_{expert} = \{(s_i, a_i)\}$ ويعززها بمجموعة بيانات التشغيل (rollout dataset) $D_{rollout} = \{(s_i, a^j_i, s^j_i)\}$، حيث تمثل $a^j_i$ أفعالًا بديلة يتم أخذ عينات منها من سياسة الوكيل، وتمثل $s^j_i$ الحالات التالية الناتجة التي تمت ملاحظتها في البيئة.

تمت دراسة استراتيجيتين محددتين للتدريب تحت هذا النموذج:

أ. نمذجة العالم الضمنية (IWM)

• المفهوم: يعامل الوكيل مجموعة الحالات المستقبلية الملحوظة كمهمة تنبؤ مساعدة لاستيعاب ديناميكيات البيئة داخليًا.
• الآلية: لكل زوج (حالة-فعل) $(s_i, a^j_i)$ في مجموعة بيانات التشغيل، يتم تدريب النموذج للتنبؤ بالحالة التالية الناتجة $s^j_i$.
• الهدف: هدف التدريب هو خسارة التنبؤ بالرمز التالي (next-token prediction loss): $L_{IWM} = -\sum \log p_\theta(s^j_i | s_i, a^j_i)$.
• الفائدة: يسمح هذا للسياسة بتعلم انتظامات سلوك البيئة (الانتقالات، الآثار الجانبية، النتائج غير الصالحة) بشكل مباشر، مما يرسخ الوكيل في سياقه التشغيلي دون الحاجة إلى وحدة محاكاة منفصلة.

ب. التأمل الذاتي (SR)

• المفهوم: يتعلم الوكيل من أفعاله غير المثالية من خلال مقارنتها بأفعال الخبراء وتوليد تفسيرات باللغة الطبيعية توضح سبب تفوق خيار الخبير.
• الآلية: لكل حالة خبير $s_i$، ينفذ الوكيل فعل الخبير $a_i$ للحصول على $s_{i+1}$ وأفعال بديلة $a^j_i$ للحصول على $s^j_i$. بعد ذلك، يتم توجيه النموذج لتوليد سلسلة من الأفكأ (chain-of-thought) تفسر لماذا يُفضل $a_i$ على $a^j_i$ بناءً على الاختلافات في النتائج.
• الهدف: يتم تدريب النموذج للتنبؤ بشكل مشترك بالتفكير $c^j_i$ والفعل الخبير $a_i$ بناءً على الحالة $s_i$: $L_{SR} = -\sum \log p_\theta(c^j_i, a_i | s_i)$.
• الفائدة: يستخلص هذا النهج مبادئ اتخاذ القرار الدقيقة والقابلة للنقل (مثل استيفاء القيود) من إخفاقات الاستكشاف الخاصة بالوكيل، متجاوزًا مجرد التقليد الآلي.

3. المساهمات الرئيسية

1. صياغة الخبرة المبكرة: يدعو البحث إلى صياغة "الخبرة المبكرة" كجسر قابل للتوسع وخالٍ من المكافآت بين تعلم التقليد والتعلم التعزيزي. وهي تمكن الوكلاء من تحويل تفاعلاتهم إلى إشارات تعلم دون مكافآت خارجية.
2. استراتيجيتان للتدريب: يقترح المؤلفون ويدرسون بشكل منهجي كلاً من نمذجة العالم الضمنية (استيعاب الديناميكيات عبر التنبؤ بالحالة) والتأمل الذاتي (استخلاص مبادئ اتخاذ القرار عبر التفكير في الأفعال غير المثالية).
3. تقييم شامل: تم تقييم الأساليب عبر ثماني بيئات متنوعة (الملاحة المجسدة، ملاحة الويب، استخدام الأدوات متعدد الخطوات، المحاكاة العلمية، والتخطيط) وعائلات متعددة من النماذج (Llama-3.2-3B, Qwen-2.5-7B, Llama-3.1-8B).

4. النتائج التجريبية

أظهر التقييم تحسنًا مستمرًا مقارنة بالنماذج المرجعية للضبط الدقيق الخاضع للإشراف البسيط:

• الفعالية: عبر جميع الاختبارات الثمانية وأحجام النماذج، تفوقت كل من IWM و SR على الضبط الدقيق الخاضع للإشراف القياسي (SFT).
  • أظهرت IWM مكاسب ثابتة في البيئات المنظمة ذات الديناميكيات القابلة للتنبؤ (مثل ALFWorld، ScienceWorld، WebShop).
  • حققت SR تحسينات كبيرة في المهام التي تتطلب تفكيرًا متعدد الخطوات واستيفاءً للقيود (مثل TravelPlanner، BFCLv3).
  • ومن الجدير بالذكر أنه في WebShop، حسنت IWM معدلات النجاح بنسبة تصل إلى 18.4% مقارنة بتعلم التقليد.
• التعميم خارج النطاق (OOD): استعادت أساليب الخبرة المبكرة باستمرار جزءًا كبيرًا من فجوة الأداء في تقسيمات OOD. وفي بعض الحالات (مثل SearchQA)، تجاوزت المكاسب النسبية في إعدادات OOD تلك الموجودة في الإعدادات داخل النطاق، مما يشير إلى أن التعلم من عمليات التشغيل الخاصة بالوكيل يهيئه للحالات غير المغطاة في العروض التوضيحية.
• كفاءة البيانات: تحافظ الخبرة المبكرة على تفوقها على تعلم التقليد حتى عند استخدام عدد أقل بكثير من العروض التوضيحية للخبراء (على سبيل 1/8 من البيانات في WebShop).
• توسع النماذج: تستمر الفوائد مع زيادة حجم النموذج حتى 70 مليار معلمة (Llama-3.3-70B)، حيث تشغل نقاط تفتيش الخبرة المبكرة باستمرار منحنى الأداء الأعلى.
• أساس للتعلم التعزيزي (RL): عندما يتم تطبيق التعلم التعزيزي اللاحق (باستخدام GRPO) على نقاط التفتيش المدربة باستخدام الخبرة المبكرة، فإن سقوف الأداء النهائية تكون أعلى بكثير من تلك التي تبدأ من نقاط تفتيش الضبط الدقيق الخاضع للإشراف البسيط. يشير هذا إلى أن الخبرة المبكرة توفر تهيئة قوية لـ "عصر الخبرة".

5. الأهمية والادعاءات

يضع البحث الخبرة المبكرة كخطوة ضرورية لتطوير وكلاء اللغة المستقلين. وتكمن أهميتها في:

• سد الفجوة: تقدم حلاً عمليًا للبيئات التي لا تتوفر فيها مكافآت أو تكون غير موثوقة، مما يسمح للوكلاء بالتعلم من العواقب بدلاً من مجرد العروض التوضيحية الثابتة.
• القابلية للتوسع: من خلال استخدام أفعال الوكيل لتوليد الإشراف، فإنها تقلل من الاعتماد على العروض التوضيحية البشرية عالية الجودة والمكلفة.
• الجاهزية للمستقبل: تعمل كجسر "تدريب وسيط" يهيئ الوكلاء للتعلم القائم على الخبرة الكاملة (RL) بمجرد توفر مكافآت قابلة للتحقق في بيئات جديدة، مما يفتح آفاقًا لمزيد من المكاسب دون الحاجة لإعادة التدريب من الصفر.

يخلص المؤلفون إلى أن الخبرة المبكرة تمكن الوكلاء من النمو من خلال تفاعلاتهم الآن، مما يعالج قيود النهج الحالي القائم على التقليد ويمهد الطريق للمستقبل القائم على تجربة الوكلاء.