ملخص تقني: إعادة زيارة خوارزمية DAgger في عصر الوكلاء القائمين على النماذج اللغوية الكبيرة (LLM-Agents)

بيان المشكلة

تعمل الوكلاء ذوو الأفق الطويل (Long-horizon) القائمة على النماذج اللغوية الكبيرة في بيئات تفاعلية متعددة الخطوات (مثل هندسة البرمجيات، أو تصفح الويب)، حيث يمكن لخطأ واحد مبكر أن يغير توزيع الحالة (state distribution)، مما يؤدي إلى انحراف الوكيل عن مسار عروض الخبراء الناجحة. هذه الظاهرة، المعروفة باسم التحول في التوزيع المشترك (covariate shift)، تشكل تحديًا كبيرًا لخوارزميات ما بعد التدريب. تعاني الطرق الحالية من قيود هيكلية في هذا السياق:

• الضبط الدقيق تحت الإشراف (SFT): يتدرب على الحالات المستحثة من قبل الخبير، لكنه يفشل أثناء النشر لأن الطالب (student) يولد حالاته الخاصة، مما يؤدي إلى عدم تطابق بين توزيعات التدريب والاختبار.
• التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR): يتعلم من المسارات المعتمدة على السياسة (on-policy) لتجنب عدم تطابق التوزيع، ولكنه يعتمد على مكافآت نادرة ومبنية على النتائج النهائية، مما يؤدي إلى صعوبة في تحديد المسؤولية (credit assignment) وتكاليف حوسبة عالية.
• التقطير في السياسة المعتمدة (OPD): يحاول الجمع بين تغطية الحالة المعتمدة على السياسة وبين إشراف المعلم، ولكنه يواجه عقبة "البداية الباردة" (cold-start) حيث يولد الطلاب الضعفاء مسارات غير منتجة في بداية التدريب، مما يجبر المعلم على الإشراف على مقدمات (prefixes) فاشلة. بالإضافة إلى ذلك، غالبًا ما يتطلب OPD الوصول إلى احتمالات (logits) المعلم، مما يحد من استخدامه مع النماذج ذات الصندوق الأسود (black-box).

السؤال المركزي الذي تعالجه الورقة هو: هل هناك طريقة يمكنها في آن واحد استغلال التغذية الراجعة الكثيفة، والحفاظ على تغطية الحالة المعتمدة على السياسة، وتوفير وصول مبكر إلى المسارات الناجحة؟

المنهجية

يعيد المؤلفون زيارة خوارزمية تجميع البيانات (DAgger)، وهي خوارزمية تقليدية للتعلم بالتقليد، ويقومون بتكييفها لوكلاء النماذج اللغوية متعددي الخطوات. المبدأ الأساسي هو تدريب الطالب على الحالات التي من المرجح أن يزورها بالفعل، بدلاً من التركيز فقط على الحالات المستحثة من قبل الخبير.

التدخل المتداخل للمعلم (Teacher-Interleaved Rollout)

تستخدم الطريقة المقترحة خليطًا عشوائيًا من سياسات الطالب والمعلم أثناء جمع المسارات. تم تقديم استراتيجيتين محددتين لجمع المسارات:

1. أسلوب DAgger (خليط على مستوى الخطوة/Turn-level): في كل خطوة $t$، يتم تنفيذ إجراء بواسطة سياسة المعلم $\pi_e$ باحتمالية $\beta_i$ أو بواسطة سياسة الطالب $\pi_\theta$ باحتمالية $1-\beta_i$. يتم تقليل معامل الخلط $\beta_i$ تدريجيًا (annealing) من 1.0 إلى حد أدنى (مثل 0.6) عبر دورات التدريب.
2. أسلوب AggreVaTe (خليط على مستوى المسار/Trajectory-level): يقوم الطالب بتوليد مقدمة أولية بطول $\kappa$، وبعد ذلك يتولى المعلم المهمة لإكمال المسار. يتم جدولة توزيع طول المقدمة لينمو بمرور الوقت.

الآلية الجوهرية: بغض النظر عما إذا كان الطالب أو المعلم هو من ينفذ الإجراء في حالة معينة، يتم استعلام المعلم عن الإجراء الصحيح عند كل حالة تمت زيارتها. ثم يتم تدريب الطالب عبر التعلم الخاضع للإشراف (خسارة التقاطع المتشعب/cross-entropy loss) لمحاكاة أفعال المعلم في الحالات التي واجهها بالفعل.

الإطار الموحد

تضع الورقة هذا النهج ضمن إطار عمل موحد لما بعد التدريب محدد بثلاثة مكونات:

• توزيع السياق ($p_s$): توزيع الحالات التي تمت زيارتها (خليط من الطالب والمعلم في DAgger مقابل المعلم الصرف في SFT أو الطالب الصرف في RL).
• توزيع الملصقات ($p_a$): مصدر ملصقات الأفعال (المعلم في DAgger مقابل الطالب في RL/OPD).
• دالة التسجيل ($w(s,a)$): الوزن المخصص للعينات (منتظم في DAgger مقابل المعتمد على الميزة/Advantage في RL).

من خلال استخدام توزيع سياق مختلط مع ملصقات المعلم وأوزان منتظمة، تجسر هذه الطريقة الفجوة بين SFT (إشراف كثيف، تحول في التوزيع المشترك) و RL/OPD (تغطية حالة معتمدة على السياسة، مشاكل الندرة/البداية الباردة).

المساهمات الرئيسية

1. التكيف الخوارزمي: نجاح في تكييف DAgger لوكلاء النماذج اللغوية طويلة الأفق، مما يتيح للنموذج التعلم من حالات النشر الواقعية مع تلقي إشراف كثيف على مستوى الرموز (token-level) من المعلم.
2. تخفيف حدة البداية الباردة: على عكس OPD، يضمن نهج التدخل المتداخل للمعلم أن تكون المسارات المبكرة موجهة من قبل المعلم، مما يمنع الطالب من العلوق في حالات غير منتجة خلال مرحلة التدريب الأولية.
3. التوافق مع الصندوق الأسود: تتطلب الطريقة فقط من المعلم تقديم ملصقات الأفعال (الرموز/tokens)، وليس الاحتمالات (logits)، مما يجعلها متوافقة مع النماذج اللغوية الكبيرة ذات الصندوق الأسود (مثل GPT وGemini).
4. التحقق التجريبي: أظهرت تحسنات مستمرة على SFT وRL (GRPO) والتقطير في السياسة المعتمدة (OPD) في مهام هندسة البرمجيات.

النتائج التجريبية

تم تقييم الطريقة باستخدام SWE-Gym (للتدريب) و SWE-Bench Verified (للتقييم خارج النطاق) باستخدام نماذج طالب Qwen3-4B و Qwen3-8B مع معلم Qwen3-30B.

• مكاسب الأداء:
  • نموذج 4B: حقق 27.3% في SWE-Bench Verified، متفوقًا على أقوى خط أساس للضبط الدقيق (OPD) بمقدار +3.9 نقطة ومتجاوزًا أنظمة وكلاء SWE المنشورة الممثلة بحجم 8B.
  • نموذج 8B: حقق 29.8% في SWE-Bench Verified، متجاوزًا OPD بمقدار +3.6 نقطة ومتفوقًا على نظام SWE-Gym-32B (الذي يبلغ حجمه 32B) بمقدار +9.2 نقطة.
• استقرار التدريب: أظهرت الطة مسارات توسع (scaling) أكثر استقرارًا مقارنة بـ SFT وOPD، خاصة في المراحل المبكرة (البداية الباردة).
• تقليل التحول في التوزيع المشترك: أظهر تحليل تباعد KL العكسي أن التدريب بأسلوب DAgger قلل بشكل كبير من التباعد بين توزيع نشر الطالب وتوزيع المعلم مقارنة بـ SFT، الذي عانى من ارتداد في التباعد مع تقدم التدريب.
• التحسينات السلوكية: أشار التحليل النوعي إلى أن الوكلاء المدربين بأسلوب DAgger ارتكبوا أخطاءً أقل في بناء الجمل (syntax) أو أخطاء وقت التشغيل (runtime)، وأظهروا سلوكيات استرداد أفضل، حيث تحولت أنماط الفشل من الأخطاء "الخاملة" (مثل عدم تقديم الحل) إلى قيود أصعب مثل تجاوز سعة السياق (context overflow).

الأهمية والادعاءات

تدعي الورقة أن تصحيح توزيع الحالة الصريح عبر تدخل المعلم بأسلوب DAgager هو مكون قوي لما بعد تدريب الوكلاء ذوي الأفق الطويل. تشير النتائج إلى أن:

• النماذج الأصغر (4B/8B) المدربة بهذه الطريقة يمكن أن تقترب أو تتجاوز أداء الأنظمة الأكبر بكثير (32B).
• النهج يقلل بفعالية من عدم تطابق التوزيع بين التدريب والاختبار المتأصل في SFT، مع تجنب مشاكل المكافأة النادرة والبداية الباردة في RL وOPD.
• توفر هذه المنهجية وصفة عملية وفعالة من حيث العينات لنشر وكلاء يستخدمون الأدوات بقوة في بيئات معقدة ومتعددة الخطوات.

يؤكد المؤلفون أنه بينما تحسن الطريقة من الموثوقية وكفاءة العينات، فإن الاختناقات المتبقية لهذه الوكلاء تتعلق بشكل متزايد بسعة السياق الطويل (مثل تجاوز سعة السياق) بدلاً من خوارزمية التدريب نفسها.