ملخص تقني: تحسين الوكيل المتكرر (RAO)

بيان المشكلة

يتم نشر وكلاء النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في مهام معقدة في العالم الحقيقي تتضمن آفاقاً زمنية طويلة، وذاكرة عمل فعالة واسعة، واستكشافاً كبيراً. وبينما تعد العديد من هذه المهام قابلة للتطبيق بطبيعتها على استراتيجيات "فرق تسد"، فإن الأنظمة المتكررة والمتعددة الوكلاء الحالية تتعامل عادةً مع التكرار (recursion) كإطار ثابت وقت الاستنتاج ملفوف حول نموذج مدرب مسبقاً. في هذه الأنظمة، لا يتم تدريب النموذج نفسه على تقرير متى يكون التفويض مفيداً، أو كيفية صياغة مهام فرعية فعالة، أو كيفية التواصل عبر مستويات التنفيذ، أو كيفية دمج مخرجات الوكلاء الفرعيين. وبناءً على ذلك، توجد فجوة في تدريب النماذج على استغلال الاستنتاج المتكرر كأداة تعلم أساسية بدلاً من كونه قيداً هيكلياً ثابتاً.

المنهجية: تحسين الوكيل المتكرر (RAO)

يقدم المؤلفون "تحسين الوكيل المتكرر" (Recursive Agent Optimization - RAO)، وهو نهج تعلم تعزيزي (RL) مصمم للتدريب الشامل للوكلاء المتكررين. وخلافاً للأعمال السابقة التي تثبت مخطط التنسيق، يقوم RAO بتدريب سياسة مشتركة واحدة ($\pi_\theta$) يتم تجسيدها عند كل عقدة في شجرة تنفيذ يتم إنشاؤها ديناميكياً.

1. صياغة الوكيل والاستنتاج

يعمل الوكيل في بيئة تدمج بين التفكير باللغة الطبيعية وتنفيذ الكود في بيئة Python REPL. تم توسيع مساحة الإجراءات لتشمل دالة غير متزامنة launch_subagent(goal, ...).

• أشجار التنفيذ الديناميكية: عندما يحل الوكيل مهمة $X$، يمكن للسياسة إطلاق صفر أو أكثر من الوكلاء التابعين لمهام فرعية $X_1, \dots, X_n$. يتم اختيار عدد ومحتوى هذه المهام الفرعية بواسطة السياسة نفسها.
• التزامن: يمكن للوكيل الأب إطلاق الوكلاء التابعين بالتتابع أو بالتوازي (باستخدام asyncio.gather) اعتماداً على تبعيات المهام.
• الحدود: يتم فرض قيود صريحة على عمق التكرار وعدد خطوات البيئة لكل نسخة من الوكيل لضمان حساب مقيد.

2. تصميم المكافأة (مكافأة العقدة المحلية)

يستخدم RAO هيكل مكافأة محلي لتحسين تخصيص الائتمان عبر شجرة التنفيذ. بالنسبة لعقدة تقابل المهمة $X$ مع المسار $\tau_X$ والوكلاء التابعين المباشرين $C(X)$، تُعرف المكافأة كما يلي:
$$R(X, \tau_X) = \tilde{s}(X, \tau_X) + \lambda \cdot \frac{1}{|C(X)|} \sum_{c \in C(X)} \tilde{s}(c, \tau_c)$$

• $\tilde{s}(X, \tau_X)$: إشارة النجاح للعقدة الحالية، والمستمدة من التحقق الدقيق، أو حكم نموذج لغوي كبير، أو وسيط (مثل نجاح المهمة الجذرية) في حال عدم توفر إشراف محلي.
• مكافأة التفويض: المصطلح الثاني يكافئ الوكيل بناءً على معدل نجاح أتباعه المباشرين. يتحكم المعامل $\lambda$ في قوة هذه المكافأة.
• المنطق: هذا التصميم يشجع على التفويض المنتج بدلاً من مجرد إنشاء المزيد من التابعين. كما يوفر إشارات إشراف كثيفة، خاصة في مراحل التدريب المبكرة عندما يكون نجاح المهمة الجذرية نادراً.

3. تحسين السياسة

الهدف هو تحسين السياسة المشتركة عبر المهام الجذرية والنسل الناتج عن السياسة. دالة الهدف $J(\theta)$ تجمع المكافآت المتوقعة عبر جميع الأعماق $d$ للمسار المتكرر:
$$J(\theta) = \sum_{d=0}^{D} \mathbb{E}_{X \sim D_d(\theta)} \left[ \mathbb{E}_{\tau_X \sim \pi_\theta(\cdot|X)} [R(X, \tau_X)] \right]$$

• تأثير المنهج الدراسي (Curriculum Effect): يولد الهيكل المتكرر طبيعياً مهاماً ذات صلة متفاوتة الصعوبة، مما يخلق منهجاً دراسياً ضمنياً حيث تكون المهام الفرعية غالباً أبسط أو أكثر تنظيماً من المهمة الجذرية.
• تقدير الميزة (Advantage Estimation): للتعامل مع العدد المتفاوت من المسارات في أعماق مختلفة، استخدم المؤلفون خط أساس (baseline) بنظام "ترك الواحد خارج الحساب" (leave-one-out) يتم حسابه من مكافآت المسار الجذري.
• توزين مستوى العمق: لمنع عملية التحسين من الهيمنة بواسطة المستويات الأعمق (التي قد تحتوي على مسارات أكبر أسياً)، يتم تطبيق وزن عكسي لتكرار العمق. يتم تخفيض وزن المسارات من الأعماق الممثلة بشكل مفرط للحفاظ على مقياس التحديث الإجمالي.

المساهمات الرئيسية

1. التدريب الشامل للوكلاء المتكررين: يعد RAO أول طريقة لتدريب سياسة واحدة مشتركة عبر جميع العقد في شجرة متكررة يتم إنشاؤها ديناميكياً، مما يعلم النموذج متى وكيف يفوض المهام.
2. آلية مكافأة مبتكرة: تقديم آلية مكافأة محلية للعقدة مع مكافأة تفويض تسمح بتخصيص ائتمان فعال في الهياكل المتكررة العميقة، مما يربط السياسة بجودة التفويض بدلاً من كميته.
3. أداة استنتاج قابلة للتوسع: يوضح النهج أن الوكلاء المتكررين يمكنهم التوسع لمهام تتجاوز نافذة سياق النموذج وتعميم قدراتهم على مشكلات أصعب بكثير مما واجهوه أثناء التدريب.
4. مكاسب الكفاءة: يظهر الأسلوب كفاءة تدريب محسنة مقارنة بتدريب الوكيل المنفرد، ويمكنه تقليل وقت التنفيذ الفعلي للمهام القابلة للتوازي.

النتائج التجريبية

قيم المؤلفون RAO على ثلاثة معايير: TEXTCRAFT-SYNTH (مهام صياغة اصطناعية)، و OOLONG-REAL (تجميع وثائق ذات سياق طويل)، و DEEPDIVE (بحث عميق باستخدام البحث عبر الويب متعدد الخطوات).

• توسيع نافذة السياق: في TEXTCRAFT-SYNTH، حقق الوكلاء المتكررون المدربون بنافذة سياق 8K نسبة نجاح 95% في المهام الصعبة، وهو ما يضاهي أداء النماذج المدربة بسياقات 40K. في المقابل، فشلت النماذج الأساسية ذات السياق 8K تماماً في المهام الصعبة. وبالمثل، في OOLONG-REAL، عالج الوكلاء المتكررون مدخلات تصل إلى 175 ألف توكن رغم تدريبهم بحد 32 ألف، بينما لم تتمكن الوكلاء المنفردة من قراءة المدخلات كاملة.
• التعميم على مهام أصعب: الوكلاء المدربون فقط على مهام متوسطة الصعوبة في TEXTCRAFT-SYNTH عمموا أداءهم على المهام الصعبة بنسبة نجاح 88%، مقارنة بـ 20% للنماذج الأساسية المنفردة.
• كفاءة التدريب: تعلم الوكلاء المتكررون بشكل أسرع بكثير من النماذج المنفردة عبر جميع المعايير، ويُعزى ذلك إلى عمل مكافآت الوكيل التابع كإشارات عملية (process rewards) كثيفة وإلى المنهج الدراسي الذاتي.
• وقت التنفيذ الفعلي: بالنسبة للمهام القابلة للتوازي (TEXTCRAFT-SYNTH)، قلل الوكلاء المتكررون وقت التنفيذ الفعلي بمقدار يصل إلى 2.5 ضعف مقارنة بالوكلاء المنفردين في المهام الصعبة. أما بالنسبة للمهام التسلسلية (DEEPDIVE)، فبينما زاد وقت التنفيذ الفعلي بسبب الطبيعة التسلسلية للمهام الفرعية، إلا أن معدل النجاح تحسن من 0.24 إلى 0.40.
• التفويض التكيفي: تعلم الوكلاء تكييف عمق التفويض حسب صعوبة المهمة، حيث توسعوا إلى أشجار أعمق (تصل إلى 10 مستويات) للمشكلات الأكثر صعوبة دون قيود صريحة على العمق أثناء الاستنتاج.

الأهمية والادعاءات

يزعم البحث أن RAO يمثل تحولاً في كيفية استخدام أطر الاستنتاج. فبدلاً من تصميم أطر حول نماذج ثابتة، يجب تدريب النماذج على استخدامها بفعالية. يثبت RAO أن التكرار هو أداة توسيع قوية لوقت الاستنتاج توفر:

• نوافذ سياق جديدة للوكلاء التابعين، مما يوسع ذاكرة العمل فعلياً.
• هيكل "فرق تسد" يسم تعم الأداء للمشكلات الأصعب.
• تخصيص تكيف لموارد وقت الاختبار.
• فرص للتنفيذ المتوازي.

يضع المؤلفون RAO كخطوة نحو "الوكلاء ذاتيي التنظيم" الذين يمكنهم هيكلة عمليات حل المشكلات الخاصة بهم ديناميكياً. ويشيرون إلى أنه بينما تركز تجاربهم على مجالات محددة، فإن النهج يقترح مبدأً أوسع لتدريب الوكلاء على الاستفادة من هياكل الاستنتاج المعقدة. وقد تم تحديد العمل المستقبلي لمعالجة إجراءات أخذ العينات البديلة للعمليات المكلفة وتدريب وكلاء عامين متكررين يمكنهم نقل استراتيجيات التفويض عبر مجالات مختلفة نوعياً.