تخيل عالماً لا تكتفي فيه الحواسيب بالإجابة على الأسئلة، بل تقوم بالفعل بالأشياء نيابة عنك. يمكنها كتابة الأكواد، أو حجز الرحلات الجوية، أو تنظيم ملفاتك الرقمية. ولتحقيق ذلك، بنى العلماء "وكلاء ذكاء اصطناعي" (AI agents)—وهي برامج ذكية يمكنها التفكير، والتخطيط، واستخدام الأدوات. ولكن الجزء الصعب هنا هو أن هؤلاء الوكلاء لا يعملون في فراغ؛ فهم يحتاجون إلى "حمالة" (harness)، وهي بمثابة غرفة تحكم معقدة أو قمرة قيادة متخصصة. تدير هذه الحمالة ذاكرة الوكيل، وتصله بالإنترنت، وتساعده على استخدام أدوات مثل الآلة الحاسبة أو متصفح الويب. فكر في الحمالة كأنها مقعد الطيار والوكيل هو الطيار؛ لا يمكنك مجرد تدريب طيار في لعبة فيديو وتوقع أن يقود طائرة بوينج 747 حقيقية. فالطائرة الحقيقية لها أزرار محددة، وبروتوكولات طوارئ، وتصميم قمرة قيادة لم تظهره لعبة الفيديو أبداً.

لفترة طويلة، كانت هناك مشكلة كبيرة: "ألعاب الفيديو" (بيئات التدريب البسيطة) لم تكن تتطابق مع "الطائرات الحقيقية" (الحمالات المعقدة المستخدمة في العالم الحقيقي). كان الباحثون يستطيعون تدريب الوكلاء بسهولة، ولكن عندما يضعونهم في الحمالات الحقيقية والفوضوية، يصاب الوكلاء بالارتباك أو يفشلون. هذا البحث، الذي يحمل عنوان "OpenForge RL"، يعالج هذا التباين تحديداً. فهو يقدم طريقة جديدة لتدريب هؤلاء الطيارين الرقميين مباشرة داخل قمرات القيادة الحقيقية التي سيطيرون فيها في النهاية، باستخدام نظام يسمح لهم بالتدرب على آلاف "الطائرات" المختلفة في نفس الوقت دون التسبب في تحطم مرفق التدريب بأكمله.

---

المشكلة: التدريب في لعبة فيديو مقابل الطيران بالطائرة الحقيقية

تخيل أنك تحاول تعليم روبوت كيفية إصلاح سيارة. إذا دربت الروبوت في لعبة فيديو بسيطة حيث المحرك مجرد زر أحمر والإطار مجرد مربع أزرق، سيتعلم الروبوت الضغط على الأحمر والإمساك بالأزرق. ولكن عندما تضع ذلك الروبوت في مرآب حقيقي مع محرك حقيقي، وإطار حقيقي، ومليون أداة أخرى، فإنه يتجمد؛ لأنه لا يعرف كيفية التعامل مع التعقيد الحقيقي.

هذا هو ما كان يحدث مع وكلاء الذكاء الاصطناعي. فالوكلاء المعاصرون أقوياء، لكنهم يعتمدون على "حمالات" متطورة (مثل Claude Code أو Codex) لإدارة أفكارهم وأدواتهم. هذه الحمالات تشبه قمرة القيادة الحقيقية: فهي تمتلك ذاكرة حالة (تتذكر ما حدث قبل خمس خطوات)، وسير عمل متعدد العمليات (تشغيل عدة أشياء في وقت واحد)، واتصالات معقدة بالأدوات. ومع ذلك، فإن الطرق القياسية التي يستخدمها الباحثون لتدريب الذكاء الاصطناي (باستخدام التعلم التعزيزي - Reinforcement Learning) تفترض عادةً بيئة بسيطة ومسطحة. إنهم يحاولون تدريب الوكيل في نسخة مبسطة من الحمالة، مما يخلق "فجوة بين التدريب والنشر" (train-deploy mismatch). الأمر يشبه تدريب طيار على جهاز محاكك لا يحتوي على مكابح الطوارئ الحقيقية، ثم توقع منه هبوط طائرة حقيقية عندما تتعطل المكابح.

الحل: OpenForge RL (المرآب السحابي)

بنى مؤلفو هذا البحث إطار عمل OpenForge RL، والذي يعمل كمرآب ضخم قائم على السحابة. بدلاً من محاولة إجبار الحمالة الحقيقية والمعقدة على الدخول في صندوق تدريب بسيط، يقوم OpenForge RL بالعكس تماماً: يأخذ صندوق التدريب ويرسله إلى الحمالة الحقيقية.

إليك كيف يعمل ذلك، باستخدام تشبيه مرح:

1. الأوعية عن بُعد (المرآب السحابي): تخيل أن لديك أسطولاً من المرائب الصغيرة ذاتية القيادة في السحابة. كل مرآب هو "حاوية" (container) تحتوي على "حمالة" محددة (مثل طراز سيارة معين). يستخدم OpenForge RL "منظم كوبرنيتيس" (Kubernetes orchestrator) (فكر فيه كمدير مرآب عالي الكفاءة) لتشغيل آلاف هذه المرائب عن بُعد فوراً.
2. الوسيط (المرآة ذات الاتجاهين): داخل كل مرآب، يحاول وكيل الذكاء الاصطناعي حل مهمة ما. يعمل "وسيط خفيف الوزن" (lightweight proxy) كمرآة ذات اتجاهين؛ فهو يسمح للوكيل بالتحدث إلى الحمالة الحقيقية والبيئة الحقيقية (مثل كمبيوتر حقيقي أو متصفح ويب)، ولكنه يسجل في السر كل حركة، وكل فكرة، وكل نقرة أداة.
3. حلقة التدريب: يرسل الوسيط هذه "سجلات الطيران" المسجلة إلى "الدماغ التدريبي الرئيسي" (الذي يستخدم أدوات قياسية مثل veRL). يتعلم الدماغ من هذه السجلات الواقعية، ويقوم بتحديث دماغ الوكيل، ثم يرسل النسخة الجديدة مرة أخرى إلى المرائب البعيدة لتجربتها مجدداً.

السحر يكمن في أن التدريب يحدث داخل الحمالة الحقيقية، وفي البيئة الحقيقية، ولكن العبء الثقيل المتمثل في إدارة كل تلك البيئات المختلفة يتم التعامل معه بواسطة السحابة. وهذا يعني أن الباحثين يمكنهم تدريب وكلاء على "ZeroClaw" أو "OpenClaw" أو "Codex" أو حتى وكلاء الواجهة الرسومية (GUI agents) (الوكلاء الذين يستخدمون الفأرة ولوحة المفاتيح) جميعاً في وقت واحد، دون الحاجة إلى إعادة كتابة كود التدريب الخاص بهم لكل أداة جديدة.

ما وجدوه: التدريب الحقيقي يعمل بشكل أفضل

اختبر الفريق هذا النظام مع نوعين من الوكلاء: وكلاء Claw (الذين يستخدمون النصوص والأدوات للقيام بأشياء مثل البحث في رسائل البريد الإلكتروني أو إدارة الملفات) ووكلاء GUI (الذين ينظرون إلى الشاشة ويستخدمون الفأرة للنقر على الأزرار في متصفح الويب أو الكمبيوتر).

قاموا بتدريب هؤلاء الوكلاء باستخدام بضع مئات إلى بضعة آلاف من المهام فقط—وهو عدد أقل بكثير من النماذج الضخمة التي تستخدم الملايين. وكانت النتائج مبهرة:

• بالنسبة لوكلاء Claw: حقق نموذجهم، OpenForge-Claw، درجة 31.7 (pass@3) في اختبار ClawEval و 33.7 في QwenClawBench. كان هذا أفضل بكثير من النماذج مفتوحة المصدر الأخرى ذات الحجم المماثل (حوالي 30 مليار معلمة/parameter). في الواقع، كان أداؤه أفضل من بعض النماذج التي هي أكبر منه بعدة أضعاف.
• بالنسبة لوكلاء GUI: وصل نموذجهم، OpenForge-GUI، إلى درجة 37.7 في OSWorld-Verified، و 63.0 في Online-Mind2Web، و 72.3 في WebVoyager. هذا أمر بالغ الأهمية لأن مهام الـ GUI صعبة للغاية؛ إذ يجب على الوكيل "رؤية" الشاشة وتحديد مكان النقر. لقد ضاهى OpenForge-GUI أو حتى تفوق على نماذج أكبر بكثير تم تدريبها على بيانات أكثر بكثير.

درس "الحمالة": ليست كل قمرات القيادة متساوية

أحد الاكتشافات الأكثر إثارة للاهتمام لم يكن فقط أن التدريب نجح، بل في كيفية تأثير الحمالات المختلفة على التعلم. اختبر المؤلفون وكلاءهم في أربع حمالات مختلفة: ReACT (حلقة بسيطة)، ZeroClaw (خفيفة الوزن)، OpenClaw، و Codex (معقدة جداً).

وجدوا أن بعض الحمالات أصعب في التعلم من غيرها:

• الحمالات الأبسط والأكثر اتساقاً (مثل ZeroClaw) سمحت للوكلاء بالتعلم بشكل أسرع وأداء أفضل.
• الحمالات الأكثر تعقيداً (مثل Codex) كانت أصعب في الإتقان. عانى الوكلاء أكثر، وبينما ساعد التعلم التعزيزي (RL) في تحسين الأداء، إلا أن المكاسب كانت أقل مقارم الحمالات الأبسط.

يشير هذا إلى أن تصميم "قمرة القيادة" يهم بقدر ما يهم تدريب الطيار. فالحمالة المصممة جيداً تجعل الوكيل أكثر ذكاءً وموثوقية.

ما الذي علمه التعلم التعزيزي (RL) للوكلاء فعلياً

نظر المؤلفون أيضاً عن كثب فيما تعلمه الوكلاء بالفعل عندما أضافوا التعلم التعزيزي (RL) فوق التدريب الأساسي (SFT). وجدوا أن RL لم يجعل الوكلاء "أذكى" بالمعنى العام فحسب، بل حسن الموثوقية بشكل خاص:

• التحقق الذاتي: بدأ الوكلاء في التحقق من عملهم. على سبيل المثال، إذا قاموا بإنشاء ملف، فكانوا أكثر عرضة لقراءته مرة أخرى للتأكد من صحته.
• تغطية الأدوات: بدأوا في استخدام مجموعة متنوعة من الأدوات بدلاً من الاكتفاء بواحدة أو اثنتين يعرفونها جيداً.
• التعافي من الخطأ: كان هذا هو الجزء الصعب. بينما ساعد RL الوكلاء على التعافي من الأخطاء الصغيرة، إلا أن التعافي من الخطأ ظل ضعيفاً. حتى بعد التدريب، إذا ارتكب الوكيل خطأً كبيراً، فغالباً ما كان يعجز عن إصلاحه ويستسلم ببساطة. ويقترح المؤلفون أن هذه المهارة تحديداً قد تتطلب بيانات خاصة أو طرق تدريب مختلفة لإتقانها.

الخلاصة

يثبت OpenForge RL أنك لست بحاجة إلى تبسيط العالم الحقيقي لتدريب وكلاء الذكاء الاصطناعي. من خلال استخدام نظام سحابي يفصل التدريب عن البيئة، يمكنك تدريب الوكلاء مباشرة داخل الحمالات الحقيقية والمعقدة التي سيستخدمونها بالفعل.

يشير البحث إلى أن هذا النهج يسمح للباحثين ببناء وكلاء ليسوا فقط أكثر قدرة، بل أيضاً أكثر موثوقية في وظائفهم المحددة. وبينما لا يزال الوكلاء يعانون من التعافي المعقد من الأخطاء، فإن القدرة على التدريب في "قمرة القيادة الحقيقية" بدلاً من "لعبة الفيديو" تعد خطوة كبيرة للأمام. وهذا يعني أنه في المستقبل، قد نرى وكلاء ذكاء اصطناعي مستعدين حقاً للعمل بجانبنا، ليس فقط في عمليات المحاكاة، بل في الأدوات الرقمية الفعلية التي نستخدمها كل يوم.