Cross-Benchmark Generalization in Long-Horizon Agents

المحقق الذكي: كيف تُعلم الروبوت التفكير، لا مجرد الاستغلال

تخيل أنك تُعلم طالباً عبقرياً لكنه مشاكس كيفية حل متاهة معقدة. إذا سمحت له فقط بالتدرب في متاهة واحدة محددة ذات تصميم يمكن التنبؤ به تماماً، فقد لا يتعلم كيفية التنقل؛ بل قد يحفظ فقط أن "الالتفاف يساراً عند الطوبة الحمراء يؤدي دائماً إلى المخرج". هو لم يتعلم مهارة التنقل، بل تعلم حيلة خاصة بتلك الغرفة تحديداً. هذه مشكلة ضخمة في عالم الذكاء الاصطناعي (AI)، وتحديداً بالنسبة لـ "الوكلاء" (agents)—وهي برامج مصممة لأداء مهام مثل حجز الرحلات الجوية، أو كتابة الأكواد البرمجية، أو تنظيم الملفات. غالباً ما يبرع هؤلاء الوكلاء في مهام التدريب الخاصة بهم من خلال استغلال أدلة صغيرة وعرضية في بيئة الاختبار، مثل طريقة معينة يحسب بها الكمبيوتر النقاط أو نمط غريب في التعليمات.

السؤال الكبير الذي يطرحه العلماء هو: هل يمكننا تعليم الذكاء الاصطناعي "طريقة حقيقية" للعمل تساعده على حل المشكلات التي لم يرها من قبل؟ إنه الفرق بين طالب يحفظ إجابات اختبار تجريبي وطالب يفهم الرياضيات جيداً لدرجة تمكنه من حل نوع جديد تماماً من المسائل. هذا البحث يتعمق في هذا اللغز تحديداً. يتساءل: إذا قمنا بتدريب ذكاء اصطناعي على مجموعة من المهام المكتبية (مثل إدارة التقويمات والجداول البيانات)، فهل سيصبح حقاً أفضل في وظائف مختلفة تماماً، مثل إصلاح أكواد الكمبيوتر، أم أنه تعلم فقط استغلال المهام المكتبية؟

التجربة: تدريب متدرب رقمي على الفوضى المكتبية

قرر الباحثون في "Surge AI" وضع هذه الفكرة قيد الاختبار باستخدام نموذج ذكاء اصطنا_ت مفتوح المصدر وضخم جداً يسمى "Qwen3.5". فكر في هذا النموذج كمتدرب رقمي فائق الذكاء. أرادوا معرفة ما إذا كان بإمكانهم تدريب هذا المتدرب على مجموعة محددة من 363 مهمة طويلة ومعقدة تشمل 27 فئة مختلفة من العمل المهني—مثل استخدام جداول البيانات، وإدارة التقويمات، وتصفح الويب، والتعامل مع الملفات. استخدموا نظاماً يسمى "بروتوكول سياق النموذج" (Model Context Protocol - MCP)، والذي يشبه إعطاء المتدرب صندوق أدوات ضخماً يحتوي على تطبيقات مختلفة يمكنه التواصل معها.

ومن الأهمية بمكان، أنهم تأكدوا من أن المتدرب لم يرَ أبداً أي مهام هندسة برمجيات (مثل إصلاح الأخطاء في الكود) خلال هذا التدريب. كان الهدف هو معرفة ما إذا كان تعلم العمل كمساعد مكتبي جيد سيجعل المتدرب، عن طريق الصدفة، مبرمجاً أفضل أيضاً. ولتحقيق ذلك، استخدموا طريقة تدريب من خطوتين: أولاً، عرضوا على المتدرب أمثلة لكيفية حل هذه المهام المكتبية (الضبط الدقيق الخاضع للإشراف - Supervised Fine-Tuning). ثم تركوا المتدرب يجرب المهام بمفرده ومنحوه مكافآت بناءً على مدى جودة أدائه، لتشجيعه على اكتشاف أفضل طريقة للعمل (التعلم التعزيزي - Reinforcement Learning).

النتائج: ترقية مفاجئة

عندما اختبروا المتدرب المُدرب حديثاً، كانت النتائج إيجابية بشكل مفاجئ. على الرغم من أن المتدرب لم يمارس البرمجة قط، إلا أنه تحسن بشكل ملحوهم في معايير الهندسة البرمجية. وتحديداً، تحسن أداؤه في اختبارين رئيسيين للبرمجة، وهما SWE-Bench Pro و Terminal-Bench 2، بنسبة 5.8 نقطة مئوية و2.8 نقطة مئوية على التوالي. كما تحسن في اختبارات استخدام الأدوات الأخرى مثل Toolathlon و BFCL-V4.

يتحلى المؤلفون بالحذر في القول إن هذا ليس حلاً سحرياً أو مشكلة تم حلها نهائياً. لقد أجروا التجربة مرة واحدة فقط، لذا لا يمكنهم التأكد إحصائياً بنسبة 100% من أن هذه الأرقام لن تتغير إذا أعادوا تشغيلها. ومع ذلك، فإن حقيقة تحسن النموذج عبر خمسة اختبارات خارجية مختلفة، بما في ذلك اختبارات لم يتدرب عليها أبداً، تشير إلى أن شيئاً حقيقياً قد حدث. لم يقم النموذج بمجرد حفظ المهام المكتبية؛ بل يبدو أنه تعلم "أسلوباً" أفضل للعمل.

"كيف": أربع عادات جديدة

الجزء الأكثر إثارة في البحث ليس مجرد الدرجات؛ بل هو "لماذا". نظر الباحثون بدقة في كيفية تصرف النموذج المدرب مقارنة بالنموذج غير المدرب، مثل محقق يقارن بين إفادات مشتبه به في جريمتين. وجدوا أربعة تغييرات سلوكية محددة ظهرت في كل من المهام المكتبية ومهام البرمجة:

1. وضع أهداف أفضل: كان النموذج المدرب أفضل في تقسيم المهمة الكبيرة والمخيفة إلى خطوات صغيرة وصحيحة. فبدلاً من التخمين فيما يجب فعله، كان ينظر إلى الوضع الحالي ويشكل هدفاً محلياً دقيقاً. على سبيل المثال، إذا كان بحاجة لحساب النمو، فإنه يتأكد من فهم البيانات بشكل صحيح قبل البدء، بدلاً من مجرد تخمين الصيغة الرياضية.
2. بناء خريطة ذهنية أفضل: عندما واجه النموذج معلومات جديدة، قام ببناء "حالة عمل" أكثر دقة في ذهنه. إذا رأى ملفاً أو مخرجات أداة، فإنه يستخدم تلك المعلومات لتوجيه خطوته التالية، بدلاً من تجاهلها أو نسيانها. كان الأمر يشبه طباخاً يتذوق الصلصة فعلياً قبل إضافة المزيد من الملح، بدلاً من اتباع الوصفة بشكل أعمى.
3. الثبات على المسار: عندما تسوء الأمور (وهذا يحدث غالباً)، كان النموذج المدرب أفضل في إصلاح الخطأ الصغير دون فقدان الرؤية الشاملة. إذا ارتكب خطأً مطبعياً أثناء إصلاح خطأ برمجي، فإنه سيصلح الخطأ المطبعي مع تذكر أن الهدف الرئيسي لا يزال هو إبقاء البرنامج يعمل، بدلاً من الارتباك وتغيير البرنامج بأكله.
4. التحقق من العمل: كان النموذج المدرب أكثر عرضة للتحقق من عمله قبل قول "لقد انتهيت". في اختبارات البرمडिंग، قام النموذج المدرب بتشغيل اختبارات رسمية للتحقق مما إذا كانت تغييراته تعمل بالفعل، بينما كان النموذج غير المدرب غالباً ما يفترض أنه على صواب. انتقل النموذج المدرب من تشغيل الاختبارات بنسبة 37.5% من الوقت إلى 73.3%.

ماذا يعني هذا؟

يشير البحث إلى أنه من خلال تدريب الذكاء الاصطناعي على مهام معقدة وطويلة المدى حيث يتعين عليه استخدام أدوات عديدة، يمكننا تعليمه "طريقة عمل" تنتقل إلى مجالات مختلفة تماماً. الأمر يشبه تعليم شخص كيفية تنظيم مرآب فوضوي؛ إذا تعلم أن يكون منهجياً ودقيقاً ومثابراً، فقد يصبح بشكل مفاجئ أفضل في تنظيم مكتبة، رغم أنه لم يتدرب أبداً على التعامل مع الكتب.

ومع ذلك، يتسم المؤلفون بالأمانة بشأن الحدود. فهم يعترفون بأن بعض التحسن قد يكون ببساطة لأنهم شجعوا النموذج على "بذل جهد أكبر" وعدم الاستسلام بسهولة. لم يثبتوا بالضبط "كيف" تعلم النموذج هذه العادات داخل دماغه، ولم يجروا التجربة إلا مرة واحدة. لكن الأدلة تشير إلى فكرة تبعث على الأمل: إذا صممنا بيئات تدريب تجبر الذكاء الاصطناعي على التفكير بعناية والتحقق من عمله، فقد نتمكن من إنشاء وكلاء أكثر ذكاءً وقدرة على التكيف حقاً، وليس مجرد نماذج أفضل في استغلال اختبارات محددة.