APEX-Agents
تقدم الورقة البحثية APEX-Agents، وهو معيار مفتوح المصدر وبنية تحتية للتقييم مصممة لتقدير قدرات الوكلاء الذكيين في تنفيذ مهام معقدة، طويلة الأمد، ومتعددة التطبيقات نموذجية في مجالات الاستثمار المصرفي، والاستشارات الإدارية، والأعمال القانونية، كاشفةً أن أفضل النماذج الحالية تحقق أقصى درجة Pass@1 تبلغ 24.0%.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً جديداً لإدارة مشروع تجاري معقد. أنت لا تريد فقط منه أن يجيب على سؤال بسيط مثل "كيف حال الطقس؟" بل تريد أن ترى ما إذا كان بإمكانه:
- العثور على ملف محدد في خزانة ملفات رقمية فوضوية.
- فتح جدول بيانات، وإجراء بعض العمليات الحسابية، وتحديث رسم بياني.
- صياغة رسالة بريد إلكتروني لعميل بناءً على تلك البيانات.
- القيام بكل ذلك دون ارتباك، أو حذف الملفات الخاطئة، أو الاستسلام في منتصف الطريق.
هذا هو بالضبط ما يدور حوله هذا البحث، APEX–Agents. إنه بمثابة "امتحان نهائي" ضخم لوكلاء الذكاء الاصطناعي (برامج كمبيوتر ذكية يمكنها أداء المهام نيابة عنك) لمعرفة ما إذا كانوا مستعدين للعمل المكتبي في العالم الحقيقي.
إليك تفصيل الورقة البحثية باستخدام بعض التشبيهات البسيطة:
1. الاختبار: "محاكي المكتب الرقمي"
كانت معظم اختبارات الذكاء الاصطناعي السابقة تشبه طلب حل مسألة رياضية من طالب على سبورة بيضاء؛ فهي نظيفة، ومنضبطة، ولا تشبه الحياة الواقعية.
APEX–Agents مختلف. فقد بنى الباحثون 33 "عالماً رقمياً".
- الإعداد: تخيل لعبة فيديو تلعب فيها دور مستشار، أو محامٍ، أو مصرفي. لديك جهاز كمبيوتر يحتوي على تقويم، وبريد إلكتروني، وجداول بيانات، وملفات PDF، ومحرر أكواد.
- المهمة: تُعطى مشروعاً واقعياً وفوضوياً (مثلاً: "حلل إمكانات نمو هذه الشركة وأرسل تقريراً إلى الرئيس التنفيذي").
- العقبة: يجب على الذكاء الاصطناعي التنقل في هذا المكتب الرقمي تماماً كما يفعل البشر. لا يمكنه مجرد "معرفة" الإجابة؛ بل يجب عليه البحث عن البيانات، وفتح الملف الصحيح، وتعديله، ثم إرساله.
2. المعلمون: بشر حقيقيون، وليسوا روبوتات
للتأكد من أن الاختبار كان عادلاً وواقعياً، لم يطلب الباحثون من الذكاء الاصطناعي كتابة الأسئلة فحسب، بل استعانوا بـ 256 خبيراً حقيقياً (مصرفيين استثماريين، ومستشارين إداريين، ومحامين شركات) لبناء الاختبار.
- أمضى هؤلاء الخبراء ما بين 5 إلى 10 أيام في العمل على مشاريع وهمية لإنشاء "العوالم الرقمية".
- ثم كتبوا مهام محددة كان على الذكاء الاصطناعي حلها.
- كما وضعوا "نموذج تقييم" (قائمة مراجعة) لتحديد ما إذا كان الذكاء الاصطناعي قد أدى عمله بشكل جيد.
3. الطلاب: نماذج الذكاء الاصطناعي
خضع ثمانية نماذج مختلفة من الذكاء الاصطناعي لهذا الاختبار. فكر فيهم كطلاب لديهم عادات دراسية مختلفة:
- الأسماء الكبيرة: نماذج مثل Gemini 3 Flash، وGPT-5.2، وClaude Opus 4.5.
- المصادر المفتوحة: نماذج أصغر ومجانية مثل GPT-OSS وKimi K2.
4. النتائج: "الجيد، والسيئ، والمتذبذب"
كانت النتائج مفاجئة ولكنها صادقة.
- الدرجة: حتى أفضل نماذج الذكاء الاصطناعي لم يحصل إلا على حوالي 24% من المهام بشكل مثالي من المحاولة الأولى.
- تشبيه: إذا وظفت اليوم أفضل مساعد ذكاء اصطناعي للقيام بعمل محلل معقد لمدة أسبوع، فإنه سيفشل في حوالي 3 من كل 4 مهام إذا أعطيته فرصة واحدة فقط.
- عامل "المحاولة مرة أخرى": إذا سمحت للذكاء الاصطناعي بتجربة المهمة نفسها 8 مرات، فيمكن لأفضل النماذج الحصول على حوالي 40% من المهام بشكل صحيح.
- تشبيه: هم ليسوا عديمي الفائدة تماماً، لكنهم غير متسقين للغاية. أحياناً يصيبون، وأحياناً أخرى يعلقون في حلقة مفرغة أو يحذفون ملفاً خاطئاً.
- معاناة المصادر المفتوحة: سجلت النماذج المجانية مفتوحة المص المصدر أقل من 5%. لقد كانوا مثل طلاب لم يدرسوا على الإطلاق مقارداً بالنماذج الخاصة رفيعة المستوى.
5. كيف فشلوا (السلوك "المتمرد")
نظرت الورقة البحثية بدقة في كيفية فشل الذكاء الاصطناعي، وهو أمر لا يقل أهمية عن الدرجة نفسها:
- "حلقة الهلاك" (The Doom Loop): علقت بعض نماذج الذكاء الاصطناعي في تكرار نفس الإجراء مراراً وتكراراً (مثل الهامستر على العجلة) حتى نفد الوقت.
- "المُحرّق العرضي": قامت بعض نماذج الذكاء الاصطناعي بحذف ملفات لم يكن من المفترض المساس بها.
- "المُفرط في التفكير": النموذج الأكثر نجاحاً (Gemini 3 Flash) استخدم قوة حوسبة (Tokens) تزيد بـ 5 أضعاف عن منافسيه لإنجاز المهمة. كان فعالاً، ولكنه كان غير كفء للغاية.
6. الخلاصة الكبرى
تخلص الورقة البحثية إلى أن وكلاء الذكاء الاصطناعي ليسوا مستعدين لاستبدال المهنيين البشر بعد.
- الوضع الحالي: هم يشبهون متدرباً ذكياً جداً قرأ كل الكتب في المكتبة ولكنه لم يعمل أبداً في مكتب حقيقي. هم يعرفون النظرية، لكنهم يعانون مع الواقع الفوضوي المتمثل في النقر على الأزرار، وإدارة الملفات، والتخطيط لمشاريع طويلة الأمد.
- المستقبل: يقوم الباحثون بإتاحة جميع بياناتهم وأدواتهم مجاناً (كمصدر مفتوح) حتى يتمكن العلماء الآخرون من المساعدة في بناء وكلاء أفضل. هم يعتقدون أنه مع المزيد من التدريب، يمكن لهؤلاء الوكلاء أن يصبحوا في النهاية "فريقاً من الخبراء عند الطلب" الذي سيغير طريقة عملنا.
باختصار: بنى هذا البحث "محاكي مكتب" واقعي لاختبار الذكاء الاصطناعي. وتظهر النتائج أنه بينما يزداد الذكاء الاصطناعي ذكاءً، فإنه لا يزال يتوه بسهولة، ويحذف ملفات مهمة، ويحتاج إلى محاولات كثيرة لإنجاز وظيفة مهنية بسيطة بشكل صحيح. نحن على المسار الصحيح، لكننا لم نصل بعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.