🤖 AI

AcademiClaw: When Students Set Challenges for AI Agents

تقدم هذه الورقة AcademiClaw، وهو معيار تقييم ثنائي اللغة يتكون من 80 مهمة أكاديمية واقعية ومعقدة تم اختيارها من أعمال الطلاب لتقييم وتشخيص أوجه القصور في وكلاء الذكاء الاصطناعي الحاليين في التعامل مع التحديات طويلة المدى ومتعددة المجالات، مما كشف أن حتى النماذج الرائدة لا تحقق سوى معدل نجاح بنسبة 55%.

المؤلفون الأصليون: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou

نُشر 2026-05-06

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou, Binghao Qiang, Borui Zhang, Chenning Li, Enchang Zhang, Feifan Chen, Feng Jian, Fengyin Sun, Hao Qiu, Hao Zheng, Haoran Zhu, Hongyu Liu, Jianbin Deng, Jiaxin Song, Jiaying Chi, Jiayou Shi, Jie Fang, Jinghui Zhong, Jingyu Zhou, Jinze Li, Junfeng Yi, Junyan Yu, Junzhi Xue, Ni Song, Pengyi Chen, Qi Chen, Quansheng Li, Rui Tao, Shenghai Gong, Shenhang Lu, Tianqi Shen, Tianxiang Zhu, Tiehan Kang, Tingyu Li, Wendi Wu, Xiao Shen, Xiao Zhou, Xiaotao Zhang, Xinrong Li, Xuankun Yang, Xun Zhang, Yan Li, Ye Lu, Yi Wang, Yibo Zhou, Yichi Zhang, Yihao Sun, Yijun Huang, Yixin Zhu, Yixuan Wu, Yuchen Sun, Yue Wu, Yuheng Sun, Yukun Li, Yutian Tu, Yuxuan Qin, Yuzhuo Wu, Zeyu Li, Zhengyu Lou, Zhenning Ran, Zizhu He, Pengfei Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء مساعد روبوت فائق الذكاء. حتى الآن، اختبرته عبر سؤاله عن مهام بسيطة: "رتب هذه الرسائل الإلكترونية"، "أضف هذا الاجتماع إلى تقويمي"، أو "ابحث عن وصفة للمكرونة". الروبوت بارع في هذه المهام؛ فهو يشبه سكرتيرًا شخصيًا عالي الكفاءة.

لكن تكمً في المشكلة: نحن لا نعرف حقًا ما إذا كان هذا الروبوت يمكنه القيام بعمل حقيقي وشاق. هل يمكنه حل مسألة رياضية معقدة؟ هل يمكنه بناء لعبة فيديو من الصفر؟ هل يمكنه إصلاح شريحة كمبيوتر معطلة؟ حتى الآن، لم يسأل أحد هذا الروبوت هذه الأسئلة بطريقة عادلة ومعيارية.

هذا هو جوهر ورقة البحث، AcademiClaw؛ فهي عبارة عن "امتحان نهائي" جديد لوكلاء الذكاء الاصطناعي، لم يصممه باحثون في المختبر، بل صممه طلاب جامعيون يعانون بالفعل من واجباتهم ومشاريعهم الدراية.

إليك تفصيل للورقة باستخدام تشبيهات بسيطة:

١. المشكلة: "السكرتير" مقابل "المهندس"

اعتبر اختبارات الذكاء الاصطناعي الحالية (اختبارات القياس) مثل اختبار رخصة القيادة لسائق توصيل طلبات البقالة. إنها تتحقق مما إذا كنت تستطيع إيقاف السيارة في الموقف الجانبي أو التوقف عند الإشارة الحمراء. هذا مفيد، لكنه لا يخبرك ما إذا كنت تستطيع قيادة سيارة فورمولا 1 أو إصلاح محرك نفاث.

تجادل الورقة بأن الاختبارات الحالية لنظام الذكاء الاصطناعي "OpenClaw" تتحقق فقط من مهارات "مستوى المساعد" (مثل ترتيب الملفات). وهي تترك فجوة هائلة: مهارات المستوى الأكاديمي. هذه هي المهام العميقة والمعقدة التي تتطلب سنوات من الدراسة، مثل إثبات نظرية رياضية أو تدريب نموذج ذكاء اصطناعي معقد.

٢. الحل: امتحان "مُقدم من الطلاب"

بدلاً من أن يبتكر الباحثون مشكلات وهمية، طلب المؤلفون من ٢٣٠ طالبًا جامعيًا تقديم مشكلات حقيقية واجهوها.

السيناريو: يحاول طالب استخدام الذكاء الاصطناعي للمساعدة في مشروع برمجي صعب أو ورقة بحثية. يفشل الذكاء الاصطناعي أو يتعثر. يقول الطالب: "هذا أصعب مما يمكن للذكاء الاصطناعي فعله".
التصفية: قام خبراء بمراجعة هذه الـ ٢٣٠ مشاركة واختاروا أفضل ٨٠ منها.
النتيجة: مجموعة اختبار تغطي ٢٥ مجالًا مختلفًا، من الرياضيات بمستوى الأولمبياد إلى فيزياء ألعاب الفيديو التي تعتمد على معالجات الرسوميات (GPU) وإصلاح البرمجيات المعقدة.

التشبيه: تخيل مسابقة للطهاة. بدلاً من أن يطلب الحكام من الطهاة "تقطيع بصلة"، يقول الطلاب (الزبائن): "أريد وجبة من ٥ أطباق تستخدم مكونات من ثلاث قارات مختلفة، مطبوخة بأسلوب محدد، وأريدها جاهزة في ٤0 دقيقة". هذا هو مستوى الصعوبة الذي تقدمه AcademiClaw.

٣. بيئة الاختبار: "صندوق الرمل الآمن"

للتأكد من أن الذكاء الاصطناعي لا يكسر أي شيء أو يغش، تحدث كل مهمة في صندوق رمل رقمي (بيئة كمبيوتر مغلقة تسمى Docker container).

يتم إعطاء الذكاء الاصطناعي مهمة.
يمكنه قراءة الملفات، كتابة الكود، تشغيل البرامج، وحتى استخدام متصفح الويب.
يجب عليه القيام بكل شيء بنفسه، خطوة بخطوة.
تفصيل حاسم: تتطلب بعض المهام وجود وحدة معالجة رسوميات (GPU) (بطاقة رسومات قوية تُستخدم للحسابات الثقيلة وتدريب الذكاء الاصطناعي). هذا يشبه طلب رفع وزن ثقيل من الروبوت؛ بينما كانت معظم الاختبارات السابقة تطلب منه فقط رفع ريشة.

٤. كيف يتم التصحيح: "الحكم متعدد الطبقات"

لا يمكنك مجرد السؤال: "هل انتهى؟" لأن الإجابة قد تكون "نعم، ولكن الكود معطل".
تستخدم الورقة نظام تصحيح مكون من ٦ في ١:
١. مطابقة النمط: هل كتب الكلمات الصحيحة؟
٢. تنفيذ الكود: هل يعمل البرنامج فعليًا دون توقف مفاجئ؟
٣. المُحكّم الذكي: يقوم ذكاء اصطناعي آخر بقراءة التقرير ويقيم العمل كأنه معلم.
٤. الذكاء الاصطناعي البصري: هل يمكنه "رؤية" ما إذا كان الرسم البياني أو الصورة تبدو صحيحة؟
٥. اختبار المتصفح: هل قام فعليًا ببناء موقع إلكتروني يعمل؟
٦. فحص الهيكل: هل تنسيق الملف صحيح (مثل JSON أو CSV)؟

كما لديهم تدقيق سلامة (مثل حارس الأمن) للتأكد من أن الذكاء الاصطناعي لم يحاول حذف ملفات مهمة أو اختراق أشياء لا ينبغي له الوصول إليها.

٥. النتائج: "اختبار الواقع"

اختبر المؤلفون ستة من أذكى نماذج الذكاء الاصطناعي المتاحة (مثل Claude و GPT و Gemini) في هذا الامتحان الجديد.

الدرجة: حتى أفضل أنظمة الذكاء الاصطناعي نجحت في ٥٥٪ فقط من المهام. وهذا يعني أنها فشلت في نصف المهام تقريبًا التي وجدها الطلاب الجامعيون صعبة.
فخ "الإفراط في التفكير": وجدت الورقة شيئًا غريبًا. بعض أنظمة الذكاء الاصطناعي استخدمت قدرة "عقلية" (Tokens) أكبر بـ ٥ مرات من غيرها لكنها لم تحقق نتائج أفضل.
- التشبيه: تخيل طالبين يخضعان للاختبار. الطالب (أ) يقرأ السؤال بعناية، يفكر لدقيقة، ثم يكتب إجابة مثالية. الطالب (ب) يصاب بالذعر، ويكتب ١٠ صفحات من الكلام المرتبك وغير المفهوم، ثم يحصل على إجابة خاطئة. وجدت الورقة أن بذل المزيد من الجهد لا يعني بالضرورة جودة أفضل.
شخصيات مختلفة: امتلكت أنظمة الذكاء الاصطناعي "شخصيات" مختلفة:
- القارئ: (Claude) يقرأ كل شيء أولاً، يفكر، ثم يتصرف. جودته عالية، لكنه أبطأ.
- المطرقة: (Gemini) يبدأ فورًا في "ضرب الأشياء" (تشغيل الكود) مباشرة، على أمل أن تنجح. سريع، ولكنه غالبًا ما يكسر الأشياء ويفشل في اختبارات السلامة.
- التقليلي: (GPT) يقوم بالحد الأدنى المطلوب، لكنه يحقق نتائج جيدة بشكل مفاجئ.

٦. الخلاصة الكبرى

تخلص الورقة إلى أنه بينما يتفوق الذكاء الاصطناعي في كونه "سكرتيرًا رقميًا"، إلا أنه لا يزال مهزوزًا جدًا عندما يُطلب منه أن يكون "باحثًا" أو "مهندسًا".

الفجوة: هناك انفصال كبير بين ما يمكن للذكاء الاصطناعي القيام به اليوم وما يتطلبه العمل الأكادكي والمهني الحقيقي.
قضية السلامة: نظام الذكاء الاصطناعي الذي حاول اتباع أسلوب "التخمين والتجربة" (Gemini) كان هو الأكثر عرضة لخرق قواعد السلامة.
المستقبل: يأمل المؤلفون أن يساعد هذا الاختبار الجديد (AcademiClaw) المطورين على بناء ذكاء اصطناعي قادر حقًا على حل المشكلات الصعبة والمعقدة التي نواجهها في العالم الحقيقي، وليس فقط المشكلات السهلة.

باختًا: قامت الورقة ببناء اختبار "الوضع الصعب" للذكاء الاصطناعي باستخدام واجبات طلابية حقيقية. وتظهر النتائج أن حتى أذكى أنظمة الذكاء الاصطناعي لا تزال تعاني في التعامل مع العمل العميق والمعقد في العالم الحقيقي، وأن استخدام المزيد من القدرة الحوسبية لا يجعلها بالضرورة أكثر ذكاءً.

ملخص تقني: AcademiClaw

بيان المشكلة

بينما تطورت منظومة OpenClaw بسرعة كإطار عمل مفتوح المصدر رائد للوكلاء المستقلين، ظلت معايير التقييم الحالية داخل هذه المنظومة مقتصرة على المهام بمستوى المساعد (مثل فرز البريد الإلكتروني، إدارة التقويم، وهيكلة المشاريع). هذه المهام، رغم فائدتها العملية، تفتقر إلى العمق في الخبرة المتخصصة والاستدلال متعدد الخطوات المطلوب لتدفقات العمل الأكاديمية والمهنية الواقعية. وبناءً على ذلك، هناك فجوة حرجة في فهم قدرات وكلاء OpenClaw عند مواجهة مشكلات معقدة وتتطلب معرفة كثيفة مثل البراهين الرياضية، تدريب النماذج كثيفة الاستهلاك لوحدات معالجة الرسومات (GPU)، تصحيح أخطاء الأطر البرمجية المتداخلة، والتحليل العلمي للبيانات. تفشل المعايير الحالية في تقييم الوكلاء بشكل منهجي في هذه التحديات ذات "المستوى الأكاديمي"، مما يترك المجتمع دون إشارات تشخيصية قابلة للتنفيذ للارتقاء بالوكلاء إلى ما وراء نطاقهم الحالي الموجه نحو مهام المساعدة.

المنهجية

جمع المهام: نهج من القاعدة إلى القمة

على عكس المعايير التقليدية حيث يتم تصميم المهام من الأعلى إلى الأس নিচে بواسطة الباحثين، تعتمد AcademiClaw استراتيجية جمع من القاعدة إلى القمة مدفوعة بالمستخدمين.

المصدر: تم تقديم 230 مهمة مرشحة من قبل طلاب جامعيين بناءً على سير عملهم الأكاديمي الحقيقي (الواجبات المنزلية، مشاريع البحث، المسابقات، المشاريع الشخصية) حيث وجدوا أن وكلاء الذكاء الاصطناعي الحاليين غير فعالين.
التصفية: قامت عملية مراجعة خبير ثنائية المراحل بتنقية هؤلاء المرشحين إلى مجموعة نهائية مكونة من 80 مهمة عالية الجودة. قام الخبراء بتقييم المهام من حيث وضوح المطالبة (prompt)، صحة المعايير، قابلية تكرار التسجيل، معايرة الصعوبة، وتوازن المجالات.
النطاق: تغطي المجموعة النهائية أكثر من 25 مجالاً مهنياً، تتراوح من براهين أولمبياد الرياضيات الصينية (CMO) ومسائل الأولمبياد الدولي للغويات (IOL) إلى التعلم التعزيزي كثيف الاستهلاك لوحدات معالجة الرسومات وتصحيح أخطاء الأنظمة كاملة المكدس (full-stack). وتتضمن 16 مهمة كثيفة الاستهلاك لوحدات معالجة الرسومات تتطلب تنفيذ CUDA، وهي ميزة غائبة في معايير OpenClaw السابقة.
الطبيعة ثنائية اللغة: المعيار ثنائي اللغة (49 بالإنجليزية، 31 بالصينية)، حيث المهام الصينية هي صينية أصلية وتتطلب كفاءة متجذرة ثقافياً (مثل تكييف شعر Tang، وفهم ترميز Shuangpin) بدلاً من مجرد ترجمة التعليمات.

بيئة التنفيذ

العزل: تُنفذ كل مهمة داخل صندوق رملي معزول (Docker sandbox) مع تسلسل هرمي لصورتين (بيئة أساسية للمعالج المركزي/الرسومي + تبعيات المهمة لكل حالة).
إطار عمل الوكيل: يتم حل المهام باستخدام إطار عمل الوكيل OpenClaw، الذي يوفر مجموعة أدوات موحدة تشمل عمليات الملفات، تنفيذ Shell، البحث في الويب، وأتمتة المتصفح بدون واجهة رسومية (headless browser).
بروتوكول التقييم: يتلقى الوكلاء محاولة واحدة فقط لكل مهمة دون إعادة المحاولة. ويتم حجب معايير التقييم عن الوكيل أثناء التنفيذ.

إطار التقييم متعدد الأبعاد

تنتقل AcademiClaw لما هو أبعد من مقاييس النجاح/الفشل الثنائية عبر استخدام معايير متعددة الأبعاد (مقياس 0–100) تجمع بين ست تقنيات تحقق متكاملة:

مطابقة الأنماط: التعبيرات النمطية (Regex)، كشف الكلمات المفتاحية، وتحليل شجرة الإعراب المجردة (AST).
تنفيذ الكود: تجميع وتشغيل اختبارات الوحدة مقابل الحلول المرجعية.
النموذج اللغوي الكبير كحكم (LLM-as-Judge): تقييم المخرجات مفتوحة النهاية (التقارير، الكتابة الإبداعية) مع وجود بدائل استدلالية حتمية.
تقييم نموذج الرؤية اللغوي الكبير: مقارنة الرسومات المصورة أو لقطات شاشة الواجهة الرسومية (GUI) مع المراجع.
اختبار المتصفح من الطرف إلى الطرف: استخدام Playwright للتفاعل مع عناصر الويب الديناميكية.
التحقق من المخرجات المهيكلة: فحوصات مخطط JSON، التحقق من ملفات CSV، وتحليل BibTeX.

بالإضافة إلى ذلك، يقوم تدقيق سلامة خماسي الفئات (S1–S5) بتقييم العمليات التدميرية، تسرب المعلومات، الامتثال للحدود، تصعيد الامتيازات، ومخاطر سلسلة التوريد.

المساهمات الرئيسية

أول معيار بمستوى أكاديمي لـ OpenClaw: تعد AcademiClaw أول معيار في المنظومة يستهدف التعقيد ذو المستوى الأكاديمي، وتتكون من 80 مهمة مستمدة بالكامل من طلاب الجامعات بدلاً من الباحثين. وهي تنفرد بضم 16 مهمة كثيفة الاستهلاك لوحدات معالجة الرسومات.
إطار تقييم مبتكر: تقدم الورقة نظام تسجيل متعدد الأبعاد يجمع بين ست تقنيات تحقق وتدقيق سلامة خماسي الفئات، مما يوفر إشارات تشخيصية دقيقة تتجاوز المقاييس الإجمالية.
تحليل تجريبي منهجي: يقدم المؤلفون تقييماً شاملاً لستة نماذج رائدة (Claude Opus 4.6، Claude Sonnet 4.6، GPT-5.4، Gemini 3.1 Pro، Qwen3.5-397B، و MiniMax M2.7)، كاشفين عن ظواهر مخفية خلف المعايير الأخف وزناً.

النتائج التجريبية

الأداء العام

حتى النموذج الأفضل أداءً، Claude Opus 4.6، حقق فقط نسبة نجاح 55% (درجة ≥75) بمتوسط درجة بلغ 71.9. كانت الفجوة بين أقوى النماذج وأضعفها (MiniMax M2.7) هي 8.8 نقطة في متوسط الدرجات، لكن فجوة نسبة النجاح كانت أوسع (55.0% مقابل 37.5%). ومن الملاحظ أن 23 مهمة من أصل 80 (28.8%) هزمت جميع النماذج الستة، مع وجود 8 مهام سجل فيها كل نموذج درجة أقل من 50.

أنماط المهام والمجالات

هيمنة صعوبة المهمة: تجاوز التباين في الأداء عبر فئات المهام (انتشار قدره 26.3 نقطة) التباين عبر النماذج (انتشار قدره 8.8 نقطة). كان الاستدلال العلمي (STEM) هو الفئة الأكثر تحدياً (متوسط درجة ~50.6)، بينما كانت اللغة والإبداع هي الأسهل (متوسط درجة ~76.9).
حدود القدرات: كشفت مهام محددة عن حدود حادة للقدرات. فعلى سبيل المثال، في مهمة استخراج شجرة العائلة من رواية "مئة عام من العزلة"، تراوحت الدرجات بين 86–92 لبعض النماذج و3 فقط لنماذج أخرى (فجوة قدرها 90 نقطة). وبالمثل، أدت مهمة هجرة من TensorFlow إلى PyTorch إلى فشل كارثي (درجة 0) لنموذج GPT-5.4 بينما سجلت النماذج الأخرى 74–90.

الأنماط السلوكية

حددت الدراسة ثلاثة استراتيجيات سلوكية متميزة بين النماذج:

القراءة أولاً (Claude Opus 4.6): يعطي الأولوية لقراءة الملفات (41% من استدعاءات الأدوات) قبل التنفيذ. حققت هذه الاستراتيجية أعلى جودة ("علاوة الاستيعاب") ولكنها تطلبت استخداماً متوسطاً للرموز (tokens).
التنفيذ أولاً (Gemini 3.1 Pro): يعتمد بشدة على تنفيذ Shell (74.3% من الاستدعاءات) بأسلوب التجربة والخطأ. أدى ذلك إلى أعلى استهلاك للرموز (2.8 مليون رمز، أي 5.4 ضعف GPT-5.4) ولكن بجودة أقل وأدنى درجة سلامة (74.9)، ويرجع ذلك أساساً إلى انتهاكات الحدود.
التبسيط (GPT-5.4): يستخدم أقل عدد من استدعاءات الأدوات (19) والرموز (525 ألف) مع أقصر وقت تنفيذ، محققاً جودة تنافسية من خلال الاستدلال الداخلي.

الانفصال بين الرموز والجودة

النتيجة الحاسمة هي الارتباط شبه المعدوم ( $r = -0.03$ ) بين استهلاك الرموز وجودة المهمة عبر جميع النماذج. يشير هذا إلى أن الوكلاء الحاليين يفتقرون إلى آليات فعالة لتحديد متى يجب التوقف عن التكرار، مما يؤدي إلى عقوبات "الإفراط في التفكير" حيث لا تترجم الجهود الحسابية المتزايدة إلى حلول أفضل.

تحليل السلامة

وُجد أن السلامة والجودة مستقلتان إلى حد كبير ( $|r| < 0.29$ ). ومع ذلك، كان الامتثال للحدود (S3) هو البعد الحاسم للسلامة، حيث أظهر فجوة قدرها 53 نقطة بين النماذج الأكثر أماناً (نماذج Claude، ~84) والنماذج الأقل أماناً (Gemini، 31.6). ويرتبط هذا بنمط "التنفيذ أولاً"، حيث تزيد عمليات تنفيذ Shell المتكررة من خطر الوصول إلى الملفات خارج مساحة العمل المخصصة.

الأهمية والادعاءات

يضع المؤلفون AcademiClaw كتطور ضروري في تقييم الوكلاء، من خلال نقل التركيز من الروتين بمستوى المساعد إلى المتطلبات المعقدة والمفتوحة للممارسة الأكاديمية والمهنية الواقعية.

القيمة التشخيصية: يوفر المعيار إشارات دقيقة تكشف عن فجوات قدرات محددة (مثل الاستدلال الرسمي مقابل المهام التوليدية) وعدم كفاءة سلوكية (مثل الانفصال بين الرموز والجودة) التي تحجبها المقاييس الإجمالية.
مورد للمجتمع: من خلال جعل البيانات والبرامج مفتوحة المصدر، يهدف المؤلفون إلى دفع التقدم نحو وكلاء أكثر قدرة وتنوعاً، مما يساعد مجتمع OpenClow على تجاوز نطاقهم الحالي الموجه نحو المساعدة.
النطاق المتواضع: يقر المؤلفون بالقيود، مشيرين إلى أن مجموعة البيانات الحالية مستمدة من طلاب علوم الحاسب في جامعة واحدة وتعتمد على تقييمات المحاولة الواحدة. وهم يضعون هذا المعيار كخطوة تأسيسية نحو بروتوكولات تقييم أكثر شمولاً وتعددية في التخصصات وتعدد المحاولات في المستقبل.