ClassEval-Pro: A Cross-Domain Benchmark for Class-Level Code Generation
يقدم هذا البحث ClassEval-Pro، وهو معيار صارم وعابر للمجالات يتكون من 300 مهمة لتوليد الكود على مستوى الفئات، تم التحقق من صحتها بواسطة مجموعة من النماذج اللغوية الكبيرة ومجموعات اختبار عالية التغطية، مما يكشف أن النماذج اللغوية الكبيرة الرائدة حالياً تعاني في إنشاء الكود التركيبي بسبب أخطاء المنطق والتبعية، حيث حققت أفضل معدل Pass@1 بنسبة 45.6% فقط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوت طباخ كيف يطهو.
الطريقة القديمة (على مستوى الدالة):
حتى الآن، كان الباحثون يختبرون هؤلاء الطهاة الآليين في الغالب عبر مطالبتهم بصنع مكون واحد بسيط، مثل "قطّع بصلة" أو "اغلِ الماء". والذكاء الاصطناعي بارع في هذا؛ إذ يمكنه تقطيع البصل بشكل مثالي بنسبة 90% من المرات. هذا يشبه اختبار ما إذا كان الروبوت يستطيع التعامل مع أداة واحدة.
القطعة المفقودة (على مستوى الفئة/Class):
لكن في العالم الحقيقي، الطهي ليس مجرد تقطيع شيء واحد، بل يتعلق ببناء طبق كامل حيث يجب أن تعمل المكونات معاً. أنت بحاجة إلى صلصة تعرف مقدار الملح الذي تمت إضافته، وتزيين يتناسب مع الطبق الرئيسي، واستراتيجية تقديم تحافظ على تماسك كل شيء. هذا ما يسميه البحث "إنشاء الكود التركيبي" (compositional code creation). وهو القدرة على بناء "فئة" (class) كاملة ومنظمة (وهي وحدة برمجية قائمة بذاتها) حيث تتواصل الأجزاء المتعددة مع بعضها البعض بشكل صحيح.
المشكلة:
يقول المؤلفون إننا لم نكن نملك اختباراً جيداً لمهارة "الطبق الكامل" هذه. الاختبارات القديمة كانت بسيطة للغاية، والقليل من الاختبارات التي كانت موجودة تم صنعها بواسطة البشر، مما يجعلها بطيئة ومكلفة، كما أن الوصفات ربما تكون قد تسربت للذكاء الاصطناعي أثناء تدريبه (مثل غش الذكاء الاصطناعي عبر حفظ إجابات الاختبار).
الحل: ClassEval-Pro
قام الفريق ببناء اختبار جديد وضخم يسمى ClassEval-Pro. وإليكم كيف صنعوه، باستخدام تشبيه إبداعي:
- المكونات (البيانات): بدلاً من كتابة الوصفات يدوياً، ذهبوا إلى مكتبة رقمية ضخمة (GitHub) وجلبوا وصفات كُتبت بعد يناير 2025. هذا يضمن أن الذكاء الاصطناعي لم يرَها من قبل، مما يجعل الاختبار عادلاً.
- وعاء الخلط (عبر المجالات): لم يكتفوا بخلط مكونات متشابهة، بل أجبروا الذكاء الاصطناعي على خلط عوالم مختلفة تماماً. تخيل أنك تطلب من الروبوت بناء "حاسبة مالية" يجب أن تدير أيضاً "مخزون لعبة فيديو". عليه أن يجعل منطق المال ومنطق اللعبة يعملان معاً في برنامج واحد متماسك.
- اختبار التذوق (التحقق): قبل أن يبدأ الاختبار حتى، يستخدمون لجنة من حكام الذكاء الاصطناعي للتحقق مما إذا كانت الوصفة منطقية، وما إذا كانت "اختبارات التذوق" (اختبارات الكود) تغطي 90% على الأقل من الوصفة. إذا كانت الوصفة معطلة، فإنهم يستبعدونها.
النتائج: الطهاة الآليون يعانون
طلبوا من خمسة من أذكى الطهاة الآليين (مثل GPT-5.1 وGemini وQwen) بناء هذه الأطباق المعقدة.
- الدرجة: حتى أفضل طاهٍ حصل على حوالي 45% فقط من الأطباق بشكل صحيح. وهذا انخفاض كبير عن نسبة الـ 90% التي يحصلون عليها في مهام "تقطيع البصل" البسيطة.
- الفجوة: كانت هناك فجوة كبيرة بين أفضل طاهٍ وأضعفهم. فأفضلهم نجح في 45% من الحالات، بينما الأضعف حقق 28% فقط. هذا يثبت أن الاختبار جيد في التمييز بين الطهاة الأقوياء والضعفاء.
- فخ "الطريقة": المثير للاهتمام هو أن الطهاة كانوا قادرين غالباً على كتابة الخطوات الفردية بشكل صحيح (مثل "قطع البصل" أو "أضف الملح"). لكن عندما حاولوا تجميع كل ذلك في طبق واحد يعمل، انهار كل شيء. لقد تم تقطيع البصل، لكن الملح أُضيف إلى الوعاء الخطأ.
كيف حاولوا المساعدة (الاستراتيجيات)
حاول الباحثون إعطاء الطهاة طرقاً مختلفة للنهج في الطهي:
- نهج "من الأسفل إلى الأعلى" (Bottom-Up): "ابدأ بالمكونات الأساسية، ثم اصنع الصلصة، ثم التزيين". ساعد هذا الطهاة الأضعف على التحسن بشكل ملحوظ.
- نهج "من الأعلى إلى الأسفل" (Top-Down): "خطط للقائمة بأكملها أولاً، ثم اطبخ". ساعد هذا أقوى الطهاة.
- النهج "التركيبي" (Compositional): "اكتب وصفة الصلصة، ثم وصفة التزيين، ثم اجمعهما معاً". كان هذا كارثياً. ارتبك الطهاة عند محاولة لصق القطع معاً، وانخفض معدل نجاحهم إلى ما يقرب من الصفر (1.3% لأحد النماذج).
ما الذي حدث خطأ؟ (الأخطاء)
نظر الفريق في 500 طبق فاشل لمعرفة مواطن الخلل. ووجدوا مشكلتين رئيسيتين:
- أخطاء المنطق (56%): فهم الروبوت الكلمات لكنه أخطأ في المعنى. (مثلاً: "إذا كان المستخدم غير متصل بالإنترنت، أظهر رسالة نجاح" بدلاً من رسالة فشل).
- أخطاء التبعية (38%): الأجزগুলো لم تكن متوافقة. (مثلاً: وصفة الصلصة تطلب مكوناً لا يوجد في وصفة التزيين، أو استخدموا أسماءً مختلفة لنفس الوعاء).
الخلاصة الكبرى
يخلص البحث إلى أنه بينما يبدع الذكاء الاصطناعي في كتابة مقاطع صغيرة ومعزولة من الكود، إلا أنه لا يزال سيئاً جداً في تنسيق (orchestrating) نظام كامل. الجزء الأصعب ليس كتابة الكود لدالة واحدة، بل التأكد من أن هذه الدالة تتواصل مع الدوال الأخرى بشكل صحيح، وتشارك البيانات الصحيحة، ولا تكسر النظام بأكمله.
ClassEval-Pro هو "مسابقة الطبخ" الجديدة التي تجبر أخيراً هؤلاء الطهاة الآليين على إثبات قدرتهم على إدارة مطبخ كامل، وليس مجرد تقطيع خضار واحدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.