Vibe Code Bench: Evaluating AI Models on End-to-End Web Application Development
تقدم هذه الورقة "Vibe Code Bench"، وهو معيار مرجعي جديد يضم 100 مواصفة لتطبيقات الويب يتم تقييمها بواسطة وكلاء تصفح ذاتيين، مما يكشف أن أفضل النماذج الرائدة لا تحقق سوى 58.0% من الدقة في مهام التطوير من البداية إلى النهاية، ويسلط الضوء على الاختبار الذاتي ومواءمة المقيم كعوامل حاسمة للنجاح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت متدرباً عبقرياً فائق السرعة ليبني لك منزلاً. أنت لا تعطيه مخططات هندسية، بل تكتفي بقول: "أريد كوخاً مريحاً بمطبخ كبير، وحديقة، وباب أمامي يفتح تلقائياً".
في الماضي، كنا نختبر هؤلاء المتدربين من الذكاء الاصط�ـعي عبر طرح مهام صغيرة ومعزولة عليهم: "هل يمكنك دق هذه المسمار؟" أو "هل يمكنك خلط هذا النوع المحدد من الخرسانة؟" وقد أصبحوا بارعين جداً في تلك الوظائف الصغيرة.
لكن السؤال الحقيقي هو: هل يمكنهم حقاً بناء المنزل بأكته، من الأساسات حتى السقف، والتأكد من أن الأضواء ستعمل عندما تضغط على المفتاح؟
هذه الورقة البحثية، "Vibe Code Bench"، تقدم طريقة جديدة لاختبار الذكاء الاصطــعي في هذا المجال تحديداً. فبدلاً من الطلب منه إصلاح نافذة واحدة مكسورة، أعطى الباحثون 16 نموذجاً من أذكى نماذج الذكاء الاصطــعي في العالم تحدياً: بناء موقع إلكتروني كامل وشغال من مجرد وصف نصي بسيط.
إليك تفاصيل كيفية قيامهم بذلك وما وجدوه، باستخدام بعض التشبيهات من الحياة اليومية.
1. الاختبار: "Vibe Code Bench"
فكر في هذا الأمر كأنه اختبار قيادة للذكاء الاصطــعي، ولكن بدلاً من قيادة سيارة، هم يقودون طاقم بناء.
- التحدي: تم إعطاء الذكاء الاصطــعي 100 "وصف وظيفي" مختلف (مثل "ابنِ تطبيقاً لتتبع عاداتك" أو "أنشئ أداة للشركات الصغيرة لإدارة المدفوعات").
- البيئة: تم وضع الذكاء الاصطــعي في "صندوق رمل" رقمي يحتوي على طرفية كمبيوتر (Terminal)، ومتصفح ويب، وإمكانية الوصول إلى أدوات مثل قواعد البيانات ومعالجات الدفع (مثل Stripe).
- الهدف: كان على الذكاء الاصطــعي كتابة الكود، وإعداد الخوادم، وإطلاق الموقع الإلكتروني بمفرده تماماً.
- المُقيّم: بمجرد انتهاء الذكاء الاصطــعي، قام "مفتش" آلي (وكيل متصفح مستقل) بزيارة الموقع فعلياً. قام بالنقر على الأزرار، ومحاولة تسجيل الدخول، وإجراء عمليات شراء تجريبية، والتحقق مما إذا كان التطبيق يعمل بالفعل. لم يكتفِ بقراءة الكود فح، بل استخدم التطبيق.
2. النتائج: "المتدرب يتحسن، لكنه لا يزال بحاجة إلى مشرف"
اختبر الباحثون 16 نموذجاً من الطراز الرفيع. وإليكم النتيجة:
- أفضل أداء: نجح النموذج الأفضل (GPT-5.3-Codex) في حوالي 62% من المهام.
- واقع الصدمة: وهذا يعني أنه في ما يقرب من 4 من كل 10 وظائف، إما أن الذكاء الاصطــعي لم يستطع بناء المنزل، أو أن المنزل انهار بمجرد أن حاول شخص ما المرور عبر الباب الأمامي.
- الفجوة: بينما يبدع الذكاء الاصطــعي في كتابة فقرة واحدة من الكود، فإن بناء نظام كامل يربط قاعدة بيانات، وشاشة تسجيل دخول، ومعالج مدفوعات، لا يزال لغزاً ضخماً لم يُحل بعد.
3. السر الخفي: "الاختبار الذاتي"
اكتشفت الورقة البحثية عادةً رائعة تميز البنائين الجيدين عن العظماء.
- بناؤو "التعديل فقط": بعض النماذج كانت تكتب الكود فحسب، ثم تضغط على "إرسال" وتتمنى الأفضل. هذه النماذج فشلت كثيراً.
- البناؤون "المختبرون لأنفسهم": النماذج ذات الأداء العالي تصرفت كالحرفيين الحذرين. كانوا يكتبون القليل من الكود، ثم يفتحون المتصفح، وينقرون في الأنحاء، ويتأكدون مما إذا كان يعمل، ويجدون خطأً، فيصلحونه، ويكررون العملية.
- التشبيه: إنه الفرق بين طباخ يلقي المكونات في القدر ويقدم الطبق، وبين طباخ يتذوق الحساء، ويضيف الملح، ويتذوقه مرة أخرى، ويضبط درجة الحرارة. وجدت الورقة أن كلما "تذوق الذكاء الاصطــعي حساءه الخاص" (أي اختبر الكود الخاص به)، كانت النتيجة النهائية أفضل.
4. العامل البشري: "من هو القاضي؟"
كان أحد أكثر الأجزاء إثارة للاهتمام في الدراسة هو كيفية تقييم التطبيقات.
- المشكلة: إذا طلبت من ذكاء اصطــعي واحد تقييم عمل ذكاء اصطــعي آخر، فقد يختلفان. قد يقول أحدهم: "زر تسجيل الدخول أزرق، لذا فهو مثالي!" بينما يقول الآخر: "الزر صغير جداً، لذا فهو فاشل!".
- النتيجة: وجد الباحثون أن اختيارك لمن يكون القاضي أمر بالغ الأهمية. فبعض نماذج الذكاء الاصطــعي التي تعمل كـ "مفتش" اتفقت مع الخبراء البشر بنسبة 93%، بينما اتفقت نماذج أخرى بنسبة 32% فقط.
- الدرس: لا يمكنك مجرد استخدام أي ذكاء اصطــعي لتقييم العمل. يجب عليك اختيار "المفتش" المناسب للحصول على درجة عادلة.
5. الصورة الكبيرة: "من 'هل يستطيع الكتابة؟' إلى 'هل يستطيع البناء؟'"
لفترة طويلة، كان السؤال هو: "هل يستطيع الذكاء الاصطــعي كتابة الكود؟" وكانت الإجابة: نعم وبقوة.
الآن، تغير السؤال ليصبح: "هل يستطيع الذكاء الاصطــعي بناء البرمجيات؟"
تظهر هذه الورقة البحثية أننا نقترب من ذلك، لكننا لم نصل بعد. الذكاء الاصطــعي يشبه الآن مطوراً مبتدئاً موهوباً جداً يحتاج إلى مهندس أقدم ليراقب كتفه، ويلتقط الأخطاء الكبيرة، ويتأكد من أن المنتج النهائي يعمل فعلياً للناس الحقيقيين.
باختصار: لم يعد الذكاء الاصطــعي مجرد مدقق لغوي للكود؛ بل بدأ يتحول إلى بنّاء. ولكن إلى أن يتمكن من بناء منزل كامل بموثوقية دون أن ينهار السقف، سنظل بحاجة إلى معماريين بشريين للحفاظ على سلامة المخططات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.