AI-Generated Code Is Not Reproducible (Yet): An Empirical Study of Dependency Gaps in LLM-Based Coding Agents
تكشف هذه الدراسة التجريبية أن الكود المولد بواسطة وكلاء النماذج اللغوية الكبيرة (LLMs) المتطورة يفتقر حالياً إلى قابلية التكرار الكاملة، حيث نجحت 68.3% فقط من المشاريع في التنفيذ بنجاح في بيئات نظيفة بسبب الفجوات الكبيرة بين التبعيات المعلنة والتبعيات الفعلية لوقت التشغيل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طلبت من طباخ آلي فائق الذكاء والسرعة أن يطهو لك وجبة معقدة. يقدم لك الروبوت طبقاً مزيناً ببراعة وبطاقة وصفة مكتوب عليها: "أنت فقط بحاجة إلى الدقيق، والبيض، والسكر".
تأخذ الوصفة معك إلى المنزل، وتخلط هذه المكونات الثلاثة، وتحاول خبز الكعكة. تنفجر الكعكة.
لماذا؟ لأن الروبوت نسي أن يخبرك أن الدقيق يحتاج إلى نوع معين من الخميرة، وأن البيض يجب أن يكون من دجاج مزارع مفتوحة (علامة تجارية محددة)، وأن السكر يجب أن يُذاب في الماء الساخن أولاً. لقد رأى الروبوت "فكرة" الكعكة، لكنه لم يفهم "واقع" المطبخ.
هذا بالضبط ما وجدته دراسة جديدة حول وكلاء البرمجة بالذكاء الاصطناعي (مثل Claude، وOpenAI's Codex، وGoogle's Gemini). هذه الأنظمة بارعة في كتابة أكواد الكمبيوتر، لكنها سيئة للغاية في إخبارك بما تحتاجه أيضاً لجعل هذا الكود يعمل بالفعل.
إليك تفاصيل الدراسة باستخدام تشبيهات بسيية:
1. اختبار "خارج الصندوق"
طلب الباحثون من ثلاثة طهاة مختلفين من الذكاء الاصطناعي بناء 300 مشروع برمجيات مختلف (مثل تطبيق للطقس، أو محلل بيانات، أو موقع إلكتروني). أعطوا الذكاء الاصطناعي قاعدة صارمة: "أعطني كل ما أحتاجه لتشغيل هذا على جهاز كمبيوتر جديد وفارغ تماماً".
النتيجة:
- في 68% من الحالات، عمل الكود بشكل مثالي ومباشر.
- في 32% من الحالات، فشل الكود فوراً. كان الأمر يشبه محاولة تشغيل سيارة بدون وقود.
الجزء المخيف؟ حتى عندما كان الكود يعمل، كان ذلك غالباً بمحض الصدفة. كان لدى الذكاء الاصطناعي أسرار خفية لم يخبرك بها.
2. "جبل الجليد" من التبعيات
في عالم البرمجة، "التبعيات" (Dependencies) هي مجرد برامج أو مكتبات أخرى يحتاجها الكود الخاص بك ليستعير منها لكي يؤدي مهمته. فكر فيها كأنها المكونات.
وجدت الدراسة فجوة هائلة بين ما قاله الذكاء الاصطناعي عما تحتاجه وما تحتاجه فعلياً.
- الادعاء: يقول الذكاء الاصطناعي: "أنت تحتاج فقط إلى 3 مكونات".
- الواقع: عندما تقوم بتشغيل الكود فعلياً، يتضح أنك كنت بحاجة إلى 37 مكوناً.
التشبيه:
تخيل أن الذكاء الاصطناعي يخبرك أن تبني منزلاً ويقول لك: "أنت فقط بحاجة إلى مطرقة وبعض المسامير". تذهب ومعك المطرقة والمسامير، لكنك لا تستطيع بناء المنزل لأنك تحتاج أيضاً إلى الخشب، والخرسانة، والكهرباء، والسباكة، وتصريح بناء.
- بالنسبة للغة Python (لغة برمجة شهيرة)، كان الذكاء الاصطناعي جيداً جداً، حيث لم يفتْه سوى مكونين إضافيين في المتوسط تقريباً.
- أما بالنسبة للغة Java (المستخدمة في الأنظمة الضخمة للمؤسسات)، فقد كان الذكاء الاصطناعي سيئاً للغاية. ادعى أنك تحتاج إلى مكونين فقط، بينما كنت في الواقع بحاجة إلى 21 مكوناً. هذه فجوة قدرها 18 ضعفاً!
3. الطهاة "المتخصصون"
اختبرت الدراسة ثلاثة نماذج مختلفة من الذكاء الاصطناعي، وتبين أن لكل منها شخصيات ومهارات مختلفة تماماً، رغم أن الشركات لا تعلن عن ذلك.
- Gemini: هو ساحر بايثون (Python Wizard). كان مثالياً في لغة بايثون (نسبة نجاح 100%) ولكنه فشل تماماً في لغة جافا (نجاح 28% فقط). إنه مثل الشيف الذي يتقن صنع السوشي لكنه يحرق كل قطعة لحم تطلبها منه.
- Claude: هو محترف المؤسسات (Enterprise Pro). كان جيداً بشكل مفاجئ في لغة جافا (نجاح 80%)، وهي اللغة التي عادة ما تكون الأصعب على الذكاء الاصطناعي. إنه الشيف الذي يمكنه التعامل مع مطبخ المطاعم الفاخرة والمعقدة.
- Codex: هو متخصص البرمجة النصية (Scripting Specialist). كان جيداً في بايثون وJavaScript ولكنه عانى مع الأنظمة الكبيرة والمعقدة.
الدرس المستفاد: لا يمكنك مجرد اختيار ذكاء اصطناعي لأنه "الأفضل". عليك اختيار الذكاء الاصطناعي الذي يتخصص في اللغة المحددة التي تستخدمها.
4. المشكلة الحقيقية: الأمر لا يتعلق فقط بالمكونات المفقودة
عنوان الورقة البحثية يقول "فجوات التبعية"، لكن الدراسة وجدت شيئاً أكثر إثارة للقلق.
عندما فشل الكود، كانت المكونات المفقودة (التبعيات) تمثل 10% فقط من المشكلة.
أما في الـ 50%+ من المرات الأخرى، كان الكود نفسه معيباً.
- كتب الذكاء الاصطنانا كوداً يبدو صحيحاً ولكن به أخطاء منطقية (مثل وصفة تقول "اخبز لمدة 1000 ساعة").
- وضع الذكاء الاصطناعي الملفات في المجلدات الخاطئة.
- نسي الذكاء الاصطناعي تهيئة المتغيرات (مثل محاولة صب الماء في دلو فارغ غير موجود أصلاً).
الأمر يشبه كون الطباخ الآلي لم ينسَ المكونات فحسب، بل كتب الوصفة أيضاً بلغة لا تستطيع قراءتها، أو أخبرك أن تخلط البيض بعد أن يتم خبز الكعكة بالفعل.
5. التكلفة الخفية
إذا كنت مطوراً تستخدم هذه الأدوات، فإليك الواقع:
- تطلب من الذكاء الاصطناعي بناء أداة ما.
- يعطيك الكود.
- تحاول تشغيله، فيتعطل.
- تقضي 15 دقيقة (في المتوسط) في تصحيح الأخطاء، وإضافة الحزم المفقودة، وإصلاح المنطق المعطل.
إذا استخدمت شركة ما الذكاء الاصطناعي لإنشاء 100 مشروع، فستقضي ما يقرب من 8 ساعات فقط في إصلاح الأخطاء التي ارتكبها الذكاء الاصطناعي. هذه "ضريبة خفية" كبيرة على الإنتاجية.
الخلا الخطوط العريضة
وكلاء البرمجة بالذكاء الاصطناعي هم مثل أدوات الإكمال التلقائي المتطورة، وليسوا بعد شركاء تطوير حقيقيين. يمكنهم كتابة منطق الكود، لكنهم لم يتعلموا بعد فهم البيئة التي يعيش فيها هذا الكود.
حتى يتعلم الذكاء الاصطناعي أن يقول: "إليك الكود، وإليك القائمة الدقيقة لـ 37 حزمة، وإصدار نظام التشغيل المحدد، وملف التكوين الذي تحتاجه لجعل هذا يعمل"، فسنظل في حالة "أزمة قابلية التكرار".
باختصار: الذكاء الاصطناعي بارع في كتابة القصة، لكنه يستمر في نسيان إخبارك بأي مكتبة تحتاج لقراءتها. وحتى يصلح ذلك، لا يمكننا الوثوق به تماماً لبناء برمجياتنا بمفرده.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.