DevIntent: How Much Does LLM-Generated Code Violate Developer Intent?
تقدم هذه الورقة مقياس معدل انتهاك النية (IVR) ومعياراً مقابلاً للكشف عن أنه في حين يجتاز الكود المولد بواسطة النماذج اللغوية الكبيرة الاختبارات المرئية القياسية بشكل متكرر، إلا أنه ينتهك بشكل منهجي نوايا المطورين الضمنية في أكثر من نصف الحالات، مما يشير إلى أن معدلات النجاح الحالية تبالغ في تقدير التوافق بين الكود المولد والنية الحقيقية للمطور بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف طباخاً آلياً فائق الموهبة وسريعاً كالبرق ليطهو العشاء لعائلتك. تقول له: "اصنع لي شطيرة". يبدأ الروبوت بالعمل، ويمسك بالخبز، ويقطع الديك الرومي، ويقدم شطيرة جميلة ومثالية المظهر. تأخذ قضمة، فتجد طعمها تماماً مثل شطيرة ديك رومي. وفقاً لكل اختبار يمكنك التفكير فيه، فقد نجح الروبوت في الاختبار بتفوق. هل تحتوي على خبز؟ نعم. هل تحتوي على ديك رومي؟ نعم. هل هي صالحة للأكل؟ نعم.
لكن هنا تكمن المفاجأة: عائلتك نباتية، وقد نسيت ذكر ذلك. الروبوت، الذي يعمل بعقلية حرفية، لم يطلب توضيحاً؛ بل افترض أن "شطيرة" تعني "شطيرة تحتوي على لحم". لقد اتبع تعليماتك بدقة، لكنه أخطأ تماماً في فهم "نيتك". في عالم علوم الكمبيوتر، وتحديداً في مجال الذكاء الاصطناعي، يمثل هذا صداعاً متزايداً. لدينا نماذج ذكاء اصطناعي قوية يمكنها كتابة أكواد برمجية، لكنها غالباً ما تتصرف مثل ذلك الطباخ ذي العقلية الحرفية. يمكنها كتابة كود يجتاز جميع "الاختبارات" الرسمية التي يضعها المبرمج، ومع ذلك يفعل شيئاً مختلفاً قليلاً عما أراده المبرمج حقاً. تغوص هذه الورقة البحثية في تلك الفجوة بين "ما يفعله الكود" و"ما كان يقصده الإنسان".
قرر الباحثون وراء هذه الدراسة، الذين عملوا مع نماذج مثل Claude Sonnet 4.6 وOpenAI's GPT-4.1، التوقف عن مجرد التحقق مما إذا كان الكود "يعمل"، والبدء في التحقق مما إذا كان "يفهم". لقد ابتكروا طريقة جديدة لقياس هذا، أطلقوا عليها اسم معدل انتهاك النية (IVR). فكر في IVR كـ "اختبار لقراءة الأفكار" للذكاء الاصطناعي. فبدلاً من مجرد السؤال، "هل اشتغل الكود دون توقف مفاجئ؟"، يسألون: "هل فعل الكود بالضبط ما كان يدور في ذهن الإنسان، حتى الأجزاء التي نسي الإنسان قولها بصوت عالٍ؟".
لاختبار ذلك، بنى الفريق ساحة لعب خاصة مكونة من 49 لغزاً برمجياً مخادعاً. أخذوا تعليمات واضحة ومفصلة ("المطالبة الذهبية") وجردوا منها التفاصيل الهامة غير المنطوقة لإنشاء نسخة غامضة ومبهمة ("المطالبة الغامضة"). ثم طلبوا من الذكاء الاصطناعي حل اللغز باستخدام النسخة الغامضة فقط. مُنح الذكاء الاصطناعي قائمة مراجعة أساسية ("الاختبار المعلن") لإثبات أنه حل المشكلة الرئيسية، لكن الباحثين أخفوا أيضاً قائمة مراجعة سرية ("القيود الخفية") التي تلتقط التفاصيل التي كان من المفترض أن يخمنها الذكاء الاصطناعي. على سبيل المثال، إذا كانت المطالبة الغامضة هي "رتب هذه الأرقام"، فقد يقوم الذكاء الاصطناعي بمجرد سردها. لكن القيد الخفي قد يكون "رتبها من الأصغر إلى الأكبر". إذا قام الذكاء الاصطناعي بسردها بترتيب عشوائي، فسوف يجتاز الاختبار الأساسي ولكنه سيفشل في الاختبار الخفي، مما يعد انتهاكاً لنية المطور.
كانت النتائج صادمة نوعاً ما. عندما نظر الباحثون في عدد المرات التي اجتاز فيها الذكاء الاصطناعي الاختبارات المرئية الأساسية، بدت الأرقام مذهلة: اجتاز Claude Sonnet 4.6 نسبة 94.3% من المرات، واجتاز GPT-4.1 نسبة 92.7%. لو نظرت فقط إلى هذه الأرقام، لظننت أن الذكاء الاصطناعي عبقري في البرمجة. ولكن عندما تحققوا من "معدل انتهاك النية" السري، تغيرت الصورة بشكل كبير.
على الرغم من أن الكود اجتاز الاختبارات المرئية، إلا أنه انتهك النية الخفية للمطور في 54.5% من الحالات لـ Claude وفي 63.5% لـ GPT-4.1. وهذا يعني أنه في أكثر من نصف المشكلات، كتب الذكاء الاصطناعي كوداً يعمل تقنياً ولكنه خاطئ جوهرياً بشأن ما أراده الإنسان. وجد الباحثون أن هذا لم يكن مجرد ضجيج عشوائي أو بعض التخمينات السيئة. كان سلوك الذكاء الاصطناعي متسقاً بشكل مثير للدهشة و"ثنائي المنوال"، مما يعني أنه كان يميل إما إلى إصابة النية الخفية تماماً أو تفويتها تماماً، مع وجود عدد قليل جداً من الإجابات "القريبة من الصواب" في المنتصف.
تشير الدراسة إلى أن مجرد عدّ عدد الاختبارات التي يجتازها الكود ليس كافياً لمعرفة ما إذا كان جيداً. فنسبة النجاح العالية قد تمنح المطورين شعوراً زائفاً بالأمان، مما يجعلهم يعتقدون أن الكود جاهز للنشر بينما هو في الواقع يفتقر إلى المتطلبات الأساسية غير المعلنة. يشير المؤلفون إلى أنه على الرغم من أن نتائجهم تستند إلى مجموعة محددة من 49 مشكلة ونموذجين محددين من الذكاء الاصطناعي، إلا أن النمط الذي وجدوه هو نمط منهجي. وهم يجادلون بأننا بحاجة إلى طرق جديدة لقياس جودة الكود تنظر إلى ما وراء نتائج "النجاح/الفشل" السطحية لضمان أن الذكاء الاصطناعي يفهم حقاً الرؤية البشرية، وليس مجرد التلاعب بالاختبار.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.