Naive Defect-Recidivism Mining Is Inflated by Agent Workflow Artefacts: A Construct-Validity Study at Corpus Scale
تُظهر هذه الدراسة أن استخراج تاريخ إصدارات التحكم في النسخ لمقارنة ديمومة الإصلاح بين الوكيل الذكي والبشري قد تضخم بشكل مفرط بسبب آثار سير العمل، مما يكشف من خلال التحقق اليدوي والتصحيح البرمجي أن معدل الانتكاس الأعلى الملحوظ أولياً للوكلاء الأذكياء هو مجرد وهم يختفي عند أخذ هذه الآثار في الاعتبار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم تطوير البرمجيات، لا ينتهي الكود أبداً بشكل حقيقي؛ بل هو كائن حي يتطلب إصلاحاً مستمراً. عندما يقوم المبرمج بإصلاح خطأ ما، يكون الهدف هو جعل الخطأ يختفي للأبد. ومع ذلك، في بعض الأحيان يفشل الإصلاح، وتعود نفس المشكلة من جديد، مما يضطر الفريق للبدء من الصفر. في صناعة البرمجيات، يُعرف عودة هذه المشكلة بـ "الانتكاس" (recidivism). لسنوات، درس الباحثون مدى تكرار تسبب المطورين البشر في هذه العودات، باستخدام أدوات مؤتمتة لمسح ملايين الأسطر من الكود وعدّ كم مرة تم التراجع عن الإصلاح أو إعادة فتح مشكلة ما. والآن، دخل الذكاء الاصطناعي إلى الورشة. وكلاء البرمجة بالذكاء الاصطناعي، المدعومون بنماذج اللغات الكبيرة، يكتبون إصلاحاتهم الخاصة ويقدمونها للموافقة. ومن هنا ثار سؤال طبيعي: هل إصلاحات الذكاء الاصطناعي أكثر ديمومة من تلك التي يصنعها البشر، أم أنها تفشل بشكل أكثر تكراراً؟ وللإجابة على ذلك، بدأ العلماء في تنقيب أرشيفات ضخمة من تاريخ الكود، بحثاً عن نفس إشارات الفشل التي استخدموها مع البشر. توقعوا أن يجدوا إجابة واضية، لكن البيانات التي وجدوها كانت تخفي خدعة.
وضع فريق من الباحثين هدفاً لاختبار طريقة محددة لقياس هذه الإخفاقات. فقد حددوا مقياساً يسمى "دين حل العيوب" (Defect Resolution Debt)، والذي يحسب ببساطة عدد المرات التي تتبع فيها محاولة الإصلاح محاولة أخرى لنفس المشكلة. إذا كان الإصلاح مثالياً، يكون العدد صفراً. أما إذا عادت المشكلة، أو إذا تم التراجع عن الإصلاح، فإن العدد يرتفع. طبقوا هذه الطريقة على مجموعة هائلة تضم أكثر من ثلاثة آلاف عيب برمجِي، مقارنين بين الإصلاحات التي قام بها وكيل ذكاء اصطناعي شهير، وهو "GitHub Copilot"، وبين تلك التي قام بها المطورون البشر. للوهلة الأولى، كانت النتائج مذهلة وبدت وكأنها تؤكد سيناريو الحالة الأسوأ. فقد أشار النظام المؤتمت إلى أن إصلاحات الذكاء الاصطناعي تفشل بمعدل أكبر بكثير من إصلاحات البشر. وتحديداً، سُجل للذكاء الاصطناعي انتكاس في 13.5 بالمائة من الحالات، مقارنة بـ 8.2 بالمائة فقط للبشر. وأشارت الأدوات الإحصائية إلى أن هذا الفرق حقيقي وهام، مما يعني أن الذكاء الاصطناعي أقل موثوقية في حل المشكلات بشكل دائم.
ومع ذلك، اشتبه الباحثون في أن الإشارة المؤتمتة كانت مضللة بسبب الطريقة التي يعمل بها الذكاء الاصطناعي، وليس بسبب جودة الكود نفسه. فقرروا النظر عن كثب، متجاوزين العدّ الآلي لفحص التاريخ الفعلي لمائتي مشكلة من هذه المشكلات التي تم رصدها. استعانوا بمراجعين مستقلين لفحص المسار الرقمي لكل حالة، وطرحوا سؤالاً بسيطاً: هل عادت المشكلة حقاً، أم أن الإشارة كانت مجرد سوء فهم لسير العمل؟ وجد المراجعون البشريون أن النظام المؤتمت تعرض للخداع بسبب نمط محدد فريد من نوعه لطريقة عمل الذكاء الاصطناعي. فعندما يحاول الذكاء الاصطناعي إصلاح خطأ ما، فإنه غالباً ما يفتح نسخة "مسودة" من الإصلاح أولاً، ثم يغلقها ويفتح نسخة "نهائية" لاستبدالها. وبالنسبة للعداد الآلي، يبدو هذا كأنه محاولتان منفصلتان، مما يوحي بأن المحاولة الأولى قد فشلت. وفي الواقع، لم يكن الأمر سوى جهد واحد مستمر. وكان نمط "المسودة إلى النسخة النهائية" هذا يحدث مع الذكاء الاصطناعي بشكل أكبر بكثير مما يحدث مع البشر، مما خلق انطباعاً زائفاً بالفشل.
بمجرد أن قام الباحثون بتصحيح هذا الأثر الناتج عن سير العمل، تغيرت القصة تماماً. فعندما أزالوا الحالات التي كان الذكاء الاصطناعي فيها يقوم ببساطة بتنقيح مسودته، تلاشى الفرق بين المجموعتين. أظهرت البيانات المصححة أن الذكاء الاصطناعي لم يكن يفشل بمعدل أكبر من البشر؛ بل في الواقع، اختفى الفارق بين المجموعتين، حيث أصبحت المعدلات المصححة غير قابلة للتمييز إحصائياً. لقد كان الإنذار الأولي مجرد سراب ناتج عن الطريقة التي يكتب بها الذكاء الاصطناعي الكود، وليس بسبب ديمومة الكود نفسه. كما كشفت الدراسة عن مشكلة ثانية: العديد من "الإصلاحات" التي تم عدّها لم تكن في الواقع إصلاحات لعيوب، بل كانت مهاماً مثل تحديث الوثائق أو إضافة ميزات جديدة، والتي صُنفت خطأً كإصلاحات للعيوب في عملية جمع البيانات. وقد أدى هذا إلى تضخيم معدل الخطأ لكلا المجموعتين، لكنه لم يفسر سبب ظهور الذكاء الاصطناعي بمظهر أسوأ من البشر في المقام الأول.
ذهب الباحثون خطوة أبعد لضمان صلابة نتائجهم. فقد ابتكروا طريقة مؤتمتة جديدة للكشف عن أزواج "المسودة إلى النسخة النهائية" وإزالتها عبر كامل مجموعة البيانات، دون الحاجة إلى أعين بشرية لقراءة كل واحدة منها. أكد هذا التصحيح البرمجي نتائجهم اليدوية: انخفض معدل الفشل الظاهري للذكاء الاصطناعي من 13.5 بالمائة إلى 6.5 بالمائة، بينما انخفض معدل البشر قلي التزاماً إلى 7.4 بالمائة. واختفى الفرق ذو الدلالة الإحصائية تماماً. وفي فحص أخير أكثر صرامة، قاموا بمطابقة إصلاحات الذكاء الاصطناعي الفردية مع إصلاحات البشر من نفس المشروع والفترة الزمنية لضمان مقارنة "التفاح بالتفاح" (أي مقارنة أشياء متشابهة). وفي هذه المقارنة المنضبطة بدقة، أشارت البيانات إلى عكس اتجاه النتيجة الأولية، لكن الباحثين أشاروا صراحة إلى أن هذه النتيجة المحددة هي "مولدة للفرضيات" وليست "تأكيدية". وشددوا على أن هذه النتيجة لم تثبت بعد وتتطلب مزيداً من التحقق قبل اعتبارها حكماً نهائياً على الديمومة.
الدرس المستفاد النهائي من هذا العمل ليس حول ما إذا كان الذكاء الاصطناعي أفضل أو أسوأ من البشر في البرمجة، بل حول كيفية قياسنا له. توضح الدراسة أن الرقم الرئيسي المستمد من إشارة مؤتمتة غير مصدق يمكن أن يكون خاطئاً تماماً، وقادراً على قلب الحقيقة رأساً على عقب. إن النتيجة الأولية التي أفادت بأن إصلاحات الذكاء الاصطناعي أكثر عرضة للفشل بمقدار 1.64 مرة لم تكن مجرد مبالغة؛ بل كانت انقلاباً للواقع تسبب فيه عمى في أداة القياس. خلص الباحثون إلى أن إصلاحات الذكاء الاصطناعي ليست أقل ديمومة من إصلاحات البشر، بل قد تكون أكثر ديمومة، لكن إثبات ذلك يتطلب بروتوكول قياس يأخذ في الاعتبار الطرق الفريدة التي تعمل بها وكلاء الذكاء الاصطناعي. توفر الدراسة طريقة مصححة للأبحاث المستقبلية، مما يضمن أنه عندما نقارن ديمومة كود الذكاء الاصطعي وكود البشر، فإننا نعد حالات الفشل الحقيقية، وليس مجرد آثار ناتجة عن نوع جديد من سير العمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.