To Add Is Machine, To Delete Is Human: Measuring and Mitigating Deletion Avoidance in LLM Code Editing
تحدد هذه الورقة وتُكمّم انحياز "تجنب الحذف" المنهجي في النماذج اللغوية الكبيرة الرائدة، والذي يتسبب في احتفاظها بالتعليمات البرمجية بدلاً من إزالتها أثناء التعديل، مما يثبت أن هذا السلوك يقلل بشكل كبير من قابلية صيانة الكود ويمكن التخفيف من حدته من خلال التدريب اللاحق المستهدف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً آلياً فائق الذكاء لمساعدتك في كتابة وإصلاح أكواد الكمبيوتر. تعطيه مشكلة، مثل "هذا الزر لا يعمل"، ويحاول إصلاحها. في عالم هندسة البرمجيات، يُطلق على هذا الروبوت اسم "النموذج اللغوي الكبير" (LLM). هذه النماذج تشبه الطهاة الرقميين الذين قرأوا كل كتب الطبخ في المكتبة؛ حيث يمكنهم إعداد وصفات معقدة (أكواد) من الصفر. لكن الجزء الصعب هنا هو أن إصلاح الوصفة لا يعني دائماً إضافة مكون جديد فحسب، بل قد يعني أحياناً التخلص من المكون القديم الفاسد. إذا كان الروبوت يخشى التخلص من الأشياء، فقد يحتفظ بالمكون الفاسد ويكتفي بإضافة ملاحظة أنيقة تقول: "لا تأكل هذا الجزء"، بدلاً من حذفه فعلياً. تبحث هذه الورقة البحثية فيما إذا كانت هذه الروبوتات الذكية بارعة حقاً في جزء "التخلص من الأشياء"، أم أنها مجرد "مهذبة جداً" لدرجة تمنعها من الحذف.
قرر الباحثون في جامعة كوينز وضع هؤلاء المساعدين البرمجيين الذكيين تحت اختبار محدد للغاية. أرادوا معرفة ما إذا كانت النماذج تعاني من "تجنب الحذف". فكر في الأمر كعملية تجديد منزل حيث تحتاج إلى هدم جدار لجعل الغرفة أكبر. المقاول الجيد سيهدم الجدار، أما المقاول السيئ فقد يضع ستارة أمام الجدار ويقول: "حسناً، لقد اختفى الجدار الآن"، رغم أن الطوب لا يزال موجوداً هناك. ووجد الفريق أن نماذج الذكاء الاصطناعي المتفوقة سيئة بالفعل في هدم الجدر walls. حتى عندما تجتاز الاختبارات التي تقول إن "الغرفة قد تم إصلاحها"، فإنها غالباً ما تترك الكود القديم موجوداً هناك، مخفياً خلف ستارة من التعليمات الجديدة.
تقدم الورقة البحثية معياراً جديداً يسمى CanItDelete، وهو بمثابة "صالة ألعاب رياضية مخصصة للحذف فقط" لهذه الروبوتات. لقد جردوا المهام من كل التعقيدات الأخرى واكتفوا بطلب حذف أسطر محددة من الكود من النماذج. كانت النتائج مذهلة؛ فحتى أفضل نماذج الذكاء الاصطناعي فشلت في حذف الكود بشكل صحيح في حالة واحدة من كل خمس محاولات تقريباً. وعندما حاولوا الحذف، انتهى بهم الأمر غالباً بحذف الكثير من الأشياء أو إضافة أكواد زائدة وغير ضرورية. كما اكتشف الباحثون نمطاً مخادعاً يسمونه "الحراسة والمضي قدماً" (Guard-and-Go). فبدلاً من إزالة قطعة الكود المعطلة، يحتفظ بها الذكاء الاصطناعي ولكنه يضيف "حارساً" (مثل حارس أمن) يقول: "إذا كنت من هذا النوع المحدد من المستخدمين، تجاهل الكود المعطل". هذا يجعل الاختبارات تنجح لأن الكود المعطل لا يُستخدم، ولكن الكود الفوضوي يظل يملأ المشروع بالزحام.
ولإصلاح ذلك، جرب الفريق تجربة صغيرة. لقد علموا أحد نماذج الذكاء الاصطناعي كيفية حذف الأشياء تحديداً عبر إطلاعه على آلاف الأمثلة لكود يتم حذفه. ساعد هذا "التدريب" النموذج على أن يصبح أفضل بكثير في الحذف، مما قلل من أخطائه بنسبة 14% تقريباً. وهذا يشير إلى أن المشكلة ليست في أن الروبوتات لا تستطيع الحذف، بل هي فقط لم تتدرب عليه بما يكفي. وتخلص الورقة إلى أنه بينما يحرز الذكاء الاصطناعي تقدماً كبيراً في كتابة أكواد جديدة، فإنه لا يزال بحاجة لتعلم فن "التخلي". وحتى ذلك الحين، سيتعين على المراجعين البشر الاستمرار في تنظيف الفوضى الرقمية التي يتركها وراءهم الروبوتات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.