Decided or Open? Comparing Program Repair Techniques When Patch Correctness Is Unknown
تقترح هذه الورقة إطار عمل "مُحسم أو مفتوح" لمقارنة تقنيات إصلاح البرامج الآلية في ظل عدم اليقين عبر حساب النطاق الكامل لفروق معدلات النجاح المحتملة، مما يمكّن الباحثين من تحديد المقارنات التي يمكن حسمها بمزيد من الاختبار، ويكشف عن التباينات الكبيرة في موثوقية نتائج الاختبار المؤرشفة عبر النماذج المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم البرمجيات، تتعطل البرامج حتماً. فعندما يفشل جزء من الكود في القيام بما يُفترض به القيام به، يجب على المطور العثور على الخطأ وكتابة نسخة جديدة من الكود لإصلاحه. هذه العملية بطيئة وصعبة، لذا قضى الباحثون عقوداً في محاولة بناء برامج حاسوبية يمكنها القيام بالإصلاح تلقائياً. تقوم هذه الأدوات المؤتمتة بفحص برنامج معطل، وتوليد آلاف الحلول الممكنة، ومحاولة اختيار الحل الذي يعمل. ولمعرفة ما إذا كانت هذه الأدوات تتحسن، يقارن العلماء بينها؛ حيث يقومون بتشغيل الأدوات على مجموعة من البرامج المعطلة المعروفة ويعدّون عدد المرات التي تنتج فيها كل أداة إصلاحاً صحيحاً. ولكن هناك مشكلة خفية في هذه المقارنة: فغالباً لا يعرف العلماء في الواقع ما إذا كان الإصلاح المُولد صحيحاً أم لا. قد يجتاز الإصلاح الاختبارات التي يشغلها الحاسوب، لكن هذا لا يضمن صحته؛ فقد يكون مجرد "كذبة ذكية" تصادف أنها تعمل مع الأسئلة المحددة المطروحة. وبدون وجود بشري للتحقق من العمل، تظل العديد من الإصلاحات في منطقة رمادية، تُصنف لا كصحيحة ولا خاطئة.
هذا اليقين يجعل من المستحيل القول بيقين أي أداة إصلاح مؤتمتة هي الأفضل حقاً. فإذا تمت مقارنة أداتين، وكانت النتيجة تعتمد على حفنة من الإصلاحات غير المتحقق منها، فقد يكون الفائز مجرد ضربة حظ. يتصدى بحث جديد أجراه سدنان نافيس من جامعة براك (BRAC University) لهذه المشكلة مباشرة. فبدلاً من محاولة تخمين الإجابة لكل إصلاح غير متحقق منه، طور الباحث طريقة لقياس نطاق النتائج المحتملة. وقد طرح سؤالاً بسيطاً ولكنه قوي: بالنظر إلى المعلومات المتوفرة لدينا بالفعل، هل الفائز في المقارنة محدد، أم أنه يعتمد كلياً على الإصلاحات المجهولة؟ ومن خلال حساب أفضل سيناريو وأسوأ سيناريو لكل قيمة ممكنة للمعلومات المفقودة، تحدد الدراسة ما إذا كانت المقارنة "محسومة" أو "مفتوحة". وتعني المقارنة المحسومة أنه بغض النظر عن كيفية ظهور الإصلاحات المجهولة، فإن الأداة نفسها هي التي تفوز. أما المقارنة المفتوحة، فتعني أن الفائز يمكن أن يتغير بناءً على البيانات المفقودة.
طبق البحث هذه الطريقة على أرشيف ضخم من محاولات الإصلاح يتضمن ما يقرب من 55,000 إصلاح مرشح لـ 488 خطأً مختلفاً. ووجد الباحثون أنه بالنسبة لمعظم المقارنات بين أداة ذكية تعتمد على التعلم وأدواتها المنافسة الأبسط، كانت الإجابة محسومة بالفعل بالبيانات التي لديهم. وفي اثنتي عشرة حالة من أصل ست عشرة حالة، كانت الأداة المتعلمة أفضل بوضوح، وظل هذا الاستنتاج قائماً حتى لو تبين أن كل إصلاح مجهول كان خاطئاً. ومع ذلك، ظلت أربع مقارنات مفتوحة، مما يعني أن الفائز يعتمد على الإصلاحات غير المتحقق منها. ثم أضاف الباحثون المزيد من الأدلة، حيث قاموا بتشغيل الكود مرة أخرى وطلبوا من البشر مراجعة الحالات الصعبة. هذا العمل الإضافي حسم جميع المقارنات الست عشرة، مؤكداً أن الأداة المتعلمة كانت هي الفائزة في كل الحالات. لكن الدراسة كشفت أيضاً أن هذه الانتصارات الأربعة كانت هشة؛ فلو تغيرت تسمية عدد قليل فقط من البيانات الجديدة، لتغيرت النتائج.
جاء أحد الاكتشافات الأكثر إثارة للدهشة من فحص موثوقية نظام الاختبار نفسه. لاحظ الباحثون أن نظام الاختبار يفشل أحياناً في العمل بشكل صحيح، مما يؤدي إلى وسم إصلاح صحيح على أنه فاشل. ولضبط ذلك، بحثوا في الحالات التي أنتج فيها الحاسوب نسخة مطابقة تماماً للإصلاح الأصلي للمطور البشري. وبما أن هذه النسخة معروفة بأنها صحيحة، فينبغي أن تجتاز كل الاختبارات. وإذا سجل النظام فشلها، فهذا يعني أن النظام معطل. ووجدوا أن هذا يحدث بمعدلات متفاوتة تماماً اعتماداً على نموذج الذكاء الاصطناعي الذي يتم اختباره. فبالنسبة لنموذج شائع، رفض النظام النسخة الصحيحة بنسبة 33.5% من الحالات، بينما في نموذج آخر، حدث ذلك بنسبة 2.5% فقط. وهذا يعني أن نظام الاختبار كان يعاقب أحد النماذج بشكل غير عادل، ليس لأن النموذج أسوأ، بل لأن نظام الاختبار كان أكثر عرضة للوقوع في الأخطاء عند التعامل معه.
كما قدمت الدراسة طريقة للتنبؤ بقيمة التجارب المستقبلية قبل بدئها حتى. وبما أن تشغيل الاختبار يمكنه فقط إثبات خطأ الإصلاح، لكنه لا يمكنه أبداً إثبات صحته، أدرك الباحثون أن بعض المقارنات لا يمكن حسمها بالاختبار وحده. فإذا كانت أفضل نتيجة ممكنة لحملة اختبار هي التعادل، فإن إجراء المزيد من الاختبارات هو مضيعة للوقت. لقد ابتكروا "فحصاً مسبقاً" ينظر في البيانات الحالية ويخبر الباحثين بالضبط أي المقارنات يمكن لحملة اختبار جديدة أن تحسمها. وفي تجربة واقعية، نشروا تنبؤاتهم لحملة اختبار قادمة مسبقاً، وقد صدقت كل التنبؤات: حدد الفحص بشكل صحيح المقارنات التي سيتم حسمها والتي ستظل مفتوحة، مما وفر على الباحثين ساعات من التجار تجري نتائج لن تغير النتيجة النهائية.
تشير النتائج إلى أن مجال الإصلاح التلقائي يحتاج إلى تغيير طريقة عرض النتائج. فبدلاً من تقديم رقم واحد يوحي بأن جميع البيانات معروفة، ينبغي للباحثين تقديم نطاق الاحتمالات. هذا النهج يفصل الاستنتاجات الراسخة عن تلك المهتزة؛ فهو يوضح أنه بينما توجد أدوات متفوقة بوضوح، فإن غيرها قريب جداً من أن يُحسم أمره دون مزيد من الأدلة. كما يسلط الضوء على أن الأدوات المستخدمة لقياس النجاح ليست مثالية ويمكن أن تقدم تحيزاً يفضل نموذجاً على آخر. ومن خلال استخدام هذه الفحوصات الجديدة، يمكن للعلماء تركيز جهودهم على المقارنات التي تحتاج فعلياً إلى مزيد من البيانات، بدلاً من مطاردة النتائج التي حُسمت بالفعل أو التي يستحيل تحديدها. إن هذا العمل لا يحل مشكلة العثور على الإصلاح المثالي، ولكنه يوفر خريطة واضحة لمكان وجود الحقيقة ومكان بقائها مخفية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.