Automated Root-Cause Subclassification and No-Code Fix Generation for Invalid Bug Reports
تقدم هذه الورقة تصنيفاً معيارياً لتصنيف تقارير الأخطاء البرمجية غير الصالحة إلى فئات فرعية، وتقيم نهجاً مختلفة للذكاء الاصطناعي، حيث وجدت أن التوليد المعزز بالاسترجاع يتفوق في تحديد السبب الجذري، بينما يعد البحث الويب الوكيل الأكثر فعالية في توليد إصلاحات قابلة للتنفيذ بدون كود.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير ورشة إصلاح تقنية متطورة ومزدحمة. في كل يوم، يترك مئات الأشخاص أجهزتهم، زاعمين أن شيئًا ما مكسور. ولكن إليك المشكلة: الكثير من هذه الأجهزة ليست مكسورة في الواقع.
بعض الناس فقط نسوا توصيلها بالكهرباء (مشكلات في الإعدادات). وبعضهم يطلب ميزة جديدة غير موجودة بعد (طلبات الميزات). والبعض الآخر يحمل الجهاز مقلوبًا ويتساءل لماذا الشاشة مظلمة (خطأ مستخدم). وبعضهم يسأل ببساطة: "كيف أشغل هذا الشيء؟" (أسئلة).
في عالم البرمجيات، تسمى هذه "تقارير الأخطاء غير الصالحة" (Invalid Bug Reports).
المشكلة هي أن فريقك من المهندسين الخبراء (المطورين) يقضون ساعات في محاولة "إصلاح" هذه المشكلات غير الموجودة. الأمر يشبه ميكانيكيًا بارعًا يحاول إعادة بناء محرك بينما السيارة تحتاج فقط إلى بطارية جديدة. هذا هدر للوقت والمال.
تقدم هذه الورقة البحثية "مساعد فرز مدعوم بالذكاء الاصطناعي" (AI-powered Triage Assistant) مصمم لحل هذه المشكلة تحديدًا. وإليك كيف يعمل، مقسمًا ببساطة:
١. الهدف: فرز النفايات عن الكنوز
أراد الباحثون بناء نظام يمكنه النظر فورًا في شكوى وقول:
- "هذا جزء مكسور بالفعل؛ أرسله إلى المهندسين."
- "هذا ليس مكسورًا؛ إليك تعليمات بسيطة حول كيفية إصلاحه بنفسك دون لمس أي أدوات."
يطلقون على هذه التعليمات البسيطة اسم "الإصلاحات بدون كود" (No-Code Fixes). فكر فيها كدليل "جرب إطفاء الجهاز وتشغيله مرة أخرى" أو "تحقق من قائمة الإعدادات"، ولكن يتم إنشاؤها تلقائيًا بواسطة كمبيوتر ذكي.
٢. "كتاب القواعد" الجديد (التصنيف - Taxonomy)
قبل بناء الذكاء الاصطناعي، أنشأ الباحثون كتاب قواعد منظم لتصنيف هذه الشكاوى. فبدلاً من مجرد قول "غير صالح"، قاموا بتصنيفها إلى فئات محددة، مثل:
- "إنه ليس مكسورًا، إنه يعمل كما هو مصمم له" (لقد طلبت ميزة غير موجودة).
- "أنت تستخدم إصدارًا خاطئًا" (أنت تستخدم نسخة قديمة من التطبيق؛ قم بالتحديث!).
- "الخطأ ليس خطأك، بل خطأ شخص آخر" (المشكلة تكمن في تطبيق أو موقع ويب آخر أنت متصل به).
- "لا أستطيع رؤية المشكلة" (لم تزودنا بتفاصيل كافية لإعادة إنتاج الخطأ).
٣. التجربة: ثلاثة "محققين" مختلفين
لمعرفة أي طريقة ذكاء اصطناعي تعمل بشكل أفضل، اختبروا ثلاثة "محققين" مختلفين على مجموعة بيانات من تقارير الأخطاء الحقيقية لمتصفح "Brave" (وهو مشروع مفتوح المصدر شهير).
- المحقق (أ) (النموذج اللغوي الكبير التقليدي - Vanilla LLM): هذا ذكاء اصطناعي ذكي يقرأ الشكوى فقط ويخمن الإجابة بناءً على كل ما تعلمه أثناء تدريبه. إنه يشبه أمين مكتبة واسع المعرفة قرأ كل الكتب، لكنه لم ينظر بعد إلى الرف المحدد الذي تقف أمامه.
- المحقق (ب) (محقق الاسترجاع المعزز - RAG Detective): هذا الذكاء الاصطناعي مُنح عدسة مكبرة وبطاقة مكتبة. قبل أن يخمن، يبحث في تاريخ المشروع الخاص، وتقارير الأخطاء السابقة، والكتيبات الرسمية للعثور على حالات مشابهة. إنه يشبه الميكانيكي الذي يفحص سجل الخدمة الخاص بتلك السيارة المحددة قبل تشخيص المشكلة.
- المحقق (ج) (محقق البحث عبر الويب - Web Search Detective): هذا الذكاء الاصطناعي هو مستكشف. إذا لم يعرف الإجابة، فإنه يخرج إلى الإنترنت المباشر للتحقق من الأخبار الحديثة، أو التحديثات، أو المناقشات حول الخطأ المحدد. إنه يشبه الميكانيكي الذي يتصل بالخط الساخن للشركة المصنعة أو يتحقق من المنتديات عبر الإنترنت ليرى ما إذا تم إصدار تحديث جديد بالأمس.
٤. النتائج: من الفائز؟
وجد الباحثون أن المحققين المختلفين أفضل في مهام مختلفة:
لتصنيف الشكاوى (التصنيف الفرعي):
كان المحقق (ب) (محقق مكتبة RAG) هو الأفضل إجمالًا. فمن خلال الاطلاع على تاريخ المشروع الخاص، كان أفضل قليلاً في معرفة سبب كون التقرير غير صالح. كان بارعًا بشكل خاص في اكتشاف الحالات التي لم يستطع المستخدم فيها إعادة إنتاج الخطأ أو عندما كان يطلب ميزة جديدة.- نقطة الضعف: حتى أفضل المحققين عانى مع تقارير "الإصدار الخاطئ". فمن الصعب على الذكاء الاصطناعي معرفة ما إذا كان الخطأ قد تم إصلاحه في إصدار صدر بالأمس ما لم يكن لديه وصول في الوقت الفعلي.
لكتابة الحل (الإصلاحات بدون كود):
فاز المحقق (ج) (المستكشف عبر البحث الوكيل - Agentic Web Search) هنا. عندما احتاج إلى إخبار المستخدم بكيفية حل مشكلته، سمح له الخروج إلى الويب المباشر بالعثور على أحدث الحلول وطرق العمل المتاحة. لقد كان الأكثر نجاحًا في تقديم إجابة مفيدة وقابلة للتنفيذ للمستخدمين.
٥. الخلاصة الكبرى
تخلص الورقة البحثية إلى أنه لا يمكنك استخدام "ذكاء اصطناعي ذكي" واحد لكل شيء.
- إذا كنت تريد تصنيف مشكلة، فامنح الذكاء الاصطناعي إمكانية الوصول إلى التاريخ الداخلي للشركة (RAG).
- إذا كنت تريد حل مشكلة للمستخدم، فدع الذكاء الاصطناعي يخرج للتحقق من الويب المباشر (البحث الوكيل - Agentic Search).
باستخدام هذه الأدوات، يمكن لـ "ورشة الإصلاح" إرسال تعليمات بسيطة تلقائيًا إلى 40% من العملاء الذين يحتاجون فقط إلى القليل من التوجيه، مما يفرغ المهندسين البشر للتركيز فقط على الأجهزة المكسورة حقًا.
ما لا تدعيه الورقة البحثية:
- هي لا تدعي أن هذا النظام مثالي؛ فهو لا يزال يعاني مع بعض أنواع الأخطاء المحددة (مثل "الإصدار الخاطئ").
- هي لا تدعي أن هذا يعمل لكل شركات البرمجيات في العالم؛ فقد اختبروه خصيصًا على متصفح Brave.
- هي لا تدعي أن موظفي الدعم البشري أصبحوا من الماضي؛ فالهدف هو تقليل عملهم المتكرر، وليس استبدالهم بالكامل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.