Beyond Coverage: An Empirical Study of Mutation-Score Proxies for Deep Neural Network Testing
تثبت هذه الورقة تجريبياً أنه في حين تُظهر مقاييس كفاية الاختبار التقليدية وغير الهيكلية ارتباطاً ضعيفاً أو معدوماً مع درجات الطفرات، فإن تشتت الفئات في الفضاء الكامن (LSCD) يعمل كبديل أقوى بكثير وفعال حاسوبياً لتقييم جودة مجموعات بيانات اختبار الشبكات العصبية العميقة مقارنة بتغطية المفاجأة القائمة على مسافة ماهالانوبيس.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تعمل الشبكات العصبية العميقة بمثبع العقل وراء كل شيء، بدءاً من السيارات ذاتية القيادة وصولاً إلى أدوات التشخيص الطبي. تتعلم هذه الأنظمة من خلال دراسة مكتبات ضخمة من الأمثلة، مثل ملايين الصور الفوتوغرافية، حتى تتمكن من التعرف على الأنماط وتقديم التنبؤات من تلقاء نفسها. ومع ذلك، تماماً مثل الطالب الذي درس لامتحان محدد فقط، يمكن للذكاء الاصطناعي أن يفشل فشلاً ذريعاً عندما يواجه شيئاً لم يره من قبل. ولضمان سلامة وموثوقية هذه الأنظمة، يجب على المهندسين اختبارها باستخدام بيانات عالية الجودة لا تغطي السيناريوهات الشائعة فحسب، بل تشمل أيضاً الحالات النادرة والمراوغة المعروفة باسم "الحالات الحدية" (corner cases). ويكمن التحدي في معرفة أي بيانات الاختبار هي الجيدة حقاً. تقليدياً، حاول الباحثون قياس ذلك من خلال عدّ كم عدد الأجزاء الداخلية للذكاء الاصطناعي التي تم تنشيطها أثناء الاختبار، أو عبر التحقق من مدى "المفاجأة" التي أحدثتها صورة جديدة مقارنة بما تعلمه الجهاز بالفعل. ومع ذلك، لم يكن هناك دليل ملموس على أن هذه المقاييس المعيارية تتنبأ حقاً بما إذا كانت مجموعة الاختبار ستكشف عن أخطاء خفية في النظام.
ولحل هذه المشكلة، وضع فريق من الباحثين في جامعة ميونيخ التقنية وشركة إنفينيون تكنولوجيز (Infineon Technologies) نصب أعينهم إيجاد طريقة أفضل لتقييم بيانات الاختبار. لقد بدأوا بمعيار ذهبي للجودة يسمى "درجة الطفرة" (mutation score). تخيل أخذ ذكاء اصطناعي يعمل وإدخال أخطاء واقعية صغيرة عمداً في عملية تدريبه، مما يؤدي إلى إنشاء نسخ معيبة قليلاً من النسخة الأصلية. مجموعة الاختبار عالية الجودة هي تلك التي تنجح في رصد هذه الأخطاء، مما يكشف أن الذكاء الاصطناعي لم يعد يعمل بشكل صحيح. هذه الطريقة دقيقة للغاية ولكنها مكلفة وبطيئة للغاية، لأنها تتطلب إعادة تدريب الذكاء الاصطناعي مئات المرات لإنشاء هذه النسخ المعيبة. أراد الباحثون معرفة ما إذا كانت هناك طريقة أسرع وأرخص للحصول على نفس النتيجة. لقد اختبروا مجموعة متنوعة من أدوات القياس الموجودة مقابل هذا المعيار الذهبي، باستخدام أربعة مجموعات بيانات صور تتراوح من الأرقام المكتوبة بخط اليد البسيطة إلى علامات المرور المعقدة والأجسام المتنوعة.
بدأت الدراسة بوضع الأدوات الأكثر شيوعاً قيد الاختبار. شمل ذلك طرقاً تعد عدد الخلايا العصبية الداخلية التي استجابت في الذكاء الاصطناعي، وأخرى تقيس مدى بُعد الصورة الجديدة عن بيانات التدريب في مساحة رياضية. كانت النتائج واضحة ومخيبة للآمال نوعاً ما بالنسبة للأدوات التقليدية. فالطرق التي عدت التنشيطات الداخلية لم تظهر أي صلة حقيقية بدرجة الطفرة؛ إذ لم تستطع التمييز بين مجموعة اختبار جيدة وأخرى سيئة. وبالمثل، أظهرت الأدوات التي تقيس "المفاجأة" بناءً على المسافة البسيطة أو الاحتمالية ارتباطاً ضعيفاً بالقدرة على اكتشاف الأعطال. باختصار، لم تكن الطرق المعيارية للتحقق من جودة الاختبار تتنبأ بشكل موثوق بما إذا كان الاختبار سيكتشف الأخطاء في نسخها المعيبة.
ثم وجه الباحثون اهتمامهم إلى نهج مختلف: النظر في مدى انتشار صور الاختبار ضمن الفهم الداخلي للذكاء الاصطناعي للعالم. وقارنوا بين طريقتين محددتين لقياس هذا الانتشار. إحدى الطريقتين، وتسمى "تغطية المفاجأة القائمة على مسافة ماهالانوبيس" (Mahalanobis Distance-based Surprise Coverage)، حاولت مراعاة شكل واتجاه تجمعات البيانات، وهي عملية حسابية معقدة تتطلب سعة تخزينية كبيرة. أما الطريقة الأخرى، وهي مقياس جديد طوروه يسمى "تشتت الفضاء الكامن" (Latent Space Class Dispersion)، فقد قامت ببساطة بقياس مدى بُعد صور الاختبار عن مراكز مجموعاتها، دون القلق بشأن الشكل المعقد للبيانات. كانت النتائج مذهلة؛ فقد أظهر المقياس الجديد والأبسط علاقة قوية جداً بدرجة الطفرة. لقد تمكن من التنبؤ بمدى قدرة مجموعة الاختبار على اكتشاف الأعطال بدقة أكبر بكثير من أي طريقة أخرى جربوها.
وبعيداً عن الدقة، بحثت الدراسة أيضاً في السرعة. قام الباحثون بقياس الوقت الذي يستغرقه حساب كل من هذه المقاييس عبر مئات من نماذج الذكاء الاصطناعي ومجموعات البيانات المختلفة. كانت الطرق الهيكلية التقليدية، التي تتطلب النظر داخل كود الذكاء الاصطناعي، بطيئة، خاصة بالنسبة للنماذج المعقدة. وكانت طرق "المفاجأة" القديمة أبطأ، حيث كانت تستغرق أحياناً أياماً للتشغيل على مجموعات البيانات الكبيرة. وفي المقابل، كان مقياس التشتت الجديد سريعاً بشكل ملحوظ؛ فقد أتم حساباته في أقل من ساعة لأكثر مجموعات البيانات تعقيداً، مما يجعله أسرع بنحو عشر مرات من أفضل طريقة هيكلية موجودة، وأسرع بنحو ثمانين مرة من أسرع طريقة "مفاجأة" تقليدية. كما أنه يتطلب ذاكرة حاسوبية أقل بكثير لأنه لا يحتاج إلى تخزين خرائط إحصائية معقدة للبيانات.
ولضمان عدم انحراف نتائجهم بسبب بيانات سيئة، تحقق الفريق أيضاً من جودة "الحالات الحدية" التي قاموا بإنشائها. كانت هذه حالات صور تم إنشاؤها بواسطة برنامج حاسوبي يطبق تلقائياً تغييرات واقعية، مثل الضباب أو التمويه أو الضجيج، لإيجاد مواقف صعبة. وباستخدام مُدقق آلي، أكدوا أن أكثر من 99% من هذه الصور المولدة لا تزال قابلة للتمييز من قبل البشر، مما يثبت أن بيانات الاختبار الصعبة كانت واقعية وليست مجرد ضجيج عشوائي. وقد منحهم هذا التحقق الثقة في أن الارتباط القوي الذي وجدوه بين مقياسهم الجديد ودرجة الطفرة هو ارتباط حقيقي.
تخلص الورقة البحثية إلى أنه بينما لا تزال للطرق القديمة في قياس جودة الاختبار استخداماتها، إلا أنها ليست مؤشرات موثوقة لما إذا كانت مجموعة الاختبار ستكشف عن أعطال حقيقية. إن المقياس الجديد، الذي يقيس ببساطة مدى انتشار بيانات الاختبار حول الفئات التي تعلمها الذكاء الاصطناعي، يقدم بديلاً قوياً. فهو سريع، وسهل الحساب، ويرتبط ارتباطاً وثيقاً بالقدرة على إيجاد الأخطاء. وهذا يشير إلى أن المهندسين يمكنهم الآن تقييم جودة بيانات الاختبار الخاصة بهم دون التكلفة الباهظة لتوليد واختبار مئات من نماذج الذكاء الاصطناعي المعيبة. ومن خلال استخدام هذا المقياس الأبسط، يمكنهم ضمان أن أنظمتهم متينة وجاهزة للواقع، مما يوفر الوقت والموارد مع الحفاظ على معايير سلامة عالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.