\textsc{TestifAI}: Tomography-Based Testing for Deep Learning Systems
تقدم الورقة البحثية TestifAI، وهو إطار عمل جديد لاختبار التعلم العميق يستخدم التصوير المقطعي الجزئي للنماذج لتقدير متانة النموذج بكفاءة ودقة ضد التوليفات المعقدة من الاضطرابات الدلالية عن طريق إعادة بناء نتائج الاختبار من الرتب العليا من مجموعة مختزلة بشكل كبير من اختبارات الرتب الدنيا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد البرمجيات الحديثة بشكل متزايد على الذكاء الاصطنا lẫn لاتخاذ القرارات في البيئات عالية المخاطر، بدءاً من توجيه المركبات ذاتية القيادة عبر شوارع المدينة إلى مساعدة الأطباء في تفسير الصور الطبية أو تقديم الدعم للأشخاص الذين يعانون من مشاكل في الصحة العقلية. هذه الأنظمة، المبنية على نماذج التعلم العميق، بارعة للغاية في التعرف على الأنماط، لكنها تمتلك جانباً هشاً: إذ يمكن أن ترتبك بسهولة بسبب تغييرات طفيفة في مدخلاتها. فقد تفشل سيارة ذاتية القيادة في التعرف على علامة "قف" إذا تغيرت الإضاءة قليلاً، أو قد ينتج برنامج ترجمة نصوص كلاماً غير مفهوم إذا أُعيدت صياغة الجملة بطريقة شائعة. ولأن هذه الأنظمة تُنشر في العالم الحقيقي، حيث لا تكون الظروف مثالية أبداً، يجب على المهندسين اختبارها بصرامة لضمان بقائها آمنة وموثوقة. وتكمن التحديات في التعقيد الهائل للعالم الحقيقي؛ فقد يتعامل النموذج مع مشكلة واحدة، مثل صورة ضبابية، بكل سهولة، ولكنه قد ينهار عندما يواجه مزيجاً من المشكلات، مثل صورة ضبابية ملتقطة أثناء هطول المطر بينما تتحرك السيارة بسرعة. إن اختبار كل توليفة ممكنة من هذه المشكلات أمر مستحيل عملياً لأن عدد السيناريوهات ينمو بسرعة كبيرة بحيث لا يمكن لأي حاسوب فحصها جميعاً في حياة بشرية واحدة.
لقد طور باحثون في جامعة نورث إيسترن لندن وجامعة كنت نهجاً جديداً لهذه المشكلة يسمى "TestifAI"، والذي يقدم وسيلة للتنبؤ بكيفية تصرف أنظمة الذكاء الاصطناعي هذه في المواقف المعقدة التي تتضمن مشكلات متعددة، دون الحاجة إلى إجراء كل اختبار على حد. وبدلاً من محاولة محاكاة كل سيناريو كارثي محتمل، يعامل الفريق عملية الاختبار كشكل من أشكال التصوير الطبي، وتحديداً تقنية تُعرف باسم "التصوير المقطعي". في الطب، ينشئ التصوير المقطعي صورة ثلاثية الأبعاد مفصلة لداخل الجسم عن طريق أخذ سلسلة من المقاطع الشعاعية ثنائية الأبعاد من زوايا مختلفة. وبالمثل، يقوم نظام "TestifAI" بإعادة بناء صورة كاملة لموثوقية نموذج الذكاء الاصطناعي من خلال إجراء عدد محدود من الاختبارات التي تتضمن مشكلة واحدة أو اثنتين فقط في كل مرة. ومن خلال تحليل كيفية استجابة النموذج لهذه التحديات البسيطة والمعزولة، يتعلم النظام كيفية التنبؤ بأدائه عندما تحدث ثلاث أو أربع مشكلات في وقت واحد.
اختبر الباحثون هذه الطريقة على خمس مهام مختلفة، بما في ذلك التعرف على الأرقام المكتوبة بخط اليد، وتحديد الأشياء في مشاهد المرور، والإجابة على أسئلة من قاعدة بيانات نصية ضخمة. وقد اختاروا أنواعاً محددة من الاضطرابات، مثل تغيير سطوع الصورة، أو إضافة ضجيج إلى الصوت، أو استبدال الكلمات بمرادفات، وحددوا لها مستويات مختلفة من الشدة، من الخفيف إلى الشديد. في النهج التقليدي، لفهم كيفية تعامل النموذج مع ثلاثة أنواع مختلفة من الاضطرابات بمستويات متفاوتة، سيتعين عليك إجراء آلاف الاختبارات المنفصلة لتغطية كل توليفة. ومع ذلك، فإن "TestifAI" يقوم فقط بإجراء الاختبارات للاضطرابات الفردية والاضطرابات المزدوجة، ثم يستخدم برنامجاً حاسوبياً ثانوياً، تم تدريبه على نتائج هذه الاختبارات الأبسط، لتقدير نتيجة السيناريوهات الأكثر تعقيداً بكثير.
أظهرت النتائج أن هذه الطريقة التنبؤية دقيقة للغاية. فعندما قارن الباحثون التنبؤات التي قدمها "TestifAI" بالنتائج الفعلية لإجراء كل الاختبار الممكنة، كان الفرق ضئيلاً، حيث بلغ معدل الخطأ الإجمالي أقل من سبعة بالمائة. وهذا يعني أن النظام يمكنه إخبار المهندسين بموثوقية ما إذا كان النموذج سيفشل تحت تأثير مزيج معين من الطقس السيئ، وضجيج المستشعرات، وضبابية الحركة، دون الحاجة فعلياً لمحاكاة تلك الرحلة العاصفة والمضطربة. علاوة على ذلك، كانت الطريقة فعالة للغاية؛ فمن خلال تجنب الحاجة إلى تشغيل المجموعة الكاملة من الاختبارات، قلل الباحثون من عدد المرات التي يتعين فيها على الذكاء الاصطناعي معالجة البيانات بنسبة تتراوح بين ستين وثمانين بالمائة. وفي إحدى الحالات، اكتمل اختبار كان سيستغرق ما يقرب من ثمان وأربعين ساعة باستخدام الطريقة القديمة في جزء بسيط من ذلك الوقت باستخدام "TestifAI".
كما تناولت الدراسة مصدر قلق بالغ: وهو ما إذا كانت توليفات المشكلات التي تم إنشاؤها للاختبار واقعية. ووجد الباحثون أنه يمكنهم استخدام نفس التقنية التنبؤية لتقدير جودة البيانات المدخلة نفسها. على سبيل المثال، يمكنهم التنبؤ بما إذا كان مزيج من تشوهات الصور سيجعل الصورة مشوهة لدرجة أنها لم تعد تبدو كمشهد شارع حقيقي. وهذا يسمح للمهندسين بتصفية حالات الاختبار غير الواقعية والتركيز فقط على السيناريوهات التي من المرجح حدوثها في العالم الحقيقي. ويشير العمل إلى أن سلوك نماذج الذكاء الاصطناعي المعقدة هذه ليس عشوائياً تماماً؛ فحتى عندما تتفاعل عدة مشكلات، غالباً ما تتبع استجابة النموذج أنماطاً يمكن تعلمها من الملاحظات الأبسط.
ورغم قوة هذه الطريقة، إلا أن الباحثين حذرون في تحديد حدودها. فهي تعمل بشكل أفضل عندما تكون المشكلات التي يتم اختبارها محددة بوضوح ويمكن ضبطها في خطوات، مثل تغيير سطوع الصورة من مستوى إلى آخر. وهي أقل ملاءمة للاختبار ضد التغيرات غير المتوقعة للغاية أو المستمرة التي لا تندرج تحت فئات محددة. بالإضافة إلى ذلك، تعتمد دقة التنبؤات على الافتراض بأن رد فعل النموذج تجاه مجموعة من المشكلات يتحدد إلى حد كبير من خلال كيفية تفاعله مع الأجزاء الفردية. وإذا كان لدى النموذج رد فعل خفي ومعقد لا يظهر إلا عند وقوع ثلاث مشكلات محددة في آن واحد، فقد يغفل النظام عن ذلك، رغم أن الباحثين وجدوا أن هذا الأمر نادر في تجاربهم.
في نهاية المطاف، يمثل "TestifAI" تحولاً في طريقة تفكيرنا في اختبار سلامة الذكاء الاصطناعي. فبدلاً من النظر إلى الاختبار كعملية "قوة غاشمة" للتحقق من كل خانة، فإنه يعامل المشكلة كمسألة تعرف على الأنماط والتنبؤ بها. ومن خلال فهم اللبنات الأساسية للفشل، يمكن للمهندسين توقع كيفية صمود النظام تحت ضغط البيئة الواقعية الفوضوية. لا يضمن هذا النهج عدم فشل الذكاء الاصطناعي أبداً، ولكنه يوفر وسيلة عملية وفعالة لرسم خارطة طريق للإخفاقات المحتملة، مما يساعد المطورين على بناء أنظمة قوية بما يكفي للتنقل عبر تعقيدات العالم الذي صُممت لخدمته.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.