Trustworthiness Assessment with Explainable AI: A Comparative Study of LIME, Parzen, and Greedy Explanation Methods on Religious Text and Image Classification
تقيم هذه الدراسة مدى موثوقية طرق التفسير LIME وParzen وGreedy في نماذج تصنيف النصوص والصور الدينية، حيث وجدت أن LIME يتفوق باستمرار على الطرق الأخرى في تحديد الميزات غير الموثوقة ضمن القيود المحددة لمجموعة بيانات النصوص الثنائية والنطاق المحدود للصور.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك بنيت روبوتاً فائق الذكاء يمكنه قراءة آلاف الكتب وإخبارك ما إذا كانت القصة تدور حول نقاش جاد أو احتفال سعيد. إنه يصيب الإجابة الصحيحة في كل مرة تقريباً. لكن المشكلة تكمن في أن هذا الروبوت عبارة عن "صندوق أسود". تسأله: "لماذا اعتقدت ذلك؟" فيكتفي بهز كتفيه؛ فهو لا يعرف كيف يشرح طريقة تفكيره الخاصة. هذه مشكلة ضخمة في عالم الذكاء الاصطناعي (AI). فإذا لم نتمكن من الوثوق في "سبب" اتخاذ الروبوت لقرار ما، خاصة في المواضيع الحساسة مثل الدين أو السياسة، فلا يمكننا حقاً الوثوق بالروبوت نفسه.
ولحل هذه المشكلة، اخترع العلماء أداة تسمى "الذكاء الاصطناعي القابل للتفسير" (XAI). فكر في (XAI) كأنه محقق يقف بجانب الروبوت ويحاول معرفة أي الأدلة استخدمها الروبوت لحل اللغز. هناك طرق مختلفة لتكون هذا المحقق؛ إحدى الطرق هي النظر إلى الصورة الكاملة دفعة واحدة (مثل الخريطة). وطريقة أخرى هي وخز الروبوت بعصا لمعرفة كيف يتفاعل مع التغييرات الصغيرة (مثل اختبار الضغط). السؤال الكبير هو: أي طريقة للمحقق هي الأفضل حقاً في رصد أخطاء الروبوت؟ إذا كان الروبوت يستخدم دليلاً مزيفاً (مثل خطأ مطبعي أو عنوان غريب) لتخمين الإجابة، فنحن نريد من محققنا أن يشير مباشرة إلى ذلك الدليل المزيف ويقول: "مهلاً، لا تثق بهذا!".
هذه الورقة البحثية هي تجربة كبيرة لمعرفة أي طريقة للمحقق تعمل بشكل أفضل. أخذ الباحثون مجموعة اختبار كلاسيكية من النصوص الدينية - بعضها يناقش الإلحاد، والبعض الآخر يناقش المسيحية - ودربوا أربعة أنواع مختلفة من "الروبوتات" (نماذج تعلم الآلة) للتمييز بينها. ثم نصبوا فخاً: لقد زرعوا سراً 25% من الكلمات في بيانات التدريب لتكون "غير موثوقة" (مثل الأدلة المزيفة). ثم طلبوا من ثلاثة أساليب تفسير مختلفة العثور على هذه الفخاخ. كان الهدف هو رؤية أي طريقة يمكنها تحديد الأدلة المزيفة بشكل صحيح دون ارتباك.
كانت النتائج واضحة تماماً. المحقق الأكثر شهرة، المسمى LIME (والذي يعمل عن طريق وخز الروبوت بتغييرات صغيرة)، كان نجماً لامعاً. لقد وجد الأدلة المزيفة بشكل مثالي تقريباً، محققاً درجة تقارب الـ 99% إلى 100% في اختباره. كان الأمر أشبه بمحقق يمكنه شم رائحة الكذب من ميل كامل.
ومع ذلك، كان لدى المحققين الآخرين عيوب مضحكة. أحد الأساليب، المسمى Greedy، كان شديد التدقيق. لقد كان جيداً جداً في التأكد من الدليل الواحد الذي وجده لدرجة أنه لم يخطئ أبداً (دقة 100%)، ولكنه كان كسولاً جداً لدرجة أنه توقف عن البحث بعد العثج لشيء واحد فقط. ولأنه فاتته جميع الأدلة المزيفة الأخرى، فقد فشل في الاختبار الإجمالي (استدعاء 6% إلى 7% فقط). كان الأمر أشبه بمحقق وجد بصمة إصبع واحدة وأعلن حل القضية، متجاهلاً بقية مسرح الجريمة. أما الطريقة الأخرى، Parzen، فقد كانت جيدة ولكنها لم تكن بحدة LIME.
حاول الباحثون أيضاً تجربة ذلك على صور للقطط. استخدموا LIME لتسليط الضوء على الأجزاء التي كان الكمبيوتر ينظر إليها في وجه القطة. ووجدوا أنه إذا لم ينظروا إلى عدد كافٍ من الزوايا المختلفة (العينات)، فإن تفسير الكمبيوتر يكون مهتزاً ومتذبذباً. ولكن إذا نظروا إلى 1000 زاوية مختلفة، يصبح التفسير مستقراً ويركز مباشرة على عيني القطة وأنفها.
في النهاية، تشير الورقة البحثية إلى أنه بالنسبة لهذا النوع المحدد من ألغاز النصوص، فإن LIME هو الأداة الأكثر موثوقية لدينا في الوقت الحالي. إنه بارع في اكتشاف ما إذا كان النموذج يغش باستخدام أدلة سيئة. لكن المؤلفين يحذروننا من الحماس المفرط بعد؛ فقد اختبروا هذا على النصوص وبعض الصور فقط، واستخدموا طريقة محددة لتحويل الكلمات إلى أرقام. لذا، بينما يبدو LIME فائزاً هنا، لا نزال بحاجة إلى رؤية ما إذا كان سيعمل بنفس الكفاءة على أنواع أخرى من البيانات أو مشكلات أكثر تعقيداً. ولكن في الوقت الحالي، إذا كنت بحاجة إلى معرفة سبب اتخاذ الكمبيوتر لقرار بشأن نص ديني، فإن LIME هو أفضل كشاف ضوئي نملكه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.