ملخص تقني: توسيع نطاق نماذج الرؤية لا يحسن جودة التفسير القائم على التوطين بشكل مستمر

بيان المشكلة

بينما يتم توسيع نطاق نماذج الذكاء الاصطنا-عي لتعزيز دقة التنبؤ، لا يزال من غير الواضح ما إذا كان زيادة عمق النموذج وعدد المعلمات يؤدي إلى تحسين جودة التفسيرات اللاحقة (post-hoc). في المجالات الحساسة للسلامة مثل الرعاية الصحية والتمويل، تعد الشفافية أمراً بالغ الأهمية؛ ومع ذلك، فإن الشبكات العصبية العميقة (CNNs و Vision Transformers) غالباً ما تعمل كـ "صناديق سوداء". هناك افتراض سائد يشير إلى أن النماذج الأكبر تتعلم سمات ذات بنية دلالية أقوى، مما قد يؤدي إلى تفسيرات تتوافق بشكل أفضل مع التفسيرات البشرية. تتحدى هذه الدراسة هذا الافتراض من خلال التحقيق فيما إذا كان توسيع نطاق العمق المعماري وعدد المعلمات يؤدي باستمرار إلى تفسيرات بصرية عالية الجودة، وتحديداً فيما يتعلق بقدرتها على توطين المناطق ذات الصلة في الصورة.

المنهجية

أجرى المؤلفون تقييماً تجريبياً شاملاً شمل 11 نموذجاً للرؤية الحاسوبية عبر ثلاث عائلات متميزة: ResNet و DenseNet و Vision Transformers (ViT). تباينت النماذج في عمقها وتعقيدها، بدءاً من ResNet-18 إلى ResNet-101، ومن DenseNet-121 إلى DenseNet-201، ومن ViT-B/16 إلى ViT-L/16. شملت الدراسة كلاً من النماذج المدربة من الصفر وتلك التي تستخدم أوزانًا مدربة مسبقاً (ImageNet-1k، CheXpert، ImageNet-21k).

مجموعات البيانات:
أجريت التجارب على ثلاث مجموعات بيانات مع أقنعة تقسيم (segmentation masks) حقيقية:

1. COVID-QU-Ex: صور أشعة سينية للصدر للكشف عن كوفيد-19.
2. Oxford-IIII Pet: صور حيوانات لتوطين الأشياء.
3. Chest X Pneumothorax: صور أشعة سينية للصدر للكشف عن استرواح الصدر.

طرق الذكاء الاصطناعي القابل للتفسير (XAI):
تم تطبيق خمس طرق تفسير لاحقة لتوليد خرائط التنبيه (saliency maps):

• خرائط التنبيه (Saliency Maps)
• GradientSHAP
• التكامل المتدرج (Integrated Gradients)
• تبديل الميزات (Feature Permutation)
• Grad-CAM (المكيف لنماذج ViT)

مقاييس التقييم:
تم قياس جودة التفسير من خلال قياس مدى التوافق بين خرائط الإسناد المولدة وأقنعة الحقيقة الأرضية باستخدام مقياسين:

1. دقة رتبة الصلة (RRA): يقيس نسبة بكسلات الإسناد ذات الرتبة الأعلى التي تقع داخل قناع الحقيقة الأرضية.
2. دقة القطبية المزدوجة (DPP): مقياس جديد اقترحه المؤلفون. على عكس التقييمات التي تعتمد على المقدار فقط، يقيس DPP صراحة الدقة المكانية لكل من الإسنادات الإيجابية (الأدلة الداعمة داخل القناع) والإسنادات السلبية (الأدلة المضادة خارج القناع). وهو يعاقب التفسيرات التي تحتوي على أدلة متناقضة أو ضوضاء في الخلفية.

التحليل الإحصائي:
استخدمت الدراسة اختبارات Kruskal-Wallis H واختبارات Mann-Whitney U مع تصحيح Benjamini-Hochberg لتقييم الأهمية الإحصائية عبر مقاييس النماذج وأنظمة التدريب المسبق. كما تم تقييم الأمانة (Fidelity) عبر فحوصات سلامة تتضمن عشوائية الأوزان على مستوى الطبقات وعشوائية بكسلات المدخلات.

المساهمات الرئيسية

1. تقييم منهجي للنطاق: فحص المؤلفون العلاقة بين تعقيد النموذج (عدد المعلمات) وأداء التصنيف عبر 11 بنية معمارية وثلاث مجموعات بيانات.
2. تكميم تأثير التدريب المسبق: كممت الدراسة كيف يؤثر التدريب المسبق على جودة تفسير XAI، من خلال مقارنة النماذج المدربة من الصفر بنظيراتها المدربة مسبقاً.
3. تقديم دقة القطبية المزدوجة (DPP): تقدم الورقة مقياس DPP لمعالجة القيود في المقاييس الحالية من خلال تقييم الدقة المكانية لكل من الإسنادات الإيجابية والسلبية، مما يضمن معاقبة التفسيرات على ضوضاء الخلفية المتناقضة.
4. أدلة تجريبية على التباعد: تقدم الدراسة دليلاً على أن الأداء التنبئي وجودة التفسير يمكن أن يتباعدا، مشيرة إلى سيناريوهات تحقق فيها النماذج دقة عالية ولكن بدقة توطين تقترب من الصفر.

النتائج

نطاق النموذج وجودة التفسير:
عبر جميع مجموعات البيانات وطرق XAI، لم يؤدِ زيادة العمق المعماري وعدد المعلمات إلى تحسين جودة التفسير بشكل مستمر.

• في المقارنات الإحصائية، لم تتفوق النماذج الأكبر (مثل ResNet-101، DenseNet-201، ViT-L/16) بشكل منهجي على النسخ الأصغر (مثل ResNet-18، DenseNet-121، ViT-B/16).
• في الحالات التي وجدت فيها فروق ذات دلالة إحصائية، كانت النماذج الأصغر تضاهي أو تتفوق على أداء النماذج الأكبر في 34% من المقارنات، بينما حقق أكبر نموذج أعلى درجة في 12% فقط.
• كانت أحجام التأثير (effect sizes) المتعلقة باختلافات النطاق ضئيلة أو صغيرة عادةً.

تأثير التدريب المسبق:
حسن التدريب المسبق الأداء التنبئي بشكل عام، ولكنه لم يرفع درجات التوطين (RRA أو DPP) بشكل مستمر.

• بينما أظهرت النماذج المدربة مسبقاً اعتماداً أقوى على الأوزان المتعلمة (كما يتضح من زيادة التدهور تحت عشوائية الطبقات) وحساسية أعلى لهيكل المدخلات، إلا أن هذا لم يترجم إلى مكسب منهجي في مقاييس التوطين.
• في العديد من المقارنات الهامة، كان أداء النماذج المدربة من الصفر مساوياً للنماذج المدربة مسبقاً أو أفضل منها.

الأداء التنبئي مقابل جودة التفسير:
كانت النتيجة الحاسمة هي انفصال الدقة عن القابلية للتفسير. في مجموعة بيانات Chest X Pneumothorax، حققت النماذج أداءً تصنيفياً معقولاً (AUC ~0.77–0.87) بينما أنتجت درجات توطين تقترب من الصفر. يشير هذا إلى أنه يمكن تحقيق دقة عالية من خلال الاعتماد على الارتباطات الزائفة أو عيوب عملية الاستحواذ بدلاً من المناطق التشريحية المحددة.

فحوصات السلامة:

• عشوائية الطبقات: أظهرت النماذج الأعمق، وخاصة المدربة مسبقاً، تدهوراً أكبر عند عشوائية الأوزان، مما يشير إلى اعتماد أقوى على المعلمات المتعلمة بدلاً من مجرد بنية الشبكة.
• عشوائية المدخلات: أظهرت معظم الطرق القائمة على التدرج حساسية منخفضة لتبديل البكسلات، رغم أن Grad-CAM أظهر تحولات أكبر. أظهرت النماذج المدربة مسبقاً عموماً حساسية أعلى لتغيرات هيكل المدخلات مقارنة بالنماذج المدربة من الصفر.

الأهمية والادعاءات

تخلص الورقة إلى أن النماذج الأكبر لا توفر تفسيرات عالية الجودة بشكل موثوق. إن الافتراض بأن توسيع نطاق النماذج يحسن بطبيعته المحاذاة الدلالية لخرائط التنبيه لا تدعمه البيانات. وبدلاً من ذلك، غالباً ما توفر النماذج الأصغر تفسيرات تتوافق بقدر جيد أو أفضل من نظيراتها الأكثر عمقاً.

يجادل المؤلفون بضرورة تقييم القابلية للتفسير بشكل صريح أثناء اختيار النموذج، خاصة بالنسبة للانتشارات الحساسة للسلامة. فالاعتماد فقط على الدقة التنبئية غير كافٍ، حيث يمكن للنماذج تحقيق أداء عالٍ بينما تفشل في توطين مناطق الاهتمام المقصودة. يوفر تقديم دقة القطبية المزدوجة (DPP) طريقة أكثر صرامة لتقييم هذه التفسيرات من خلال مراعاة كل من الأدلة الداعمة والمضادة.

تؤكد الدراسة على ضر أن تأخذ إجراءات اختيار النماذج في الاعتبار التكاليف الحسابية والمتطلبات التشغيلية جنباً إلى جنب مع الأداء، حيث يمكن للنماذج الأصغر أن توفر جودة تفسير مماثلة مع متطلبات موارد أقل بكثير. تشير النتائج إلى أنه في حالات الإفراط في تخصيص المعلمات (over-parameterized settings)، قد يتباعد الأداء التنبئي والقابلية للتفسير، مما يستوجب التقييم الصريح لأمانة التفسير بدلاً من افتراض تحسنها مع النطاق.