ملخص تقني: الكناية في نماذج الرؤية تقوض التفسير القائم على الانتباه

1. تعريف المشكلة

تتناول الورقة خللاً حرجاً في قابلية التفسير لنماذج الرؤية في التعلم العميق الحديثة، وتحديداً تلك التي تعتمد على الاستدلال القائم على الأجزاء (part-based reasoning) وآليات الانتباه (attention mechanisms). تعمل العديد من النماذج المصممة لتكون قابلة للتفسير، مثل نماذج عنق الزجاجة المفاهيمية (CBMs) والشبكات المركزية على الأجزاء، تحت افتراض الموضعية (locality assumption): وهو افتراض أن التمثيل الكامن لجزء معين من جسم ما (مثل جناح طائر) يشفر بشكل أساسي معلومات حول ذلك الجزء المحدد من الصورة.

يجادل المؤلفون بأن هذا الافتراض غالباً ما يتم انتهاكه بواسطة نماذج Vision Transformers (ViTs) سابقة التدريب الحديثة. فبسبب مجالات الاستقبال الواسعة لهذه البنى، غالباً ما يشفر التمثيل الكامن لجزء واحد معلومات عن الجسم بأكمله. يطلق المؤلفون على هذه الظاهرة اسم تسرب داخل الجسم (intra-object leakage) أو الكناية البصرية (visual metonymy)، حيث يحل جزء محل الكل. وبناءً على ذلك، عندما تسلط خريطة الانتباه الضوء على جزء معين، فإن الميزات الأساسية المستخدمة للتنبؤ قد تحتوي في الواقع على معلومات "مسربة" من أجزاء أخرى. وهذا يجعل استدلال النموذج غير أمين (unfaithful)؛ إذ يبدو النموذج وكأنه يركز على المنطقة الصحيحة، لكنه في الواقع يعتمد على ميزات مترابطة من مكان آخر، مما يقوض موثوقية التفسيرات القائمة على الانتباه، لا سيما في المجالات عالية المخاطر مثل التصوير الطبي.

2. المنهجية

2.1 قياس تسرب داخل الجسم

لقياس هذه الظاهرة، يقترح المؤلفون مقيیسين للتقييم باستخدام مجموعات بيانات ذات تسميات سمات على مستوى الأجزاء (CUB-200-2011، وCelebA، وCheXpert):

• خصوصية الجزء (Part Specificity - PS): يقيس الفرق في أداء تصنيف السمات عند استخدام الميزات من الجزء "الصحيح" مقابل الميزات من الأجزاء "غير الصحيحة". تشير قيمة PS المنخفضة إلى أن الميزات من الأجزاء غير المتطابقة لا تقل قدرة تنبؤية عن تلك الموجودة في الجزء المتطابق، مما يشير إلى حدوث تسرب.
• تداخل الجزء الأكثر تنبؤاً (Most Predictive Part Overlap - MPPO): يقيم ما إذا كان الجزء المكتشف الذي يحقق أعلى ثقة تنبؤية لسمة معينة يتداخل مكانياً مع المنطقة الحقيقية لتلك السمة.

يقارن المؤلفون بين القناع المتأخر (Late Masking) (النهج القياسي: استخراج الميزات من هيكل عظمي مجمد وتطبيق الأقنعة لاحقاً) وبين القناع المبكر (Early Masking) (تطبيق الأقنعة مباشرة على رموز صورة الإدخال قبل استخراج الميزات). يعمل القناع المبكر كحد أقصى يمنع التسرب من خلال التصميم.

2.2 الحل المقترح: بنية ذات مرحلتين

للتخفيف من تسرب داخل الجسم، يقترح المؤلفون بنية ترانسفورمر مكونة من مرحلتين:

• المرحلة الأولى (اكتشاف الأجزاء المدفوع بالسمات): تستخدم هيكلاً عظمياً مجمداً (مثل DINOv3) لتوليد أقنعة انتباه تحدد المواقع الدقيقة للأجزاء الدلالية. تستخدم هذه المرحلة خسارة التباعد المتعامد (de-correlated orthogonality loss - $L_{\perp}$) الجديدة لضمان تميز الأجزاء مع السماح لها بمشاركة ميزات الخلفية المشتركة، متجنبة بذلك قمع الإشارات المشتركة الذي تسببه خسائر التعامد السابقة.
• المرحلة الثانية (المعالجة المتوازية الصارمة): تعالج كل جزء مكتشف بشكل مستقل في مسارات متوازية.
  • الآلية: تقوم البنية بتكرار رموز البادئة (prefix tokens، مثل [CLS]) لكل جزء وتطبق قناع انتباه قطري (block-diagonal attention mask). يضمن هذا أن الرمز البادئ رقم $k$ ينتبه فقط إلى رقع الصور (patches) ضمن قناع الجزء رقم $k$، مما يعزل الميزات بصرامة.
  • تقدير التدرج: لتمكين التدريب من البداية إلى النهاية حيث توجه المرحلة الثانية المرحلة الأولى، قدم المؤلفون مقدر المرور المباشر (Straight-Through Estimator - STE). تستخدم عملية التمرير الأمامي أقنعة صلبة (ثنائية) لضمان عدم وجود تسرب، بينما تستخدم عملية التمرير الخلفي أقنعة ناعمة (مستمرة) للسماح بتدفق التدرجات وتدقيق أقنعة اكتشاف الأجزاء.

3. المساهمات الرئيسية

1. معيار لتسرب داخل الجسم: تقديم مقاييس PS وMPPO لقياس انتهاك الموضعية في هياكل الرؤية بشكل منهجي.
2. أدلة تجريبية على الانتشار الواسع للتسرب: تقييم شامل يظهر أن نماذج الرؤية سابقة التدريب المتطورة (DINOv1, DINOv2, DINOv3, CLIP, MAE) تظهر تسرباً قوياً داخل الجسم، مما ينتهك فرضية الموضعية المطلوبة للتفسير الأمين.
3. استراتيجية تخفيف: بنية ذات مرحلتين تفرض عزلاً مكانياً صارماً بالتصميم، مما يثبت أن منع التسرب يحسن كل من صدقية خرائط الانتباه وجودة اكتشاف الأجزاء.

4. النتائج

4.1 النتائج الكمية

• انتشار التسرب: عبر مجموعتي CUB وCelebA، حقق القناع المبكر باستمرار درجات خصوصية جزء (PS) أعلى بكثير من القناع المتأخر (على سبيل المثال، تحسن بنحو 3 أضعاف في CUB، وحوالي 10 أضعاف في CelebA لنموذج DINOv3). وهذا يؤكد أن الهياكل العظمية القياسية تعتمد بشدة على المعلومات المسربة.
• التصوير الطبي (CheXpert): في مجموعة بيانات CheXpert، أدى القناع المتأخر القياسي إلى تحقيق MPPO بنحو 0.53، مما يشير إلى أن التنبؤات غالباً ما تنبع من خارج منطقة الاعتلال. فرض القناع المبكر حسن MPPO إلى حوالي 0.62.
• تحسين اكتشاف الأجزاء: تفوقت نسخة STE ذات المرحلتين بشكل كبير على خطوط الأساس أحادية المرحلة والأساليب الحديثة (Pdiscoformer, MPAE) في مقاييس التجميع (ARI وNMI).
  • في CUB، حققت STE قيمة ARI بلغت 73.93 مقابل 50.27 للخط الأساسي أحادي المرحلة.
  • في CelebA، حققت STE قيمة ARI بلغت 97.51 مقابل 49.46 للخط الأساسي.
• الأداء التنبئي: بينما قد يؤدي فرض الموضالية الصارمة (المرحلة الثانية فقط) إلى تقليل دقة تنبؤ السمات الخام قليلاً (حيث لا يمكن للنموذج استغلال الاختصارات المترابطة)، فإن دمج السياق العالمي (المرحلة الأولى) مع الأدلة المحلية الصارمة (المرحلة الثانية) يعطي أعلى أداء إجمالي عبر جميع مجموعات البيانات، متجاوزاً الخط الأساسي أحادي المرحلة.

4.2 الملاحظات النوعية

• توسع القناع: تميل النماذج أحادية المرحلة ومتغيرات القناع الناعم إلى إنتاج أقنعة "كسولة" تغطي فقط الرقع الصغيرة والمميزة للغاية، مع الاعتماد على التسرب لبقية السياق. أما نسخة STE فتنتج أقنعة أكثر توسعاً مكانياً تغطي المنطقة الدلالية الكاملة (على سبيل المثال، تغطية كلا الرئتين في صور الأشعة السينية للصدر بدلاً من واحدة فقط).
• الصدقية (Faithfulness): تضمن نهج المرحلتين أن تكون تنبؤات السمات مبنية على المناطق التشريحية الصحيحة، بينما غالباً ما تفشل النماذج أحادية المرحلة في احترام الحدود المكانية.

5. الأهمية والادعاءات

تدعي الورقة أن التفسير القائم على الانتباه معطل بشكل أساسي إذا كانت التمثيلات الكامنة بالفعل تشتبك بالمعلومات عبر المناطق المكانية. إن مجرد تصور خرائط الانتباه ليس كافياً إذا كانت الميزات نفسها ملوثة بالكناية.

يجادل المؤلفون بأن:

• الموضعية شرط مسبق: يتطلب الاستدلال القائم على الأجزاء، الصادق والتركيب، حلولاً على مستوى التمثيل تفرض الموضعية، وليس مجرد آليات انتباه لاحقة.
• النهج ذو المرحلتين واعد: من خلال تطبيق أقنعة الانتباه مباشرة على صورة الإدخال (القناع المبكر) بدلاً من الميزات العميقة، يمكن التخفيف من التسرب وتحسين كل من التفسير وجودة اكتشاف الأجزاء.
• المقايضات يمكن إدارتها: بينما يتسبب النهج ذو المرحلتين في عبء حسابي إضافي (أبطأ بنحو 2.1 ضعف في الاستنتاج)، فإن القدرة على دمج الإشارات العالمية والمحلية تسمح بنماذج تتسم بدقة عالية وصدقية صارمة تجاه الأدلة المحلية في آن واحد.

يسلط هذا العمل الضوء على قضية مهملة في تفسير التمثيلات القائمة على الأجزاء، مشيراً إلى أن الأبحاث المستقبلية يجب أن تعالج تشابك التمثيل لبناء نماذج رؤية جديرة بالثقة حقاً.