Empirical Evidence for Simply Connected Decision Regions in Image Classifiers

ملخص تقني: أدلة تجريبية على كون مناطق القرار بسيطة الاتصال في مصنفات الصور

بيان المشكلة
بينما أثبتت الأعمال التجريبية السابقة أن مناطق القرار في الشبكات العصبية العميقة هي "متصلة مسارياً" (أي يمكن وصل أي صورتين من نفس الفئة المتوقعة بمسار مستمر ضمن تلك الفئة)، إلا أن البنية الطوبولوجية من الرتبة الأعلى لا تزال غير واضحة. وتحديداً، لا يُعرف ما إذا كانت هذه المناطق "بسيطة الاتصال" (Simply Connected). تكون المنطقة بسيطة الاتصال إذا كان كل حلقة مغلقة داخلها قابلة للتقلص باستمرار إلى نقطة دون الخروج من المنطقة. وإذا احتوت منطقة القرار على "ثقوب" (حلقات غير قابلة للتقلص)، فإن ذلك يعني بنية طوبولوجية أكثر تعقيداً وتجزؤاً، مما قد يؤثر على القابلية للتفسير والمتانة ضد الهجمات العدائية. تعالج هذه الورقة السؤال التالي: هل يمكن ملء الحلقات المغلقة داخل منطقة قرار ذات تسمية معينة بسطح يحافظ على التسمية؟

المنهجية
يقترح المؤلفون إجراء ملء شبكي رباعي (quad-mesh) تكراري لبناء أسطح ذات دقة محدودة تحافظ على التسمية وتكون محاطة بحلقة من الصور ذات التسمية نفسها.

1. إعداد المشكلة: فضاء الإدخال هو فضاء الصور المعياري. بالنظر إلى أربع صور ($x_{00}, x_{10}, x_{01}, x_{11}$) مخصصة لنفس التسمية $y$، فإن الهدف هو بناء سطح $S: [0, 1]^2 \to X$ بحيث تطابق الحدود الحلقة، ويحقق الجزء الداخلي الشرط $f(S(u, v)) = y$.
2. بناء الحدود: تحدد الأركان الأربعة حلقة. وبما أن الخطوط المستقيمة بين الصور ذات التسمية نفسها قد تقطع حدود القرار، يقوم المؤلفون ببناء حلقة حدودية خطية مجزأة عبر تهيئة رؤوس على طول الجوانب وإصلاح الرؤوس التي لا تنتمي للتسمية المستهدفة باستخدام عملية إسقاط مستهدفة من نوع (DeepFool) للعودة إلى منطقة القرار المستهدفة.
3. ملء السطح (التقسيم الفرعي التكيفي):
   • يعمل المنهج على شبكة ديادية (dyadic grid)، بدءاً من شكل رباعي (quad) واحد محدد بالحدود.
   • فحص الدقة: يتم قبول الشكل الرباعي إذا تم التحقق من أن رؤوسه تقع في المنطقة المستهدفة، وأن قطره الهندسي (مقاساً بوحدات grey-RMS) أقل من عتبة $\tau$.
   • فحص التسمية: إذا لم يتم استيفاء عتبة الحجم، يتم أخذ عينات من الاستيفاء ثنائي الخطية (bilinear interpolation) للشكل الرباعي على شبكة تكيفية. إذا احتفظت جميع النقاط المأخوذة بالتسمية المستهدفة، يتم قبول الشكل الرباعي.
   • التقسيم الفرعي: إذا فشل فحص التسمية، يتم تقسيم الشكل الرباعي إلى أربعة أشكال رباعية فرعية. يتم تهيئة نقاط منتصف الحواف الجديدة والنقطة المركزية عبر الاستيفاء الخطي.
   • الإصلاح: أي رأس جديد يتم إنشاؤه ويقع خارج المنطقة المستهدفة يتم إصلاحه باستخدام تحديث (DeepFool) مستهدف يتبعه خطوة تنصيف (bisection) لإسقاطه مرة أخرى داخل المنطقة.
4. المقارنة الهندسية: لتقييم التعقيد الهندسي للسطح الذي تم بناؤه، يقارن المؤلفون بين السطح المنشأ و"رقعة كونز" (Coons patch) النموذجية (وهي استيفاء هندسي معياري للمنحنيات الحدودية الأربعة). ويحسبون نسبة مساحة السطح المنشأ إلى مساحة رقعة كونز ($\rho$).

الإعداد التجريبي

• مجموعات البيانات والنماذج: تم تقييم المنهج على مجموعة التحقق الخاصة بـ ImageNet عبر ستة نماذج متنوعة: ResNet-50، وDenseNet-121، وEfficientNet-B0، وConvNeXt-Tiny، وViT-B/16، وSwin-T.
• النطاق: لكل نموذج، تم إنشاء 1,000 حلقة (واحدة لكل فئة من فئات ImageNet الـ 1,000)، بإجمالي 6,000 حلقة و24,000 صورة.
• المعاملات: تم ضبط عتبة التوقف لـ grey-RMS عند $\tau = 0.5$. كما تم استخدام إعداد إصلاح افتراضي (50 تكراراً لـ DeepFool)، مع تطبيق إعداد أقوى (200 تكرار) فقط في حالات الفشل الأولية.

النتائج الرئيسية

1. النجاح الشامل: عبر جميع النماذج الستة وجميع الـ 6,000 حلقة المختبرة، نجح الإجراء في بناء سطح ذي دقة محدودة يحافظ على التسمية. بلغت نسبة النجاح النهائية 100% بعد تطبيق إعداد الإصلاح الأقوى على حالات الفشل الأولية القليلة.
2. ضرورة الصقل التكيفي: أظهر تشخيص "مستوى الجذر" (root-level diagnostic) أن الاستيفاء ثنائي الخطية الساذج (الشكل الرباعي الأولي بدون تقسيم) لم يستوفِ شرط التسمية إلا لعدد قليل من الحلقات (تراوح بين 6.9% لـ DenseNet-121 و42.2% لـ Swin-T). وهذا يؤكد أن آلية التقسيم الفرعي التكيفي والإصلاح ضرورية للغاية.
3. البساطة الهندسية: تركزت النسبة $\rho$ بين السطح المنشأ ورقعة كونز بالقرب من 1. وهذا يشير إلى أن الأسطح التي تحافظ على التسمية قريبة هندسياً من الاستيفاء الطبيعي للحدود، وليست مشوهة للغاية أو ملتوية.
4. تعقيد الشبكة: تباين عدد الأشكال الرباعية المطلوبة لملء الحلقات باختلاف البنية المعمارية. تطلبت النماذج القائمة على المحولات (Swin-T، ViT-B/16) وConvNeXt-Tiny عدداً أقل بكثير من الأشكال الرباعية (شبكات أصغر) مقارنة بـ ResNet-50 أو DenseNet-121، مما يشير إلى أن مناطق القرار لديها أكثر تسطحاً أو تماسكاً في هذه المناطق المختارة.

الأهمية والادعاءات
تقدم الورقة أدلة تجريبية قوية (عند دقة محدودة) تدعم الفرضية القائلة بأن مناطق القرار في مصنفات الصور الحديثة ليست متصلة مسارياً فحسب، بل هي أيضاً بسيطة الاتصال (Simply Connected).

• الرؤية الطوبولوجية: تشير النتائج إلى أن مناطق القرار منظمة في هياكل متماسكة عالمياً حيث تكون الحلقات قابلة للتقلص، مما يتحدى فكرة أن الضعف أمام الهجمات العدائية يعني التجزؤ الطوبولوجي العالمي.
• القيود: يذكر المؤلفون صراحة أن هذه النتائج هي أدلة تجريبية ذات دقة محدودة، وليست برهاناً طوبولوجياً رسمياً. فالطريقة تتحقق من النقاط المأخوذة عند مقياس grey-RMS محدد، ولا يمكنها استبعاد وجود ثقوب أصغر حجماً أو حلقات غير قابلة للتقلص خارج نطاق الدقة المختبرة أو عائلة الحلقات المختبرة.
• الآثار المترتبة: تقدم النتائج صورة تجريبية جديدة لمناطق القرار في الشبكات العصبية، مما يشير إلى أنه رغم الهشاشة العدائية المحلية، فإن الطوبولوجيا العالمية لهذه المناطق قد تكون بسيطة ومنضبطة بشكل مثير للدهشة.

لا تدعي الورقة إثبات كون المناطق بسيطة الاتصال لجميع المدخلات الممكنة أو للدقة اللانهائية، ولكنها تثبت نمطاً قوياً عبر بنيات معمارية متنوعة وعبر كامل فضاء تسميات ImageNet عند الدقة المختبرة.