ملخص تقني: ProtoQuant

1. بيان المشكلة

تعاني نماذج التعلم العميق، لا سيالما في المجالات عالية المخاطر مثل التشخيص الطبي والقيادة الذاتية، من غموض متأصل. وبينما قدمت الذكاء الاصطناعي القابل للتفسير (XAI) طرقاً بعدية (مثل Grad-CAM) وطرقاً قبلية (ذاتية التفسير)، فإن الأخيرة — وتحديداً شبكات الأجزاء النموذجية (PPNs) — تواجه قيوداً حرجة:

• انحراف النماذج الأولية والافتقار إلى التجذر: غالباً ما تتعلم الطرق الحالية نواقل كامنة لا تتوافق مع رقع (patches) ملموسة وقابلة للتحقق في توزيع بيانات التدريب. يمكن لهذه النماذج الأولية أن تنحرف، مما يؤدي إلى فشلها في تمثيل مفاهيم بصرية حقيقية.
• عدم الاستقرار التمثيلي: يمكن أن تؤدي الاضطرابات الطفيفة في الصور المدخلة إلى تحولات جذرية في أعلى النماذج الأولية تفعيلاً، مما يؤدي إلى قرارات غير مستقرة للنموذج تتعارض مع الإدراك البشري.
• القابلية للتوسع والتكلفة الحسابية: تعاني معظم البنيات النموذجية من صعوبة في التعميم على مجموعات البيانات واسعة النطاق مثل ImageNet. علاوة على ذلك، فإنها غالباً ما تتطلب ضبطاً دقيقاً مكلفاً حسابياً لكامل الشبكة الخلفية (backbone) لتحقيق دقة مقبولة، مما يحد من قابليتها للتطبيق مع النماذج التأسيسية الحديثة المجمدة.

2. المنهجية: ProtoQuant

يعتبر ProtoQuant إطار عمل قابلاً للتفسير صُمم ليعمل كـ "رأس" (head) للنماذج المصنفة للصور مسبقة التدريب والمجمدة. وهو يعالج مشكلتي التجذر والاستقرار من خلال التكميم المتجهي (Vector Quantization).

البنية الأساسية

يستبدل النموذج الرأس التصنيفي القياسي لشبكة خلفية مجمدة $\phi$ بوحدة قائمة على المفاهيم. تتضمن العملية ما يلي:

1. الشبكة الخلفية المجمدة: تستخرج شبكة خلفية مسبقة التدريب (CNN أو ViT) خريطة سمات $\phi(x)$. تظل معاملات الشبكة الخلفية ثابتة طوال عملية التدريب.
2. تعلم قاموس رموز المفاهيم (المرحلة 1):
   • يتم تعلم قاموس رموز منفصل $C = \{c_1, ..., c_m\}$ باستخدام آلية المشفّر التلقائي المتغير المكمّم متجهياً (VQ-VAE).
   • يتم تخصيص نواقل السمات $z_{ij}$ لأقرب مدخل في قاموس الرموز بناءً على تشابه جيب التمام (cosine similarity).
   • يتم تحديث نواقل قاموس الرموز فقط عبر خسارة قاموس الرموز ($L_{codebook}$)، بينما يتم منع تدفق التدرجات إلى تضمينات الشبكة الخلفية. يعمل هذا على تحويل الفضاء الكامن المستمر إلى مفردات من الأوليات البصرية المنفصلة.
3. رأس التنبؤ القائم على المفاهيم (المرحلة 2):
   • المطابقة: يتم مطابقة نواقل السمات مع قاموس الرموز باستخدام "softmax" حاد بمعامل درجة حرارة $\alpha$، مما يولد خرائط تنشيط المفاهيم.
   • التجميع: يتم تطبيق التجميع الأقصى المكاني (spatial max-pooling) للحصول على درجات حضور المفاهيم ($s$).
   • التصنيف: تقوم مصفوفة تصنيف غير سالبة $W$ برسم خرائط درجات المفاهيم إلى لوغاريتمات الفئات ($\hat{y} = Ws$).

نظام التدريب

يستخدم الأسلوب عملية تدريب مكونة من مرحلتين:

• المرحلة 1 (التجذر غير الخاضع للإشراف): يتم تدريب قاموس الرموس بشكل غير خاضع للإشراف لالتقاط توزيع السمات للشبكة الخلفية المجمدة.
• المرحلة 2 (الاستدلال الخاضع للإشراف): يتم استبدال الرأس الأصلي بالرأس القابل للتفسير. يتم تجميد قاموس الرموز، ويتم تدريب مصفوفة التصنيف $W$ باستخدام خسارة الإنتروبيا المتقاطعة القياسية. تسمح هذه المرحلة بالتقليم (اختيار أفضل $K$ من النماذج الأولية لكل فئة) لتعزيز القابلية للتفسير دون إعادة تدريب الشبكة الخلفية.

3. المساهمات الرئيسية

• التجذر القائم على التكميم: يقدم آلية تعمل على تكميم فضاء السمات إلى قاموس من المفاهيم عالية الاستقرار، مما يضمن أن النماذج الأولية هي تمثيلات أمينة لبيانات التدريب دون الحاجة لتحديث الشبكة الخلفية.
• الاستقلالية عن الشبكة الخلفية: صُمم ليعمل كرأس فعال وقابل للتفسير للشبكات الخلفية المجمدة (سواء كانت CNN أو ViT)، مما يتيح التكامل السلس مع البنيات الحديثة دون الحاجة لضبط دقيق لكامل المعلمات.
• القابلية للتوسع: يثبت أن الاستدلال النموذجي يمكن أن يتوسع ليشمل مجموعات البيانات واسعة النطاق مثل ImageNet بدقة عالية، مما يسد الفجوة بين التفسير والأداء التنبئي.
• القابلية للتعديل الهيكلي: يسمح استخدام قاموس رموز منفصل بإجراء تعديلات هيكلية فورية، مثل "تقليم المفاهيم" أو تحييد مدخلات معينة، مما يسهل تصحيح أخطاء النموذج دون إعادة تدريب مكلفة.

4. النتائج التجريبية

قام المؤلفون بتقييم ProtoQuant على ImageNet-1K ومعايير دقيقة (CUB-200, Cars-196, Dogs, Flowers).

• الاستقرار التمثيلي: في اختبار عدم المحاذاة المكانية (Spatial Misalignment)، يتفوق ProtoQuant بشكل كبير على غيره من شبكات PPN. حيث يحقق درجات تغيير دقة (AC) شبه مثالية (0.35 لـ ViT، و1.73 لـ ConvNeXt) ويقلل بشكل كبير من تغيير تنشيط النموذج الأولي (PAC)، مما يشير إلى المتانة ضد الاضطرابات في المدخلات.
• دقة التصنيف:
  • الدقة الدقيقة: يحقق ProtoQuant دقة Top-1 تنافسية أو متفوقة مقارنة بالطرق القابلة للتفسير الحديثة (مثل PIP-Net و InfoDisent) عبر CUB-200 و Cars و Dogs و Flowers، وغالباً ما يتفوق على الطرق التي تقوم بضبط دقيق للشبكة الخلفية.
  • ImageNet: يحقق ProtoQuant دقة بنسبة 77.86% على ResNet-50 و82.87% على ConvNeXt-Large. وهذا يقلص بشكل كبير الفجوة في الأداء بين الطرق "القبلية" (ante-hoc) والنماذج غير القابلة للتفسير (black-box) مقارنة بالمنافسين مثل InfoDisent.
• النقاء الدلالي: يظهر ProtoQuant نقاء نماذج أولية تنافسي (0.47) مقارنة بالطرق الأخرى تحت قيود الشبكة الخلفية المجمدة، مما يؤكد أن المفاهيم المكممة تتماشى جيداً مع الأجزاء الموضحة بشرياً.
• الكفاءة: يقلل تدريب ProtoQuant على شبكة خلفية مجمدة من وقت الحقبة (epoch time) بنسبة تقارب 47.6% مقارنة بتدريب النموذج الكامل مع الضبط الدقيق للشبكة الخلفية.

5. الأهمية والادعاءات

يضع البحث ProtoQuant كحل لتحديات "انحراف النموذج الأولي" وقابلية التوسع المتأصلة في شبكات الأجزاء النموذجية الحالية. تكمن أهميته الأساسية في:

• التفسير المتجذر: من خلال ربط القرارات بمفردات من المفاهيم البصرية المستمدة مباشرة من توزيع التدريب، يضمن أن التفسيرات مبنية على بيانات فعلية بدلاً من نواتج كامنة مجردة.
• النشر العملي: إن القدرة على إلحاق رأس قابل للتفسير بالنماذج التأسيسية المجمدة تجعل هذا النهج فعالاً من حيث الحوسبة وقابلاً للتطبيق على البنيات ذات السعة العالية حيث يكون الضبط الدقيق الكامل أمراً صعباً.
• الثقة في المجالات عالية المخاطر: إن استدلال "هذا يشبه ذاك"، مقترناً بالتنشيطات المستقرة، يسم يسمح للممارسين في مجالات مثل التصوير الطبي بالتحقق من أن النماذج تلتفت إلى سمات ذات صلة سريرية، مما يدعم نشر أنظمة ذكاء اصطناعي أكثر شفافية ومسؤولية.

يقر المؤلفون بأن الاعتماد على قاموس رموز منفصل قد يحد من مرونة التمثيل مقارنة بالفضاءات المستمرة، ويقترحون عملاً مستقبلياً في أتمتة اختيار حجم قاموس الرموز والتقليم المتقدم.