Uncertainty-Aware Token Importance Estimation in Spiking Transformers

ملخص تقني: تقدير أهمية الرموز القائم على عدم اليقين في المحولات النبضية (Spiking Transformers)

بيان المشكلة
أظهرت المحولات النبضية (Spiking Transformers) إمكانات كبيرة في الرؤية العصبية من خلال الجمع بين كفاءة الطاقة للشبكات العصبية النبضية (SNNs) وقدرات النمذجة العالمية لآلية الانتباه الذاتي. ومع ذلك، لا تزال هناك عقبة حرجة: معالجة الرموز متعددة الخطوات المتأصلة في الشبكات العصبية النبضية غالبًا ما تؤدي إلى وفرة كبيرة في التكرار وتكاليف الاستدلال. وبينما تهدف طرق تقليل الرموز الحالية (مثل تقليم الرموز أو دمجها) إلى تحسين الكفاءة، إلا أنها تعتمد بشكل أساسي على مؤشرات مدفوعة بالاستجابة مثل حجم التنشيط، أو إحصائيات الإطلاق (firing statistics)، أو تشابه الميزات.

يجادل المؤلفون بأن هذه المعايير غير كافية للمحولات النبضية لأنها تفشل في توصيف كيفية تطور أدلة الفئة (class evidence) على مستوى الرمز عبر الزمن بشكل صريح. فخلافًا للمحولات الثابتة حيث يتم تحديد تمثيلات الرموز في لحظة واحدة، يتم تشكيل التمثيلات النبضية تدريجيًا عبر خطوات محاكاة متعددة. وبناءً على ذلك، لا يمكن استنتاج أهمية الرموز بشكل كافٍ من استجابات الخطوة الواحدة وحدها؛ بل يتطلب الأمر منظورًا زمنيًا يلتقط تطور الأدلة وعدم اليقين طوال الديناميكيات النبضية.

المنهجية: Uncert
لمعالجة هذا الأمر، يقترح المؤلفون Uncert، وهو إطار عمل "جاهز للاستخدام" (plug-and-play) ولا يتطلب تدريبًا، لتقدير أهمية الرموز بناءً على أنماط عدم اليقين الزمني. تتكون المنهجية من أربعة مكونات رئيسية:

1. التسلسل الهرمي للرموز النبضية: يستخدم إطار العمل هيكل محول نبضي هرمي (مثل QKFormer أو MaxFormer). تتطور تمثيلات الرموز عبر $T$ من الخطوات الزمنية، مما يشكل مسارًا زمنيًا لكل رمز مكاني.
2. معيار عدم اليقين للرموز: بدلاً من استخدام قيم التنشيط الخام، يقوم Uncert بنمذجة أدلة الفئة لكل رمز باستخدام توزيع ديريكليه (Dirichlet distribution).
   • يتم تحويل لوغاريتمات المصنف (classifier logits) للرمز $i$ عند الزمن $t$ إلى قيم أدلة غير سالبة عبر تنشيط Softplus.
   • تحدد قيم الأدلة هذه معاملات ($\alpha$) لتوزيع ديريكليه.
   • يتم اشتقاق عدم اليقين للرمز ($U$) من إجمالي الأدلة ($S$) كـ $U = C/S$، حيث $C$ هو عدد الفئات. ينتج عن ذلك مسار عدم يقين زمني $\{U^t_i\}_{t=1}^T$ لكل رمز.
3. نمذجة عدم اليقين النبضي-الزمني: يلخص إطار العمل مسار عدم اليقين الزمني لكل رمز باستخدام إحصائيتين:
   • المتوسط ($\mu$): يمثل المستوى العام للغموض للرمز.
   • الانحراف المعياري ($\sigma$): يلتقط التقلب الزمني أو استقرار عدم اليقين للرمز.
   • يتم حساب درجة الأهمية النهائية كـ $S_i = \mu_i + \lambda \sigma_i$، حيث $\lambda$ هو معامل موازنة (تم ضبطه تجريبيًا عند 0.9). يلاحظ المؤلفون أن الرموز ذات عدم اليقين الأعلى أو التقلبات الأقوى غالبًا ما تتوافق مع المناطق المعلوماتية حيث يقوم النموذج بحل الغموض، بينما تمثل الرموز ذات عدم اليقين المنخفض غالبًا الخلفية الزائدة عن الحاجة.
4. اختيار الرموز: توجه درجات الأهمية المحسوبة عملية تقليل الرموز أثناء الاستدلال عبر استراتيجيتين:
   • تقليم الرموز (Token Pruning): اختيار أفضل $K$ من الرموز ذات الدرجات الأعلى للاحتفاظ بها، واستبعاد البقية قبل حساب الانتباه الذاتي.
   • دمج الرموز (Token Merging): تجميع الرموز ذات الأهمية المنخفضة في مراسي (anchors) قريبة ذات درجات عالية.

المساهمات الرئيسية

• المنظور الزمني لأهمية الرموز: يعيد البحث النظر في تقدير أهمية الرموز في المحولات النبضية، موضحًا أن الرموز تظهر مسارات عدم يقين متباينة (مستقرة، متقلبة، أو غامضة باستمرار) بدلاً من ديناميكيات موحدة.
• إطار عمل Uncert: اقتراح طريقة "جاهزة للاستخدام" ولا تتطلب تدريبًا، تقوم بنمذجة أدلة الرموز باستخدام توزيع ديريكليه واشتقاق درجات الأهمية من إحصائيات عدم اليقين المجمعة زمنيًا (المتوسط والتقلب).
• التحقق التجريبي: تثبت التجارب المكثفة على كل من المعايير الثابتة (CIFAR-10, CIFAR-100) والمعايير العصبية (DVS-CIFAR-10, DVS-Gesture) فعالية الطريقة.

النتائج التجريبية

• المقايضة بين الدقة والكفاءة: يحقق Uncert توازنات جيدة بين الدقة والكفاءة. في CIFAR-100 و DVS-CIFAR-10، غالبًا ما يؤدي الاحتفاظ بـ 80-90% فقط من الرموز إلى دقة مقاربة أو حتى أفضل قليلاً من النموذج الأساسي الكامل.
• التقليم مقابل الدمج: برز تقليم الرموز كأكثر التطبيقات فعالية لمعيار عدم اليقين. على سبيل المثال، في CIFAR-100 مع نسبة احتفاظ تبلغ 80%، حقق Uncert (التقليم) دقة قدرها 81.06%، متفوقًا على النموذج الأساسي (80.98%) والاختيار العشوائي (80.40%). في المقابل، أظهر دمج الرموز مكاسب أقل اتساقًا وغالبًا ما كان أداؤه أقل من النموذج الأساسي تحت الضغط الشديد.
• تحليل المكونات: تؤكد دراسات الاستئصال (ablation studies) أن الجمع بين متوسط عدم اليقين والتقلب الزمني يعطي أداءً متفوقًا مقارنة باستخدام أي من المقياسين بمفردهما. وهذا يسلط الضوء على أن كل من مستوى الغموض الإجمالي واستقرار الرموئي الزمني يعدان حاسمين لتمييز الإشارات المعلوماتية.
• مكاسب الكفاءة: انخفضت عمليات مستوى الكتلة (SOP) بنسبة 14.86% تقريبًا عندما تم خفض نسبة الاحتفاظ إلى 0.40، مما يدل على توفير ملموس في الحوسبة.

الأهمية والادعاءات
يدعي البحث أن Uncert يقدم منظورًا جديدًا لديناميكيات الرموز في المحولات النبضية من خلال نقل التركيز من قوة الاستجابة اللحظية إلى أنماط عدم اليقين الزمني. ويفترض المؤلفون أن عدم اليقين ليس مجرد مقياس لعدم الاستقرار، بل هو إشارة مفيدة لتحديد المحتوى التمييزي الذي يتطلب مزيدًا من الحل (resolution).

تكمن أهمية هذا العمل في قدرته على تحسين كفاءة الاستدلال دون الحاجة إلى تدريب إضافي أو تنبؤات قابلة للتعلم. ومن خلال الاستفادة من التطور الزمني المتأصل في التمثيلات النبضية، يوفر Uncert آلية مبدئية لا تتطلب تدريبًا لتقليل التكرار. ويخلص المؤلفون إلى أن إحصائيات عدم اليقين الزمني توفر إشارة قوية وفعالة لاختيار الرموز، خاصة للتقليم، مما يسمح بجعل المحولات النبضية أكثر كفاءة لمهام الرؤية الثابتة والقائمة على الأحداث على حد سواء.