No Dense Tensors Needed: Fully Sparse Object Detection on Event-Camera Voxel Grids

1. بيان المشكلة

تعد كاميرات الأحداث (Event cameras) مستشعرات عصبية تلتقط تغيرات السطوع غير المتزامنة بزمن استجابة بالميكروثانية ونطاق ديناميكي عالٍ، مما يجعلها مثالية للكشف عن الأجسام سريعة الحركة والصغيرة مثل الطائرات بدون طيار (drones) في ظروف الإضاءة الصعبة (الإضاءة المنخفضة، والتباين العالي). ومع ذلك، تعاني أحدث طرق الكشف عن الأجسام القائمة على الأحداث من عدم كفاءة جوهري:

• التحويل الكثيف (Dense Conversion): تقوم الطرق الحالية بتحويل تدفق الأحداث غير المتزامن والمتناثر إلى تينسورات كثيفة تشبه الإطارات (مثل الهيستوغرامات أو الأسطح الزمنية) قبل معالجتها باستخدام الشبكات العصبية التلافيفية (CNNs) القياسية مثل YOLO أو Faster R-CNN.
• الهدر الحسابي: عملية التحويل هذه تتجاهل التناثر المتأصل في المستشعر. ففي اختبارات مثل FRED، تشغل إطارات الأحداث عادةً أقل من 1% من شبكة الفوكسل (voxel grid)، ومع ذلك تقوم الكواشف الكثيفة بمعالجة 100% من المواضع المكانية (على سبيل المثال، 409,600 بكسل لشبكة 640×640).
• مشكلات القابلية للتوسع: تتناسب التكلفة الحسابية للطرق الكثفة مع دقة المستشعر ($O(H \times W)$)، مما يجعل النشر عالي الدقة (مثل 4K) مكلفًا للغاية، في حين أن محتوى المعلومات الفعلي (نشاط الأحداث) يظل منخفضًا.

يطرح البحث السؤال التالي: هل يمكن لكاشف الأجسام معالجة بيانات الأحداث بشكل أصلي في المجال المتناثر، وبشكل كامل من البداية إلى النهاية (end-to-end)، دون الحاجة أبدًا لإنشاء تينسور كثيف؟

2. المنهجية: SparseVoxelDet

يقترح المؤلفون SparseVoxelDet، وهو أول كاشف أجسام يعتمد كليًا على التناثر لكاميرات الأحداث. تعمل البنية حصريًا على مواضع الفوكسل المشغولة باستخدام تلافيف ثلاثية الأبعاد متناثرة (3D sparse convolutions).

أ. تمثيل المدخلات (تجزئة الفوكسل للأحداث - Event Voxelization)

• التجميع الزمني (Temporal Binning): يتم تجميع الأحداث غير المتزامنة في شبكة ثلاثية الأبعاد ($T \times H \times W$) حيث $T$ هو عدد الفئات الزمنية.
• متجه الميزات (Feature Vector): يخزن كل فوكسل نشط متجه ميزات مكون من 6 قنوات:
  1. لوغاريتم العد للأحداث الموجبة والسالبة.
  2. ميزات الحداث (الاضمحلال الأسي بناءً على الطابع الزمني).
  3. الانحراف المعياري الزمني للطوابع الزمنية للأحداث.
• التناثر (Sparsity): يتم تخزين الفوكسلات غير الفارغة فقط كأزواج (إحداثيات-ميزة)، لتجنب التخصيص الكثيف.

ب. البنية

تتكون سلسلة المعالجة من ثلاث مراحل متناثرة بالكامل:

1. العمود الفقري SparseSEResNet:
   • شبكة متبقية (residual network) ذات تلافيف متناثرة ثلاثية الأبعاد مستوحاة من SEW-ResNet.
   • تستخدم التلافيف المتناثرة تحت السطحية (SubMConv) لمعالجة الفوكسلات النشطة فقط.
   • تتضمن آلية انتباه (Squeeze-and-Excitation) في المراحل الأعمق.
   • تُنتج ميزات متعددة المقاييس عند خطى (strides) 4، 8، و16.
2. شبكة الهرم الميزاتي المتناثرة (SparseFPN):
   • تدمج الميزات متعددة المقاييس من الأعلى إلى الأسفل باستخدام اتصالات جانبية متناثرة وتلافيف متناثرة معكوسة (sparse transpose convolutions) لرفع الدقة (upsampling).
   • على عكس شبكات FPN الكثيفة، تقوم هذه الشبكة بنشر الميزات فقط إلى المواضع التي يوجد فيها دليل، مما يحافظ على التناثر طوال عملية الدمج.
3. رأس الكشف المتناثر (Sparse Detection Head):
   • الضغط الزمني (Temporal Squeeze): يقلص البعد الزمني عبر التجميع الأقصى (max-pooling) فوق الفوكسلات النشطة التي تشترك في نفس الإحداثيات $(x, y)$.
   • الرأس الخالي من الروابط (Anchor-Free Head): ينفذ رأساً بأسلوب FCOS باستخدام طبقة متعددة الطبقات (MLP) مشتركة تُطبق على كل موضع ثنائي الأبعاد نشط.
   • يتنبأ بالتصنيف، وانحدار الصندوق (LTRB)، والمركزية (centerness).
   • لا يوجد تينسور كثيف: في أي مرحلة من مراحل النظام، لا يتم تخصيص خريطة ميزات كثيفة بمقاس $H \times W$.

3. المساهمات الرئيسية

1. أول كاشف أحداث متناثر بالكامل: يقدم SparseVoxelDet، الذي يحافظ على التناثر من تجزئة الفوكسل للمدخلات وصولاً إلى رأس الكشف، ملغيًا الحاجة إلى تحويل التينسور الكثيف.
2. كفاءة قصوى:
   • يعالج حوالي 14,900 فوكسل نشط فقط لكل إطار (عند دقة 640×640)، وهو ما يقل بمقدار 28 ضعفًا عن المواضع في النماذج الكثيفة الأساسية.
   • يحقق ضغطًا في ذاكرة وحدة معالجة الرسومات (GPU) بمقدار 858 ضعفًا، وتقليلًا في التخزين بمقدار 3,670 ضعفًا مقارنة بالتينسورات ثلاثية الأبعاد الكثيفة المكافئة.
   • الاستقلالية عن الدقة: يتناسب عدد الفوكسلات النشطة مع ديناميكيات المشهد (نشاط الأحداث)، وليس مع دقة المستشعر. الانتقال من 640×640 إلى الدقة الأصلية 1280×720 زاد من الفوكسلات النشطة بنسبة 9% فقط، بينما كانت الطرق الكثيفة ستزيد الحوسبة بمقدار 2.25 ضعفًا.
3. التحليل الجنائي المنهجي للأخطاء: يكشف تحليل شامل لـ 119,459 إطار اختبار أن الفجوة في الأداء مع الكواشف الكثيفة ليست بسبب فقدان عمليات الكشف، بل بسبب دقة انحدار الصندوق (box regression precision).

4. النتائج

تم التقييم على مقياس FRED (629,832 إطارًا مُعلمًا للكشف عن الطائرات بدون طيار):

• الدقة:
  • mAP@50: يحقق SparseVoxelDet نسبة 83.38%، مما يقلص الفجوة مع نموذج YOLOv11 الكثيف (87.68%) إلى 4.3 نقطة مئوية فقط.
  • العتبة المرنة: عند تخفيف عتبة التقاطع (IoU) إلى 0.40، تقفز النسبة إلى 89.26%، مما يشير إلى أن النموذج يكتشف الطائرة في كل إطار تقريبًا ولكنه يواجه صعوبة في ضبط إحكام الصندوق.
  • الاستدعاء (Recall): يحقق استدعاء بنسبة 91.9% عند IoU ≥ 0.50 و 95.4% عند IoU ≥ 0.40.
• تحليل الفشل:
  • 71% من الحالات السلبية الكاذبة هي "إخفاقات في تحديد الموقع" (IoU > 0 ولكن < 0.5). النموذج يرى الطائرة ولكنه يتنبأ بصندوق فضفاض قليلاً.
  • 29% هي حالات فقدان كامل، تحدث غالبًا في الإطارات شديدة التناثر (الإضاءة المنخفضة/الأهداف الثابتة).
  • معايرة الثقة: فصل قوي بين الحالات الإيجابية الحقيقية (متوسط الثقة 0.46) والحالات الإيجابية الكاذبة (متوسط الثقة 0.11).
• الدراسة الاستئصالية (Ablation): من المثير للاهتمام أن النموذج أدى بشكل أفضل قليلاً عند الدقة المنخفضة 640×640 مقارنة بالدقة الأصلية 1280×720. ويُعزى ذلك إلى إشغال النواة (kernel occupancy): عند الدقات الأعلى، تكون الشبكة المتناثرة فارغة جدًا بحيث تفتقر نوى التلافيف 3×3×3 غالبًا إلى السياق المجاور الكافي لضبط الانحدار بدقة.

5. الأهمية والآثار المترتبة

• تحول في النموذج (Paradigm Shift): يثبت أن نهج "مدخل متناثر، مخرج متناثر" هو نهج قابل للتطبيق وفعال لرؤية كاميرات الأحداث، مما يسد الفجوة بين الكشف المتناثر لـ LiDAR (مثل VoxelNeXt) والرؤية القائمة على الأحداث.
• النشر على الحافة (Edge Deployment): إن الاختزال الهائل في بصمة الذاكرة وحركة البيانات يجعل الكشف عالي الدقة عن الأحداث أمرًا ممكنًا على الأجهزة الطرفية محدودة الموارد (مثل Jetson Orin Nano)، حيث قد تفشل المسارات الكثيفة بسبب قيود عرض النطاق الترددي وذاكرة الفيديو (VRAM).
• القابلية للتوسع: مع انتقال كاميرات الأحداث إلى دقة 4K وما فوق، ستصبح الطرق الكثيفة غير قابلة للتطبيق حسابيًا. تظل تكلفة SparseVoxelDet مرتبطة بنشاط المشهد، مما يوفر مسارًا مستدامًا لمستقبل الرؤية العصبية عالية الدقة.
• الاتجاه المستقبلي: يحدد البحث دقة انحدار الصندوق كعائق أساسي، ناتج عن نقص السياق المكاني الكثيف (كاميرات الأحداث تلتقط حدود الجسم فقط، وليس داخله). يجب أن يركز العمل المستقبلي على رؤوس متعددة المقاييس أو الانتباه الزمني لتحسين التحديد دون العودة إلى التينسورات الكثيفة.

باختصار، يثبت SparseVoxelDet أن المعالجة المتناثرة الأصلية يمكن أن تحقق دقة تقارب أحدث النماذج (state-of-the-art) مع تقديم تحسينات في الكفاءة بمقدار عدة أضعاف، مما يجعله خطوة حاسمة نحو أنظمة رؤية عصبية مستدامة وعالية الدقة.