ملخص تقني: EventFlash

بيان المشكلة

توفر الرؤية القائمة على الأحداث (Event-based vision) مزايا متميزة مقارنة بالكاميرات القائمة على الإطارات، لا سيالما في سيناريوهات السرعة العالية والإضاءة المنخفضة، وذلك بفضل دقتها الزمنية العالية ونطاقها الديناميكي الواسع. ومع ذلك، تواجه النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الحالية المصممة للرؤية القائمة على الأحداث ثلاث عقبات حرجة:

1. عدم الكفاءة الزمنية: تولد دقة الميكروثانية لتدفقات الأحداث حجماً هائلاً من الرموز (tokens) يصعب معالجته عند التعامل مع فترات زمنية طويلة، مما يؤدي إلى تكاليف حوسبة باهظة.
2. عدم الكفاءة المكانية: بيانات الأحداث بطبيعتها متفرقة (sparse). وغالباً ما تقوم النماذج الحالية بتحويل هذه التدفقات إلى تمثيلات كثيفة تشبه الصور، مما يخصص انتباهاً موحداً للمناطق الفارغة أو منخفضة المعلومات، وهو ما يتسبب في عبء إضافي غير ضروري.
3. محدودية مجموعات البيانات: غالباً ما تكون مجموعات البيانات المعززة بالتعليمات والمخصصة للنماذج اللغوية الكبيرة للرؤية القائمة على الأحداث محدودة في الحجم، وتنوع المشاهد، وطول التسلسل الزمني، مما يعيق تدريب نماذج قادرة على التعميم والقدرة على الفهم بعيد المدى.

وبناءً على ذلك، تجد النهج الحالية صعوبة في الموازنة بين كفاءة الاستنتاج والقدرة على معالجة تسلسلات الأحداث طويلة المدى بشكل فعال.

المنهجية

يقترح المؤلفون EventFlash، وهو نموذج لغوي كبير متعدد الوسائط يتميز بالكفاءة، حيث يستفيد من التخلخل الزمكاني للرموز (spatiotemporal token sparsification) لتقليل تكرار البيانات وتسريع الاستنتاج دون التضحية بقدرات الاستنتاج. يتكون الإطار من خمسة مكونات أساسية:

1. التجميع التكيفي للنافذة الزمنية (ATWA)

لمعالجة التكرار الزمني، يقدم EventFlash وحدة تجميع تعتمد على الكثافة وتعمل على مرحلتين:

• المرحلة 1 (الدمج القائم على المقاييس): يتم تقسيم تدفق الأحداث المستمر إلى حاويات (bins) دقيقة. تُدمج الحاويات المتجاورة بشكل تكراري بناءً على مقياس نبض زمكاني غير متزامن. يتم حساب مسافة التشابه بين الحاويات باستخدام دالة كثافة النواة الغاوسية (Gaussian kernel intensity function)؛ وتُدمج الحاويات التي تقل مسافاتها عن عتبة $\tau$ لتشكيل نوافذ أحداث ميتا (meta-event windows).
• المرحلة 2 (الدمج المدرك دلالياً): يتم ترميز نوافذ "الميتا" للحصول على تمثيلات رمز CLS. يتم دمج درجة التشابه ($S_i$) القائمة على تشابه جيب التمام مع عامل كثافة الأحداث الطبيعي ($r_i$) لحساب درجة دمج تكيفية ($A_i = S_i \cdot \exp(-\alpha \cdot r_i)$). يسمح هذا للنموذج بضغط الرموز الزمنية مع الحفاظ على ديناميكيات الحركة الجوهرية والإشارات الزمنية الأساسية.

2. الانتباه المتفرق الموجه بالكثافة (SDGA)

لمعالجة التكرار المكاني، تقوم وحدة SDGA بتقليم الرموز غير المعلوماتية بشكل تكيفي:

• ترميز الكثافة: لكل حاوية أحداث مجمعة، يتم استخراج ميزات مستوى الرقعة (patch-level features). وفي الوقت نفسه، يتم حساب كثافة الأحداث ($D_j$) لكل منطقة رمز بناءً على عدد الأحداث داخل مجال استقبالها.
• التعديل: يتم تمرير قيمة الكثافة عبر تحويل خطي وتنشيط GELU لتوليد إشارة تعديل ناعمة ($f(D_j)$).
• ضبط الانتباه: تُضاف هذه الإشارة إلى درجات الانتباه القياسية، مما يسمح للنموذج بالتركيز على المناطق الأكثر كثافة وإخبارية مع كبح المناطق الفارغة أو منخفضة الكثافة.
• اختيار الرموز: تقوم عملية اختيار الرموز بترتيب استجابات الانتباه المجمعة واستبعاد الرموز منخفضة الأهمية، مما ينتج عنه مجموعة مدمجة من الرموز المكانية.

3. التعلم المنهجي من القصير إلى الطويل

لدعم التدريب القابل للتوسع، يستخدم المؤلفون استراتيجية منهجية تصاعدية:

• المرحلة 1: التدريب على 200 ألف تسلسل قصير (0-50 مللي ثانية) لتحقيق المحاذاة الأساسية بين الأحداث واللغة.
• المرحلة 2: التوسع إلى 110 ألف تسلسل متوسط (50-5,000 مللي ثانية) للحركة المعقدة واتباع التعليمات.
• المرحلة 3: الضبط الدقيق على 190 ألف تسلسل طويل (5,000-20,000 مللي ثانية) للفهم الشامل للمشهد والتوليد المفتوح.

4. مجموعة بيانات EventMind

لتسهيل هذا التدريب، أنشأ المؤلفون EventMind، وهي مجموعة بيانات ضخمة ومتنوعة المشاهد تحتوي على أكثر من 500 ألف مجموعة تعليمات. تغطي سبع مهام متميزة (وصف الحركة، الأسئلة والأجوبة حول الأحداث، الأسئلة والأجوبة حول حركة الإنسان، الاختيار من متعدد، الوصف البسيط، الأسئلة والأجوبة حول التفاصيل الدقيقة، ووصف المشهد) وتتضمن كلاً من البيانات الواقعية (مثل DSEC وN-ImageNet) والبيانات الاصطناعية المولدة عبر محاكي V2E من مجموعات بيانات الفيديو (مثل Kinetics-700 وUCF-101).

النتائج الرئيسية

تظهر التقييمات التجريبية أن EventFlash يحقق مكاسب كبيرة في الكفاءة مع الحفاظ على أداء تنافسي:

• الإنتاجية (Throughput): يحقق EventFlash تحسناً بمقدار 12.4 ضعفاً في الإنتاجية (28.5 رمز/ثانية) مقارنة بنموذجه المرجعي، EventFlash-Zero (2.3 رمز/ثانية)، والذي يفتقر إلى التخلخل الزمكاني.
• المعالجة طويلة المدى: يدعم EventFlash معالجة ما يصل إلى 1,000 حاوية أحداث في المدخل الواحد. في المقابل، يقتصر نموذج EventGPT المنافس على 5 حاويات فقط، مما يمثل زيادة قدرها 200 ضعف في قدرة المعالجة.
• الأداء: رغم التخلخل، يحافظ EventFlash على أداء مماثل أو متفوق عبر أربعة مقاييس تقييم (الوصف التفصيلي العالمي، الأسئلة والأجوبة دقيقة التفاصيل، الأسئلة والأجوبة حول حركة الإنسان، والاختيار من متعدد) على مجموعات بيانات EventMind وEventChat-Sub.
• المهام اللاحقة: عند ضبطه لمهام التعرف على الأفعال على مجموعة بيانات DailyDVS-200، حقق EventFlash دقة (top-1) بلغت 48.36%، متفوقاً على نماذج Transformer المتخصصة في الأحداث والنماذج المرجعية القائمة على الإطارات.

الأهمية والادعاءات

يضع البحث نموذج EventFlash كـ نموذج تأسيسي فعال للرؤية القائمة على الأحداث. تكمن أهميته الأساسية في معالجة الاختناقات الحسابية التي حدت سابقاً من تطبيق النماذج اللغوية الكبيرة متعددة الوسائط على تدفقات الأحداث طويلة المدى وعالية السرعة. ومن خلال استغلال التخلخل الزمكاني لبيانات الأحداث صراحة بدلاً من فرض نماذج كثيفة تشبه الصور، يتيح EventFlash ما يلي:

1. الفهم طويل المدى واللحظي: القدرة على معالجة تسلسلات تصل إلى 20 ثانية (1,000 حاوية) تجعل النموذج مناسباً للتطبيقات التي تتطلب مراقبة مستمرة، مثل المراقبة والقيادة الذاتية.
2. القابلية للتوسع: تسمح استراتيجيات التخلخل المقترحة للنموذج بالتوسع إلى مدد زمنية أطول دون تكاليف حوسبة باهظة.
3. التقييس: يهدف إصدار مجموعة بيانات EventMind إلى تسريع الأبحاث المستقبلية في النماذج اللغوية الكبيرة القائمة على الأحداث من خلال توفير معيار ضخم وقياسي بمهام وأطوال زمنية متنوعة.

يخلص المؤلفون إلى أن EventFlash يعمل كقاعدة قوية وفعالة لسد الفجوة بين الخصائص الفريدة لكاميرات الأحداث وقدرات الاستنتاج للنماذج اللغوية الكبيرة.