⚡ electrical engineering

Deep Learning-based Event Data Coding: A Joint Spatiotemporal and Polarity Solution

تقترح هذه الورقة إطار عمل جديد لترميز بيانات الأحداث المشترك القائم على التعلم العميق وفاقد للبيانات (DL-JEC)، والذي يستخدم تمثيلاً لسحابة نقاط أحادية مع اعتبار القطبية سمة و التبنيز المتكيف للمكعبات (voxel binarization) لتحقيق مكاسب ضغط كبيرة مقارنة بالمعايير الحديثة مع الحفاظ على أداء عالٍ لمهام الرؤية الحاسوبية.

المؤلفون الأصليون: Abdelrahman Seleem (Instituto Superior Técnico - Universidade de Lisboa, Lisbon, Portugal), André F. R. Guarda (Instituto de Telecomunicações, Portugal), Nuno M. M. Rodrigues (Instituto de Telecomunic

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Abdelrahman Seleem (Instituto Superior Técnico - Universidade de Lisboa, Lisbon, Portugal), André F. R. Guarda (Instituto de Telecomunicações, Portugal), Nuno M. M. Rodrigues (Instituto de Telecomunicações, Portugal), Fernando Pereira (Instituto Superior Técnico - Universidade de Lisboa, Lisbon, Portugal)

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال فيديو لأجنحة طائر طنان يرفرف إلى صديق لك. الكاميرا العادية تلتقط صورة 30 مرة في الثانية، فتصور الخلفية، والهواء، والطائر في كل مرة، حتى عندما لا يتغير شيء. هذا ينتج ملفاً ضخماً مليئاً بالبيانات المتكررة.

كاميرات الأحداث (Event cameras) مختلفة؛ فهي تشبه حراس الأمن شديدي اليقظة. فهي لا تصرخ إلا عندما يتغير شيء ما. إذا حرك الطائر جناحه، تقول الكاميرا: "مهلاً، البكسل عند الإحداثيات (x,y) أصبح أكثر سطوعاً في الوقت (t)!" وإذا تحرك مرة أخرى، تصرخ مجدداً. إنها تتجاهل السكون. هذا يجعلها سريعة وفعالة للغاية، لكنه ينتج أيضاً تدفقاً هائلاً وفوضوياً من "الصرخات" (الأحداث) التي يصعب تخزينها أو إرسالها.

يقدم هذا البحث طريقة جديدة لتعبئة هذه "الصرخات" في حقيبة صغيرة جداً لكي يمكن إرسالها بسهولة دون فقدان القدرة على التعرف على الطائر الطنان لاحقاً.

إليك تفصيل حلهم، DL-JEC، باستخدام بعض التشبيهات من الحياة اليومية:

1. الطريقة القديمة: التصنيف حسب اللون (كومتان منفصلتان)

في السابق، حاول الناس ضغط هذه البيانات عن طريق تصنيف "الصرخات" إلى كومتين منفصلتين: كومة للأحداث "الأكثر سطوعاً" وكومة للأحداث "الأكثر قتامة". ثم يقومون بضغط كل كومة على حدة.

المشكلة: تخيل أن لديك كيساً من الكرات الحمراء والزرقاء. إذا فرزت الكرات في كيسين، فستفقد السياق الذي كانت مختلطة به. ستفقد العلاقة بين كرة حمراء وكرة زرقاء حدثتا بجانب بعضهما البعض مباشرة.

2. الطريقة الجديدة: "الحقيبة الكبيرة الواحدة" (سحابة النقاط الموحدة)

يقترح المؤلفون طريقة جديدة تسمى DL-JEC. بدلاً من فرز الكرات في كيسين، يضعون كل الكرات الحمراء والزرقاء في حقيبة واحدة فقط.

السحر: في هذه الحقيبة الجديدة، "اللون" (القطبية) هو مجرد علامة ملصقة بالكرة، وليس سبباً لفصلها. هذا يسمح للكمبيوتر برؤية الأنماط بين الكرات الحمراء والزرقاء معاً. ولأن الكمبيوتر يفهم الصورة الكاملة دفعة واحدة، يمكنه ضغط الحقيبة بشكل أكثر إحكاماً مما لو كان يتعامل مع حقيبتين منفصلتين.

3. "الفلتر الذكي" (استراتيجيات التثني/Binarization)

عندما تفرغ الحقيبة في الطرف الآخر، عليك أن تقرر أي الكرات ستحتفظ بها. يقدم البحث ثلاثة "فلاتر" (استراتيجيات) مختلفة اعتماداً على الغرض من البيانات:

"حافظ العدد" (CoB): يضمن هذا الفلتر حصولك على نفس عدد الكرات التي بدأت بها تماماً. وهو رائع إذا كنت تريد معرفة كم مرة رفرف الطائر بجناحيه.
"محب الجودة" (QuB): يحاول هذا الفلتر جعل الحقيبة المفرغة تبدو مطابقة تماماً للأصل، بدقة متناهية. الأمر يشبه محاولة ترميم صورة قديمة لاستعادة حدتها الأصلية.
"مدير المهام" (ClB): هذا هو الجزء الأروع. هذا الفلتر لا يهتم إذا كانت الحقيبة تبدو مثالية؛ بل يهتم فقط إذا كانت النتيجة جيدة. إذا كان الهدف هو إخبار الكمبيوتر "هذا طائر طنان"، فقد يقوم هذا الفلتر برمي بعض الكرات "المزعجة" (الضوضاء) التي تشتت الكمبيوتر، تاركاً الكرات الواضحة فقط.
- تشبيه: تخيل أنك تحاول التعرف على وجه في حشد. إذا أزلت الأشخاص الذين يرتدون قبعات مضحكة (الضوضاء)، فقد تتمكن في الواقع من التعرف على الوجه بشكل أفضل مما لو احتفظت بالجميع. "مدير المهام" يزيل الضوضاء لمساعدة الكمبيوتر على رؤية النمط بوضوح.

4. النتائج: ملفات أصغر، وأجهزة كمبيوتر أذكى

اختبر البحث هذه الطريقة الجديدة مقابل أدوات الضغط التي تعتبر "المعيار الذهبي" الحالي.

حجم أصغر: أنتجت الطريقة الجديدة ملفات أصغر بكثير (ضغط أفضل) من الطرق القديمة.
تعرف أذكى: على الرغم من أن الملفات كانت أصغر و"فاقدة لبعض التفاصيل" (أي أن بعض التفاصيل الصغيرة قد حُذفت)، إلا أن الكمبيوتر كان لا يزال بإمكانه التعرف على الأجسام (مثل الطائر الطنان أو إيماءات اليد) بنفس الجودة، أو حتى بشكل أفضل، من الملفات الضخمة الأصلية.
لماذا؟ لأن فلتر "مدير المهام" عمل مثل سماعات إلغاء الضجيج للبيانات، حيث أزال التشويش الذي كان يربك الكمبيوتر.

الخلاصة الكبرى

لفترة طويلة، اعتقد العلماء أنه يجب عليك الحفاظ على بيانات كاميرا الأحداث مثالية (بدون فقدان معلومات) لأن أجهزة الكمبيوتر تحتاج إلى كل بت من المعلومات لتعمل. يثبت هذا البحث أنك لست بحاجة لذلك.

من خلال استخدام نهج "الحقيبة الواحدة الذكية" وفلتر يعرف ما يحاول الكمبيوتر القيام به، يمكننا تقليص هذه التدفقات الهائلة من البيانات إلى جزء صغير من حجمها دون التأثير على قدرة الكمبيوتر على الرؤية وفهم العالم. الأمر يشبه إرسال بطاقة بريدية بدلاً من موسوعة كاملة، ومع ذلك لا تزال البطاقة البريدية تروي القصة بشكل مثالي.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "ترميز بيانات الأحداث القائم على التعلم العميق: حل مشترك للمكان والزمان والقطبية".

1. بيان المشكلة

تلتقط كاميرات الأحداث (مستشعرات الرؤية العصبية) البيانات المرئية بشكل غير متزامن كتدفقات من الأحداث $(x, y, t, p)$ ، مما يوفر دقة زمنية عالية، ونطاقاً ديناميكياً عالياً، وزمن انتقال منخفضاً. ومع ذلك، ينتج عن ذلك أحجام هائلة من البيانات، مما يخلق تحديات كبيرة في التخزين والنقل.

القيود الحالية: تعتمد الحلول الحالية بشكل أساسي على الترميز غير الفاقد (lossless coding) للحفاظ على سلامة البيانات لمهام الرؤية الحاسوبية (CV)، مما يؤدي إلى معدلات بت (bitrates) مرتفعة.
الفجوة: بينما يعد الترميد الفاقد (lossy coding) معياراً للوسائط الموجهة للبشر (الصور/الفيديو)، فقد تم تجنبه في بيانات الأحداث بناءً على افتراض أن أي تشويه سيضر بأداء الرؤية الحاسوبية. علاوة على ذلك، فإن أساليب ترميز السحب النقطية (PCC) الحالية لبيانات الأحداث تتعامل عادةً مع الأحداث كـ سحابتين نقطيتين منفصلتين (واحدة للقطبية الموجبة وأخرى للسالبة)، مما يفشل في استغلال الارتباط بين القطبيتين ويضيع فرص الترميز المشترك.
الهدف: تطوير حل ترميز فاقد يعتمد على التعلم العميق (DL) يحقق معدلات ضغط كبيرة مع الحفاظ على أداء مهام الرؤية الحاسوبية (تحديداً التصنيف) أو تحسينه.

2. المنهجية: بنية DL-JEC

يقترح المؤلفون DL-JEC (ترميز بيانات الأحداث المشترك القائم على التعلم العميق)، وهو إطار عمل مبتكر يعامل بيانات الأحداث كـ سحابة نقطية واحدة (Single PC) بدلاً من سحابتين منفصلتين.

أ. تمثيل البيانات

تمثيل السحابة النقطية الواحدة: بدلاً من تقسيم البيانات حسب القطبية، يقوم DL-JEC برسم خريطة لثنائية الحدث $(x, y, t, p)$ $(x, y, t, p)$ إلى سحابة نقطية ثلاثية الأبعاد حيث:
- الهندسة (Geometry): تمثل $(x, y, z)$ الإحداثيات المكانية $(x, y)$ والزمن المقياس $t$ (حيث $z = t \times TSF$ ).
- السمات (Attributes): تُعامل القطبية $p$ (الموجبة/السالبة) كـ سمة ثنائية ملحقة بالهندسة.
المعالجة المسبقة: تتضمن القياس الزمني (temporal scaling)، والتقطيع الحجمي (voxelization)، وإزالة التكرار (سواء التكرارات ذات القطبية نفسها أو التكرارات ذات القطبية المختلفة في نفس الحجم/الفوكسل).

ب. نموذج الترميز

البنية هي امتداد لمعيار JPEG Pleno PCC ولكنها معدلة للترميز المشترك:

المدخلات: تنسور متفرق (sparse tensor) بقناتين: القناة 1 للإشغال (الهندسة)، والقناة 2 للقطبية.
المشفر (Encoder): يستخدم مشفر تلقائي متباين (VAE) مع نموذج "hyperprior". على عكس JPEG PCC الذي يرمز الهندسة والسمات بشكل منفصل لضمان القابلية للتوسع، يقوم DL-JEC بدمج ميزات الهندسة والقطبية مبكراً في الفضاء الكامن (latent space). وهذا يسمح للنموذج باستغلال الارتباطات بين البيانات المكانية-الزمانية والقطبية.
المفكك (Decoder): يعيد بناء احتمالية الإشغال واحتمالية القطبية لكل حجم (voxel).
دالة الخسارة (Loss Function): دالة خسارة مبتكرة توازن بين المعدل ( $R$ ) وإجمالي التشوه ( $D_{Total}$ ):
$Loss = D_{Total} + \lambda \times R$
حيث $D_{Total}$ هو مجموع موزون لـ تشوه الهندسة و تشوه القطبية، وكلاهما يُحسب باستخدام "Focal Loss".

ج. استراتيجيات التثني التكيفية (Adaptive Binarization)

بما أن المفكك يخرج احتمالات، فإن خطوة التثني (binarization) مطلوبة لإعادة بناء تدفق الأحداث النهائي. يقدم البحث ثلاث استراتيجيات متميزة محسنة لأهداف مختلفة:

المُحسّنة للعدد (Count-optimized - CoB): تعيد بناء العدد الدقيق للأحداث المدخلة ( $k = N_{input}$ ). وهي جيدة للمهام الحساسة لكثافة الأحداث.
المُحسّنة للجودة (Quality-optimized - QuB): تختار $k$ لتعظيم دقة إعادة البناء (مقاسة بمقياس جديد هو PSNR E2E).
المُحسّنة للتصنيف (Classification-optimized - ClB): تختار $k$ لتعظيم دقة التصنيف (Top-1) للمهمة اللاحقة. تعمل هذه الاستراتيجية كمرشح تنقية (denoising filter) متعلم، حيث تستبعد غالباً الأحداث الضوضائية التي تعيق التصنيف.

د. مقياس الجودة الجديد: PSNR E2E

يقترح البحث مقياس Peak Signal-to-Noise Ratio Event-to-Event Distance (PSNR E2E). بخلاف مقاييس PCC القياسية (PSNR D1) التي تأخذ في الاعتبار الهندسة فقط، يأخذ PSNR E2E في الاعتبار:

المسافات المكانية والزمنية.
تطابق القطبية: يحسب متوسط مربع الخطأ (MSE) بين أقرب الجيران من نفس القطبية في المجموعات المرجعية والمعاد بناؤها.

3. المساهمات الرئيسية

أول ترميز مشترك للسحابة النقطية الواحدة: أول حل قائم على التعلم العميق لترميز بيانات الأحداث كسحابة نقطية واحدة مع اعتبار القطبية سمة، مما يستغل الارتباطات المكانية-الزمانية-القطبية.
التثني الموجه للمهام: استراتيجيات تكيفية مبتكرة (CoB, QuB, ClB) تسمح بضبط المرمز خصيصاً لسلامة البيانات أو لمهام رؤية حاسوبية محددة (التصنيف) دون الحاجة لإعادة تدريب النموذج الأساسي.
مقياس PSNR E2E: مقياس جودة جديد مصمم لبيانات الأحداث الفاقدة يأخذ في الاعتبار كلاً من الهندسة والقطبية.
تحول في النموذج المعرفي: يثبت أن الترميز الفاقد يمكن أن يتفوق على الترميز غير الفاقد من حيث معدل البيانات مع الحفاظ على أداء التصنيف أو حتى تحسينه.

4. النتائج التجريبية

تم تقييم الحل على مجموعتي بيانات: N-Caltech101 (تصنيف الأشياء) و IBM DVS Gesture (التعرف على الإيماءات)، باستخدام مصنف EST (Event Spike Tensor).

أداء الضغط (Rate-Distortion):
- يتفوق DL-JEC بشكل كبير على MPEG G-PCC (الفاقد وغير الفاقد) و JPEG Pleno PCC (الفاقد) في منحنيات (Rate-Distortion) عند استخدام استراتيجية QuB.
- يحقق جودة إعادة بناء عالية عند معدلات بت أقل بكثير من خط الأساس غير الفاقد MPEG G-PCC.
- الكفاءة الحسابية: يتميز DL-JEC بأوقات استنتاج (ترميز/فك ترميز) أقل مقارنة بـ JPEG PCC.
أداء التصنيف:
- استراتيجية ClB: حققت استراتيجية التصنيف المُحسّنة (ClB) أعلى دقة لـ Top-1 و Top-5، وغالباً ما تفوقت على البيانات الأصلية غير المضغوطة والأساس المعتمد على التقطيع الحجمي (voxelized baseline).
- السبب: تعمل استراتيجية ClB بفعالية على تصفية الضوضاء والأحداث غير ذات الصلة، مما يوفر مدخلات "أنظف" للمصنف.
- التعميم: أظهرت النماذج المدربة على N-Caltech101 قدرة جيدة على التعميم لمجموعة بيانات IBM DVS Gesture، محققة أداءً تنافسياً ضد المعايير المرجعية.
المقارنة مع المعايير المرجعية:
- تفوق DL-JEC باستمرار على نهج "السحابتين" (Two-PC) (مثل JPEG PCC) في كل من كفاءة الضغط ودقة التصنيف.
- كانت الفجوة أكبر في استراتيجيات CoB، حيث يولد نهج السحابتين أحداثاً مكررة بقطبيات متضاربة يجب إزالتها، مما يهدر البتات.

5. الأهمية والأثر

إعادة تعريف ترميز الأحداث: تتحدى هذه الورقة العقيدة القائلة بأن بيانات الأحداث يجب أن تُرمز بشكل غير فاقد. فهي تثبت أن الضغط الفاقد المنضبط ليس ممكناً فحسب، بل هو مفيد لمهام الرؤية الآلية.
إمكانية التوحيد القياسي: يتماشى هذا العمل مع جهود توحيد معيار JPEG XE (بيانات الأحداث)، مما يوفر أساساً تقنياً قوياً لمعايير ترميز الأحداث الفاقدة في المستقبل.
الكفاءة: من خلال تمكين معدلات بت أقل دون التضحية بأداء المهام (أو حتى تحسينه)، يسهل DL-JEC نشر كاميرات الأحداث في التطبيقات ذات النطاق الترددي المحدود مثل القيادة الذاتية، والروبوتات، وإنترنت الأشياء (IoT).
الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا الإطار ليشمل مهام رؤية حاسوبية أخرى (مثل التجزئة الدلالية) والتدريب على مجموعات بيانات أكثر تنوعاً لتحسين القدرة على التعميم عبر كثافات أحداث مختلفة.