💻 computer science

EventGait: Towards Robust Gait Recognition with Event Streams

تقدم هذه الورقة البحثية EventGait، وهو إطار عمل ثنائي المسار متين وشامل (end-to-end) يستفيد من كاميرات الأحداث وبنية مبتكرة لخليط من الخبراء النبضية (Mixture of Spiking Experts) لتحقيق أداء رائد في التعرف على مشية الإنسان، لا سيما في ظروف الإضاءة المنخفضة الصعبة حيث تفشل الطرق التقليدية القائمة على الكاميرات.

المؤلفون الأصليون: Senyan Xu, Shuai Chen, Chuanfu Shen, Kean Liu, Zhijing Sun, Chengzhi Cao, Xueyang Fu

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Senyan Xu, Shuai Chen, Chuanfu Shen, Kean Liu, Zhijing Sun, Chengzhi Cao, Xueyang Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التعرف على شخص يمشي في الشارع. عادةً ما تعمل كاميرات المراقبة (كاميرات RGB) مثل العيون البشرية القياسية: فهي تلتقط صورة كل جزء من الثانية. إذا كان الجو مشمسًا ومشرقًا، فإن هذا يعمل بشكل رائع. ولكن إذا كان الظلام دامسًا، أو ضبابيًا، أو إذا كان الشخص يتحرك بسرعة كبيرة، فقد ترتبك الكاميرا، وتصبح الصورة ضبابية، أو تصبح مظلمة ببساطة. الأمر يشبه محاولة قراءة كتاب في الظلام؛ لا يمكنك رؤية الكلمات.

EventGait هو نظام جديد يستخدم "عينًا" من نوع مختلف تسمى كاميرا الأحداث (Event Camera) لحل هذه المشكلة. إليك كيفية عمله، مقسمًا إلى مفاهيم بسيطة:

1. "إنذار الحريق" مقابل "كاميرا الفيديو"

فكر في الكاميرا القياسية مثل مسجل فيديو يلتقط صورة كاملة 30 مرة في الثانية، بغض النظر عما إذا كان هناك شيء يحدث أم لا. إنها تلتقط المشهد بأكمله، بما في ذلك الخلفية، والملابس، والإضاءة.

أما كاميرا الأحداث فهي أشبه بغرفة مليئة بإنذارات حريق صغيرة فائقة الحساسية. هي لا تلتقط صورًا، بل "تصرخ" (ترسل إشارة) فقط عندما ترى تغيرًا في السطوع عند بكسل معين.

إذا مر شخص بجانبها في الظلام، فإن الكاميرا القياسية لا ترى شيئًا. أما كاميرا الأحداث فترى حركة الشخص كتدفق من "الأحداث" (التغيرات).
إنها تتجاهل الأشياء الثابتة مثل الجدار أو الشجرة. هي تهتم فقط بالحركة.
إنها تعمل بشكل مثالي في الظلام الدامس أو ضوء الشمس الساطع لأنها لا تعتمد على "رؤية" الضوء؛ بل تعتمد على تغيرات الضوء.

2. المشكلة مع المحاولات السابقة

قبل هذا البحث، حاول الباحثون استخدام كاميرات الأحداث للتعرف على المشي، لكنهم ارتكبوا خطأً. لقد أخذوا كل تلك الإشارات الصغيرة لـ "التغير" ودمجوها معًا في صورة واحدة ضبابية عبر فترة زمنية طويلة.

التشبيه: تخيل أنك تحاول فهم رقصة سريعة عن طريق التقاط صورة للراقص كل 10 ثوانٍ ودمجها معًا لتصبح ضبابية. ستفقد الحركات المحددة (التفاصيل عالية السرعة) ولن ترى سوى كتلة شبحية.
هذا النهج أضاع التوقيت الدقيق فائق السرعة الذي يجعل كاميرات الأحداث مميزة.

3. الحل: EventGait (فريق المسارين)

بنى المؤلفون EventGait، وهو يشبه فريق تحقيق مكون من شخصين. بدلاً من دمج كل شيء، قاموا بتقسيم المهمة إلى مسارين متخصصين يعملان معًا:

المسار (أ): "محقق الحركة" (المسار الديناميكي)

ماذا يفعل: يركز هذا الفريق كليًا على الحركة. إنه ينظر إلى التغيرات السريعة والصغيرة في تدفق الأحداث.
السلاح السري (MoSE): للتعامل مع الظروف المختلفة (مثل المشي السريع في ضوء الشمس الساطع مقابل المشي البطيء في الظلام)، يستخدمون خليطًا من الخبراء النبضيّين (Mixture of Spiking Experts - MoSE).
- التشبيه: تخيل فريقًا من المتخصصين. بعضهم "عداؤون سريعون" بارعون في رصد الحركات السريعة في الضوء الساطع. والبعض الآخر "مراقبون هادئون وثابتون" بارعون في رصد الحركات الخافتة في الظلام.
- يقرر النظام تلقائيًا أي متخصص يجب الاستماع إليه بناءً على الموقف. يضمن هذا أن النظام لن يرتبك أبدًا بسبب الإضاءة السيئة أو السرعات الغريبة.

المسار (ب): "مهندس الشكل" (المسầm الثابت)

ماذا يفعل: كاميرات الأحداث سيئة في إظهار كيف يبدو الشخص (شكل جسمه) لأنها ترى الحركة فقط، وليس الجسم بالكامل. يحاول هذا الفريق تحديد شكل الشخص.
السلاح السري (CroSA): نظرًا لأن بيانات كاميرا الأحداث متفرقة (مثل رسم تخطيطي بخطوط مفقودة)، يستخدم النظام "معلمًا" للمساعدة.
- التشبيه: تخيل طالبًا يحاول رسم شخص بناءً على بعض النقاط المتناثرة. "المعلم" (ذكاء اصطناعي ضخم مدرب على ملايين الصور العادية) ينظر إلى النقاط ويقول: "مهلًا، هذه النقاط عادة ما تشكل ساق إنسان هنا". يتعلم النظام ملء تفاصيل الشكل المفقودة باستخدام هذا التوجيه.

4. ميادين التدريب الجديدة (مجموعات البيانات)

كانت هناك مشكلة كبيرة وهي عدم وجود أمثلة كافية من العالم الحقيقي لأشخاص يمشون أمام كاميرات الأحداث للتدريب عليها.

الحل: بنى المؤلفون "محاكيًا". لقد أخذوا فيديوهات موجودة لأشخاص يمشون وحولوها رياضيًا إلى بيانات كاميرا الأحداث.
أنشأوا مكتبتين ضخمتين من البيانات (SUSTech1K-E و CCGR-Mini-E) حتى يتمكن الذكاء الاصطناعي من التعرف على آلاف الأشخاص المختلفين تحت ظروف متنوعة.

5. النتائج: لماذا يهم هذا؟

اختبر الورقة البحثية EventGait مقابل الكاميرات القياسية وأجهزة المسح الليزري ثلاثية الأبعاد المكلفة (LiDAR).

في الضوء العادي: أدى EventGait أداءً يضاهي أفضل الكاميرات القياسية.
في الظلام: هذا هو المجال الذي يتألق فيه. بينما فشلت الكاميرات القياسية تمامًا في الإضاءة المنخفضة، استمر EventGait في العمل بشكل جيد تقريبًا كما كان في النهار.
التكلفة: يحقق نتائج مماثلة لأجهزة المسح الليزري ثلاثية الأبعاد باهظة الثمن، ولكنه يستخدم كاميرا أرخص بكثير.

باختصار:
EventGait هو نظام ذكي يستخدم كاميرا خاصة ترى فقط التغيرات في الضوء. يقسم المهمة إلى جزأين: جزء خبير في تتبع الحركات السريعة (حتى في الظلام) وجزء آخر يتعلم تخمين شكل جسم الشخص. من خلال القيام بذلك، يمكنه تحديد الأشخاص الذين يمشون بشكل موثوق في الظروف التي تصاب فيها الكاميرات العادية بالعمى.

ملخص تقني: EventGait: نحو تمييز المشية باستخدام تدفقات الأحداث

بيان المشكلة
يوفر تمييز المشية (Gait recognition) وسيلة غير اقتحامية وتحافظ على الخصوصية لتحديد الهوية البشرية، ولكنه يواجه تحديات كبيرة في البيئات غير المنضبطة. تعاني الأساليب التقليدية القائمة على كاميرات RGB من تدهور الأداء بسبب تغيرات الإضاءة، وضبابية الحركة، والانسدادات. وبينما توفر الأساليب القائمة على تقنية LiDAR متانة أكبر، فإن تكلفتها العالية واستهلاكها للطاقة يعيقان نشرها على نطاق واسع. تحاول طرق تمييز المشية الحالية القائمة على الأحداث (event-based) الاستفيد من الدقة الزمنية العالية والمدى الديناميكي لكاميرات الأحداث، ولكنها عادةً ما تقوم بتجميع تدفقات الأحداث في صور أحداث شبكية عبر نوافذ زمنية طويلة. هذا النهج يتخلص من الديناميكيات الزمنية دقيقة التفاصيل والضرورية لتحليل المشية، وينتج تمثيلات مكانية متفرقة يصعب على الشبكات العميقة القياسية تفسيرها بفعالية. علاوة على ذلك، يفتقر المجال إلى مجموعات بيانات ضخمة لتمييز المشية القائم على الأحداث للتقييم الصارم.

المنهجية
يقترح المؤلفون EventGait، وهو إطار عمل ثنائي المسار متكامل (end-to-end) مصمم لنمذجة الحركة والشكل بشكل منفصل مع الحفاظ على المزايا المتأصلة لبيانات الأحداث.

تمثيل الأحداث: يستخدم إطار العمل تصميماً زمنياً ثنائي المقياس. يتم تفكيك تدفقات الأحداث إلى:

شرائح قصيرة المدى ( $E_d$ ): شرائح ذات دقة زمنية عالية تلتقط ديناميكيات الحركة دقيقة التفاصيل.
شرائح طويلة المدى ( $E_s$ ): أحداث مجمعة عبر نافذة أطول لالتقاط معلومات الشكل المكاني المستقرة.

مسار الحركة الديناميكية (MoSE): يعالج هذا المسار الشرائح قصيرة المدى لنمذجة الحركة عالية التردد. وهو يستخدم خليطاً من الخبراء النبضيين (Mixture of Spiking Experts - MoSE). وإدراكاً منه بأن تكوين خلية عصبية نبضية واحدة لا يمكنه التكيف مع ظروف الحركة والإضاءة المتنوعة (مثل الحركة السريعة في الضوء الساطع مقابل الحركة البطيئة في الضوء الخافت)، يدمج MoSE عدة خبراء نبضيين بـثوابت زمنية غشائية ( $\tau$ ) متميزة. وتعمل شبكة بوابة خفيفة الوزن على اختيار الخبراء وتوزينهم ديناميكياً، مما يتيح إدراكاً قوياً عبر السيناريوهات المعقدة.
مسار الشكل الساكن (CroSA): يعالج هذا المسار الشرائح طويلة المدى لتعلم تمثيلات الشكل الكثيفة. ونظراً لأن بيانات الأحداث متفرقة مكانياً، قدم المؤلفون محاذاة البنية عبر الوسائط (Cross-modal Structure Alignment - CroSA). يعمل نموذج أساسي للرؤية (VFM) مدرب مسبقاً، وتحديداً DINOv2، كمعلم لتوفير أولويات هيكلية كثيفة. ويتم تدريب المشفر الساكن القائم على الأحداث (الطالب) لمحاذاة تمثيلات ميزاته مع مخرجات الـ VFM عبر فقدان المحاذاة، مما ينقل المعرفة الهيكلية بفعالية إلى وسيط الأحداث المتفرق.
الدمج والتدريب: يتم دمج الميزات الديناميكية ( $F_d$ ) والساكنة ( $F_s$ ) لإنشاء واصف مشية موحد. يتم تدريب النموذج باستخدام مزيج من فقدان الإنتروبيا المتقاطعة (cross-entropy loss)، وفقدان الثلاثي (triplet loss)، وفقدان المحاذاة عبر الوسائط.

المساهمات الرئيسية

إطار عمل EventGait: بنية ثنائية المسار مبتكرة تفصل بين نمذجة الحركة الديناميكية والشكل الساكن، مما يعالج قيود الطرق السابقة القائمة على الأحداث التي تعتمد على التجميع الزمني.
خليط من الخبراء النبضيين (MoSE): آلية تجمع بين الخلايا العصبية النبضية وثوابت زمنية متنوعة لالتقاط أنماط الحركة تكيفياً تحت ظروف الإضاءة والسرعة المتغيرة.
محاذاة البنية عبر الوسائط (CroSA): استراتيجية لاستخلاص الأولويات الهيكلية الكثيفة من نموذج رؤية أساسي (VFM) ونقلها إلى المسار الساكن القائم على الأحداث، للتغلب على تشتت بيانات الأحداث.
معايير مرجعية جديدة: لمعالجة نقص البيانات واسعة النطاق، أنشأ المؤلفون مسار توليد (synthesis pipeline) لتحويل فيديوهات المشية RGB إلى تدفقات أحداث. وقد أصدروا مجموعتي بيانات جديدتين: SUSTech1K-E (مشتقة من SUSTech1K) و CCGR-Mini-E (مشتقة من CCGR-Mini)، والتي توفر متغيرات ومشاهد متنوعة للتقييم.

النتائج التجريبية
أُجريت تجارب مكثفة على كل من المعايير المخلّقة (SUSTech1K-E, CCGR-Mini-E) والمعايير الواقعية (DVS128-Gait, EV-CASIA-B).

الأداء: يحقق EventGait أداءً هو الأفضل في فئته (state-of-the-art)، متفوقاً على الأساليب الحالية القائمة على الكاميرات أو الأحداث. في مجموعة بيانات SUSTech1K-E، حقق دقة Rank-1 إجمالية بلغت 92.8%، متجاوزاً أفضل طريقة قائمة على الأحداث سابقة بفارق كبير.
المتانة في الإضاءة المنخفضة: أظهرت الطريقة متانة فائقة في ظروف الإضاءة المنخفضة. في سيناريوهات الليل (NT)، يتفوق EventGait على الأساليب القائمة على الكاميرات بفارق كبير (على سبيل المثال، تحسن بنسبة +37.3% عن الخطوط المرجعية في SUSTech1K-E)، مما يؤكد ميزة كاميرات الأحداث في ظروف الإضاءة الصعبة.
المقارنة مع LiDAR: يحقق EventGaft نتائج مماثلة، وفي بعض المشاهد يتفوق على الأساليب القائمة على LiDAR (مثل LidarGait++)، على الرغم من استخدامه لوسيط استشعار أقل تكلفة بكثير.
دراسات الاستئصال (Ablation Studies): تؤكد التجارب ضرورة وجود المسارين الساكن والديناميكي؛ حيث يؤدي إزالة أي منهما إلى انخفاض في الأداء. وقد وُجد أن وحدة MoSE مع 3 خبراء تقدم أفضل توازن بين الدقة والكفاءة.

الأهمية والادعاءات
يزعم البحث أن EventGait يضع معياراً جديداً للأداء في تمييز المشية القائم على الأحداث. ويسلط الضوء على أن تحليل الأحداث ليس ممكناً فحسب، بل هو قوي للغاية، خاصة في السيناريوهات التي تفشل فيها الكاميرات التقليدية (الإضاءة المنخفضة) وحيث يكون LiDAR مكلفاً جداً للنشر الجماعي. ويؤكد العمل أن الحفاظ على الديناميكيات الزمنية دقيقة التفاصيل من خلال الشبكات النبضية، بدلاً من تجميعها في صور ساكنة، أمر بالغ الأهمية لإطلاق إمكانات كاميرات الأحداث في التعرف البيومتري. كما يهدف إصدار المعايير المرجعية الاصطناعية واسعة النطاق إلى تسهيل المزيد من الأبحاث في هذا المجال.