💻 computer science

MMGait: Towards Multi-Modal Gait Recognition

تقدم هذه الورقة MMGait، وهو معيار مرجعي شامل للتعرف على المشية متعدد الوسائط يتميز بـ 12 وسيطاً من خمسة مستشعرات غير متجانسة و725 شخصاً، إلى جانب نموذج OmniGait الأساسي المصمم لتوحيد مهام التعرف أحادية الوسيط، وعبر الوسائط، ومتعددة الوسائط ضمن فضاء تضمين مشترك.

المؤلفون الأصليون: Chenye Wang, Qingyuan Cai, Saihui Hou, Aoqi Li, Yongzhen Huang

نُشر 2026-04-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chenye Wang, Qingyuan Cai, Saihui Hou, Aoqi Li, Yongzhen Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التعرف على صديق لك وهو يسير في شارع مزدحم. في الماضي، كانت كاميرات المراقبة تعتمد بشكل أساسي على فيديو RGB (الألوان القياسية). الأمر يشبه التعرف على صديق من خلال صورة: أنت تميزه من خلال وجهه، ملابسه، وطريقة مشيه. ولكن ماذا يحدث إذا حل الظلام الدامس؟ أو إذا ارتدى قناعاً؟ أو إذا هبّ ضباب كثيف؟ الكاميرات القياسية تعاني لأنها تعتمد على الضوء والصور الواضحة.

تقدم هذه الورقة البحثية طريقة جديدة ومتطورة جداً للتعرف على الأشخاص من خلال مشيتهم (طريقة المشي)، تسمى MMGait. فكر في الأمر كترقية من كاميرا ذات عدسة واحدة إلى "سكين سويسري" من المستشعرات.

إليك تفصيل هذا الإنجاز بكلمات بسيطة:

1. المشكلة: أداة واحدة ليست كافية

أنظمة الأمن الحالية تشبه شخصاً يحاول التعرف على شخص ما باستخدام عينيه فقط. إذا انطفأت الأنوار، أو إذا ارتدى الشخص قناعاً، يفشل النظام. أدرك الباحثون أنه لكي نتعرف حقاً على شخص ما في العالم الحقيقي (المطر، الليل، الزحام)، نحتاج إلى استخدام جميع حواسنا، وليس البصر فقط.

2. الحل: "أوركسترا المستشعرات الخمسة" (MMGait)

قام الفريق ببناء قاعدة بيانات ضخمة وجديدة تسمى MMGait. بدلاً من مجرد تسجيل الفيديو، قاموا بإعداد "حفل موسيقي" لخمسة مستشعرات مختلفة، تسجل جميعها نفس الأشخاص وهم يمشون في نفس الوقت:

كاميرا RGB: هي "العين" القياسية (ترى الألوان والأنسجة).
كاميرا الأشعة تحت الحمراء (IR): هي "عين الرؤية الليلية" (ترى الحرارة، وتعمل في الظلام).
كاميرا العمق: هي "المسطرة ثلاثية الأبعاد" (تقيس مدى بعد أجزاء الجسم، متجاهلة الملابس).
ماسح ليدار (LiDAR): هو "رسم الخرائط بالليزر" (ينشئ هيكلاً عظمياً دقيقاً ثلاثي الأبعاد باستخدام أشعة الليزر، مثل سونار الخفاش).
الرادار رباعي الأبعاد (4D Radar): هو "كاشف الحركة" (يرى الحركة عبر الضباب، المطر، وحتى الجدران).

النطاق: سجلوا 725 شخصاً مختلفاً يمشون بـ 12 طريقة مختلفة (طبيعي، مع حقيبة ظهر، بملابس مختلفة) من 10 زوايا مختلفة. هذا يعني أكثر من 334,000 تسلسل فيديو! إنه أكبر وأكثر "مكتبة مشي" تنوعاً تم إنشاؤها على الإطلاق.

3. التجربة الكبرى: اختبار المستشعرات

استخدم الباحثون هذه المكتبة لإجراء ثلاثة أنواع من الاختبارات:

أحادية النمط (العازف المنفرد): هل يمكن للنظام التعرف على شخص ما باستخدام الرادار فقط؟ أو باستخدام الأشعة تحت الحمراء فقد؟
- النتيجة: بعض المستشعرات (مثل ليدار) بارعة في تجاهل الملابس، بينما البعض الآخر (مثل الفيديو القياسي) بارع في رؤية التفاصيل ولكنه يفشل في الظلام. لا يوجد مستشعر واحد مثالي.
متعددة الأنماط المتقاطعة (المترجم): هل يمكن للنظام التعرف على شخص ما إذا رآه عبر الرادار ولكنه يبحث عنه في قاعدة بيانات فيديو؟
- النتيجة: هذا صعب! الأمر يشبه محاولة مطابقة ظل بصورة ملونة. ينجح الأمر بشكل جيد في الطقس الصحو، لكنه يصبح فوضوياً عندما يغير الناس ملابسهم.
متعددة الأنماط (الجوقة/الكورس): ماذا لو دمجناهم؟
- النتيجة: سحر. عندما تدمج "الشكل" من ليدار مع "النسيج" من كاميرا RGB، يصبح النظام عصياً جداً على الخداع. حتى لو غير شخص ما معطفه، فإن الشكل ثلاثي الأبعاد لهيكله العظمي يظل كما هو، والنظام يمسك به.

4. التحفة الفنية: "OmniGait" (المترجم العالمي)

طرح الباحثون سؤالاً جريئاً: "لماذا نحتاج إلى خمسة برامج كمبيوتر مختلفة للتعامل مع خمسة مستشعرات مختلفة؟ لماذا لا يكون لدينا عقل خارق واحد يفهمها جميعاً؟"

لقد أنشأوا مهمة جديدة تسمى التعرف متعدد الأنماط الشامل (Omni Multi-Modal Gait Recognition) وبنوا نموذجاً يسمى OmniGait.

التشبيه: تخيل مترجماً عالمياً يمكنه فهم الإنجليزية والفرنسية واليابانية في آن واحد. إذا تحدثت بالإنجليزية، فإنه يستمع. إذا كتبت بالفرنسية، فإنه يقرأ. إذا دندنت بلحن ياباني، فإنه يتعرف على اللحن.
كيف يعمل: OmniGait هو نموذج ذكاء اصطناعي واحد يمكنه استقبال أي مدخل (مسح راداري، فيديو، خريطة حرارية) ومطابقته مع أي مدخل آخر.
الفائدة: بدلاً من تدريب خمسة نماذج ذكاء اصطناعي منفصلة ومكلفة، تحتاج فقط إلى نموذج واحد. إنه أخف، أسرع، ويمكنه التعامل مع أي موقف تفرضه المستشعرات.

5. لماذا يهم هذا؟

هذا ليس مجرد تحسين لكاميرات الأمن. هذا يتعلق بجعل التكنولوجيا قوية ومرنة (Robust).

الموثوقية في العالم الحقيقي: يعمل في المطر، في الليل، وعندما يخفي الناس وجوههم.
الخصوصية: لا تحتاج لرؤية وجه الشخص لمعرفته؛ فأسلوب مشيته الفريد يكفي.
جاهزية المستقبل: مع إضافة مستشعرات جديدة لهواتفنا وسياراتنا، فإن نهج "Omni" هذا يعني أن البرمجيات لن تحتاج إلى إعادة كتابة كاملة في كل مرة تتغير فيها الأجهزة.

باختاً مختصراً: بنى المؤلفون "مكتبة مشي" نهائية باستخدام خمسة أنواع مختلفة من المستشعرات لإثبات أن دمجها يجعل التعرف قوياً للغاية. ثم بنوا "عقلاً خارقاً" واحداً (OmniGait) يمكنه استخدام أي من تلك المستشعرات لتحديد هوية أي شخص، في أي مكان، وفي أي وقت. إنه الفرق بين امتلاك مصباح يدوي وبين امتلاك بدلة رؤية ليلية كاملة الطيف.

إليك ملخص تقني مفصل لورقة البحث بعنوان "MMGait: نحو التعرف على المشية متعدد الوسائط".

1. بيان المشكلة

يعد التعرف على المشية تقنية بيومترية قوية غير تلامسية، لكن أحدث الأساليب الحالية تعتمد بشكل كبير على الوسائط المستمدة من كاميرات RGB (مثل الصور الظلية "silhouettes"، والوضعيات ثنائية الأبعاد "2D poses"). تعاني هذه النهج من قيود كبيرة في سيناريوهات العالم الحقيقي:

الضعف: تتأثر بسهولة بسبب الاحتجاب (occlusion)، والإضاءة المنخفضة، والظروف الجوية السيئة (المطر، الضباب).
الافتقار إلى الإدراك ثلاثي الأبعاد: تفتقر بيانات RGB إلى المعلومات الهيكلية الهندسية.
النطاق المحدود: تركز المعايير المرجعية الحالية عادةً على وسائط أحادية (RGB) أو أزواج بسيطة (RGB + LiDAR)، مما يفشل في دعم التعاون متعدد الوسائط غير المتجانس والاسترجاع الموحد عبر المستشعرات.
النماذج المجزأة: يعامل البحث الحالي التعرف أحادي الوسائط، وعبر الوسائط، ومتعدد الوسائط كمهام منفصلة، مما يفتقر إلى إطار عمل موحد للتعامل مع أي مدخلات مستشعر وتوليفاتها.

2. المنهجية

تقترح الورقة حلاً شاملاً يتضمن مجموعة بيانات جديدة، وتقييماً مرجعياً واسع النطاق، ونموذجاً موحداً مبتكراً.

أ. مجموعة بيانات MMGait

يقدم المؤلفون MMGait، وهي مجموعة معيارية شاملة ومتعددة الوسائط للتعرف على المشية، صُممت لسد الفجوة بين البيئات الخاضعة للتحكم وبيئات النشر متعددة المستشعرات في العالم الحقيقي.

الحجم: تحتوي على 725 شخصاً و 334,060 تسلسلاً.
المستشعرات: تم التقاط البيانات باستخدام خمسة مستشعرات غير متجانسة:
1. كاميرا RGB
2. كاميرا الأشعة تحت الحمراء (IR)
3. كاميرا العمق (ToF)
4. ماسح ضوئي LiDAR
5. نظام رادار رباعي الأبعاد (4D Radar)
الوسائط: تولد هذه المستشعرات 12 وسيطاً متميزاً، بما في ذلك: RGB، والأشعة تحت الحمراء (IR)، والصور الظلية (RGB/IR)، والوضعيات ثنائية وثلاثية الأبعاد (2D/3D Poses)، والأحداث (Events)، وخرائط العمق، والعمق المسقط، والسحب النقطية (Point Clouds).
الظروف: تغطي البيانات 10 زوايا رؤية (0°–360°)، و 3 ظروف مشي (طبيعي، حمل حقيبة ظهر، تغيير الملابس)، وظروف إضاءة متنوعة (نهار/ليل، مشمس/غائم).

ب. بروتوكولات التقييم المرجعي

يجري المؤلفون تقييمات منهجية عبر ثلاثة نماذج:

التعرف أحادي الوسائط: تقييم الأداء المستقل لكل وسيط تحت بنية موحدة.
التعرف عبر الوسائط (Cross-Modal): اختبار القدرة على التعميم والنقل حيث يكون الاستعلام (query) والمعرض (gallery) من مستشعرات مختلفة (مثلاً: استعلام من RGB مقابل معرض من LiDAR).
التعرف متعدد الوسائط: تحليل التكامل من خلال دمج الميزات من مصادر داخل المستشعر (مثل RGB + Event) وبين المستشعرات (مثل RGB + LiDAR).

ج. مهمة التعرف الشامل متعدد الوسائط للمشية (OMGR)

لمعالجة تجزؤ الأساليب الحالية، يقترح المؤلفون مهمة جديدة: التعرف الشامل متعدد الوسائط للمشية (Omni Multi-Modal Gait Recognition).

الهدف: تطوير نموذج موحد واحد قادر على قبول أي وسيط كاستعلام واسترجاع الأهداف من أي وسيط (أحادي، أو عبر الوسائط، أو متعدد الوسائط).
القدرات الرئيسية: التعرف العالمي على الوسائط، الدمج التكيفي متعدد الوسائط، والاسترجاع غير المرتبط بالوسيط (Modality-Agnostic).

د. إطار عمل OmniGait

يُقترح نموذج أساسي بسيط وقوي، OmniGait، لحل مهمة OMGR.

البنية:
1. الترميز الخاص بكل وسيط (Modal-Specific Encoding): تستخرج المشفرات المستقلة ( $\varepsilon_m$ ) الميزات من المدخلات الخام (مثل الصور الظلية، أو السحب النقطية المسقطة على خرائط العمق) للحفاظ على الخصائص الفيزيائية الجوهرية.
2. الدمج عبر الوسائط (Cross-Modal Fusion): تستخدم وحدة خفيفة الوزن وزناً بوابياً (gated weighting) لدمج الميزات من وسيطين بشكل تكيفي، مما يوازن مساهماتهما.
3. تعلم التمثيل المشترك (Shared Representation Learning): يقوم عمود فقري متبقٍ مشترك ( $E$ ) بمعالجة الميزات أحادية الوسيط والمدمجة لتعلم تضمينات (embeddings) ثابتة تجاه الوسائط.
التدريب: يستخدم هدفاً مشتركاً يجمع بين فقدان تصنيف الهوية ( $L_{CE}$ ) وفقدان الثلاثي ( $L_{triplet}$ ) لتعزيز القدرة على التمييز والمحاذاة.
الكفاءة: أثناء الاستنتاج، يتم تنشيط المشفر (أو المشفرات) الضرورية فقط، مما يسمح للنموذج بالتعامل مع مهام متنوعة دون الحاجة لإعادة تدريب نماذج منفصلة.

3. المساهمات الرئيسية

مجموعة بيانات MMGait: المجموعة الأكثر شمولاً للبيانات متعددة الوسائط للمشية حتى الآن، تغطي 5 مستشعرات، 12 وسيطاً، 725 شخصاً، و334 ألف تسلسل.
التقييم الشامل: معايير مرجعية واسعة تحلل قوة الوسائط، والتكامل، وتحديات الاسترجاع عبر الوسائط تحت تغير المتغيرات المصاحبة (الملابس، الحقيبة).
التعرف الشامل متعدد الوسائط للمشية (OMGR): صياغة مهمة جديدة توحد التعرف أحادي الوسائط، وعبر الوسائط، ومتعدد الوسائط في إطار عمل واحد.
النموذج الأساسي OmniGait: نموذج موحد يحقق أداءً يضاهي أو يتفوق على النماذج المتخصصة أحادية الوسيط مع تقديم مرونة وكفاءة فائقتين.

4. النتائج الرئيسية

الأداء أحادي الوسائط:
- تؤدي وسائط RGB و IR أفضل أداء في الظروف العادية.
- تُظهر السحب النقطية لـ LiDAR و العمق قوة كبيرة تحت ظروف تغيير الملابس (CL)، متفوقة على RGB في هذا الشرط تحديداً.
- يُظهر رادار 4D أداءً محدوداً بمفرده بسبب التشتت، لكنه يوفر إشارات حركية فريدة.
الاسترجاء عبر الوسائط (Cross-Modal Retrieval):
- الاسترجاع بين الوسائط المتشابهة (مثل RGB $\leftrightarrow$ IR) فعال.
- الاسترجاع بين الوسائط الهندسية والوسائط المظهرية (مثل RGB $\leftrightarrow$ Depth) يعد تحدياً، خاصة تحت ظروف تغيير الملابس.
- يصعب استخدام رادار 4D كمصدر استعلام أساسي، ولكنه يعمل جيداً كوسيط مساعد.
الدمج متعدد الوسائط:
- يحقق الدمج مكاسب كبيرة. على سبيل المثال، دمج الصور الظلية لـ RGB + العمق المسقط لـ LiDAR يحسن دقة Rank-1 بنسبة +19.7% تحت ظروف تغيير الملابس مقارنة بـ RGB وحده.
- نجح OmniGait في توحيد هذه المهام. في الاسترجاع عبر الوسائط (مثل RGB $\to$ Depth)، تفوق على النماذج الأساسية المخصدة ذات المسارين (87.0% مقابل 77.5% لـ Rank-1 في الظروف العادية).
- الكفاءة: يستخدم OmniGait فقط 9.96 مليون معلمة (parameter) بينما يدعم جميع الوسائط الـ 12 وجميع نماذج التعرف الثلاثة، في حين أن تدريب نماذج منفصلة سيتطلب موارد أكبر بكثير.

5. الأهمية والأثر

القابلية للتطبيق في العالم الحقيقي: تنقل MMGait و OmniGait التعرف على المشية من المختبرات الخاضعة للتحكم إلى بيئات العالم الحقيقي متعددة المستشعرات، مما يعالج قضا الخصوصية (عبر مستشعرات غير RGB)، وتغيرات الإضاءة، والاحتجاب.
الإطار الموحد: تثبت مهمة OMGR ونموذج OmniGait أن بنية واحدة خفيفة الوزن يمكن أن تحل محل نماذج متعددة متخصصة، مما يقلل من تعقيد النشر والأعباء الحسابية.
الاتجاهات المستقبلية: تشير الورقة إلى أنه بينما تضحي النماذج الموحدة الحالية ببعض المثالية أحادية الوسيط مقابل المرونة، يجب أن يركز العمل المستقبلي على التعامل الأفضل مع السحب النقطية ثلاثية الأبعاد الخام وتحسين المتانة تجاه المتغيرات المصاحبة.
توافر الموارد: تم إصدار مجموعة البيانات، والشيفرة البرمجية، والنقاط المرجعية المدربة مسبقاً للجمهور، مما يعزز المزيد من الأبحاث في مجال البيومتريات متعددة الوسائط.

باختصار، يضع هذا العمل معياراً جديداً للتعرف على المشية من خلال توفير البيانات اللازمة، وبروتوكولات التقييم، وبنية نموذج موحدة للتعامل مع تعقيدات بيئات العالم الحقيقي متعددة المستشعرات.