💻 computer science

VIMCAN: Visual-Inertial 3D Human Pose Estimation with Hybrid Mamba-Cross-Attention Network

تقترح الورقة البحثية بنية VIMCAN، وهي بنية هجينة تجمع بين كفاءة نموذج Mamba في النمذجة الزمنية وبين قدرة آلية الانتباه المتقاطع (Cross-Attention) على الاستدلال المكاني لتحقيق تقدير آني وعالي الدقة لوضعية جسم الإنسان ثلاثية الأبعاد باستخدام البيانات البصرية والقصورية، متفوقة بذلك على الأساليب الحالية القائمة على نماذج المحولات (Transformer).

المؤلفون الأصليون: Zepeng Yang, Junxuan Bai, Hao Li, Ju Dai, Junjun Pan, Yongfeng Yin, Bin Li

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zepeng Yang, Junxuan Bai, Hao Li, Ju Dai, Junjun Pan, Yongfeng Yin, Bin Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول معرفة كيفية تحرك شخص ما بدقة في فضاء ثلاثي الأبعاد بمجرد مشاهدة فيديو له. الأمر يشبه محاولة تخمين شكل خيال الظل دون رؤية اليد التي تصنعه؛ يمكنك رؤية المخطط الخارجي، لكن لا يمكنك التأكد من مدى عمق الأصابع أو ما إذا كان الذراع ينثني للأمام أو للخلف. هذه هي مشكلة "غموض العمق" التي تواجهها الحواسيب.

لحل هذه المشكلة، يلجأ الباحثون عادةً إلى إضافة "حاسة" ثانية، مثل المستشعرات المثبتة على جسم الشخص (IMUs) التي تشعر بالحركة مباشرة. لكن دمج الفيديو (العينين) والمستشعرات (اللمس) أمر صعب. تستخدم أفضل الطرق الحالية أداة ذكاء اصطناعي قوية تسمى Transformer، وهي تشبه أمين مكتبة فائق الذكاء يقرأ كل صفحة من صفحات الكتاب ليفهم القصة. والمشكلة؟ إذا كان الكتاب طويلاً (تسلسل فيديو طويل)، فإن أمين المكتبة هذا يصاب بالإرهاق؛ إذ يتطلب الكثير من الذاكرة والوقت، مما يجعل تشغيله في الوقت الفعلي على الحواسيب العادية أمراً مستحيلاً.

هنا يأتي نظام VIMCAN، وهو نظام جديد اقترحه "يانغ" وزملاؤه. فكر في VIMCAN كفريق تحقيق هجين يجمع بين متخصصين مختلفين لحل قضية "أين يوجد جسم الشخص؟".

المتخصصان

العداء السريع (Mamba):
يقدم البحث بنية جديدة للذكاء الاصطناعي تسمى Mamba. تخيل عداءً يمكنه الركض بسرعة عبر ممر طويل، متذكراً أهم الأشياء التي رآها دون الحاجة إلى التوقف وإعادة قراءة الممر بأكمله في كل خطوة. يتميز Mamba بالسرعة الفائقة والكفاءة في التعامل مع تسلسلات البيانات الطويلة. ومع ذلك، يشير البحث إلى أن هذا العداء ضعيف نوعاً ما في النظر إلى الغرفة بأكملها في وقت واحد لفهم كيفية ارتباط الأشياء ببعضها في الفضاء.
المحقق المكاني (Cross-Attention):
هذا هو أسلوب المتخصص القديم "Transformer". إنه بارع جداً في النظر إلى مشهد كامل وفهم كيفية ارتباط اليد اليسرى بالقدم اليمنى، أو كيف ترتبط إطار فيديو بقراءة مستشعر. لكنه بطيء وثقيل، مثل شاحنة ضخمة تستهلك الكثير من الوقود.

حل VIMCAN: تعاون مثالي

VIMCAN هو شبكة "Mamba-Cross-Attention" البصرية-القصورية. إنه نظام "هجين" لأنه يسمح لهذين المتخصصين بالعمل معاً:

العمل الجماعي: يستخدم VIMCAN العداء السريع (Mamba) لمعالجة التدفق الطويل للفيديو وبيانات المستشعرات عبر الزمن بسرعة. فهو يتولى مهمة "متى" و"بأي سرعة" بكفاءة.
الدمج: بعد ذلك، يسلم العصا إلى المحقق المكاني (Cross-Attention) ليفهم العلاقات المعقدة بين عرض الكاميرا ومستشعرات الجسم. هذا يضمن أن الحاسوب يعرف بالضبط كيف تتطابق بكسلات الفيديو ثنائية الأبعاد مع حركات المستشعرات ثلاثية الأبعاد.

كيف يعمل في الواقع

يأخذ النظام مدخلين:

النقاط المفتاحية البصرية (Visual Keypoints): قائمة من النقاط من الفيديو توضح أين توجد مفاصل الشخص (الأكتاف، الأكواع، الركب).
بيانات IMU: بيانات من مستشعرات قابلة للارتداء (مثل الجيروسكوبات الصغيرة) على الجذع والأطراف، والتي تخبر النظام بكيفية دوران تلك الأجزاء من الجسم.

يقوم VIMCAN بتجميع أجزاء الجسم (مثل "الذراع اليسرى" أو "الجذع") ويستخدم طريقة مسح خاصة لقراءة البيانات. الأمر يشبه امتلاك فريق من الكشافين الذين يعرفون بالضبط أي أجزاء من الجسم يجب مراقبتها وبأي ترتيب، بدلاً من مجرد المسح العشوائي.

النتائج: سريع، خفيف، ودقيق

يدعي البحث أن VIMCAN يمثل ترقية كبيرة للأساليب السابقة:

الدقة: يتنبأ بالوضعيات ثلاثية الأبعاد بدقة عالية جداً. في إحدى مجموعات البيانات الاختبارية (TotalCapture)، كان الخطأ 17.2 ملم فقط في المتوسط. وفي مجموعة بيانات أصعب من العالم الحقيقي (3DPW)، كان الخطأ 45.3 ملم. وهذا يتفوق على أفضل الطرق السابقة التي كانت غالباً أبطأ أو أقل دقة.
السرعة والكفاءة: هذا هو الفوز الأكبر. نظرًا لاستخدامه تقنية Mamba، لا يحتاج VIMCAN إلى حاسوب خارق؛ إذ يمكنه العمل بسرعة تتجاوز 60 إطاراً في الثانية على حاسوب محمول عادي أو بطاقة رسوميات استهلاكية.
الذاكرة: يتضمن البحث رسماً بيانياً يوضح أنه بينما تحتاج الطرق القديمة (مثل GCN-Transformer) إلى كميات هائلة من الذاكرة مع زيادة طول الفيديو (مثل بالون يتمدد حتى ينفجر)، تظل استهلاك الذاكرة في V-IMCAN ثابتاً ومنخفضاً. إنه يشبه حقيبة ظهر لا تزداد ثقلاً مهما قطعت من أميال.
المرونة: على عكس الأنظمة القديمة التي تتطلب مقاطع فيديو بطول 10 أو 20 ثانية بالضبط، يمكن لـ VIMCAN التعامل مع فيديوهات بأي طول فوراً.

الخلاصة

بنى المؤلفون VIMCAN لحل المقايضة بين الذكاء والسرعة. ومن خلال دمج محرك "Mamba" الفعال مع عقل "Cross-Attention" القوي، ابتكروا نظاماً يمكنه تتبع حركة الإنسان في فضاء ثلاثي الأبعاد بدقة عالية وفي الوقت الفعلي، باستخدام أجهزة يمتلكها معظم الناس بالفعل.

ويخلص البحث إلى أنه بينما يعتمد النظام على معايرة المستشعرات بشكل صحيح (مثل ضبط آلة موسيقية قبل الحفل)، فإنه يمثل خطوة كبيرة للأمام لتطبيقات مثل التقاط الحركة والتفاعل بين الإنسان والحاسوب، حيث يقدم توازناً أفضل بين السرعة والذاكرة والدقة مقارداً بأي شيء سبقه.

ملخص تقني: VIMCAN

بيان المشكلة

بينما حقق التعلم العميق تقدماً كبيراً في تقدير وضعية الجسم ثلاثية الأبعاد متعدد الوسائط (HSE)، تواجه المسارات المتطورة (state-of-the-art) عائقين حرجين:

غموض العمق: تواجه الطرق القائمة على الرؤية صعوبة في رفع النقاط المفتاحية ثنائية الأبعاد إلى وضعيات ثلاثية الأبعاد بدقة بسبب الطبيعة غير المحددة للمشكلة.
عدم الكفاءة الحسابية: تعتمد النماذج عالية الأداء حالياً بشكل كبير على بنيات "المحول" (Transformer). تؤدي التعقيد التربيعي ( $O(L^2)$ ) لآليات الانتباه الذاتي فيما يتعلق بطول التسلسل ( $L$ ) إلى استهلاك باهظ للذاكرة والتكاليف الحسابية، مما يجعل المعالجة في الوقت الفعلي للتسلسلات الطويلة أمراً غير عملي، خاصة على الأجهزة ذات الموارد المحدودة.

بينما توفر بنيات "مامبا" (Mamba) تعقيداً خطياً ( $O(L)$ ) ونمذجة فعالة للتسلسل، إلا أنها تتخلف حالياً عن الطرق القائمة على الانتباه في التقاط التبعيات المكانية المعقدة المطلوبة للدمج متعدد الوسائط بدقة.

المنهجية

يقترح المؤلفون VIMCAN (شبكة مامت-التقاطع البصرية-القصورية)، وهي بنية هجينة مصممة لموازنة الكفاءة والدقة والمتانة من خلال دمج النقاط المفتاحية المستمدة من RGB مع بيانات وحدة القياس القصورية (IMU) القابلة للارتداء.

1. البنية الهجينة

يجمع VIMCAN بين نقاط القوة لآليتين متمايزتين:

مامبا (STMamba): تُستخدم للنمذجة الزمنية الفعالة ومعالجة التسلسل. تستخدم الشبكة وحدات مامبا مكانية-زمانية (STMamba) لمعالجة الميزات البصرية والقصورية بشكل مستقل.
- STMamba المدركة للهيكل العظمي: تعالج الميزات البصرية ( $F^V$ ) عن طريق إعادة ترتيب النقاط المفتاحية وفقاً لعلاقات الأب والابن بين المفاصل لدمج الأولويات الحركية (kinematic priors).
- STMamba المدركة للأجزاء: تعالج الميزات القصورية ( $F^I_g$ ) من أجزاء الجسم المحددة (مثل الجذع، الأطراف) باستخدام مسح انتقائي مكاني-زماني ثنائي الاتجاه (SS2D) لتجميع المعلومات عبر الأبعاد المكانية والزمانية.
الانتباه المتقاطع (Cross-Attention): يُستخدم كعمود فقري للدمج متعدد الوسائط. بينما تتعامل "مامبا" مع الديناميكيات الزمنية بكفاءة، يُستخدم "الانتباه المتقاطع" لالتقاط التبعيات المكانية المتقاطعة المعقدة بين الرموز (tokens) البصرية والقصورية، مما يعالج قيود الاستدلال المكاني في "مامبا" الصرفة.

2. استخراج الميزات والدمج

المدخلات: يأخذ النظام $J=17$ نقطة مفتاحية ثنائية الأبعاد و $I=6$ من أرباع وحدة القياس القصورية (quaternions).
التجميع: يتم تقسيم وحدات IMU إلى $G=5$ مجموعات تشريحية (الجذع، الذراعين الأيسر والأيمن، الساقين الأيسرى واليمنى) بناءً على الأولويات الحركية.
عملية الدمج:
1. يتم رفع الميزات إلى بُعد تضمين مشترك عبر طبقات خطية.
2. تقوم وحدات STMamba مستقلة باستخراج الميزات المكانية-الزمانية.
3. وحدة الانتباه المتقاطع: تعمل الميزات البصرية كاستعلامات ( $Q$ )، بينما تعمل الميزات القصورية كمفاتيح ( $K$ ) وقيم ( $V$ ). يسمح هذا للنموذج بالانتباه ديناميكياً للبيانات القصورية ذات الصلة لمفاصل بصرية محددة.
4. تخضع الميزات المدمجة للنمذجة العالمية عبر سلسلة من طبقات STMamba المدركة للهيكل قبل استرجاع الوضعية.

3. استراتيجية التدريب

الاستدلال بطول متغير: بخلاف النهج التقليدية التي تتطلب مدخلات ثابتة الطول، يدعم VIMCAN بطبيعته تسلسلات متغيرة الطول دون الحاجة للحشو (padding) أو القناع (masking).
دالة الخسارة: تُستخدم دالة خسارة مركبة، تتكون من:
- متوسط خطأ موضع المفصل (MPJPE).
- المتوسط الموزون لخطأ موضع المفصل (N-MPJPE) لتصحيح انزياح المقياس.
- متوسط خطأ سرعة المفصل (MPJVE) لضمان السلاسة الزمنية.
- خسارة الاتساق الزمني (TC) للحد من التقلبات المفاجئة.

المساهمات الرئيسية

بنية هجينة مبتكرة: يعد VIMCAN أول عمل يطبق "مامبا" على تقدير الوضعية ثلاثية الأبعاد متعدد الوسائط (بصري-قصوري)، حيث نجح في الجمع بين معالجة التسلسل زمنياً لـ "مامبا" وقدرات الدمج المكاني القوية لـ "الانتباه المتقاطع".
الكفاءة والقابلية للتوسع: تحقق البنية استدلالاً في الوقت الفعلي (أكثر من 60 إطاراً في الثانية) على الأجهزة الاستهلاكية مع دعم تسلسلات متغيرة الطول، متجاوزة عقبة التعقيد التربيعي للمحولات.
أداء يمثل أحدث ما توصل إليه العلم (SOTA): يعالج الأسلوب غموض العمق والتعقيد الحسابي في آن واحد، متفوقاً على النماذج الحالية القائمة على المحولات وغيرها من الأساليب المتطورة.

النتائج التجريبية

قيم المؤلفون VIMCAN على مجموعتي بيانات TotalCapture و 3DPW.

TotalCapture:
- باستخدام 6 وحدات IMU وكشف MediaPipe ثنائي الأبعاد، حقق VIMCAN خطأ MPJPE قدره 33.2 ملم و P-MPJPE قدره 25.7 ملم، متفوقاً على الهياكل الهجينة السابقة (GCN-Transformer).
- باستخدام النقاط المفتاحية ثنائية الأبعاد من الحقيقة الأرضية (Ground-Truth)، وصل VIMCAN إلى MPJPE قدره 17.2 ملم و P-MPJPE قدره 13.8 ملم، متجاوزاً أفضل النتائج السابقة (Wang et al.) بمقدار 11.4 ملم في MPJPE.
- الكفاءة: تطلب VIMCAN فقط 29% من بصمة الذاكرة لنموذج GCN-Transformer المرجعي مع تقديم إنتاجية أعلى بمقدار 1.3 ضعف.
3DPW:
- حقق VIMCAN خطأ MPJPE قدره 45.3 ملم، متفوقاً على الطرق السابقة (على سبيل المثال، 53.9 ملم لـ Wang et al.، و60.3 ملم لـ Liu et al.).
الدراسات الاستئصالية (Ablation Studies):
- أدى استبدال وحدة الانتباه المتقاطع بـ Cross-Mamba إلى انخفاض كبير في الأداء (17.2 ملم مقابل 24.3 ملم في MPJPE)، مما يؤكد ضرورة الانتباه للدمج المكاني.
- ثبت أن التجميع التشريحي والمسح المدرك للهيكل ضروريان للدقة.

الأهمية والادعاءات

يزعم البحث أن VIMCAN يضع معياراً جديداً لتقدير الوضعية ثلاثية الأبعاد متعدد الوسائط عالي الكفاءة. ومن خلال سد الفجوة بين كفاءة "مامبا" والاستدلال المكاني لـ "الانتباه المتقاطع"، يتيح الأسلوب:

المعالجة في الوقت الفعلي للتسلسلات الطويلة على الأجهزة الاستهلاكية (تتجاوز 60 إطاراً في الثانية).
دقة فائقة في سيناريوهات الأشخاص المرئيين وغير المرئيين.
المتانة ضد غموض العمق من خلال الدمج البصري-القصوري الفعال.

يخلص المؤلفون إلى أن VIMCAN يقدم توازناً متفوقاً بين الدقة والكفاءة مقارنة بالنماذج السابقة القائمة على RNN و CNN و Transformer، مما يجعله مناسباً جداً للتطبيقات في الوقت الفعلي في مجالات التقاط الحركة، وإعادة التأهيل، والتفاعل بين الإنسان والحاسوب. ومن القيود الملحوظة الاعتماد على معايرة دقيقة للمستشعرات، وهو ما يهدف العمل المستقبلي إلى معالجته من خلال تقنيات المحاذاة التكيفية.