🤖 AI

MoViD: View-Invariant 3D Human Pose Estimation via Motion-View Disentanglement

يُعد MoViD إطار عمل لتقدير وضعية جسم الإنسان ثلاثية الأبعاد غير متأثرة بمنظور الرؤية، حيث يقوم بفصل ميزات الحركة ومنظور الرؤية من خلال مُقدِّر للمنظور وإسقاط متعامد، محققاً دقة فائقة في الأداء مع تقليل متطلبات البيانات وإمكانية الاستنتاج في الوقت الفعلي على الأجهزة الطرفية.

المؤلفون الأصليون: Yejia Liu, Hengle Jiang, Haoxian Liu, Runxi Huang, Xiaomin Ouyang

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yejia Liu, Hengle Jiang, Haoxian Liu, Runxi Huang, Xiaomin Ouyang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث MoViD، مترجم إلى لغة بسيطة وسهلة الاستخدام مع بعض التشبيهات الإبداعية.

المشكلة الكبيرة: ارتباك "زاوية الكاميرا"

تخيل أنك تحاول تعليم روبوت كيف يفهم حركة إنسان. تعرض عليه فيديو لشخص يركض.

إذا كانت الكاميرا من الأمام، سيرى الروبوت قدمين تتحركان للأعلى والأسفل.
إذا كانت الكاميرا من الجانب، سيرى الأرجل تتحرك للأمام والخلف.
إذا كانت الكاميرا تنظر من الأعلى عبر طائرة بدون طيار (درون)، سيرى دائرة صغيرة تمثل الرأس والكتفين.

المشكلة هي أن معظم نماذج الذكاء الاصطناዊ الحالية ترتبك. فهي تعتقد أن الشخص قد غير حركته، بينما في الواقع، الكاميرا هي التي تحركت فقط. الأمر يشبه محاولة التعرف على وجه صديق، ولكن في كل مرة تراه فيها، يكون مرتدياً قبعة مختلفة، أو واقفاً في ضوء مختلف، أو يتخذ وضعية مختلفة. يعاني الذكاء الاصطناعي ليقول: "هذا لا يزال نفس الشخص يقوم بنفس الشيء"، خاصة إذا كانت الكاميرا مهتزة، أو مخفية خلف شجرة، أو تطير حول طائرة بدون طيار.

الحل: MoViD (فك الارتباط بين الحركة وزاوية الرؤية)

قام الباحثون في جامعة هونج كونج للعلوم والتكنولوجيا (HKUST) ببناء نظام جديد يسمى MoViD. فكر في MoViD كأنه مترجم ذكي يفصل بين قصتين مختلفتين تحدثان في نفس الفيديو:

قصة الحركة: ما يفعله الشخص حقاً (الجري، القفز، السقوط).
قصة الرؤية: أين تقف الكاميرا.

معظم نماذج الذكاء الاصطناعي تحاول تعلم القصتين معاً، مما يسبب فوضى. أما MoViD فيقول: "دعونا نفصل بينهما".

كيف يعمل (الخطوات السحرية الثلاث)

1. "المحقق" (مُقدّر زاوية الرؤية - View Estimator)
قبل أن يحاول الذكاء الاصطناعي تخمين وضعية الجسم، يعمل كمحقق. ينظر إلى الرسم التخطيطي الضبابي والخشن لجسم الشخص ويسأل: "أين تقف الكاميرا الآن؟"

تشبيه: تخيل أنك في غرفة مظلمة. تسمع صوتاً. قبل أن تخمن ما الذي أصدر الصوت، تخمن أولاً من أين جاء الصوت. يقوم MoViD بهذا فوراً. إنه ينظر إلى شكل الكتفين والوركين ليعرف زاوية الكاميرا.

2. "الفلتر" (الإسقاط المتعامد - Orthogonal Projection)
بمجرد أن يعرف الذكاء الاصطناعي مكان الكاميرا، يستخدم "فلترًا" رياضياً (يسمى الإسقاط المتعامد) لإزالة تأثير الكاميرا.

تشبيه: تخيل أنك تستمع إلى أغنية، ولكن هناك صوت مروحة عالي في الخلفية. المروحة هي "زاوية الكاميرا"، والأغنية هي "حركة الإنسان". MoViD يشبه سماعات إلغاء الضوضاء عالية التقنية. فهو يحدد طنين المروحة (الرؤية) ويلغيه، تاركاً لك تسجيلاً واضحاً جداً للأغنية فقط (الحركة). الآن، يعرف الذكاء الاصطناعي بالضبط كيف يتحرك الشخص، بغض النظر عما إذا كانت الكاميرا على الأرض أو في السماء.

3. "مدرب الفيزياء" (التعلم التبايني - Contrastive Learning)
للتأكد من أن الذكاء الاصطناعي لن يصبح كسولاً، يستخدم "مدرب فيزياء". فهو يقارن الحركة التي يراها بقوانين الفيزياء (كيف يتحرك جسم الإنسان الحقيقي فعلياً).

تشبيه: إذا اعتقد الذكاء الاصطناعي أن ذراع الشخص تتحرك للخلف بطريقة تكسر قوانين الفيزياء، يقول المدرب: "لا، هذا مستحيل! أنت تنظر إليها من الزاوية الخاطئة". هذا يجبر الذكاء الاصطناعي على تصحيح تخمينه والالتزام بالحقيقة.

"المفتاح الذكي" (توفير البطارية والوقت)

أحد أروع ميزات MoViD هو أنه كسول بطريقة ذكية.

الطريقة القديمة: يعالج الذكاء الاصطناعي كل إطار من الفيديو بأقصى جهد، حتى لو كانت زاوية الكاميرا مثالية. هذا يشبه استخدام مطرقة ثقيلة لكسر حبة جوز. إنه بطيء ويستنزف البطارية.
طريقة MoViD: يتحقق من "مُقدّر زاوية الرؤية" أولاً.
- إذا كانت زاوية الكاميرا سهلة (مثل النظر مباشرة إلى شخص ما)، يقول: "الوضع السهل"، ويتخطى المعالجة الثقيلة.
- إذا كانت زاوية الكاميرا صعبة (مثل النظر من زاوية جانبية غريبة أو إذا كان الشخص مخفياً جزئياً)، يقول: "الوضع الصعب"، ويقوم بتشغيل أدوات "تحسين الانعكاس" الإضافية للتحقق من الإجابة.
النتيجة: يعمل بسرعة فائقة (15 إطاراً في الثانية) على الأجهزة الصغيرة المحمولة مثل Jetson Orin NX (وهو بمثابة كمبيوتر صغير قوي للروبوتات)، مما يجعله مثالياً للاستخدام في الوقت الفعلي.

لماذا يهم هذا في العالم الحقيقي؟

اختبر الباحثون هذا النظام على تسعة مجموعات بيانات مختلفة، بما في ذلك بعض المجموعات التي صنعوها بأنفسهم:

تتبع الطائرات بدون طيار (الدرون): قاموا بتصوير أشخاص أثناء تحليق طائرة بدون طيار حولهم. كانت الكاميرا تدور وتتحرك باستمرار. لم يرتبك MoViD؛ بل استمر في تتبع الشخص بشكل مثالي.
تحليل المشية (المشي): استخدموه لدراسة كيفية مشي الناس للكشف عن المشكلات الصحية. حتى مع وجود كاميرات موضوعة في زوايا غريبة (أمام، جانب، خلف)، استطاع MoViD التمييز بين المشية السليمة والعرج.
الإضاءة المنخفضة والعوائق: عمل النظام حتى عندما كان الفيديو مظلماً أو عندما كان الناس مخفيين جزئياً خلف الأشياء.

الخلاصة

MoViD هو اختراق لأنه يمنع الذكاء الاصطناعي من الارتباك بسبب الكاميرا. بدلاً من محاولة حفظ كل زاوية كاميرا ممكنة، يتعلم تجاهل الكاميرا والتركيز فقط على حركة الإنسان.

دقة أفضل: قلل الأخطاء بنسبة تزيد عن 24% مقارنة بأفضل الطرق الموجودة.
بيانات أقل مطلوبة: تعلم بذكاء باستخدام بيانات تدريب أقل بنسبة 60%.
الوقت الفعلي: سريع بما يكفي للعمل على روبوت أو كاميرا ذكية في منزلك الآن.

باخت-الاختصار، MoViD يعلم الكمبيوتر أن يرى الشخص، وليس المنظور.

إليك ملخص تقني مفصل لورقة البحث بعنوان "MoViD: تقدير وضعية الجسم ثلاثية الأبعاد غير المتأثرة بمنظور الرؤية عبر فك الارتباط بين الحركة والمنظور".

1. بيان المشكلة

يعد تقدير وضعية الجسم ثلاثية الأبعاد أمراً بالغ الأهمية لتطبيقات مثل مراقبة الرعاية الصحية، والتعاون بين الإنسان والروبوت، والألعاب الغامرة. ومع ذلك، يواجه النشر في العالم الحقيقي ثلاثة تحديات رئيسية:

تباينات منظور الرؤية (Viewpoint Variations): تعمل الكاميرات في البيئات الحقيقية (مثل المنازل الذكية، الروبوتات المتنقلة، الطائرات بدون طيار) بزوايا وارتفاعات متنوعة. وتكافح الأساليب الحالية للتعميم على مناظر غير مرئية، مما يؤدي إلى تدهور كبير في الدقة بسبب التشوهات البصرية (التقاصر/Foreshortening) والانسداد (Occlusions).
عدم كفاءة البيانات: تتطلب أحدث الأساليب الحالية (SOTA) غالباً كميات هائلة من بيانات التدريب من زوايا متعددة أو رندرة اصطناعية لتحقيق المتانة، وهو أمر غير عملي في السيناريوهات الحساسة للخصوصية أو محدودة الموارد.
زمن استجابة مرتفع عند الاستدلال: تعالج المسارات التقليدية تسلسلات الفيديو بأكملها وتطبق خطوات تحسين مكلفة حاسوبياً بشكل موحد، مما يجعل النشر في الوقت الفعلي على أجهزة الحافة (مثل NVIDIA Jetson) أمراً صعباً.

2. المنهجية: إطار عمل MoViD

يقترح MoViD إطار عمل مبتكر يقوم صراحةً بـ فك ارتباط ميزات الحركة عن معلومات منظور الرؤية. الجوهر يكمن في أن ميزات الوضعية الوسيطة تشفر بطبيعتها بيانات المنظور، والتي يمكن استخراجها واستخدامها لتوحيد تمثيلات الحركة. يتكون النظام من ثلاثة مكونات:

أ. مُقدِّر المنظور (View Estimator)

بدلاً من معاملة المنظور كمدخل خارجي أو تجاهله، يقوم MoViD بتقدير معلومات المنظور مباشرة من ميزات النقاط المفصلية ثلاثية الأبعاد الوسيطة.

استخراج الميزات الهندسية: يقوم بحساب ميزات هندسية مدمجة من المفاصل الرئيسية (الوركين والكتفين) التي تلتقط توجيه الجسم وتكوين العمق (الاتساع الجانبي وإحداثيات $z$ ).
تضمين المنظور (View Embedding): تقوم شبكة MLP خفيفة الوزن بمعالجة هذه الميزات الهندسية الزمنية لتوليد تضمينات المنظور ( $V$ ). وهذا يسمح للنموذج بـ "معرفة" زاوية الكاميرا دون الحاجة إلى بيانات وصفية صريحة لمعايرة الكاميرا.

ب. تقدير وضعية الجسم غير المتأثر بالمنظور (View-Invariant Pose Estimation)

يعمل هذا النموذج على فصل الحركة عن المنظور لإنشاء تمثيلات قوية.

الإسقاط المداري للميزات (Orthogonal Feature Projection): باستخدام عملية "غرام-شميت" للتعامد، يقوم النموذج بإسقاط ميزات الحركة ( $M$ ) في فضاء فرعي متعامد مع تضمينات المنظر ( $V$ ). هذا يزيل رياضياً الانحيازات المعتمدة على المنظور من ميزات الحركة.
التعلم التبايني المعزز بالفيزياء: لفرض الاتساق بشكل أكبر، يستخدم النموذج معاملات SMPL (نموذج البشر متعدد الأشكال) كمرتكزات ثابتة للمنظور. يعمل فقدان التباين (Contrastive Loss) على محاذاة ميزات الحركة المفككة مع ديناميكيات الفيزياء المستمدة من SMPL عبر مناظر مختلفة، مما يضمن أن تؤدي نفس الحركة إلى تمثيلات متشابهة بغض النظر عن زاوية الكاميرا.

ج. الاستدلال التكيفي المدرك للمنظور (View-Aware Adaptive Inference)

لتحقيق أداء في الوقت الفعلي على أجهزة الحافة، يستخدم MoViD مسار معالجة إطار بإطار مع حساب تكيفي:

المعالجة إطار بإطار: على عكس الأساليب القائمة على التسلسل، يقوم بمعالجة الإطارات بشكل فردي باستخدام ذاكرة تخزين مؤقت دائرية للحفاظ على الاتساق الزمني دون إعادة معالجة الفيديو بأكمله.
التحسين التكيفي بالانعكاس (Adaptive Flip Refinement): يتم تفعيل عملية "تحسين الانعكاس" المكلفة حاسوبياً (متوسط التوقعات من المدخلات الأصلية والمقلوبة أفقياً) فقط عندما يحدد مُقدِّر المنظور منظوراً "صعباً" (مثل الزوايا الشديدة أو خطر الانسداد العالي). وهذا يوفر موارد حوسبية كبيرة في الإطارات السهلة.

3. المساهمات الرئيسية

فك ارتباط الحركة والمنظور: إطار عمل مبتكر يستخرج صراحةً معلومات المنظور من الميزات الوسيطة ويستخدم الإسقاط المتعامد لفصلها عن ديناميكيات الحركة، بدلاً من الاعتماد على تعزيز البيانات أو التدريب الخصمي.
المحاذاة القائمة على الفيزياء: دمج ديناميكيات الحركة المستمدة من SMPL في آلية تعلم تبايني لفرض تمثيلات غير متأثرة بالمنظور دون الحاجة إلى تسميات منظور منفصلة أثناء التدريب.
النشر التكيفي على أجهزة الحافة: مسار استدلال إطار بإطار مع استراتيجية مدركة للمنظور تقوم بتنشيط وحدات التحسين بشكل انتقائي، مما يقلل زمن الاستجابة مع الحفاظ على دقة عالية.
مجموعات بيانات جديدة: تقديم مجموعتي بيانات تم جمعهما ذاتياً لتقييم الأداء في السيناريوهات الديناميكية:
- مجموعة بيانات UAV متعددة الزوايا مع تغيير مستمر في المنظور.
- مجموعة بيانات تحليل المشية متعددة الوسائط مع بيانات متزامنة من RGB، والعمق، والأشعة تحت الحمراء، والنصوص.

4. النتائج التجريبية

تم تقييم MoViD على تسع مجموعات بيانات عامة (بما في ذلك Human3.6M، HuMMan، RICH، EMDB) ومجموعتي البيانات الجديدتين اللتين تم جمعهما ذاتياً.

الدقة: يقلل MoViD خطأ تقدير الوضعية بنسبة تزيد عن 24.2% (تصل إلى 28% في بعض المقاييس) مقارنة بالأساليب الرائدة مثل WHAM وHMR2.0. على سبيل المثال، في مجموعة بيانات HuMMan، حقق PA-MPJPE قدره 49.2 ملم مقابل 61.1 ملم لـ WHAM.
المتانة:
- الانسداد والمناظر الشديدة: يحافظ على أداء قوي تحت حالات الانسداد الشديد والزوايا المتطرفة (مثل المناظر من الأعلى إلى الأسفل) حيث تفشل الأساليب الأخرى.
- كفاءة البيانات: يحقق أداءً فائقاً باستخدام 60% أقل من بيانات التدريب مقارنة بالأساليب التي تتطلب إشرافاً كثيفاً من زوايا متعددة.
- المناظر غير المرئية: يعمم بفعالية على مناظر الكاميرا غير المرئية، متفوقاً على النماذج المرجعية بنسبة 12-15% في اختبارات المناظر غير المرئية.
الكفاءة:
- يحقق 15 إطاراً في الثانية (FPS) على أجهزة الحافة NVIDIA Jetson Orin NX.
- يقلل زمن الاستجابة لكل إطار من 154.7 مللي ثانية (WHAM) إلى 66.2 مللي ثانية.
- يقلل استهلاك ذروة الطاقة من 13.8 واط إلى 8.8 واط.

5. الأهمية

يمثل MoViD تحولاً نوعياً في تقدير وضعية الجسم ثلاثية الأبعاد من خلال الانتقال من النهج "المعتمد بكثافة على البيانات" (جمع المزيد من الزوايا) إلى النهج "المدرك للهندسة" (النمذجة الصريحة وإزالة انحياز المنظور).

النشر العملي: إن قدرته على العمل في الوقت الفعلي على أجهزة الحافة باستخدام الحساب التكيفي تجعله قابلاً للاستخدام في الروبوتات التي تعمل بالبطارية، والطائرات بدون طيار، وأنظمة مراقبة المنازل الذكية.
التعميم: من خلال فصل الحركة عن المنظور، يتعلم النموذج تمثيلاً أكثر جوهرية للحركة البشرية، مما يجعله فعالاً للغاية في البيئات الواقعية غير المنضبطة حيث لا تتوفر معايرة الكاميرا.
التطبيقات السريرية والسلامة: إن المتانة التي أظهرها في تحليل المشية وكشف السقوط تحت ظروف متغيرة تسلط الضوء على إمكاناته في أنظمة مراقبة الرعاية الصحية والسلامة الحرجة.