MoPO: Incorporating Motion Prior for Occluded Human Mesh Recovery
تُعد MoPO إطار عمل مبتكر لاستعادة الشبكة البشرية المحجوبة، حيث يستفيد من الأولويات الحركية من تسلسلات الوضعيات للكشف عن حالات الحجب، والتنبؤ بمواقع المفاصل المفقودة، وتحسين الوضع النهائي، مما يحقق دقة متطورة واتساقاً زمنياً في كل من المعايير الخاصة بالحجب والمعايير القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تخمين شكل راقص أثناء أداء رقصة معقدة. الآن، تخيل أنه كل بضع ثوانٍ، تظهر شجرة ضخمة أو راقص آخر أمامهم، مما يحجب أجزاءً من جسدهم. إذا نظرت فقط إلى الإطار الوحيد الذي يكونون فيه مختبئين، فقد تخمن أن ذراعهم في مكان خاطئ، أو أن ساقهم تطفو في الهواء. هذه هي المشكلة التي يواجهها علماء الكمبيوتر عند محاولة إنشاء نماذج ثلاثية الأبعاد للبشر من مقاطع الفيديو حيث يكون الشخص محجوباً جزئياً.
تقدم الورقة البحثية نظاماً جديداً يسمى MoPO (النموذج الحركي المسبق لاستعادة الشبكة البشرية المحجوبة). فكر في MoPO كـ "مُخمّن ذكي للغاية" لا ينظر فقط إلى الصورة الحالية، بل يتذكر حركات الشخص الأخيرة لملء الفراغات.
إليك كيف يعمل، مقسماً إلى خطوات بسيطة:
1. المشكلة: "النقطة العمياء"
التكنولوجيا الحالية جيدة في تحديد وضعية الشخص عندما يكون مرئياً بالكامل. ولكن عندما يُحجب الشخص بواسطة جسم ما أو شخص آخر، يصاب الكمبيوتر بالارتباك. فهو يحاول تخمين أين توجد الأجزاء المخفية بناءً فقط على الأجزاء الصغيرة من الجسم التي يمكنه رؤيتها. وهذا غالباً ما يؤدي إلى نتيجتين سيئتين:
- وضعيات خاطئة: قد يخمن الكمبيوتر أن الذراع المخفية ملتوية بطريقة مستحيلة.
- حركة متذبذبة: في الفيديو، قد يخمن الكمبيوتر أن الذراع هنا في إطار ما، وأنها هناك في الإطار التالي، مما يجعل النموذج ثلاثي الأبعاد يبدو وكأنه يهتز أو يرتعش بشكل لا يمكن السيطرة عليه.
2. الحل: "طريق الذاكرة" الخاص بـ MoPO
يعالج MoPO هذه المشكلة من خلال إدراك أن الحركة لها نمط. إذا رأيت ذراع شخص تتحرك للأعلى في الإطارات الثلاثة الأخيرة، فيمكنك أن تكون واثقاً تماماً من مكانها في الإطار التالي، حتى لو حجب شجرةٌ رؤيتك. يستخدم MoPO "ذاكرة الحركة" هذه لإصلاح النقاط العمياء.
يقوم بذلك عبر مرحلتين رئيسيتين:
المرحلة (أ): المحقق "لملء الفراغات"
أولاً، يعمل MoPO كمحقق يراجع كاميرا مراقبة.
- رصد الاختباء: ينظر إلى الفيديو ويتحقق: "هل هذا الجزء من الجسم مرئي الآن؟" يستخدم كاشفاً خاصاً ينظر إلى كل من الصورة الحالية والماضي القريب ليقرر ما إذا كان المفصل (مثل الركبة أو الكوع) مخفياً.
- التنبؤ بالمفقود: إذا كان المفصل مخفياً، فإن MoPO لا يخمن عشوائياً. بل يستخدم "متنبئ حركة" خفيف الوزن (فكر فيه كبنك ذاكرة قصيرة المدى) لينظر إلى مكان كان فيه ذلك المفصل قبل لحظة وإلى أين يتجه. ثم يقوم بإكمال الجزء المفقود من الهيكل العظمي بتخمين عالي الاحتمالية.
- تشبيه: تخيل أنك تشاهد ساحراً يخرج أرنباً من قبعة، لكن ستارة تحجب رؤيتك لثانية واحدة. المراقب العادي قد يعتقد أن الأرنب قد اختفى. أما MoPO، فيتذكر أن الأرنب كان يتحرك للأعلى قبل سقوط الستارة مباشرة، لذا فهو "يملأ" مكان الأرنب خلف الستارة لتبدو الخدعة مستمرة.
المرحلة (ب): الشيف "للدمج والصقل"
بمجرد أن يمتلك MoPO "هيكلاً عظمياً مكتملاً" (حيث تم ملء الأجزاء المفقودة)، فإنه يحتاج إلى تحويل هذا الهيكل إلى جسم ثلاثي الأبعاد كامل (جلد وجسم بالكامل).
- خلط المكونات: يأخذ "الهيكل العظمي المكتمل" (ذاكرة الحركة) ويمزجه مع التفاصيل البصرية الفعلية من الفيديو (مثل لون القميص أو شكل الجذع).
- صقل الوضعية: أحياناً، لا يكفي مجرد تخمين الموقع؛ بل يجب أن تدور المفاصل بشكل صحيح. يستخدم MoPO تقنية تسمى "الحركة العكسية" (Kinematics Inverse) (مثل محرك الدمى الذي يعدل الخيوط) للتأكد من أن الجسم ثلاثي الأبعاد يتحرك بشكل طبيعي ولا يبدو كروبوت مكسور. إنه يفصل بين "أرجحة" الطرف (وهي سهلة الرؤية) وبين "التواء" (وهو أمر أصعب في الرؤية) لضبط الدوران بدقة.
3. النتائج: رقصة سلسة ودقيقة
اختبر المؤلفون MoPO على مقاطع فيديو عديدة حيث كان الناس محجوبين بواسطة أشياء أو أشخاص آخرين.
- الدقة: كان MoPO أكثر دقة بشكل ملحوظ من الطرق السابقة المتطورة. فقد قلل الأخطاء في التنبؤ بمواقع المفاصل بنسبة تتراوح بين 8.5% إلى 12% مقارنة بأفضل الأدوات الموجودة.
- السلاسة: الفوز الأكبر كان في استقرار الفيديو. نظرًا لأن MoPO يستخدم "ذاكرة الحركة"، فإن النماذج ثلاثية الأبعاد لا تتذبذب أو تهتز عندما يكون الشخص محجوباً. الحركة تتدفق بسلاسة، تماماً مثل الإنسان الحقيقي.
ملخص
باختصار، MoPO هو نظام يستعيد النماذج البشرية ثلاثية الأبعاد من مقاطع الفيديو من خلال القول: "لا يمكنني رؤية ذراعك الآن، لكنني أعرف بالضبط أين هي لأنني أتذكر كيف كنت تتحرك قبل ثانية واحدة". ومن خلال الجمع بين ذاكرة الحركة هذه وبين الإشارات البصرية التي يمكنه رؤيتها، فإنه ينشئ إعادة بناء ثلاثية الأبعاد أكثر دقة واستقراراً، حتى في المشاهد الفوضوية أو المزدحمة أو المحجوبة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.