PACT: Joint Pose and Camera Transformer for Uncalibrated Multi-View 3D Human Pose Estimation
إن PACT هو إطار عمل محول (transformer) شامل من البداية إلى النهاية يقوم بتقدير وضعيات الجسم البشرية ثلاثية الأبعاد ومعلمات الكاميرا بشكل مشترك من نقاط مفتاحية ثنائية الأبعاد متعددة المشاهد غير معايرة، محققاً دقة فائقة وقدرة قوية على التعميم عبر أعداد مشاهد متغيرة ونطاقات واقعية من خلال إلغاء الحاجة إلى المعايرة المسبقة للكاميرا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الرؤية الحاسوبية، يمثل القدرة على إعادة بناء جسم بشري ثلاثي الأبعاد من صور ثنائية الأبعاد مسطحة تحدياً جوهرياً. لعقود من الزمن، اعتمد الباحثون على شرط مسبق صارم لحل هذا اللغز: يجب أن تكون الكاميرات التي تلتقط المشهد مُعايرة مسبقاً. وهذا يعني أن مواقعها، وزواياها، وإعداداتها الداخلية يجب أن تكون معروفة وثابتة قبل بدء أي تسجيل، مما يتطلب غالباً بيئة مختبرية محكومة ومجهزة بمعدات متخصصة. وبينما تحقق هذه الطريقة نتائج دقيقة، إلا أنها تخلق عائقاً كبيراً أمام الاستخدام في العالم الحقيقي، حيث تكون الكاميرات محمولة، ومتحركة، ونادراً ما تكون مُعايرة. والسؤال الجوهري الذي يحرك الأبحاث الحديثة هو: هل يمكن للحاسوب أن ينظر إلى سلسلة من الصور الملتقطة من زوايا مختلفة وغير معروفة، ويستنتج في الوقت ذاته أين كانت تقف الكاميرات وماذا كان يفعل الشخص الموجود في الصورة في الأبعاد الثلاثة، دون أي إعداد مسبق؟
لقد طور فريق من الباحثين من جامعة هواكياو نظاماً جديداً يسمى PACT يجيب على هذا السؤال بنعم قاطعة. يقدم عملهم إطاراً موحداً يعامل جسم الإنسان نفسه كأداة للمعايرة. فبدلاً من الحاجة إلى معرفة إعدادات الكاميرا مسبقاً، يقوم النظام بتحليل المواقع ثنائية الأبعاد لمفاصل الشخص - مثل المرفقين، والركبتين، والمعصمين - عبر لقطات متعددة. ومن خلال فهم الهيكل الصلب للهيكل العظمي البشري، يمكن للنظام العمل بشكل عكسي لاستنتاج المواقع النسبية للكاميرات والوضعية ثلاثية الأبعاد للشخص في آن واحد. يلغي هذا النهج الحاجة إلى بيئات محكومة، مما يسمح بإعادة بناء دقيقة من لقطات غير مُعايرة، مثل مقاطع الفيديو الملتقطة بهواتف محمولة يدوية في بيئات يومية عادية.
بنى الباحثون نظامهم على بنية متطورة مستوحاة من كيفية معالجة الذكاء الاصطناعي الحديث للبيانات المرئية. فقد صمموا آلية تتناوب بين نوعين من التحليل؛ أولاً، ينظر النظام عن كثب إلى كل عرض كاميرا فردي لفهم التفاصيل الدقيقة للمفاصل داخل ذلك الإطار المحدد. ثم يتراجع خطوة إلى الوراء لينظر إلى جميع العروض معاً، ويربط المفاصل نفسها عبر زوايا مختلفة لتأسيس شكل ثلاثي الأبعاد متسق. تتيح هذه العملية المتبادلة للنظام تحقيق التوازن بين التفاصيل المحلية والاتساق الهندسي العالمي. والأهم من ذلك، تم تدريب النظام للتعامل مع عدد متغير من الكاميرات؛ فلا يهم إذا كان المدخل يأتي من كاميرتين أو أربع وعشرين كاميرا، حيث يتكيف النظام تلقائياً دون الحاجة إلى إعادة تدريبه أو تغيير إعداداته.
لاختبار ابتكارهم، قيم الفريق نظام PACT باستخدام مجموعتي بيانات رئيسيتين تحتويان على آلاف الساعات من التقاط الحركة متعدد الزوايا. وفي مجموعة بيانات Human3.6M، التي تضم ممثلين محترفين يؤدون حركات متنوعة في مختبر، حقق النظام متوسط خطأ قدره 28.1 ملم في التنبؤ بالموقع ثلاثي الأبعاد للمفاصل. يضع هذا الأداء النظام في مقدمة الطرق غير المُعايرة، منافساً الأنظمة التي تمتلك كاميرات مُعايرة مسبقاً. علاوة على ذلك، نجح النظام في التنبؤ بمعلمات الكاميرا بدقة عالية، حيث قدر دوران الكاميرات بخطأ قدره 0.9 درجة فقط وموقعها بخطأ قدره 32.2 ملم. وتثبت هذه النتائج أن النظام يمكنه بفعالية معاملة الهيكل العظمي البشري كمرجع معروف لحل مواقع الكاميرات المجهولة.
تم اختبار متانة النظام بشكل أكبر من خلال تغيير عدد الكاميرات المستخدمة كمدخلات. فعندما قلل الباحثون المدخلات من أربعة وعشرين عرضاً إلى عرضين فقط، ظلت الدقة قوية، حيث ارتفع الخطأ في التنبؤ بالمفاصل إلى 18.6 ملم فقط. ويمثل هذا تحسناً كبيراً مقارنة بطرق العرض الواحد، التي تعاني من غموض العمق وأنتجت أخطاءً تجاوزت 46 ملم في نفس الاختبارات. كما أظهر النظام كفاءة ملحوظة، حيث عالج البيانات في الوقت الفعلي حتى مع وجود أربعة وعشرين عرضاً، محافظاً على سرعة تبلغ حوالي 122 إطاراً في الثانية عند أقصى تكوين له. وهذا يشير إلى أن هذه التكنولوجيا ليست مجرد تمرين نظري، بل هي قابلة للتطبيق في تطبيقات عملية وفي الوقت الفعلي.
ولعل الدليل الأكثر إقناعاً على قدرة النظام جاء من اختباره على بيانات لم يسبق له رؤيتها من قبل. طبق الباحثون النموذج المدرب على مشاهد من العالم الحقيقي التقطت بهواتف محمولة في بيئات غير محكومة، تتميز بخلفيات وظروف إضاءة وحركات كاميرا مختلفة. ورغم الفرق الكبير بين بيانات التدريب الداخلية النظيفة وهذه المدخلات "الفوضوية" من العالم الحقيقي، نجح النظام في إعادة بناء وضعيات ثلاثية الأبعاد وتخطيطات كاميرا منطقية دون أي ضبط إضافي. وتشير هذه القدرة على التعميم عبر مجالات مختلفة إلى أن النظام قد تعلم القواعد الهندسية الأساسية لكيفية تحرك الأجسام البشرية في الفضاء، بدلاً من مجرد حفظ الأنماط من مجموعة بيانات محددة.
يعتمد نجاح نظام PACT على عدة خيارات تصميمية رئيسية تمنع النظام من الفشل عند مواجهة مواقف جديدة. فمن خلال تطبيع الإحداثيات المكانية للبيانات، يضمن النظام أن حجم الشخص أو المسافة بين الكاميرات لا يربك النموذج. كما يستخدم هوية مشتركة لكل مفصل، مما يعني أن النظام يتعرف على "المعصم الأيسر" كجزء تشريحي واحد بغض النظر عن الكاميرا التي تراه أو مكانه في الصورة. هذه الميزات، جنباً إلى جنب مع آلية الانتباه المتبادلة، تسمح للنظام بتجاهل التفاصيل غير ذات الصلة والتركيز على العلاقات الهيكلية التي تحدد الجسم البشري.
بينما يمثل هذا النظام خطوة كبيرة للأمام، يقر الباحثون بوجود قيود حالية. فدقة إعادة البناء ثلاثي الأبعاد لا تزال تعتمد على جودة عمليات الكشف ثنائية الأبعاد عن المفاصل؛ فإذا فشل الكاشف ثنائي الأبعاد في العثور على مفصل ما، ستتأثر التوقعات ثلاثية الأبعاد. بالإضافة إلى ذلك، يمكن أن يتراجع الأداء في السيناريوهات التي تشهد انسداداً كبيراً، مثل عندما يجلس الشخص أو عندما تحجب أجزاء من جسمه بعضها البعض عن الرؤية. ومع ذلك، فإن القدرة على تقدير معلمات الكاميرا والوضعية ثلاثية الأبعاد بشكل مشترك من مدخلات غير مُعايرة تفتح آفاقاً جديدة لتطبيقات الواقع الافتراضي، وتحليلات الرياضة، والتقاط الحركة، حيث يكون إعداد بيئة محكومة ومُعايرة أمراً غير عملي أو مستحيلاً في كثير من الأحيان. إن هذا العمل يثبت أنه من خلال الاستفادة من البنية المتأصلة للجسم البشري، يمكن للآلات أن تتعلم الرؤية في أبعاد ثلاثية حتى عندما تكون الكاميرات نفسها مجهولة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.