HSTGFormer: Hyper Spatial-Temporal Graph Transformer for 3D Human Pose Estimation
تقترح هذه الورقة البحثية HSTGFormer، وهو إطار عمل "ترانسفورمر" معزز بالرسوم البيانية يوحد الاستدلال المكاني-الزماني من خلال رسم بياني فائق للمكان والزمان ورسم بياني زماني تكيفي ثنائي المقياس لالتقاط التبعيات المحلية المقترنة والأنماط الزمنية الخاصة بالمفاصل، محققاً دقة وكفاءة عاليتين في تقدير وضعية جسم الإنسان ثلاثي الأبعاد.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم كمبيوتر كيف يفهم حركة شخص ما، فقط من خلال مشاهدة فيديو عادي. هذا تحدٍ كبير في عالم الرؤية الحاسوبية يسمى "تقدير وضعية الجسم ثلاثي الأبعاد" (3D human pose estimation). فكر في الأمر كأنك تحاول بناء دمية ثلاثية الأبعاد لشخص داخل الكمبيوتر، لكن ليس لديك سوى فيلم ثنائي الأبعاد لتنظر إليه. يجب على الكمبيوتر أن يخمن مكان كل مرفق، وركبة، وكتف في الفضاء ثلاثي الأبعاد، حتى عندما يستدير الشخص حول نفسه، أو يخفي ذراعه خلف ظهره، أو يتحرك بسرعة.
للقيام بذلك، غالبًا ما تستخدم أجهزة الكمبيوتر نوعًا من البرمجيات الذكية تسمى "المحول" (Transformer). يمكنك التفكير في "المحول" كطالب شديد الانتباه ينظر إلى جملة كاملة (أو في هذه الحالة مقطع فيديو كامل) دفعة واحدة ليفهم كيف ترتبط الكلمات (أو أجزاء الجسم) ببعضها البعض. عادةً، يحاول هؤلاء الطلاب تحديد شكل الجسم أولاً (الاستنتاج المكاني) ثم تحديد كيفية حركته بمرور الوقت (الاستنتاج الزمني)، ويقومون بهاتين المهمتين واحدة تلو الأخرى. ولكن تمامًا مثل الطالب الذي يحاول حفظ الخريطة قبل تعلم القيادة، فإن هذا النهج خطوة بخطوة قد يتسبب أحيانًا في جعلهم ينسون التفاصيل الصغيرة لكيفية تحرك أجزاء الجسم معًا بمرور الوقت.
النهج الجديد: فريق من المحققين المسافرين عبر الزمن
في هذه الورقة البحثية، قدم الباحثون نظامًا جديدًا يسمى HSTGFormer. وبدلاً من معاملة شكل الجسم وحركته كوظيفتين منفصلتين، قرروا مزجهما معًا منذ البداية. لقد بنوا "رسمًا بيانيًا فائقًا مكانيًا-زمانيًا" (Hyper Spatial-Temporal Graph)، وهو طريقة معقدة لقول إنهم أنشأوا خريطة حيث لا يرتبط كل جزء من الجسم بجيرانه في نفس الإطار فحسب، بل وأيضًا بجيرانهم في الإطارات التي سبقتهم والتي تلتهم مباشرة.
تخيل أنك تشاهد رقصة. إذا نظرت فقط إلى قدمي الراقص في ثانية واحدة محددة، فقد تفوتك لحظة قفزه. وإذا نظرت فقط إلى القفزة، فقد تفوتك كيفية استعداده لها. يعمل نظام HSTGFormer مثل فريق من المحققين الذين يمكنهم رؤية قدمي الراقص وأيضًا أقدام الأشخاص الواقفين بجانبه، كل ذلك بينما ينظرون إلى بضع ثوانٍ في الماضي والمستقبل في آن واحد. هذا يسمح للكمبيوتر بفهم أن انثناء الركبة ليس مجرد تغيير في الشكل؛ بل هو حركة مرتبطة ارتباطًا وثيقًا بالفخذ والقدم، وتحدث عبر لحظات زمنية متتابعة.
حقيبة الأدوات المزدوجة
لجعل هذا العمل ممكنًا، زود الباحثون نظامهم بأداتين خاصتين:
كشاف الحي المجاوز المحلي (HSTG): تنظر هذه الأداة إلى مفصل معين (مثل المرفق) وتسأل: "من هم أصدقائي الآن، ومن كانوا أصدقائي قبل لحظة وجيزة؟" إنها تبني فقاعة محلية صغيرة حول المفصل تتضمن تشريح الجسم والماضي والمستقبل المباشر. يساعد هذا الكمبيوتر على التقاط تلك الحركات السريعة والمتصلة، مثل تأرجح اليد وتبعه حركة الكتف، دون فقدان الاتصال بينهما.
المحلل المسافر عبر الزمن (ADSTG): بعض أجزاء الجسم تتحرك بسرعة (مثل اليد التي تلوح)، بينما تتحرك أجزاء أخرى ببطء (مثل الجذع الواقف). تستخدم هذه الأداة "نافذتين زمنيتين" مختلفتين؛ إحدى النوافذ تنظر إلى الماضي القريب جدًا لالتقاط الحركات السريعة، بينما تنظر الأخرى إلى الماضي الأبعد لفهم التغيرات البطيئة والثابتة. الأمر يشبه امتلاك مساعد واحد يراقب الثواني القليلة الماضية عن كثب، ومساعد آخر يراقب الدقيقة الماضية، ثم يدمجان ملاحظاتهما معًا.
الخلاط الذكي
النظام لا يخمن فقط أي أداة هي الأفضل؛ بل يتعلم كيفية مزجهما بشكل مثالي. فلكل مفصل في كل لحظة، يقرر النظام مقدار الثقة في "الكشاف المحلي" مقابل "المحلل المسفر عبر الزمن". إذا كان المفصل يقوم بحركة معقدة وملتوية، فقد يعتمد أكثر على الاتصالات المحلية. وإذا كان المفصل في حالة ثبات، فقد يعتمد أكثر على التاريخ الطويل الأمد. يضمن هذا "الدمج التكيفي" (adaptive fusion) أن يستخدم الكمبيوتر القدر المناسب من المعلومات للموقف المناسب.
ماذا وجدوا؟
اختبر الباحثون نظامهم الجديد على مجموعتي بيانات شهيرتين: Human3.6M، التي تتميز بأشخاص يتحركون في استوديو محكوم، و MPI-INF-3DHP، التي تضم أشخاصًا يتحركون في بيئات حقيقية فوضوية مع خلفيات وإضاءة مختلفة.
تشير النتائج إلى أن نظام HSTGFormer بارع جدًا في عمله. ففي مجموعة بيانات Human3.6M، حقق معدل خطأ (MPJPE) قدره 37.9 ملم، وخطأ متوافق مع بروكروستس (P-MPJPE) قدره 31.5 ملم. هذه الأرقام تعد من بين الأفضل المسجلة، مما يعني أن الدمى ثلاثية الأبعاد التي يبنيها قريبة جدًا من حركات البشر الحقيقية. والأكثر إثارة للإعجاب، هو أنه حقق ذلك باستخدام موارد حاسوبية أقل (معاملات وعمليات حسابية) من العديد من الطرق عالية الأداء الأخرى. على سبيل المثال، مقارنة بنظام مشابه يسمى TCPFormer، استخدمت طريقتهم 46.5% أقل من العمليات الحسابية لكل إطار مع الحصول على دقة مماثلة أو أفضل.
وعند اختباره على مجموعة البيانات الأكثر صعوبة "في العالم الواقعي" MPI-INF-3DHP، استمر النظام في الأداء القوي، حيث قلل الخطأ إلى 14.0 ملم وحقق درجة عالية بلغت 89.3 في مقياس المساحة تحت المنحنى (AUC). يشير هذا إلى أن النظام قوي بما يكفي للتعامل مع المواقف الصعبة مثل الاحتجاب (عندما تختفي أجزاء الجسم خلف أجزاء أخرى) والحركات السريعة.
لماذا يهم هذا؟
تجادل الورقة البحثية بأن التوقف عن فصل "الشكل" و"الزمن" ومعاملتهما بدلاً من ذلك كرسوم بيانية واحدة متصلة، يمكن أن يجعل أجهزة الكمبيوتر تفهم حركة الإنسان بشكل طبيعي أكثر. أظهر الباحثون أن هذا النهج يساعد النظام على التعامل مع الأفعال المعقدة مثل "الجلوس" أو "المشي مع كلب" بشكل أفضل من الطرق القديمة. حتى أنهم قدموا مثالاً أولياً ممتعًا حيث تمكن نظامهم، الذي تدرب فقط على البشر، من تخمين وضعيات الروبوت وحتى النحلة، مما يشير إلى أن طريقة التفكير هذه قد تكون مفيدة لفهم جميع أنواع الأشياء المتحركة، وليس البشر فقط.
باختاً، يقترح نظام HSTGFormer أنه لكي تفهم حقًا كيف يتحرك الشخص، يجب أن تنظر إلى أجزاء جسمه وتاريخ حركته في وقت واحد، في شبكة واحدة متصلة من المعلومات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.