TransHands: Repurposing Human Pose Encoders as Hand Pose Encoders
تقدم الورقة البحثية TransHands، وهو إطار عمل لنقل التعلم غير مرتبط بهيكل محدد (backbone-agnostic) يعيد توظيف مشفرات حركة جسم الإنسان مسبقة التدريب لتقدير وضعيات اليد ثلاثية الأبعاد بفعالية من مدخلات ثنائية الأبعاد، مما يتغلب على ندرة مجموعات البيانات الضخمة ثلاثية الأبعاد لليد ويثبت تحقيق مكاسب أداء متسقة عبر بنيات متنوعة وسيناريوهات تصوير ذاتي (egocentric) صعبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الرؤية الحاسوبية، كان تعليم الآلات كيفية رؤية وفهم جسم الإنسان رحلة طويلة. لسنوات، بنى الباحثون أنظمة يمكنها تتبع جسم الشخص بالكامل في ثلاثة أبعاد، باستخدام مكتبات ضخمة من بيانات الفيديو حيث يتم تصنيف كل مفصل وطرف بعناية. أصبحت هذه الأنظمة جيدة جداً في فهم كيفية مشي الإنسان أو ركضه أو وصوله إلى شيء ما، لأن هناك الكثير من البيانات المتاحة لتعليمها. ومع ذلك، عندما يتعلق الأمر باليدين، فإن القصة مختلفة تماماً. فاليدان معقدتان للغاية، حيث تحتويان على عشرات العظام والمفاصل الصغيرة التي تتحرك بطرق معقدة، وهناك بيانات أقل بكثير لتعليم الحواسيب كيفية عملهما. هذا النقص في المعلومات جعل من الصعب إنشاء أدوات موثوقة لتتبع حركات اليد في ثلاثة أبعاد من كاميرا بسيطة، وهي قدرة مطلوبة لكل شيء من الواقع الافتراضي إلى إعادة التأهيل الطبي.
اقترح فريق من الباحثين في جامعة "بوليتكنيكو دي تورينو" والمجلس الوطني للبحوث الإيطالي حلاً ذكياً لهذا النقص في البيانات. فبدلاً من محاولة بناء نظام جديد من الصفر باستخدام بيانات اليد المحدودة المتاحة، طرحوا سؤالاً بسيطاً: هل يمكن إعادة استخدام المعرفة التي تعلمها الكمبيوتر بالفعل عن الجسم بالكامل لفهم اليدين؟ لقد طوروا إطار عمل جديداً يسمى "TransHands"، والذي يعمل كجسر بين الاثنين. الفكرة هي أنه بينما تبدو اليد مختلفة عن الجسم بالكامل، فإن قواعد الحركة الأساسية — مثل كيفية اتصال المفاصل، وكيفية تدفق الحركة بسلاسة عبر الزمن، وكيفية هيكلة الأطراف — هي قواعد مشتركة. ومن خلال أخذ نماذج حاسوبية قوية أتقنت بالفعل حركة الأجسام الكاملة وتكييفها للتركيز على اليدين، وجد الباحثون أن بإمكانهم تحقيق دقة عالية دون الحاجة إلى مجموعات بيانات جديدة ضخمة.
يتضمن جوهر نهجهم نظاماً نموذجياً يحترم الاختلافات بين الجسم واليد مع الاستفيد من تشابهاتهما. تخيل نموذجاً حاسوبياً قضى سنوات في تعلم كيفية تحرك الهيكل العظمي البشري. هذا النموذج ممتاز في فهم تدفق الحركة، ولكنه يشعر بالارتباك عندما يُعرض عليه التخطيط الخاص باليد، والتي تمتلك عدداً مختلفاً من المفاصل وشكلاً مختلفاً. صمم الباحثون "محولاً" (adapter) خاصاً يوضع أمام هذا النموذج المدرب مسبقاً. يأخذ هذا المحول البيانات الخام لليد ويعيد تشكيلها بلطف، محولاً هندسة اليد الفريدة إلى تنسيق يمكن لنموذج الجسم فهمه. إنه يشبه المترجم الذي يحول قصة مكتوبة بلغة واحدة إلى لغة أخرى، مما يسم يسمح للقارئ بالاستمتاع بالسرد دون الحاجة إلى تعلم أبجدية جديدة. وبمجرد ترجمة البيانات، يقوم نموذج الجسم القوي بمعالجتها، ثم يقوم "مفكك شفرة" (decoder) نهائي بترجمة النتيجة مرة أخرى إلى الإحداثيات الدقيقة لليد في ثلاثة أبعاد.
لاختبار ما إذا كانت هذه الفكرة قد نجحت، طبق الفريق إطار عملهم على أربعة أنواع مختلفة من النماذج الحاسوبية المتقدمة، بما في ذلك تلك القائمة على "المحولات" (transformers) والشبكات الرسومية. قاموا بتدريب هذه الأنظمة باستخدام عملية من خطوتين. أولاً، أبقوا نموذج الجسم الرئيسي "مجمداً"، مما يعني أن معرفته الداخلية كانت مغلقة، وقاموا فقط بتدريب المحول الجديد ومفكك الشفرة النهائي على بيانات اليد. سمح هذا للنظام بتعلم كيفية ربط اليد بفهم الجسم دون نسيان ما يعرفه بالفعل. وفي الخطوة الثانية، قاموا بفتح الطبقات الأكثر عمقاً في النموذج بعناً لتسمح له بضبط فهمه خصيصاً للحركات السريعة والدقيقة للأصابع. كانت النتائج مذهلة؛ ففي جميع النماذج المختلفة التي اختبروها، تفوق النظام الذي استخدم معرفة الجسم المسبقة باستمرار على النماذج التي تم تدريبها من الصفر. وفي إحدى أفضل الحالات، قلل النظام الخطأ في التنبؤ بموضع اليد بأكثر من 21 بالمائة مقار بالمثل الذي لا يستخدم معرفة الجسم.
كما كشفت الدراسة أن هذه الطريقة قوية بشكل ملحوظ عند مواجهة تحديات العالم الحقيقي. فعند اختبارها على بيانات من بيئات مختلفة، بما في ذلك وجهات نظر الشخص الأول من الكاميرات القابلة للارتداء حيث غالباً ما يكون المنظور مشوهاً، حافظ النظام على دقته. حتى أنه أدى بشكل جيد عندما تمت تغذيته ببيانات غير كاملة ومشوشة من كواشف اليد ثنائية الأبعاد القياسية، وهي مشكلة شائعة في التطبيقات اليومية. وفي مقارنة مباشرة، حقق النظام متوسط خطأ يبلغ حوالي 93 ملم في مجموعة بيانات صعبة، وهو أمر تنافسي مع الأنظمة الأكبر والأكثر تعقيداً التي تعالج صور الفيديو الكاملة. وربما الأهم من ذلك، أظهر البحث أن هذا النهج فعال للغاية من حيث البيانات؛ حيث استطاع النظام تحقيق نفس مستوى الدقة الذي يحققه نموذج مدرب من الصفر باستخدام ربع كمية البيانات المتاحة فقط. وهذا يشير إلى أن المعرفة المنقولة من حركة الجسم قوية جداً لدرجة أنها تعوض النقص في أمثلة اليد المحددة.
وبعيداً عن مجرد تتبع الموضع، وجد الباحثون أن أنماط الحركة التي تعلمتها هذه النماذج المكيفة غنية بالمعنى. فعندما استخدموا التمثيلات الداخلية للنظام للتعرف على إيماءات يد معينة، كانت النتائج قوية عبر أنواع مختلفة من الفيديو، من وجهات نظر الشخص الثالث الثابتة إلى وجهات نظر الشخص الأول الديناميكية. حدد النظام الإيماءات بدقة عالية، مما أثبت أنه لم يتعلم شكل اليد فحسب، بل تعلم أيضاً المعنى الدلالي لحركتها. وهذا يشير إلى أن نقل المعرفة من الجسم إلى اليد ليس مجرد خدعة رياضية، بل هو وسيلة لالتقاط الفيزياء والمنطق الأساسي للحركة البشرية.
يشير العمل إلى مسار جديد للمستقبل في مجال الرؤية الحاسوبية، حيث لا ينبغي أن يكون نقص البيانات النوعية طريقاً مسدودًا. فمن خلال الاعتراف بأن مبادئ الحركة عالمية عبر أجزاء الجسم المختلفة، أثبت الباحثون أنه يمكننا إعادة توظيف الأدوات القوية الموجودة لحل مشكلات جديدة. وتظهر نتائجهم أنه مع التكيف الصحيح، يمكن توجيه الفهم العميق لكيفية تحرك جسم الإنسان بفعالية لفهم الرقص المعقد لليدين، مما يفتح الباب أمام تتبع أكثر دقة وسهولة لليد في ثلاثة أبعاد في تطبيقات العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.