Zero-Shot Skeleton-Based Action Anticipation
تقدم هذه الورقة المهمة الجديدة المتمثلة في التنبؤ بالأفعال القائمة على الهياكل العظمية بنمط التعلم الصفري (ZS-SkAA)، وتقترح نموذجاً مرجعياً يعمل على محاذاة سمات الهيكل العظمي الجزئية مع التضمينات الدلالية عبر تعظيم المعلومات المتبادلة للتعرف على الأفعال غير المرئية، وتضع بروتوكول تقييم صارم باستخدام مجموعة بيانات NTU RGB+D.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فيلماً، لكن الشاشة فجأة تصبح سوداء بعد الثواني القليلة الأولى. شخص ما يثني ركبتيه ويخفض مركز جاذبيته. هل لديه الوقت للقفز فوق سياج، أم أنه على وشك الجلوس على مقعد؟ في عالم علوم الحاسوب، هذا هو تحدي توقع الأفعال (Action Anticipation). إنه فن قيام الروبوت أو الذكاء الاصطناعي بتخمين ما سيفعله الشخص التالي قبل أن ينتهي بالفعل من القيام به. هذا الأمر بالغ الأهمية للروبوتات الآمنة، والأجهزة المساعدة، والسيارات ذاتية القيادة التي تحتاج إلى الاستجابة فوراً.
عادةً، يتم تدريب هذه الحواسيب مثل الطلاب الذين يحفظون كتاباً مدرسياً: يشاهدون آلاف الأمثلة لـ "القفز" وآلاف الأمثلة لـ "الجلوس"، ويتعلمون تمييز الأنماط. ولكن ماذا يحدث عندما يرى الروبوت فعلاً جديداً تماماً لم يره من قبل، مثل حركة رقص معينة أو طريقة فريدة لرمي الكرة؟ تتجمد الحواسيب التقليدية لأنها لم تحفظ تلك الحركة المحددة. وهنا يأتي دور التعلم من الصفر (Zero-Shot Learning). فكر في الأمر كالمحقق الذي لا يحتاج لرؤية وجه المشتبه به لتحديده؛ بدلاً من ذلك، يستخدم وصفاً (مثل "يرتدي قبعة حمراء ويمسك بعصا") لمعرفة من هو. يتناول هذا البحث الجمع المعقد بين هذين الفكرتين: تخمين فعل من خلال لمحة أولية صغيرة فقط منه، والقيام بذلك لأفعال لم يتعلمها الحاسوب من قبل.
لغز الرقصة نصف المرئية
في هذا البحث، يقدم المؤلفون، هونغسونغ وانغ وفريقه، تحدياً جديداً أطلقوا عليه اسم توقع الأفعال القائم على الهيكل العظمي من الصفر (أو ZS-SkAA للاختصار). تخيل أنك تحاول تخمين أغنية بمجرد سماع أول نوتتين منها، لكن الأغنية هي واحدة لم تسمعها من قبل. عليك الاعتماد على "شكل" اللحن ووصف الأغنية لمعرفتها.
لاحظ الباحثون أنه بينما أصبحت الحواسيب جيدة في التعرف على الأفعال الكاملة، إلا أنها تواجه صعوبة عندما ترى بداية الحركة فقط (الجزء من "المرحلة المبكرة") وعندما تكون تلك الحركة شيئاً جديداً تماماً. تفترض الطرق الموجودة أن الحاسوب قد رأى كل فعل ممكن من قبل، وهو أمر غير واقعي في العالم الحقيقي. ولإصلاح ذلك، بنوا نموذج "خط أساس" (baseline) جديداً — وهو نقطة انطلاق للأبحاث المستقبلية — يحاول حل هذا اللغز.
كيف يفكر النموذج: أدوات المحقق
صمم المؤلفون نظاماً يعمل مثل محقق ذكي للغاية يستخدم ثلاث حيل رئيسية:
- خريطة الهيكل العظمي (GCN): بدلاً من النظر إلى فيديو لوجه الشخص أو ملابسه، ينظر النموذج إلى "رجل عصا" مكون من مفاصل ثلاثية الأبعاد (مثل الكوع والركبة والكتف). يستخدمون أداة تسمى شبكة التلافيف الرسومية (GCN). يمكنك التفكير في هذا كخريطة تفهم كيف يتصل كوعك بكتفك وكيف تتحرك ركبتك مع وركك. إنها تعرف "شجرة العائلة" لأجزاء جسمك.
- آلة الزمن (Transformer): بما أن النموذج لا يرى سوى الثواني الأولى من الفعل، فإنه يحتاج إلى فهم كيفية تدفق الحركة عبر الزمن. يستخدمون Transformer (وهو نفس نوع التكنولوجيا التي تساعد روبوتات الدردشة على فهم اللغة) لمراقبة تسلسل الحركات. الأمر يشبه قراءة قصة حيث يكون ترتيب الكلمات مهماً بقدر الكلمات نفسها.
- مطابقة الوصف (المعلومات المتبادلة): هذا هو سحر "التعلم من الصفر". لا يكتفي النموذج بالنظر إلى رجل العصا فحسب؛ بل يقرأ أيضاً وصفاً نصياً للفعل (مثل "القفز" أو "الرقص"). يحاول النموذج تعظيم "المعلومات المتبادلة" بين الهيكل العظمي المرئي والوصف النصي. تخيل محاولة مطابقة صورة ضبابية لكلب مع وصف مكتوب لحيوان "فروي ينبح". يتعلم النموذج مواءمة الشكل البصري للحركة مع معنى الكلمات، حتى لو لم يسبق له رؤية ذلك الكلب المحدد من قبل.
ولجعل هذا أفضل، ينظر النموذج إلى الهيكل العظمي بثلاث طرق مختلفة في آن واحد:
- المفاصل: أين توجد أجزاء الجسم.
- العظام: الخطوط التي تربط الأجزاء ببعضها.
- الحركة: مدى سرعة تحرك الأجزاء.
من خلال دمج هذه الرؤى الثلاث، يحصل النموذج على صورة أكثر ثراءً، خاصة عندما يكون لديه وقت ضئيل جداً للعمل به.
ماذا وجدوا: التخمينات المبكرة تصبح أفضل
اختبر الفريق نموذجهم على مجموعة بيانات شهيرة تسمى NTU RGB+D، والتي تحتوي على آلاف الحركات البشرية المسجلة. قاموا بتقسيم الأفعال إلى مجموعتين: الأفعال التي "رآها" النموذج أثناء التدريب (الفئات "المرئية") والأفعال التي لم يرها من قبل (الفئات "غير المرئية").
وقد قاسوا مدى قدرة النموذج على تخمين الفعل عندما يرى فقط من 10% إلى 90% من الفيديو. وإليكم ما حدث:
- الميزة المبكرة: عندما شاهد النموذج البداية فقط من الفعل (10% إلى 30% من الفيديو)، كان استخدام الرؤى الثلاث (المفاصل، والعظام، والحركة) معاً بمثابة مساعدة هائلة. فقد حسن الدقة بنسبة تصل إلى 4% مقارنة بالنظر إلى المفاصل فقط. الأمر يشبه امتلاك عدسة مكبرة، ومصباح يدوي، وعداد سرعة في آن واحد عندما لا تملك سوى جزء من الثانية للنظر.
- التحول اللاحق: مع حصول النموذج على رؤية المزيد من الفيديو (40% إلى 90%)، أصبح النظر إلى المفاصل فقط جيداً بقدر الخلط المعقد، أو حتى أفضل قليلاً. وهذا يشير إلى أنه بمجرد امتلاك معلومات كافية، فإن التفاصيل الإضافية قد تكون مجرد ضجيج.
- التفوق على المنافسة: عند مقارنته بطريقة سابقة تسمى SMIE، خمن نموذجهم الجديد بشكل أفضل باستمرار. على سبيل المثال، في مجموعة بيانات NTU RGB+D 60، عندما كان 10% فقط من الفعل مرئياً، خمن نموذجهم بشكل صحيح بنسبة 39.62% من المرات، بينما حققت الطريقة القديمة 36.50% فقط. وفي مجموعة البيانات الأكبر NTU RGB+D 120، كانت الفجوة أوسع في البداية، حيث حقق نموذجهم دقة بنسبة 26.46% مقابل 23.38% للطريقة الأخرى.
لحظات الـ "آها!" (لحظات الإدراك)
أجرى المؤلفون أيضاً تجارب لمعرفة أي أجزاء من أدوات المحقق كانت تقوم بالعمل الثقيل فعلياً.
- الموقع مهم: وجدوا أنه إذا أزالوا "الترميز الموضعي" (الجزء الذي يخبر النموذج أي مفصل هو وأي ترتيب للإطارات)، فإن النموذج يصاب بالارتباك. الأمر يشبه محاولة قراءة كتاب حيث الكلمات مختلطة ببعضها؛ لم يستطع النموذج التمييز ما إذا كان الذراع يتحرك للأعلى أو للأسفل.
- الإطارات الرئيسية: اختبروا أيضاً وحدة خاصة تحاول إيجاد أهم "الإطارات الرئيسية" (اللحظات الأكثر دراماتيكية في الحركة). وعندما أوقفوا تشغيلها، انخفض أداء النموذج. وهذا يثبت أن النموذج يتعلم حقاً التركيز على الأجزاء الأكثر إثارة في الفعل لاتخاذ تخمينه.
الخلاصة
لا يدعي هذا البحث أنه حل مشكلة توقع الروبوتات للأبد. بدلاً من ذلك، فإنه يضع ملعباً جديداً (معياراً) ونقطة انطلاق قوية (نموذج خط أساس) يمكن للآخرين البناء عليها. إنه يظهر أنه من خلال الجمع بين الفهم الذكي لبنية الجسم، والحس المرهف للوقت، وطريقة ذكية لمطابقة الصور مع الكلمات، يمكن للحواسيب أن تبدأ في تخمين ما سيفعله البشر بعد ذلك — حتى بالنسبة للأفعال التي لم يروها من قبل.
تشير النتائج إلى أن هذا النهج هو اتجاه واعد لبناء روبوتات يمكنها التفاعل معنا بأمان في العالم الحقيقي، حيث المفاجآت أمر لا مفر منه. وكما يذكر المؤلفون، فإن هذه مجرد بداية لمسار بحثي حيوي لجعل الآلات قابلة للتكيف حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.