VSMP-IMU: Video-Grounded Semantic Motion Programs for Sensor-Aware Synthetic IMU Generation
تقدم الورقة البحثية VSMP-IMU، وهو إطار عمل يعتمد على الفيديو لتوليد بيانات مستشعرات القصور الذاتي (IMU) اصطناعية قابلة للتحكم باستخدام برامج الحركة الدلالية المهيكلة للتغلب على ندرة البيانات وتحسين أداء التعرف على الأنشطة البشرية القابلة للارتداء بشكل كبير عبر سيناريوهات نقص الموارد، وعدم التوازن، وتعميم الأشخاص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت التعرف على ما إذا كنت ترقص، أو تركض، أو تمارس اليوغا. وللقيام بذلك، يحتاج الروبوت إلى "الشعور" بحركاتك، عادةً من خلال ساعة ذكية أو مستشعر مثبت على جسدك يسجل كيف تهتز وتدور. يُسمى هذا المجال "التعرف على النشاط البشري" (Human Activity Recognition). تكمن المشكلة في أن تعليم الروبوت يتطلب آلاف الأمثلة لأشباء حقيقية تتحرك، والحصول على تلك الأمثلة هو كابوس حقيقي. إذ يتعين عليك تثبيت مستشعرات على بشر حقيقيين، والطلب منهم تكرار نفس الحركة مراراً وتكراراً، والأمل في ألا يتعبوا أو يغيروا طريقة أدائهم لها. إنها عملية مكلفة، بطيئة، وغالباً ما تترك الروبوت مرتبكاً عندما يقابل شخصاً جديداً يتحرك بشكل مختلف قليلاً.
ولحل هذه المشكلة، حاول العلماء "تزييف" بيانات المستشعر. يحاول البعض مشاهدة فيديو لشخص ما وتخمين ما سيشعر به المستشعر (مثل مشاهدة فيديو رقص وتخمين الإيقاع). ويحاول آخرون كتابة وصف نصي مثل "اقفز للأعلى وللأسفل" ويجعلون الكمبيوتر يتخيل الحركة. لكن هذه الطرق بها عيوب: فالطريقة المعتمدة على الفيديو ترتبك إذا كانت زاوية الكاميرا غريبة، والطريقة المعتمدة على النص غامضة للغاية، فغالباً ما تنشئ حركات تبدو صحيحة ولكنها تشعر المستشعر بأنها خاطئة. السؤال الكبير هو: هل يمكننا إنشاء بيانات مستشعر مزيفة تكون واقعية بما يكفي لتعليم الروبوت ومرنة بما يكفي لتغطية جميع الطرق المختلفة التي يتحرك بها البشر فعلياً؟
هنا يأيد VSMP-IMU، وهو نظام جديد يعمل كمخرج ذكي جداً لفيلم عن الحركة. فبدلاً من مجرد التخمين من فيديو أو أمر نصي، يستخدم هذا النظام "برنامج حركة دلالي" (SMP). فكر في الـ SMP كبطاقة وصفة مفصلة للحركة. فهو لا يكتفي بالقول "قفزات الجاك" (jumping jacks)؛ بل يفكك الحركة إلى خطوات محددة: "قف، اقفز فاتحاً، أغلق، كرر"، ويدون بدقة أي أجزاء الجسم المعنية، ومدى سرعة الحركة، ومدى اتساع أرجحة الذراعين.
إليك كيف يحدث السحر: يشاهد النظام فيديو لشخص حقيقي يقوم بنشاط ما ويستخرج هذه "بطاقة الوصفة". ثم يبدأ بالإبداع؛ إذ يمكنه تعديل الوصفة — ربما يطلب القيام بـ "قفزات الجاك" بسرعة فائقة أو بأرجحة ذراعين ضخمة — مع الحفاظ على الهوية الجوهرية للحركة (لا تزال قفزة جاك). بمجرد تعديل الوصفة، يقوم الكمبيوتر بإنشاء رسوم متحركة ثلاثية الأبعاد لشخص يقوم بتلك الحركة تماماً. وأخيراً، يقوم النظام بمحاكاة ما سيشعر به مستشعر مثبت على جسد ذلك الشخص المتحرك، محولاً الحركة ثلاثية الأبعاد إلى بيانات مستشعر مزيفة.
اختبر الباحثون ذلك عن طريق تغذية "دماغ" الروبوت بهذه البيانات المزيفة الجديدة لمعرفة ما إذا كان سيصبح أفضل في التعرف على الحركات البشرية الحقيقية. كانت النتائج مبهرة. فعندما تم تدريب الروبوت على البيانات الحقيقية فقط، حصل على درجة تقارب 68.6 من 100. وعندما أضافوا بيانات VSMP-IMU المزيفة، قفزت الدرجة إلى 78.3. إنه تحسن هائل، خاصة عندما لا تتوفر الكثير من البيانات الحقيقية في البداية. وفي الحالات التي كان لدى الروبوت فيها القليل جداً من البيانات الحقيقية للتعلم منها (مثل 1% فقط من الكمية المعتادة)، ساعد النظام الروبوت على تحسين درجته بنحو 19 نقطة مقارنة بالتعلم من البيانات الحقيقية وحدها.
كما أثبت النظام قدرته على اتباع التعليمات. فعندما طلب الباحثون من النظام إنشاء حركات بسرعة محددة، طابقت الحركة الناتجة الطلب بنسبة 92%. وعندما طلبوا عدداً معيناً من التكرارات، نجح النظام في تحقيق ذلك ضمن عدّة واحدة بنسبة 90.6%. ومع ذلك، تشير الورقة البحثية إلى أنه بينما يتفوق النظام في الحركات الكبيرة للجسم بالكامل مثل القفز أو القرفصاء، فإنه يواجه صعوبة أحياناً في حركات اليد الصغيرة والدقيقة (مثل التقاط كرة) لأن الرسوم المتحركة ثلاثية الأبعاد الأساسية لا تُظهر كل حركة بسيطة للأصابع.
باختصار، يشير VSMP-IMU إلى أنه باستخدام "وصفة" مهيكلة لتوجيه إنشاء بيانات المستشعر المزيفة، يمكننا تعليم الروبوتات فهم الحركة البشرية بشكل أفضل بكثير مما سبق. إنه يجسّر الفجوة بين مشاهدة الفيديو والشعيد بالاهتزاز، مما يخلق مكتبة من الحركات الاصطناعية المتنوعة، والقابلة للتحكم، والواقعية بشكل مدهش. وبينما ليس مثالياً لكل تفصيل صغير في الحركة البشرية، فإنه يقدم طريقة قوية لتدريب الجيل القادم من التقنيات القابلة للارتداء دون الحاجة لتثبيت مستشعرات على آلاف البشر الحقيقيين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.