Robust Motion Generation using Part-level Reliable Data from Videos
تتناول هذه الورقة تحدي حالات الحجب والالتقاطات خارج نطاق الشاشة في بيانات الحركة القائمة على الفيديو من خلال اقتراح نموذج انحدار ذاتي قوي مدرك للأجزاء، يستفيد فقط من المعلومات الموثوقة على مستوى الأجزاء لتوليد حركة بشرية عالية الجودة، مصحوباً بتقديم معيار مرجعي جديد واسع النطاق يسمى K700-M.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم حاسوب تحريك إنسان رقمي بمجرد قراءة جملة. قد تكتب، "الشخص يرقص"، وتتوقع أن تظهر الشاشة أداءً انسيابياً وواقعياً. هذا المجال، المعروف باسم توليد الحركة من النص إلى الحركة (text-to-motion generation)، حقق تقدماً ملحوظاً، لكنه اصطدم بحائط مسدود. أفضل النتالئج التي تم تحقيقها حتى الآن تأتي من تدريب الحواسيب على تسجيلات خاصة وعالية الجودة لأشخاص حقيقيين يتحركون، تم التقاطها باستخدام مستشعرات باهظة الثمن في استوديوهات خاضعة للرقابة. ورغم أن هذه التسجيلات مثالية، إلا أنها نادرة، ومحدودة التنوع، وغالباً ما تفتقر إلى الطرق المعقدة والفوضوية التي يتحرك بها الناس في العالم الحقيقي. ولكسر هذا الحاجز، لجأ الباحثون إلى الإنترنت، آملين في التعلم من مليارات الفيديوهات العادية المتاحة عبر الإنترنت. الفكرة بسيطة: إذا استطاع الحاسوب التعلم من المكتبة الضخمة للويب، فقد يفهم نطاقاً أوسع بك من الأفعال. ولكن هناك عقبة؛ فعندما يحاول الحاسوب اكتشاف كيفية تحرك شخص ما في فيديو عادي، فإنه غالباً لا يستطيع رؤية الجسم بأكم له. قد يكون الشخص محجوباً جزئياً بشجرة، أو مقطوعاً بسبب حافة إطار الكاميرا، أو محجوباً بشخص آخر. في هذه اللحظات، يتعين على الحاسوب تخمين مكان الأطراف المفقودة.
هذا التخمين يخلق مشكلة جوهرية للتعلم. فإذا عُرض على الحاسوب فيديو لا يظهر فيه سوى الجزء العلوي من الجسم، وأُجبر على التعلم من تخمين لجسم كامل يتضمن أرجلاً غير مرئية، فقد يتعلم أشياء خاطئة. قد يبدأ في الاعتقاد بأن الأرجل غير المرئية هي أدلة حقيقية، وليست مجرد تخمين. لفترة طويلة، واجه الباحثون خياراً صعباً: إما التخلص من كل مقطع فيديو لم يكن واضحاً تماماً، مما يعني فقدان معظم البيانات، أو الاحتفاظ بجميع المقاطع والأمل في أن يتمكن الحاسوب من تجاهل التخمينات السيئة. كلا النهجين كان له عيوب خطيرة. فالتخلص من المقاطع يعني فقدان معلومات قيمة عن حركات محددة، مثل كيفية تحريك الشخص لذراعيه أثناء الجلوس. أما الاحتفاظ بكل شيء فكان يعني تعليم الحاسوب بمعلومات خاطئة. وقد وجد فريق من الباحثين طريقة لحل هذه المشكلة عن طريق تغيير كيفية نظر الحاسوب إلى البيانات. فبدلاً من معاملة مقطع الفيديو بالكامل كأنه جيد أو سيء، علموا الحاسوب أن ينظر إلى الجسم جزءاً بجزء.
طوّر الباحثون نظاماً جديداً يعمل كمحرر دقيق. فعندما يحلل النظام مقطع فيديو، فإنه يتحقق أولاً من الأجزاء المرئية فعلياً من الجسم والأجزاء المخفية. إذا كانت أرجل شخص ما محجوبة بطاولة، فإن النظام يعرف أنه يجب عليه الوثوق بحركة الذراعين والجذع، ولكن تجاهل تخمين الحاسوب بشأن الأرجل. إنه يعامل الأجزاء المرئية كحقائق صلبة، والأجزاء المخفية كفراغات ليتم ملؤها لاحقاً. يسمح هذا النهج للنظام بالتعلم من آلاف الفيديوهات التي كانت تُعتبر سابقاً "فوضوية" للغاية بحيث لا يمكن استخدامها. ومن خلال التركيز فقط على أجزاء الجسم التي تراها الكاميرا بالفعل، يبني النظام فهماً موثوقاً للحركة دون أن يرتبك بتخميناته الخاصة. الأمر يشبه تعلم التعرف على طائر من خلال دراسة الأجنحة فقط عندما يكون الذيل مخفياً، بدلاً من محاولة حفظ رسم لطائر كامل يتضمن ذيلاً وهمياً.
لاختبار هذه الفكرة، أنشأ الفريق مجموعة بيانات جديدة ضخمة من الإنترنت، تحتوي على ما يقرب من مائتي ألف زوج من مقاطع الفيديو والأوصاف النصية. قاموا بتحليل هذه المقاطع ووجدوا أنه في أكثر من ثلاثة أرباع الإطارات، كان هناك جزء واحد على الأقل من الجسم غير مرئي بالكامل. وقد أكد هذا أن مشكلة المعلومات المفقودة ليست نادرة، بل هي القاعدة في فيديوهات الويب. وباستخدام مجموعة البيانات هذه، قاموا بتدريب نظامهم الجديد وقارنوه بالطرق القديمة التي كانت إما تتخلص من المقاطع الفوضوية أو تحاول التعلم من جميع المقاطع دون تصفية. كانت النتائج واضحة؛ فالنظام الجديد، الذي ينتبه إلى الأجزاء المرئية، أنتج حركات أكثر دقة وواقعية من الطرق القديمة. لقد كان قادراً على توليد حركات ليست فقط أكثر وفاءً للوصف النصي، بل أيضاً أكثر سلاسة وطبيعية.
أظهرت الدراسة أن الاحتفاظ بالمقاطع الفوضوية وتعليم الحاسوب تجاهل الأجزاء غير المرئية كان أفضل بكثير من التخلص من تلك المقاطع. وعندما اختبر الباحثون نظامهم على مجموعة كبيرة تضم مائتي ألف مقطع، تفوق نظامهم بشكل كبير على أفضل الأساليب الموجودة. فالأساليب القديمة التي احتفظت بكل البيانات ارتكبت أخطاءً كثيرة لأنها حاولت التعلم من الأجزاء غير المرئية، بينما فقدت الأساليب التي تخلصت من البيانات السيئة الكثير من التنوع. نجح النظام الجديد في الحفاظ على تنوع مجموعة البيانات الكبيرة مع تجنب الأخطاء. لقد تعلم أن شخصاً يجلس ويعزف على الطبول قد تكون أرجله مخفية، لكن حركات ذراعيه لا تزال حقيقية ومفيدة للتعلم منها. ومن خلال التركيز على الأجزاء الموثوقة، استطاع النظام تجميع صورة كاملة للحركة دون أن تضلله الأجزاء المفقودة.
يشير هذا العمل إلى طريقة جديدة لتعليم الحواسيب عن العالم المادي باستخدام بيانات غير كاملة. فهو يوضح أننا لسنا بحاجة إلى تسجيلات مثالية بجودة الاستوديو لتعليم الآلة كيف تتحرك. بدلاً من ذلك، يمكننا استخدام المجموعة الضخمة والفوضوية من الفيديوهات الموجودة على الإنترنت إذا علمنا الآلة كيف تكون ذكية فيما يتعلق بما تثق به. لا يحتاج النظام إلى رؤية الجسم بأكمله ليتعلم كيف يتحرك الإنسان؛ بل يحتاج فقط إلى رؤية ما يكفي من الجسم لفهم الفعل. يفتح هذا النهج الباب أمام تدريب أنظمة أكبر وأكثر قدرة في المستقبل، قادرة على فهم نطاق أوسع من السلوكيات البشرية أكثر من أي وقت مضى. لقد وجد الباحثون أنه من خلال احترام حدود ما يمكن للكاميرا رؤيته، يمكن للحاسوب أن يتعلم أكثر، لا أقل. وهذا التحول في الاستراتيجية، من المطالبة ببيانات مثالية إلى التعلم من أدلة جزئية، يمثل خطوة كبيرة للأمام في تعليم الآلات فهم الحركة البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.