AnthroTAP: Learning Point Tracking with Real-World Motion
يقدم AnthroTAP مساراً مؤتمتاً يولد بيانات تتبع نقاط ذات تسميات زائفة واسعة النطاق من فيديوهات حركة بشرية واقعية عبر الاستفوتادة من نماذج SMPL واتساق التدفق البصري، مما يمكّن نموذجاً تم تدريبه على هذه البيانات من تحقيق أداء رائد في معيار TAP-vid.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية تتبع نقطة محددة على قميص شخص ما بينما يرقص، ويدور، ويقفز في غرفة مزدحمة. تُسمى هذه المهارة تتبع النقاط (point tracking)، وهي مهارة مفيدة للغاية للروبوتات، ومحرري الفيديو، ومصممي الرسوم المتحركة ثلاثية الأبعاد.
ولكن تكمن المشكلة في أن تعليم الروبوت هذه المهارة يشبه محاولة تعليم طفل ركوب الدراجة من خلال عرض فيديوهات فقط لأطفال يركبون دراجات على مسار حاسوبي مثالي ومسطح تمامًا. يتعلم الروبوت الأساسيات، ولكن عندما يرى شخصًا حقيقيًا في زحام حقيقي مع شعر فوضوي، وأضواء وامضة، وأشخاص يصطدمون ببعضهم البعض، يصاب بالارتباك ويسقط.
تقدم ورقة بحثية بعنوان AnthroTAP الحل لهذا الأمر عبر منح الروبوت معلمًا أفضل بكثير: حركة البشر الحقيقية.
إليك كيف فعلوا ذلك، مقسمًا إلى خطوات بسيطة:
1. المشكلة: فخ "العالم المثالي"
تُدرب معظم الروبوتات على بيانات اصطناعية (synthetic data). فكر في هذا كعالم لعبة فيديو حيث كل شيء مثالي؛ الإضاءة دائمًا مناسبة، الأجسام لا تختفي، والحركات سلسة.
- المشكلة: الحياة الواقعية فوضوية. يرتدي الناس ملابس فضفاضة، وتتغير الأضواء، ويختبئ الناس خلف بعضهم البعض. الروبوتات المدربة على بيانات "مثالية" تفشل في العالم الحقيقي "الفوضوي".
- الطريقة القديمة: لإصلاح ذلك، حاول العلماء تسمية آلاف الفيديوهات الحقيقية يدويًا (رسم نقاط على كل إطار). هذا يشبه توظيف فريق من 100 شخص لتتبع كل خطوة يقوم بها راقص طوال عام كامل. إنه أمر مكلف وبطيء للغاية.
- الطريقة القديمة الأخرى: حاول البعض جعل الروبوت يعلم نفسه من خلال مشاهدة الفيديوهات، لكن الروبوت ظل يرتكب نفس الأخطاء مرارًا وتكرارًا، مثل طالب يقرأ فقط إجاباته الخاطئة.
2. الحل: خدعة "الهيكل الرقمي"
أدرك المؤلفون أن البشر هم في الواقع أفضل المعلمين لأن أجسامنا تتحرك بطرق ثلاثية الأبعاد معقدة يصعب تزييفها.
لقد بنوا مسار عمل يسمى AnthroTAP (Anthro تعني بشري، وTAP تعني تتبع). إليك الوصفة السحرية:
- الخطوة 1: وضع هيكل رقمي على الراقص.
قاموا بأخذ فيديو لأشخاص حقيقيين يرقصون واستخدموا ذكاءً اصطناعيًا ذكيًا لتركيب هيكل عظمي رقمي ثلاثي الأبعاد (يسمى نموذج SMPL) على كل شخص. تخيل بدلة سلكية شفافة ثلاثية الأبعاد تعانق جسم الراقص تمامًا، حتى عندما يدور أو يقفز. - الخطوة 2: تتبع الهيكل، وليس القميص.
بدلاً من محاولة تتبع بكسل معين على قميص (والذي قد يختفي)، يقومون بتتبع الرؤوس (vertices) (النقاط الصغيرة) لذلك الهيكل ثلاثي الأبعاد. بما أن الهيكل يعرف الشكل ثلاثي الأبعاد للجسم، فهو يعرف بالضبط مكان النقطة، حتى لو وقف ذراع الراقص أمامها. - الخطوة 3: اختبار "الكشاف" (Ray Casting).
أحيانًا، تغطي يد الراقص وجهه. يستخدم النظام "كشافًا" افتراضيًا (ray-casting) لمعرفة ما إذا كانت النقطة مخفية. إذا ضرب الكشاف الذراع قبل الوجه، يعرف النظام: "حسنًا، هذه النقطة مخفية الآن. لا تثق بها." - الخطوة 4: "التحقق المزدوج" (Optical Flow).
أحيانًا، قد يرتبك الهيكل الرقمي بسبب نمط غريب في القميص أو كرسي في الخلفية. لإصلاح ذلك، يقارنون حركة الهيكل مع التدفق البصري (Optical Flow) (وهي تقنية تتبع كيفية تحرك البكسلات من إطار إلى آخر).- تشبيه: تخيل أن الهيكل يقول: "لقد تحركت لليسار!" لكن البكسلات على الشاشة تقول: "لا، لقد تحركت لليمين لأنك خلف شجرة". النظام يكشف هذه الكذبة ويستبعد تلك البيانات المحددة.
3. النتيجة: متدرب خارق
استخدموا هذه الطريقة لإنشاء مجموعة ضخمة من "البيانات ذات التسميات الزائفة" (بيانات تبدو وكأنها تم تسميتها يدويًا ولكن تم إنشاؤها بواسطة الكمبيوتر).
- الكفاءة: دربوا نموذجهم على 1,400 فيديو فقط.
- المنافسة: احتاجت النماذج الرائدة الأخرى إلى 15 مليون فيديو (ذلك يعادل 10,000 ضعف كمية البيانات!) أو أجهزة كمبيوتر عملاقة للتدريب.
- النتيجة: نموذجهم، الذي تدرب على هذه المجموعة الصغيرة والذكية، هزم العمالقة. أصبح الأفضل في تتبع النقاط على البشر، والحيوانات، وحتى الروبوتات في العالم الحقيقي.
لماذا هذا مهم؟
فكر في الأمر مثل تعلم القيادة.
- الطريقة القديمة: مارست القيادة فقط في محاكي لا توجد فيه سيارات أخرى، ولا طقس سوى المثالي، ولا إشارات مرور.
- طريقة AnthroTAP: مارست القيادة في محاكي تم تغذيته ببيانات من حركة المرور الحقيقية والفوضوية في المدينة، لكن المحاكي كان ذكيًا بما يكفي لتجاهل الأجزاء الوهمية والتركيز على أنماط القيادة الحقيقية.
باختصار: اكتشف AnthroTAP أنه بدلًا من محاولة رسم النقاط يدويًا على ملايين الفيديوهات، يمكننا استخدام التعقيد الطبيعي للحركة البشرية لإنشاء بيانات التدريب التي نحتاجها تلقائيًا. إنه أرخص، وأسرع، ويجعل الروبوتات أكثر ذكاءً في التعامل مع العالم الحقيقي الفوضوي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.