Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining

في عالم الرؤية الحاسوبية، يمثل تعليم الآلات فهم الحركة البشرية تحديًا أساسيًا له تداعيات عميقة على الروبوتات، والأمن، والمراقبة الآلية. لعقود من الزمن، اعتمد الباحثون استراتيجيتين رئيسيتين لحل هذا اللغز. الاستراتيجية الأولى تراقب المشهد بأك entirety، وتحلل الألوان والإضاءة والخلفية لتخمين ما يحدث. أما الاستراتيجية الثانية فتتجاهل المشهد تمامًا، وتركز فقط على الهيكل العظمي المتحرك للإنسان — أي الترتيب المحدد للمفاصل والأطراف. وبينما يبدو النهج الأول بديهيًا، إلا أنه غالبًا ما يفشل عندما تتغير الخلفية أو عندما تكون الإضاءة ضعيفة. أما النهج الثاني، الذي يتتبع الهيكل العظمي، فهو أكثر قوة في مواجهة هذه التحولات البيئية، لكنه عانى تاريخيًا من مشكلة مختلفة: وهي حاجته إلى قدر هائل من العمل البشري للتعليم. لتدريب حاسوب على التعرف على فعل محدد، مثل سقوط شخص أو قتال، كان على الباحثين تقليديًا رسم مربعات حول كل شخص في كل إطار من آلاف مقاطع الفيديو وتسمية ما يفعلونه بالضبط بكل دقة. هذه العملية مكلفة ومستهلكة للوقت لدرجة أنها تحد من القدرة على تعليم الحواسيب أفعالاً جديدة بسرعة.

لقد طور فريق من الباحثين الآن طريقة جديدة تتجاوز هذا العبء الثقيل من التوسيم اليدوي، مما يسمح للحواسيب بتعلم كيفية رصد الأفعال الجديدة دون رؤية مثال واحد عليها مسبقًا. نهجهم، المفصل في دراسة حديثة، يقدم نظامًا يتعلم من أوصاف الفيديو العامة بدلاً من التوسيم إطارًا بإطار. بدلًا من إخباره أن "هذا الشخص يلكم في هذه الثانية بالضبط"، يتم تدريب النظام على مقاطع فيديو كاملة مع تسميات نصية بسيطة تصف النشاط العام، مثل "لعب الغولف" أو "القيادة". ومن خلال استخدام تقنية تربط البيانات المرئية للهياكل العظمية البشرية بالأوصاف النصية للأفعال، يتعلم النظام لغة عالمية للحركة. وبمجرد تدريبه، يمكنه النظر إلى فيديو يحتوي على أشخاص يؤدون فعلًا لم يره من قبل، وتحديد من يقوم به وماذا يفعل بدقة. وقد أثبت الباحثون أن هذه الطريقة لا تضاهي فقط دقة الأنظمة التي تم تدريبها باستخدام كميات هائلة من الملصقات التفصيلية، بل تثبت أيضًا أنها أكثر مرونة بشكل ملحوظ عندما تكون جودة الفيديو ضعيفة أو الخلفية مزدحمة.

يكمن جوهر هذا الابتكار في تحول ذكي في كيفية معالجة الكمبيوتر للمعلومات، وهي آلية يسميها المؤلفون "تبديل تجميع سمات الهيكل العظمي واللغة" (Skeleton-Language feature Pooling Switching). تخيل نظامًا يتعلم أولاً فهم الحالة العامة للغرفة من خلال الاستماع إلى ملخص للمحادثة، ثم، عندما يُطلب منه تحديد متحدث معين، يحول تركيزه للاستماع إلى أصوات فردية. في مرحلة التدريب، ينظر الكمبيوتر إلى فيديو ويجمع كل بيانات الهيكل العظمي من الجميع في المقطع ضمن ملخص واحد. ثم يقارن هذا الملخص بالتسمية النصية المقدمة للفيديو بأكمله. يتيح ذلك للنظام تعلم العلاقة بين نوع من الحركة وكلمة ما دون الحاجة لمعرفة من يتحرك بالضبط أو متى. ومع ذلك، عندما ينتقل النظام إلى مرحلة الاختبار، فإنه يغير مساره؛ حيث يتوقف عن النظر إلى الفيديو ككل، وبدلاً من ذلك يعزل هيكل كل شخص على حدة. ولأنه تعلم بالفعل العلاقة بين أنماط الحركة والكلمات خلال مرحلة التدريب، يمكنه الآن النظر إلى هيكل شخص واحد والتساؤل: "هل يشبه هذا الوصف النصي لـ 'اللكم'؟". هذا التبديل يسمح للنظام بتحديد أفعال محددة لأشخاص محددين دون أن يتم عرضه مسبقًا على فيديو حيث تم تسمية هؤلاء الأشخاص تحديدًا.

ولجعل هذا يعمل في المشاهد المعقدة حيث يتحرك عدة أشخاص في آن واحد، اضطر الباحثون لحل مشكلة شائكة: كيف يمكن تعليم الكمبيوتر التمييز بين الأشخاص المختلفين عندما لا يُعطى سوى تسمية واحدة للفيديو بأكمله؟ إذا أظهر فيديو شخصًا يركض وآخر يمشي، وكانت التسمية هي مجرد "تمرين"، فقد يرتبك الكمبيوتر بشأن الحركة التي تنتمي لأي تسمية. ولحل ذلك، قدم الفريق تقنية تسمى "التعلم التبايني المختلط بالمشهد" (Scene-Mixed Discriminative Contrastive Learning). تأخذ هذه الطريقة مقتطفات من فيديوهات مختلفة وتمزجها معًا بشكل اصطناعي أثناء عملية التدريب. ومن خلال إنشاء بيئة فوضوية حيث تحدث أفعال متعددة جنبًا إلى جنب، يُجبر النظام على تعلم الفروق الدقيقة بينها. إنه يتعلم أن حركة الشخص الذي يركض تختلف عن حركة الشخص الذي يقفز، حتى لو ظهرا في نفس السياق المختلط. وهذا يضمن أنه عندما يواجه النظام فيديو حقيقيًا به عدة أشخاص، يمكنه تعيين الفعل الصحيح للشخص الصحيح بثقة.

تم اختبار نتائج هذا النهج مقابل عدة مجموعات بيانات قياسية تُستخدم لتقييم مدى قدرة الحواسيب على إيجاد وتسمية الأفعال في الفيديوهات. وفي مجموعة بيانات تحتوي على أربعة وعشرين فعلًا مختلفًا، حققت الطريقة الجديدة دقة بلغت 34.1 بالمائة، متفوقة على الطرق السابقة التي تعتمد على الإشراف الضعيف والتي تستخدم تدريبًا أقل تطورًا. والأكثر إثارة للإعجاب، هو أنه عند اختباره على مجموعة بيانات مصممة خصيصًا لتتبع الأشخاص الذين يسقطون، وصلت دقة النظام الجديد إلى 73.3 بالمائة، متفوقًا بشكل كبير على الأساليب الحالية التي تعتمد على تتبع مواقع الأشخاص بمرور الوقت. كما وجد الباحثون أن نظامهم أكثر قوة تجاه جودة الفيديو الضعيفة؛ فعندما كانت مقاطع الفيديو المدخلة ضبابية أو بها إطارات مفقودة، انخفض أداء الأنظمة التي تعتمد على المظهر المرئي بشكل حاد، بينما حافظ النظام القائم على الهيكل العظمي على دقته العالية. وهذا يشير إلى أنه من خلال التركيز على بنية الجسم بدلاً من مظهر المشهد، يمكن للنظام أن يعمل بموثوقية في الظروف الواقعية حيث قد تكون الكاميرات مهتزة أو الإضاءة خافتة.

كان هناك اكتشاف حاسم آخر وهو كفاءة النظام. فبينما تتطلب العديد من نماذج الذكاء الاصطناعي الحديثة التي يمكنها فهم الفيديو والنص مليارات المعلمات وقوة حوسبة هائلة للتشغيل، يعمل هذا النهج الجديد بنموذج يحتوي على حوالي 70 مليون معلمة فقط. ورغم كونه أصغر بكثير، فقد حقق دقة بلغت 84.0 بالمائة في مجموعة بيانات للأفعال العنيفة، متفوقًا على نماذج أكبر وأكثر تعقيدًا. علاوة على ذلك، فإن النظام سريع للغاية، حيث يعالج الفيديو بمعدل 1900 إطار في الثانية تقريبًا، وهو ما يعادل حوالي 240 ضعف سرعة بعض النماذج اللغوية الكبيرة المستخدمة لمهام مماثلة. هذا الجمع بين الدقة العالية، والتكلفة الحوسبية المنخفضة، والقدرة على تعلم أفعال جديدة دون إعادة تدريب مكثفة، يشير إلى مسار عملي لنشر أنظمة مراقبة وروبوتات ذكية يمكنها التكيف مع المواقف الجديدة دون الحاجة إلى فريق من البشر يقضي أسابيع في تسمية البيانات.

تخلص الدراسة إلى أنه من خلال تحويل التركيز من التوسيم المكثف إطارًا بإطار إلى عملية تعلم أكثر مرونة موجهة بالنصوص، فمن الممكن بناء أنظمة تفهم الفعل البشري بمستوى من التعقيد كان محصورًا سابقًا في النماذج ذات الإشراف الكثيف. لقد أظهر الباحثون أنه من الممكن تدريب حاسوب على التعرف على أفعال غير مرئية من خلال تعليم العلاقة بين حركات الجسم واللغة، بدلاً من إجباره على حفظ كل تنوع ممكن لحدث معين. هذا النهج لا يقلل فقط من التكلفة والوقت المطلوبين لتطوير أنظمة جديدة للتعرف على الأفعال، بل يخلق أيضًا نماذج أكثر قوة وقدرة على التكيف مع الطبيعة الفوضوية وغير المتوقعة للعالم الحقيقي. ومع نضوج هذه التكنولوجيا، يمكنها تمكين جيل جديد من التطبيقات التي تراقب السلامة، أو تساعد في تحليل الرياضة، أو توجه الروبوتات، وكل ذلك دون التكلفة الباهظة لتوسيم البيانات يدويًا والتي لطالما شكلت عقبة في هذا المجال.