Keystep Recognition using Graph Neural Networks
تقترح الورقة البحثية إطار عمل GLEVR، وهو إطار عمل فعال حاسبياً لتعلم الرسوم البيانية يعامل التعرف على الخطوات الرئيسية كمهمة تصنيف عقد، ويعمل على تحسين الأداء من خلال الاستفادة من التبعيات طويلة المدى والمحاذاة عبر الوسائط بين فيديوهات المنظور الشخصي، وفيديوهات المنظور الخارجي، والتعليقات التوضيحية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد طباخاً محترفاً يحضر وجبة معقدة مكونة من خمس درجات. إذا شاهدت فقط مقطعاً مدته 5 ثوانٍ وهو يقطع بصلة، فقد لا تعرف ما إذا كان يعد حساءً، أو سلطة، أو طبق "ستير فراي". لكي تفهم حقاً في أي "خطوة" هو الآن، عليك أن تتذكر ما فعله قبل عشر دقائق وتتوقع ما سيفعله لاحقاً.
هذه الورقة البحثية، التي تحمل عنوان GLEVR، تقدم طريقة جديدة للذكاء الاصطناي لـ "مشاهدة" فيديوهات طويلة (تحديداً من منظور الشخص الأول "المنظور الذاتي" - egocentric، مثل كاميرا GoPro يرتديها عامل) وتحديد الخطوة الدقيقة التي تحدث في عملية ما بدقة.
إليك تفصيل كيفية قيامهم بذلك، باستخدام بعض التشبيهات البسيطة.
1. المشكلة: "ذاكرة السمكة الذهبية" للذكاء الاصطناعي
معظم نماذج الذاء الاصطناعي الحالية تشبه السمكة الذهبية. فهي بارعة في النظر إلى لقطة واحدة أو مقطع قصير جداً والقول: "هذا شخص يمسك بمطرقة". ومع ذلك، عندما تعرض عليها فيديو طويلاً لمدة 10 دقائق لشخص يبني خزانة، فإنها تصاب بالارتباك. إنها تفقد "خيط" القصة؛ فلا تستطيع ربط خطوة "ربط المسمار في المفصلة" بخطوة "قياس الخشب" التي حدثت في وقت سابق بكثير.
2. الحل: خريطة "توصيل النقاط" (الشبكات العصبية الرسومية - Graph Neural Networks)
بدلاً من إجبار الذكاء الاصطناعي على التحديق في كل إطار من إطارات فيديو طويل (وهو أمر مرهق ويستهلك قدرات حوسبية هائلة)، قام الباحثون بتحويل الفيديو إلى رسم بياني (Graph).
التشبيه: تخيل بدلاً من مشاهدة فيلم كامل، أنك تنظر فقط إلى سلسلة من الملاحظات اللاصقة (Post-it notes). كل ملاحظة تمثل لحظة معينة ("عقدة" - node). ثم ترسم خطوطاً ("حواف" - edges) بين هذه الملاحظات لتوضح كيف ترتبط ببعضها البعض.
- ملاحظة أ: "الإمساك بالمفك".
- ملاحظة ب: "ربط المسمار".
- الخط الواصل بينهما يقول: "ب حدثت مباشرة بعد أ".
من خلال تحويل الفيديو إلى خريطة "توصيل النقاط" هذه، لا يضطر الذكاء الاصطناعي لمعالجة كل بكسل في كل ثانية، بل ينظر فقط إلى الخريطة لفهم تدفق القصة. هذا يجعل الذكاء الاصطناعي أسرع بكثير وأكثر ذكاءً في فهم الأنماط طويلة المدى.
3. "الخلطة السرية": استخدام منظورات إضافية
وجد الباحثون أيضاً طريقة لجعل الذكاء الاصطناعي أكثر ذكاءً خلال مرحلة "التدريب" (سنوات دراسته) باستخدام المحاذاة متعددة المشاهد (Multi-view alignment).
التشبيه: تخيل أنك تتعلم عزف البيانو. خلال جلسات التدريب، هناك معلم يراقبك من الأمام، وكاميرا تسجل يديك من الجانب، وتسجيل للصوت. حتى لو كنت وحيداً في غرفة بدون كاميرات أثناء امتحانك النهائي، فإن "ذاكرة" رؤية تلك الزوايا المختلفة أثناء التدريب تجعلك عازفاً أفضل بكثير.
يستخدم GLEVR زوايا كاميرا إضافية (مشاهد خارجية - exocentric) أثناء التدريب لمساعدة الذكاء الاصطناعي على فهم منظور "الأنا" (منظور الشخص - ego view) بشكل أفضل. ولكن —وهذا هو الجزء الذكي— عندما يحين وقت "الامتحان النهائي" (الاستدلال - inference)، فإنه يحتاج فقط إلى منظور الشخص الأول ليعمل بشكل مثالي.
4. إضافة "راوٍ" (التعلم متعدد الوسائط - Multimodal Learning)
أخيراً، أدركوا أنه في بعض الأحيان لا يكفي مجرد الرؤية؛ بل تحتاج أيضاً إلى سماع القصة. لقد أضافوا ميزة حيث "يقرأ" الذكاء الاصطناعي أيضاً وصفاً نصياً لما يحدث.
التشبيه: الأمر يشبه مشاهدة فيلم صامت مقابل مشاهدة فيلم مع راوٍ. إذا كانت الصورة ضبابية، فإن قول الراوي: "الآن هو يقوم بشد البرغي" يعطي الذكاء الاصطناعي الإشارة الإضافية التي يحتاجها ليكون متأكداً بنسبة 100%.
النتيجة
من خلال استخدام نهج "الخريطة"، وإضافة "زوايا إضافية" أثناء التدريب، والاستماع إلى "راوٍ"، نجح الباحثون في إنشاء ذكاء اصطناعي:
- أكثر دقة بمراحل: لقد تفوق على الطرق السابقة بفارق هائل (أكثر من 16%).
- أسرع/أخف بكثير: لا يحتاج إلى سوبر كمبيوتر للعمل لأنه ينظر إلى "خريطة" من الملاحظات بدلاً من جبل من بيانات الفيديو الخام.
باختصار: يعلم GLEVR الذكاء الاصطناعي كيف يتوقف عن رؤية الفيديوهات كحركة ضبابية ويبدأ في رؤيتها كتسلسل منطقي من الأحداث المتصلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.