Human Behavior Recognition Based on Graph Neural Network and Cross-modal Collaborative Attention Mechanism
تقترح هذه الورقة البحثية نموذج Gnet_CAM، وهو نموذج مبتكر للتعرف على السلوك البشري يدمج البيانات المرئية والهيكلية والصوتية عبر الشبكات العصبية الرسومية وآلية انتباه تعاوني هرمي متعدد الوسائط لتحقيق أداء قوي في السيناريوهات المعقدة مثل الاحتجاب وتغير الإضاءة، كما يتضح من خلال دقته الفائقة على مجموعة بيانات NTU RGB+D120 ومجموعة بيانات بيئة التحدي ذاتية الإنشاء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فهم ما يفعله البشر. قد تقول لنفسك: "الأمر سهل! فقط أعطه كاميرا". لكن هنا تكم-ن المشكلة: الكاميرات يمكن خداعها بسهولة. إذا خطى شخص خلف عمود، يفقد الروبوت أثره. إذا ومضت الأضواء أو أعمت الشمس العدسة، يصاب الروبوت بالارتباك. الأمر يشبه محاولة التعرف على صديق في غرفة مزدحمة ومظلمة باستخدام عينيك فقط؛ أحياناً، لا يمكنك رؤية ما يكفي.
لحل هذه المشكلة، حاول العلماء منح الروبوتات "حواساً خارقة". فبدلاً من مجرد النظر، يمكنهم أيضاً "الاستماع" إلى أصوات الحركة و"الشعور" بهيكل الجسم وهو يتحرك، حتى لو كان الجلد مخفياً. إنهم يستخدمون ما يسمى بـ الشبكات العصبية الرسومية (Graph Neural Networks)، وهي طريقة منمقة للقول بأنهم يرسمون خريطة لكيفية اتصال أجزاء الجسم (مثل المرفقين والركبتين) ببعضها البعض، تشبه إلى حد ما رسم "رجل العصا" الذي يعرف كيف يتحرك. كما يستخدمون آليات الانتباه (Attention Mechanisms)، وهي تشبه كشاف الضوء الذي يخبر الروبوت: "مهلاً، انظر إلى اليدين الآن، وتجاهل الخلفية!". السؤال الكبير هو: كيف نجعل الروبوت يدمج هذه الحواس المختلفة —الرؤية، والصوت، والهيكل— في فهم واحد مثالي، خاصة عندما تصبح الأمور فوضوية وعشوائية؟
تقدم هذه الورقة البحثية نظاماً جديداً وذكياً يسمى Gnet_CAM يحاول الإجابة على هذا السؤال تماماً. فكر في الأمر كفريق من ثلاثة محققين يعملون معاً لحل لغز ما: أحد المحققين لديه كاميرا (بصري)، والآخر لديه متتبع للهيكل (هيكلي)، والثالث لديه ميكروفون فائق الحساسية (صوتي). في الماضي، ربما كان هؤلاء المحققون يصرخون بملاحظاتهم لبعضهم البعض أو يلصقون ملاحظاتهم معاً، مما أدى غالباً إلى الارتباك.
يقول مؤلفو هذه الورقة: "لا، دعونا نجعلهم يتحدثون مع بعضهم البعض بشكل صحيح". لقد بنوا نظاماً لا يكتفي فيه الميكروفون بالاستماع فحسب، بل يوجه المحققين الآخرين بنشاط. إذا سمع محقق الصوت "صرير باب"، فإنه يرسل إشارة إلى محققي الكاميرا والهيكل للتركيز فوراً على الباب وعلى اليدين القريبتين منه. أطلقوا على ذلك اسم آلية الانتباه التعاوني عبر الوسائط (Cross-modal Collaborative Attention Mechanism). إنه يشبه قائد الأوركسترا الذي يخبر الكمان والطبول بدقة متى يعزفون لكي يبدو صوتهم مثالياً معاً، بدلاً من مجرد العزف بصوت عالٍ في نفس الوقت.
ولجعل هذا يعمل، ابتكروا "خريطة ديناميكية". عادةً ما تكون خريطة الهيكل ثابتة —فهي تعرف أن اليد متصلة بالذراع. لكن هذا النظام الجديد يضيف "حوافاً افتراضية". تخيل خيوطاً غير مرئية تمتد من جزء من الجسم إلى مصدر صوت. إذا سمعت تصفيقاً، فإن خيطاً افتراضياً يربط أذنيك بيديك فوراً على الخريطة، مما يساعد الروبوت على فهم الحركة حتى لو كانت اليدان مخفيتين جزئياً.
اختبر الباحثون هذه الفكرة بطريقتين. أولاً، استخدموا مجموعة بيانات قياسية ونظيفة تسمى NTU RGB+D 120، وهي تشبه صالة ألعاب رياضية نموذجية ذات إضاءة مثالية. هنا، حققت طريقتهم الجديدة معدل دقة بلغ 93.1%، متفوقة على أفضل الطرق السابقة. لكن الاختبار الحقيقي كان في بيئة "قاسية" صنعوها بأنفسهم، تحا المح محاكاة لمصنع مغبر، ضعيف الإضاءة، وبه عوائق كثيرة (انسداد شديد). في هذا السيناريو الفوضوي، وصلت دقة نظامهم إلى 93.9%. كانت هذه قفزة هائلة —أفضل بأكثر من 8% من أفضل النماذج الموجودة التي لا تستخدم نهج "العمل الجماعي" الخاص بهم.
كما أجرت الورقة "تجارب الاستئصال" (Ablation Experiments)، وهي طريقة علمية تعني تفكيك النظام لمعرفة أي قطعة هي التي تقوم بالجهد الأكبر. وجدوا أنه إذا أزالوا "حواف الانتباه الافتراضية" (الخيوط غير المرئية التي تربط الصوت بالجسم)، فإن الدقة تنخفض بنسبة 6.2%. وإذا أزالوا الصوت تماماً، تنخفض بنسبة 7.7%. وهذا يثبت أن السحر ليس مجرد امتلاك ميكروفون؛ بل في كيفية استخدام النظام للصوت لتوجيه تتبع الرؤية والهيكل بنشاط.
يؤكد المؤلفون أن هذا النهج يجعل الروبوتات أكثر متانة (Robust)، مما يعني أنها لن ترتبك عندما يصبح العالم فوضوياً. ومع ذلك، يعترفون بوجود عقبات. يتطلب النظام حالياً أن تكون الحواس الثلاث (الرؤية، الصوت، الهيكل) متزامنة تماماً، وهو أمر صعب التحقيق في العالم الحقيقي إذا تأخرت الكاميرا عن الميكروفون. كما يشيرون إلى أن النظام ثقيل حسابياً، مما يعني أنه قد يكون بطيئاً جداً بالنسبة لجهاز صغير يعمل بالبطارية في الوقت الحالي. ولكن في الوقت الحالي، تقترح هذه الورقة أنه من خلال السماح للحواس المختلفة بـ "التعاون" بدلاً من مجرد "التعايش"، يمكننا بناء آلات تفهم السلوك البشري بعيون وآذان أكثر حدة، حتى في أكثر الغرف عتمة وازدحاماً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.