Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies
تقترح هذه الورقة بنية عابرة للأنماط قائمة على نموذج Mamba للتعرف على الأفعال من منظور الشخص الأول، والتي تدمج بيانات الفيديو (RGB) وهيكل اليد، مظهرةً أن استراتيجية خلط رمز CLS المتوسط يتفوق بشكل كبير على النماذج أحادية النمط على مجموعة بيانات H2O.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم كمبيوتر كيف يفهم ما يفعله الشخص بمجرد مشاهدة فيديو مسجل من عينيه (مثل كاميرا GoPro مثبتة على جبهته). يسمى هذا التعرف على الفيديو من منظور الشخص الأول (Egocentric Video Recognition).
المشكلة هي أن هذا النوع من الفيديوهات يكون فوضويًا. الكاميرا تهتز بعنف، والأيدي غالبًا ما تحجب الرؤية، وأحيانًا ينظر الشخص بعيدًا عما يفعله. الأمر يشبه محاولة حل لغز بينما يستمر شخص ما في هز الطاولة وتغطية نصف القطع بيديه.
لإصلاح ذلك، بنى الباحثون "دماغًا" جديدًا للكمبيوتر باستخدام تقنية تسمى Mamba. فكر في Mamba كأمين مكتبة فائق الكفاءة يمكنه قراءة كتاب طويل جدًا (فيديو طويل) بشكل أسرع بكثير من الطرق القديمة (مثل Transformers) دون أن يتعب أو يفقد تتبع القصة.
نهج المسارين: العين واليدين
أدرك الباحثون أنه لكي يفهم الكمبيوتر الفعل، فإنه يحتاج إلى نوعين مختلفين من الأدلة، تمامًا كما يحتاج المحقق إلى كل من شهادة الشاهد والأدلة المادية:
- "العين" (فيديو RGB): هذا هو بث الفيديو القياسي. يظهر الألوان والأشكال ولكنه يرتبك عندما تحجب الأيدي الرؤية.
- "اليدين" (بيانات الهيكل العظمي/Skeleton Data): هذا هو النموذج السلكي الرقمي ليدي الشخص. حتى لو كانت اليدان مختبئتين خلف كوب، فإن الكمبيوتر يعرف بالضبط أين يجب أن تكون الأصابع. إنه يشبه امتلاك مخطط شبحي لليدين لا يمكن حجبه أبدًا.
يعالج الكمبيوتر هذين المسارين بشكل منفصل أولاً، ثم يحاول دمجهما في فهم واحد.
السر الخفي: "رمز CLS"
في منتصف هذه العملية، هناك قطعة خاصة من البيانات تسمى رمز CLS. يمكنك التفكير في هذا الرمز كـ "مذكرة ملخصة" أو "سجل القبطان".
بينما يشاهد الكمبيوتر الفيديو ويتتبع اليدين، فإنه يكتب مذكرة ملخصة لتدفق الفيديو ومذكرة ملخصة منفصلة لتدفق اليدين. وفي النهاية، يحتاج إلى دمج هاتين المذكرتين في تقرير نهائي واحد ليقرر: "هل هذا الشخص يصب القهوة أم يقطع شطيرة؟"
اكتشاف البحث الرئيسي هو كيفية دمج هاتين المذكرتين. اختبر الباحثون أربع طرق لخلطهما:
- النهج "الساذج" (اللوحة الفارغة): التخلص من المذكرتين القديمتين وكتابة واحدة جديدة تمامًا من الصفر.
- النتيجة: فشل هذا النهج. كان الأمر كأنك تتجاهل ملاحظات المحقق وتحاول تخمين الجريمة دون أي أدلة.
- النهج "الموزون" (المفاوض): إعطاء مذكرة الفيديو نسبة معينة من الأهمية ومذكرة اليد نسبة مختلفة (على سبيل المثال، 60% للفيديو و40% لليدين). يتعلم الكمبيوتر هذه النسب أثناء التدريب.
- النتيجة: نجح هذا النهج بشكل جيد، لكن الكمبيوتر قرر في النهاية أن التقسيم بنسبة 50/50 هو الأفضل.
- النهج "القائم على السياق" (المدير الديناميكي): ينظر الكمبيوتر إلى المشهد الحالي ويقرر على الفور مدى الثقة في الفيديو مقابل اليدين.
- النتيجة: من المثير للدهشة أن هذه الطريقة المعقدة لم تكن أفضل من الطرق البسيطة. كان الأمر كتوظيف مدير يبالغ في التفكير في كل قرار.
- نهج "المتوسط" (الشريك المتساوي): ببساطة خذ مذكرة الفيديو ومذكرة اليد واخلطهما معًا بالتساوي (50/50).
- النتيجة: كان هذا هو الفائز. اتضح أن أبسط طريقة — وهي إعطاء كلا الدليلين وزنًا متساويًا — كانت الأكثر فعالية.
النتائج
عندما اختبروا هذا على مجموعة بيانات تسمى H2O (والتي تحتوي على فيديوهات لأشخاص يقومون بمهام يومية مثل الصب، والقطع، والتجميع)، حققت استراتيجية "المتوسط" نجاحًا هائلاً.
- في نموذج الكمبيوتر الأصغر، قفزت الدقة بنسبة 10%.
- في النموذج الأكبر، قفزت الدقة بنسبة 25%.
هذا يعني أنه من خلال دمج "العين" و"اليدين" بالتساوي، أصبح الكمبيوتر أفضل بكثير في فهم ما يحدث، حتى عندما كانت الكاميرا تهتز أو كانت الأيدي تحجب الرؤية.
ما التالي؟
ينظر الباحثون الآن في فكرتين رئيسيتين للمستقبل:
- الاختبار على مجموعات بيانات أكبر: لمعرفة ما إذا كانت طريقة "المدير الديناميكي" ستعمل بشكل أفضل إذا امتلك الكمبيوتر المزيد من البيانات للتعلم منها.
- خدعة "المعلومات المميزة": يريدون تدريب الكمبيوتر باستخدام كل من الفيديو والهياكل العظمية لليدين، ولكن بعد ذلك السماح له بإجراء الاختبارات باستخدام الفيديو فقط. إنه مثل الدراسة باستخدام كتاب مدرسي ومعلم خصوصي، ولكن خوض الامتحان باستخدام الكتاب المدرسي فقط. هذا من شأنه أن يجعل النظام مفيدًا في الحياة الواقعية حيث قد لا تتوفر لدينا دائمًا بيانات "الهيكل العظمي لليد".
باختصار، يظهر البحث أن أفضل استراتيجية لفهم الفيديو من منظور الشخص الأول هي غالبًا الاستراتيجية الأبسط: استمع إلى كل من العينين واليدين بالتساوي، واترك "دماغ Mamba" الكفء يقوم بالباقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.