ملخص تقني: EgoAction للكشف عن الأفعال في مجموعة بيانات EPIC-KITCHENS

1. تعريف المشكلة

تتناول الورقة البحثية تحدي EPIC-KITCHENS-100 للكشف عن الأفعال، والذي يتطلب من النماذج تحديد أوقات البداية والنهاية لعينات الأفعال في فيديوهات المنظور الشخصي (egocentric) الطويلة وغير المشذبة، وتعيين تسمية تركيبية تتكون من فعل واسم (مثل "فتح الثلاجة" - open fridge).

تكمن الصعوبة الجوهرية في الربط بين التحديد الزمني (temporal localization) والدلالات التركيبية (compositional semantics). لا يعتبر التنبؤ صحيحاً إلا إذا تجاوز تقاطع الاتحاد الزمني (tIoU) عتبة معينة و كان زوج الفعل والاسم دقيقاً. حدد المؤلفون ثلاث عقبات محددة في هذا السياق:

• C1: غموض الحدود (Boundary Ambiguity): تسبب اهتزاز الكاميرا في منظور الشخص الأول ومراحل التفاعل القصيرة إزاحات زمنية في المقترحات (proposals)، حتى عندما يكون التصنيف صحيحاً.
• C2: التدهور الخاص بكل مسار (Stream-Specific Degeneration): غالباً ما يفشل مسار الاسم بسبب الحجب أو الفوضى، بينما يفشل مسار الفعل بسبب الحركة الخفيفة أو المتأخرة. إن المتوسط الحسابي الثابت للحدود من كلا المسارين يضاعف الأخطاء عندما يكون أحد المسارين غير موثوق.
• C3: الندرة التركيبية (Compositional Sparsity): مع وجود 97 فعلاً و300 اسماً، فإن فضاء الأفعال شاسع ولكنه نادر. يجب على النظام الحفاظ على مرشحين غنيين دون حدوث انفجار توافقي قبل عملية حذف التكرار غير الأقصى (NMS).

2. المنهجية: EgoAction

النظام المقترح، EgoAction (تركيب الفعل في منظور الشخص الأول مع دمج زمني مدرك للموثوقية)، هو خط معالجة موحد ومنفصل للكشف. يتجنب النظام إجبار الأسماء والأفعال على دخول كاشف مشترك واحد، وبدلاً من ذلك يعاملها كمسارات متكاملة ذات موثوقية تحديد متفاوتة.

2.1. استخراج الميزات

يستخدم خط المعالجة ميزات VideoMAE-L مستخرجة مسبقاً، والتي تم ضبطها بدقة على EPIC-KITCHENS. يتم استخراج الميزات من فيديوهات بمعدل 30 إطاراً في الثانية بطول مقطع 16 وخطوة (stride) للمقتطفات قدرها 8. بالنسبة للفيديوهات الطويلة، يتم استخدام الاستدلال بالنافذة المنزلقة (sliding-window inference) بحد أقصى لطول النافذة يبلغ 4608 خطوة ميزة مع تداخل بنسبة 50%.

2.2. الكشف الزمني السببي المنفصل

يستخدم النظام كاشفين منفصلين بأسلوب CausalTAD-style (واحد للأسماء وآخر للأفعال) بناءً على تنفيذ OpenTAD.

• البنية: يتم إسقاط الميزات في تمثيلات زمنية سببية ومعالجتها عبر هرم زمني متعدد المستويات (7 مستويات).
• الرأس (Head): يتنبأ رأس كشف خالٍ من المرتكزات (anchor-free) باحتمالات الفئة لكل نقطة والمسافات إلى حدود المقاطع.
• التدريب: يتم تدريب كاشفات الأسماء والأفعال بشكل منفصل على تقسيم التدريب + التحقق باستخدام AdamW، والدقة المختلطة (mixed precision)، وأوزان EMA.
• التفاعل بين المسارات (اختياري): تم استكشاف متغير ثنائي المسار حيث تقوم بوابة عدم اليقين بكبح الميزات المساعدة غير الموثوقة قبل الانتباه المتقاطع (cross-attention)، لكن النسخة النهائية المقدمة تبقي المسارات منفصلة لضمان المتانة، مما ينقل قرارات الموثوقية إلى مرحلة ما بعد المعالجة.

2.3. تسجيل الفعل التركيبي

لكل مؤشر مقترح محاذٍ $j$، يجمع النظام أفضل $K$ من مرشحي الاسم والفعل ($K_n=10, K_v=10$).

• حساب الدرجة (Score Calculation): درجة الفعل هي المتوسط الهندسي لاحتمالات الاسم والفعل: $S_{j,p,q} = \sqrt{P^n_{j,p} P^v_{j,q}}$. يضمن هذا أن المرشح يكون قوياً فقط عندما يدعم كل من دليل الشيء والحركة هذا.
• دمج الحدود: الابتكار الحاسم هو الدمج الموزون الديناميكي (DWF). بدلاً من المتوسط الحسابي الثابت، يحسب النظام أوزان المقترح بناءً على أقصى ثقة تصنيف لكل مسار ($C^n_j$ و $C^v_j$).
  • الأوزان: $W^n_j = \frac{C^n_j}{C^n_j + C^v_j + \epsilon}$ و $W^v_j = \frac{C^v_j}{C^n_j + C^v_j + \epsilon}$.
  • الحد المدمج: $\hat{b}_j = W^n_j b^n_j + W^v_j b^v_j$.
  • المنطق: هذا ينقل سلطة الحدود إلى المسار الأكثر موثوقية (على سبيل المثال، إذا كان الاسم محجوباً، فإن مسار الفعل يهيمن على التحديد الزمني) دون تغيير الدرجة الدلالية للفعل.

2.4. ما بعد المعالجة

تخضع المقترحات المدمجة لعملية Soft-NMS (على مستوى الفئة) لكبح عمليات الكشف المكررة ذات الفترات المتداخلة بشدة. يقوم النظام بتجميع النتائج من النوافذ المنزلقة ويخرج ملف JSON النهائي.

3. المساهمات الرئيسية

1. تحليل المشكلة: حدد المؤلفون أن الكشف المشترك المباشر أو الدمج الثنائي الثابت غير كافٍ لـ EPIC-KITCHENS بسبب غموض حدود منظور الشخص الأول، وتدهور المسارات النوعية، والندرة التركيبية.
2. خط معالجة EgoAction: خط كشف سببي منفصل يستخدم ميزات VideoMAE-L المضبوطة بدقة على EPIC-KITCHENS، وكواشف زمنية خاصة بكل عامل، وقاعدة الدمج الموزون الديناميكي (DWF) المبتكرة لمعالجة الحدود في مرحلة ما بعد المعالجة.
3. الأداء: يحقق النظام أداءً متوازناً عبر العوامل، متجنباً المقايضة التي تؤدي فيها عملية تحسين أحد المقاييس إلى تدهور الآخر.

4. النتائج التجريبية

تم تقييم النظام على لوحة صدارة EPIC-KITCHENS الرسمية لعام 2026 (Codabench).

• متوسط الدقة للفعل (Action mAP): 25.94 (متوسط عبر tIoU من 0.1 إلى 0.5).
• متوسط الدقة للفعل (Verb mAP): 28.66.
• متوسط الدقة للاسم (Noun mAP): 28.61.
• الترتيب: احتل النظام المركز الثالث بين جميع المشاركات، متأخراً عن المركز الثاني بـ 0.31 نقطة ومتفوقاً على المركز الرابع بـ 1.73 نقطة.
• رؤى الدراسة الاستبعادية (Ablation Insights): توضح الفجوة بين mAP الخاص بالعامل (~28.6) و mAP الخاص بالفعل (25.94) أن دقة التحديد الزمني تظل هي العقبة الرئيسية، خاصة عند عتبات tIoU الأعلى (0.5). يستهدف DWF هذا الأمر تحديداً عبر تكييف سلطة الحدود بناءً على ثقة المسار.

5. الأهمية والادعاءات

تدعي الورقة أن EgoAction يوفر نظاماً موجزاً وقابلاً لإعادة الإنتاج للكشف عن الأفعال الزمنية في منظور الشخص الأول. تكمن أهميته الأساسية في ملاحظة أن مساري الفعل والاسم يفشلان بشكل مختلف (الحركة مقابل الرؤية) وأن المتوسط الثابت للحدود ليس مثالياً.

من خلال استبدال المتوسط المبرمج يدوياً بـ الدمج الموزون الديناميكي (DWF)، ينقل النظام سلطة الحدود نحو المسار الأكثر موثوقية مع الحفاظ على آلية تسجيل الدرجة الدلالية المنفصلة. يؤكد المؤلفون أن هذا عبارة عن عامل خفيف الوزن يعمل فقط على التنسورات (tensor-only operator) ولا يتطلب رؤوس معايرة متعلمة، مما يتجنب الإفراط في التخصيص (overfitting) مع معالجة عدم التماثل في موثوقية المسارات المتأصل في بيانات فيديو منظور الشخص الأول بفعالية. وتثبت النتائج أن فصل قرارات التحديد عن التسجيل الدلالي، ثم دمجها بناءً على الثقة، هو استراتيجية متفوقة للكشف عن الأفعال التركيبية في الفيديوهات غير المشذبة.