💻 computer science

Action-Guided Attention for Video Action Anticipation

تقترح هذه الورقة آلية "الانتباه الموجه بالأفعال" (AGA)، وهي آلية انتباه مبتكرة تستفيد من تسلسلات الأفعال المتوقعة لتوجيه نمذجة النوايا الكامنة وتحسين التعميم في توقع الأفعال بالفيديو، كما يتضح من أدائها المتفوق في معيار EPIC-Kitchens-100 وقدرتها على تقديم رؤى قابلة للتفسير حول تبعيات الأفعال.

المؤلفون الأصليون: Tsung-Ming Tai, Sofia Casarin, Andrea Pilzer, Werner Nutt, Oswald Lanz

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tsung-Ming Tai, Sofia Casarin, Andrea Pilzer, Werner Nutt, Oswald Lanz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد برنامج طبخ، لكنك لا تستطيع إلا رؤية الثواني القليلة الأولى من المقطع قبل أن تسود الشاشة. مهمتك هي تخمين ما سيفعله الطاهي بعد ذلك. هل سيقطع بصلة؟ هل سيصب حليباً؟ أم سيسقط المقلاة؟

هذا هو تحدي توقع الأفعال في الفيديو (Video Action Anticipation). الأمر صعب لأن الإطارات الماضية (ما تراه) غالسباً ما تكون غامضة. فمجرد رؤية الطاهي وهو يمسك بسكين لا يعني بالضرورة أنه على وشك التقطيع؛ فقد يكون على وشك فتح درج.

النماذج الحالية التي تحاول حل هذه المشكلة تشبه الطلاب الذين يركزون بشدة على التفاصيل. إنهم يحدقون طويلاً في بكسلات يد الطاهي أو ملمس السكين لدرجة أنهم يفتقدون الصورة الكبيرة. إنهم يحفظون الأنماط البصرية المحددة من فيديوهات التدريب، مما يجعلهم يرتبكون عندما يرون طاهياً جديداً أو مطبخاً مختلفاً. إنهم يعانون من "الفرط في التخصيص" (Overfitting)، مما يعني أنهم تعلموا الأمثلة المحددة بدقة شديدة وفشلوا في التعميم.

يقترح مؤلفو هذه الورقة حلاً جديداً يسمى الانتباه الموجه بالأفعال (Action-Guided Attention - AGA). وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. "الحكواتي" مقابل "متلصص البكسلات"

معظم نماذج الذكاء الاصطناي تنظر إلى إطارات الفيديو إطاراً تلو الآخر، محاولةً تخمين الحركة التالية بناءً على شكل البكسلات فقط.

أما AGA فهو مختلف. فبدلاً من مجرد النظر إلى البكسلات، يسأل الذكاء الاصطناعي: "بناءً على ما رأيناه حتى الآن، ما الذي تعتقد أنه يحدث الآن؟"

يقوم الذكاء الاصطناعي بعمل "أفضل تخمين" للفعل الحالي (مثلاً: "الطاهي يمسك بسكين"). ثم يستخدم هذا التخمين كدليل للبحث في الماضي.

التشبيه: تخيل أنك تحاول توقع نهاية رواية غموض. بدلاً من التحديق في نوع الخط في الصفحة الأخيرة، تسأل نفسك: "إذا كان المحقق يحمل مسدساً الآن، فما هي الأحداث الماضية التي قد تجعل هذا منطقياً؟" أنت تستخدم القصة (الفعل) لتحدد أي أجزاء من الفصول الماضية (تاريخ الفيديو) هي المهمة.

2. "المصباح" (الانتباه الموجه بالأفعال)

في هذا النظام، تعمل تخمينات الذكاء الاصطناعي السابقة مثل المصباح اليدوي.

إذا خمن الذكاء الاصطناعي أن الطاهي "يفتح خزانة"، فإن المصباح يسلط الضوء بقوة على اللحظات الماضية التي فُتحت فيها الخزانة، متجاهلاً اللحظات التي فُتحت فيها الثلاجة.
إنه يستخدم هذه "التخمينات للأفعال" لتصفية تاريخ الفيديو. فهو يخبر النموذج: "لا تنظر إلى الفوضى في الخلفية؛ انظر إلى اللحظات المحددة التي أمسك فيها الطاهي بمقبض الخزانة."

هذا يمنع الذكاء الاصطناعي من التشتت بسبب الضجيج البصري (مثل مرور قطة في الخلفية) ويجبره على التركيز على التسلسل المنطقي للأحداث.

3. "الخلاط الذكي" (البوابة التكيفية)

أحياناً يكون الماضي مهماً جداً، وأحياناً يكون ما يحدث الآن هو الأهم.

التشبيه: فكر في "دي جي" (DJ) يمزج بين أغنيتين. أحد المسارين هو "التاريخ" (ما حدث من قبل)، والمسار الآخر هو "البث المباشر" (ما يحدث الآن).
يحتوي AGA على خلاط ذكي (يسمى البوابة التكيفية) يقرر تلقائياً مدى رفع صوت كل مسار.
- إذا كان الطاهي في منتصف فعل بطيء ومستمر، يقوم الخلاط برفع مستوى صوت مسار التاريخ.
- إذا أسقط الطاهي مقلاة فجأة، يقوم الخلاط فوراً برفع مستوى صوت مسار البث المباشر.
يضمن هذا أن الذكاء الاصطناعي لا يعلق في الماضي أو يتجاهل الحاضر.

4. "آلة الزمن" (التحليل بعد التدريب)

أحد أروع الميزات في هذه الورقة هو أن النموذج "شفاف". ولأن الذكاء الاصطناعي يستخدم تخميناته الخاصة لتوجيه انتباهه، يمكن للباحثين طرح أسئلة عليه بعد انتهاء التدريب.

التحليل الأمامي: "يا ذكاء اصطناعي، لقد توقعت أن الطاهي سيغلق الثلاجة. ما هي اللحظات في الماضي التي نظرت إليها لاتخاذ هذا القرار؟"
- النتيجة: قد يقول النموذج: "لقد نظرت إلى اللحظة التي أخرج فيها الطاهي الطعام."
التحليل العكسي (الافتراضي): هذا يشبه آلة "ماذا لو". يسأل الباحثون: "لو كان الطاهي سيأخذ مقلاة بدلاً من إغلاق الثلاجة، كيف كان يجب أن يبدو الماضي لتكون متأكداً من ذلك؟"
- النتيجة: قد يدرك النموذج: "آه، لو كان الطاهي قد أمسك بملعقة مسطحة (spatula) في وقت سابق، لكنت توقعت 'أخذ مقلاة' بثقة عالية."

هذا يثبت أن النموذج لا يخمن عشوائياً؛ بل تعلم الروابط المنطقية بين الأفعال (على سبيل المثال: "أخذ ملعقة مسطحة" عادة ما يؤدي إلى "أخذ مقلاة").

النتائج

اختبر المؤلفون هذا على مجموعة بيانات EPIC-Kitchens-100، وهي مجموعة ضخمة من فيديوهات الطبخ من منظور الشخص الأول.

النتيجة: تفوق AGA على الطرق السابقة، خاصة في الفيديوهات التي لم يسبق له رؤيتها.
لماذا؟ لأنه لم يحفظ المظهر البصري للمطبخ فحسب؛ بل تعلم منطق أفعال الطبخ. لقد نجح في التعميم، مما يعني أنه استطاع توقع الأفعال المستقبلية في مطابخ جديدة وطهاة جدد، بدلاً من مجرد تكرار ما رآه في بيانات التدريب.

باختصار، يعلم AGA الذكاء الاصطناعي كيف يتوقف عن التحديق في البكسلات ويبدأ في التفكير في القصة، مستخدماً توقعاته لتوجيه انتباهه إلى الأجزاء الأكثر صلة من الماضي.

ملخص تقني: الانتباه الموجه بالأفعال لتوقع الأفعال في الفيديو

بيان المشكلة

يعد توقع الأفعال في الفيديو مهمة صعبة في مجال الرؤية الحاسوبية تتطلب التنبؤ بالأفعال المستقبلية بناءً فقط على إطارات الفيديو المرصودة. وخلافاً لتمييز الأفعال (Action Recognition)، حيث تكون التسميات التوضيحية متزامنة مع الإطارات المرصودة، يجب أن يستنتج التوقع (Anticipation) النوايا الكامنة من أدلة بصرية جزئية وغالباً ما تكون غامضة. وتكمن الصعوبة الجوهرية في عدم اليقين المتأصل في النتائج المستقبلية؛ إذ يمكن للملاحظات الماضية نفسها أن تؤدي إلى احتمالات مستقبلية متعددة.

تعتمد النهج الحالية القائمة على المحولات (Transformers) عادةً على "الانتباه الذاتي لضرب النقطة" (dot-product self-attention) عبر تمثيلات الرموز (tokens) على مستوى البكسل. وبينما تعد هذه الطرق فعالة لتمييز الأفعال، إلا أنها تفتقر غالباً إلى الدلالات عالية المستوى اللازمة لعملية التوقع. وبناءً على ذلك، فإنها تميل إلى الإفراط في التخصيص (overfitting) للسمات البصرية الصريحة الموجودة في الإطارات الماضية، مما يؤدي إلى الفشل في التقاط النوايا الكامنة وتدهور القدرة على التعميم للعينات غير المرئية. كما أن الاعتماد على الأنماط البصرية وحدها يمكن أن يضلل بسبب الضجيج البصري، خاصة عندما يكون المستقبل غير حتمي.

المنهجية

يقترح المؤلفون الانتباه الموجه بالأفعال (Action-Guided Attention - AGA)، وهو آلية انتباه مبتكرة تستفيد صراحة من تسلسلات الأفعال المتوقعة لتوجيه نمذجة تسلسلات الفيديو. بدلاً من الاعتماد على ميزات مستوى البكسل لطلبات (queries) ومفاتيح (keys) الانتباه، يستخدم AGA تنبؤات الأفعال ذات الدلالات العالية.

البنية الأساسية

يتكون النموذج من وحدتين رئيسيتين:

الانتباه الموجه بالأفعال (AGA):
- المدخلات: تأخذ الآلية تضمينات الإطارات ( $e_t$ ) المستخرجة من شبكة أساسية (مثل TSN أو Swin-B) كقيم (Values - V).
- المفاتيح والطلبات: على عكس الانتباه الذاتي القياسي، يتم اشتقاق المفاتيح (Keys - K) من تسلسل تنبؤات الأفعال الماضية ( $\hat{y}_{t-S:t-1}$ )، والتي تمثل الوسوم الدلالية للأحداث الماضية. أما الطلب (Query - Q) فيتم بناؤه باستخدام المتوسط المتحرك الأسي (EMA) لتنبؤات الأفعال الماضية ( $\bar{y}_t$ )، مما يسمح للنموذج بدمج التبعيات الزمنية الأطول.
- الآلية: يتم حساب أوزان الانتباه عبر ارتباطات ضرب النقطة بين طلب الفعل والـ Keys. وهذا يسمح للنموذج بتجميع اللحظات الماضية ذات الصلة بناءً على النشاط القادم بدلاً من التشابه البصري الخام.
- الطابور (Queue): يقوم طابور بنظام "الداخل أولاً يخرج أولاً" (FIFO) بحجم $S$ بتخزين ميزات الإطارات والتنبؤات لتحديد النافذة الزمنية.
البوابة التكيفية (Adaptive Gating):
- يتم دمج مخرج وحدة الانتباه ( $\tilde{h}_t$ )، الذي يمثل سياق التاريخ المجمع، مع تضمين الإطار الحالي ( $e_t$ ) باستخدام متجه بوابة قابل للتعلم ( $g_t$ ).
- يتم حساب البوابة عبر دالة "سيجمويد" (sigmoid) مطبقة على طبقة MLP تعالج دمج التاريخ والدليل الحالي.
- التمثيل النهائي هو $o_t = g_t \odot \tilde{h}_t + (1 - g_t) \odot e_t$ . وهذا يسمح للنموذج بالموازنة الديناميكية بين الاعتماد على السياق التاريخي مقابل الأدلة البصرية الحالية بناءً على الخطوة الزمنية المحددة.

قدرات تحليل ما بعد التدريب

تعد القدرة على تسهيل تحليل ما بعد التدريب ميزة فريدة لـ AGA نظراً لاستخدامه الصريح لاحتمالات الأفعال في آلية الانتباه:

التحليل الأمامي (Forward Analysis): يحدد الأفعال الماضية التي يعتبرها النموذج ذات صلة بطلب حالي معين. ومن خلال حساب أوزان الانتباه بين طلب فعل محدد ومفاتيح الأفعال الماضية، يمكن للباحثين تصور الأحداث التاريخية التي يعطيها النموذج الأولوية.
التحليل الخلفي (Backward Analysis): وهو نهج افتراضي يسأل: "إذا كان الفعل التالي هو $a$ ، فما هي التغييرات في التنبؤات الماضية التي ستجعل النموذج يمنح احتمالاً عالياً لـ $a$ ؟" من خلال تحسين التنبؤات الماضية عبر الانحدار الاشتقاقي (gradient descent) لتقليل الإنتروبيا المتقاطعة مع فعل مستهدف، تكشف هذه الطريقة عن المعرفة الكامنة ومسارات الاستدلال البديلة التي استوعبها النموذج داخلياً.

المساهمات الرئيسية

توجيه الانتباه الدلالي: تقديم AGA، الذي يستبدل طلبات/مفاتيح مستوى البكسل بتنبؤات الأفعال، مما ينمذج بفعالية التبعية للأفعال المستقبلية على الأفعال المتوقعة سابقاً.
تخفيف الإفراط في التخصيص (Overfitting): من خلال التركيز على الدلالات عالية المستوى بدلاً من الضجيج البصري، تُظهر الطريقة مقاومة للإفراط في التخصيص في مدخلات الفيديو المرصودة جزئياً.
القابلية للتفسير: يتيح التصميم إجراء تحليلات أمامية وخلفية شفافة، مما يوفر رؤى حول تبعيات الأفعال والأدلة الافتراضية التي تم استيعابها أثناء التدريب.
الدمج التكيفي: يسمح تضمين آلية الدمج التكيفي بخلط السياق والمعلومات الحالية بشكل واعٍ بالسياق دون إشراف صريح على حدود الأفعال.

النتائج التجريبية

تم تقييم الطريقة على ثلاث معايير مرجعية: EPIC-Kitchens-100 (EK100)، وEPIC-Kitchens-55 (EK55)، وEGTEA Gaze+.

EPIC-Kitchens-100:
- على مجموعة التحقق (باستخدام مدخلات RGB فقط)، حقق AGA مع هيكل Swin-B نسبة 18.8% في متوسط أعلى 5 استدعاءات (MT5R) للفئات العامة، متفوقاً على النماذج المرجعية مثل AFFT (17.6%) وS-GEAR (18.3%).
- على مجموعة الاختبار غير المرئية، حافظ AGA على أداء ثابت مع فجوة ضيقة بين التحقق والاختبار، مما يشير إلى قدرة قوية على التعميم. حقق 16.9% MT5R للفئات العامة، وهو أمر تنافسي مع الطرق التي تعتمد غالباً على مدخلات متعددة الوسائط أو استراتيجيات التجميع.
- كانت المكاسب في الأداء ملحوطة بشكل خاص في فئات Unseen وTail، مما يشير إلى المتانة تجاه الأفعال النادرة.
EPIC-Kitchens-55 و EGTEA Gaze+:
- أظهر AGA أداءً قوياً على EK55 و EGTEA Gaze+، حتى في ظل ظروف الإشراف المتناقصة حيث لم تتوفر تسميات تفصيلية للإطارات السابقة.
- على EGTEA Gaze+، حقق AGA مع Swin-B دقة 45.4% في أعلى 1 (Top-1 accuracy)، متفوقاً على الطرق السابقة المتطورة.
دراسات الاستئصال (Ablation Studies):
- استبدال الانتباه السببي القياسي بانتباه موجه بالأفعال (AGA) حسن MT5R من 15.9% إلى 18.2%.
- أدى إضافة البوابة التكيفية (Adaptive Gating) إلى زيادة الأداء أكثر ليصل إلى 18.8%.
- وُجد أن معامل EMA $\alpha$ مثالي عند 0.8، مما يوازن بين تأثير التنبؤات الأخيرة والمتوسط التاريخي.

الأهمية والادعاءات

يزعم البحث أن AGA يعالج التحدي الأساسي المتمثل في الإفراط في التخصيص في توقع الأفعមាន في الفيديو الناتج عن الملاحظات غير المكتملة وغير المؤكدة. ومن خلال نقل آلية الانتباه من الارتباطات بمستوى البكسل إلى التبعيات الدلالية بمستوى الفعل، يتعلم النموذج توقع الأحداث المستقبلية بشكل أكثر فعالية.

يؤكد المؤلفون أن AGA يوفر إطاراً شفافاً وقابلاً للتفسير. وخلافاً للنهج "الصندوق الأسود"، يسمح AGA للباحثين بـ:

فحص تبعيات الأفعال المحددة التي يلتقطها النموذج (التحليل الأمامي).
الكشف عن الأدلة الافتراضية ومسارات الاستدلال البديلة التي استوعبها النموذج داخلياً (التحليل الخلفي).

تشير النتائج إلى أن الاستفادة من تسلسلات الأفعال المتوقعة كأدلة دلالية لا يحسن الدقة والقدرة على التعميم للعينات غير المرئية فحسب، بل يوفر أيضاً فهماً أعمق لعملية اتخاذ القرار في النموذج في سياق التوقع المستقبلي غير المؤكد.