💻 computer science

Integrating Affordances and Attention models for Short-Term Object Interaction Anticipation

تقدم هذه الورقة البحثية STAformer و++STAformer، وهما بنيتان جديدتان تعتمدان على آلية الانتباه ومعززتان بنمذجة إمكانات البيئة (affordance modeling) والتنبؤ ببؤر التفاعل (interaction hotspot prediction)، مما يحسن بشكل كبير أداء التنبؤ بالتفاعل مع الأشياء على المدى القصير في مجموعتي بيانات Ego4D وEPIC-Kitchens.

المؤلفون الأصليون: Lorenzo Mur Labadia, Ruben Martinez-Cantin, Jose J. Guerrero, Giovanni M. Farinella, Antonino Furnari

نُشر 2026-02-17

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Lorenzo Mur Labadia, Ruben Martinez-Cantin, Jose J. Guerrero, Giovanni M. Farinella, Antonino Furnari

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك ترتدي كاميرا ذكية على نظاراتك، مثل نظارات مستقبلية. هدفك هو مساعدة روبوت أو مساعد رقمي على فهم ما أنت بصدد فعله قبل أن تفعله بالفعل. إذا مددت يدك نحو كوب قهوة، يجب أن يعرف المساعد أن يناولك قاعدة كوب (Coaster) قبل أن تسكب القهوة. إذا مددت يدك نحو سكين، يجب أن يعرف أن يبعد الطبق عن الطريق.

هذه الورقة البحثية تدور حول تعليم الحواسيب أن تكون "عرافة" لحياتك اليومية. وتحديداً، هي تركز على "توقع التفاعل مع الأشياء في المدى القصير" (Short-Term Object Interaction Anticipation - STA). وباللغة البسيطة: التنبؤ بما ستلمسه لاحقاً، وماذا ستفعل به، ومتى ستلمسه بالضبط.

إليك كيف بنى المؤلفون "عقل الروبوت الخارق" هذا باستخدام ثلاث حيل، مشروحة بتشبيهات من الحياة اليومية.

1. بنية "الدماغ المزدوج" (STAformer & STAformer++)

معظم الروبوتات السابقة كانت تنظر إلى الفيديو وتحاول تخمين المستقبل، لكنها كانت تشبه شخصاً يحاول قراءة كتاب بينما شخص آخر يصرخ في أذنه؛ فقد كانت تعاني لدمج ما تراه الآن (صورة ثابتة) مع ما حدث قبل لحظة (حركة الفيديو).

بنى المؤلفون نظاماً جديداً يسمى STAformer (والنسخة المطورة منه STAformer++) يعمل كشخص لديه عقلان متخصصان يعملان معاً:

"دماغ الصورة الثابتة": ينظر إلى آخر صورة التقطتها. وهو خبير في رصد التفاصيل: "هذا كوب أحمر، هذه طاولة خشبية".
"دماغ مشاهد الأفلام": يشاهد الثواني القليلة من الفيديو التي سبقت تلك الصورة. وهو يفهم الحركة: "اليد تتحرك بسرعة نحو الكوب".

الغراء السحري: قدمت الورقة آلية "انتباه" خاصة. تخيل أن هذين الدماغين يجلسان على طاولة؛ فبدلاً من تجاهل بعضهما البعض، يشيران باستمرار إلى بعضهما ويقولان: "هيا، انظر إلى هذا التفصيل في الصورة!" أو "هيا، لاحظ تلك الحركة في الفيديو!". هذا يسمح للنظام بدمج التفاصيل الساكنة مع الحركة الديناميكية بشكل مثالي.

الترقية (STAformer++): استخدم الإصدار الأول طريقة "رصد" قياسية (مثل حارس أمن تقليدي يتحقق من قائمة). أما النسخة الجديدة، STAformer++، فتستخدم كاشف "Transformer" حديث (مثل محقق مدرب تدريباً عالياً ينظر إلى المشهد بأك�له ويربط النقاط ببعضها فوراً). جعل هذا الروبوت أفضل بكثير في رسم المربعات حول الأشياء التي يتوقعها.

2. "ذاكرة الغرفة" (Affordances البيئية)

هذا هو الجزء الأكثر إبداعاً في الورقة. أدرك المؤلفون أن الروبوتات غالباً ما تنسى أن المكان الذي تتواجد فيه يغير كل شيء.

المفهة: في علم النفس، تعني "Affordance" (الإمكانية/الملاءمة) ما "يعرضه" لك المحيط. فالكرسي يسمح بالجلوس؛ ومقبض الباب يسمح بالتدوير.
المشكلة: إذا رأى الروبوت يداً تمتد، فقد يخمن أنك تمسك بـ "موزة" لأنه رأى موزاً من قبل. لكن إذا كنت في مطبخ، فيجب أن يعرف الروبوت أنك على الأرجح ستمسك بـ ملعقة أو كوب، وليس موزة.
الحل: بنى الفريق "مكتبة ذاكرة" ضخمة للغرف. لقد حللوا آلاف الفيديوهات ليتعلموا: "في المطبخ، الناس عادة يلمسون هذه الأشياء. في الحمام، يلمسون تلك الأشياء".
- الطريقة (أ) (أمين المكتبة): عندما يرى الروبوت فيديو جديداً، يتحقق بسرعة من مكتبته: "هذا يبدو كمطبخ. ماذا يفعل الناس عادة في المطابخ؟". ثم يعدل تخمينه ليكون مرتبطاً بالمطبخ بشكل أكبر.
- الطريقة (ب) (المتعلم المرن): بدلاً من مجرد التحقق من قائمة، يتعلم الروبوت كيف "يسأل" ذاكرته أثناء التدريب. يتعلم أن يقول: "هذا الفيديو يشبه كثيراً ذلك الوقت الذي رأيت فيه شخصاً يدهن جداراً، لذا يجب أن أتوقع 'فرشاة دهان'".

هذا يشبه إنساناً يدخل مكتباً جديداً. حتى لو لم يرَ هذا المكتب تحديداً من قبل، فهو يعلم أنه إذا رأى مكتباً، فمن غير المرجح أن يمسك بفرشاة أسنان. إنه يستخدم معرفته العامة بـ "المكاتب" ليقوم بتخمين ذكي.

3. خريطة "البقعة الساخنة" (Interaction Hotspots)

أحياناً يخمن الروبوت الشيء الصحيح ولكن في المكان الخاطئ. قد يعتقد أنك ستمسك كوباً، لكنه يظن أنك ستمسكه من السقف.

الحيلة: أضاف المؤلفون وحدة تتنبأ بـ "البقع الساخنة للتفاعل" (Interaction Hotspots). تنظر هذه الوحدة إلى يديك وإلى الاتجاه الذي تتحرك إليه، وترسم خريطة متوهجة على الشاشة توضح أين من المرجح جداً أن يحدث اللمس القادم.
النتيجة: إذا توقع الروبوت أنك ستمسك كوباً، لكن "خريطة البقعة الساخنة" تقول إن يدك بعيدة تماماً عن الكوب، فإن الروبوت يخفض درجة ثقته. الأمر يشبه خبير الأرصاد الجوية الذي يقول: "قد تمطر، ولكن بما أن السحب تبتعد، فأنا لست متأكداً بنسبة 100%". هذا يعمل على تصفية التخمينات السيئة.

النتائج: لماذا يهم هذا؟

اختبر الفريق نظامهم على مجموعات بيانات ضخمة لأشخاص يقومون بمهام يومية (مثل الطبخ في مجموعات بيانات Ego4D و EPIC-Kitchens).

النتيجة: تفوق نظامهم الجديد على جميع الأرقام القياسية السابقة. وفي بعض الاختبارات، حسّن الدقة بنسبة 30%.
الأثر: هذا يعني أن الأجهزة القابلة للارتداء (مثل النظارات الذكية) والروبوتات المنزلية ستكون قادرة قريباً على توقع احتياجاتك بشكل أفضل بكثير.
- سابقاً: تمد يدك نحو وعاء القهوة، فيناولك الروبوت ملعقة.
- حالياً: يرى الروبوت حركة يدك، ويتحقق من "ذاكرة المطبخ"، ويرى مسار يدك، فيناولك وعاء القهوة قبل أن تطلب ذلك حتى.

الملخص

تتمحور الورقة حول تعليم الحواسيب التوقف عن مجرد "الرؤية" والبدء في "الفهم". من خلال الجمع بين العيون الحادة (تحليل الصور)، والذاكرة الجيدة (حركة الفيديو)، والحكمة السياقية (معرفة ما يحدث في المطبخ مقابل الحمام)، والوعي المكاني (معرفة أين تتجه يدك)، خلقوا نظاماً يمكنه حقاً توقع خطوتك التالية.

إنه الفرق بين كاميرا مراقبة تسجل جريمة فقط، وبين حارس شخصي يمنع وقوع الجريمة قبل حدوثها.

1. تعريف المشكلة

تتناول الورقة البحثية مهمة توقع التفاعل مع الأشياء في المدى القصير (STA)، وهي مهمة حددها جراومان وآخرون [22] ضمن مجموعة بيانات Ego4D. الهدف هو التنبؤ بالحالة المستقبلية لمشهد فيديو من منظور الشخص الأول (egocentric) بناءً على نافذة ملاحظة قصيرة. وتحديداً، عند إعطاء مدخل يتكون من إطار صورة عالي الدقة ( $I_T$ ) وتسلسل من إطارات الفيديو السابقة منخفضة الدقة ( $V_{T-t:T}$ )، يجب على النموذج التنبؤ في آن واحد بـ:

الأشياء النشطة التالية: المربع المحيط ( $b_m$ ) للشيء الذي أوشك المستخدم على التفاعل معه.
الفئات الدلالية: الاسم (فئة الشيء، $n_m$ ) والفعل (نمط التفاعل، $v_m$ ).
الديناميكيات الزمنية: الوقت المتبقي للتلامس ( $\delta_m$ )، والذي يشير إلى متى سيحدث التفاعل.
الثقة: درجة ( $s_m$ ) للتنبؤ.

هذه المهمة بالغة الأهمية للمساعدين القابلين للارتداء والتفاعل بين الإنسان والروبوت، مما يتطلب من النظام فهم ليس فقط ما هو موجود في المشهد، بل ما سيحدث بعد ذلك بناءً على نية الإنسان والسياق البيئي.

2. المنهجية

يقترح المؤلفون نهجاً ثنائياً: بنية مبتكرة قائمة على الـ Transformer (وهي STAformer و STAformer++) وآلية ربط باستخدام الإمكانات البيئية (Affordances) و بؤر التفاعل (Interaction Hotspots).

أ. البنية: STAformer و STAformer++

يستخدم كلا النموذجين زوجاً من (الصورة-الفيديو) كمدخلات، لكنهما يختلفان في رؤوس الكشف وتحسينات الهيكل الأساسي (backbone).

استخراج الميزات:
- الصورة: يستخدم نماذج Transformer مدربة مسبقاً (DINOv2 لـ STAformer، و Swin-T لـ STAformer++) لاستخراج ميزات ثنائية الأبعاد عالية الدقة.
- الفيديو: يستخدم نماذج Video Transformer (مثل TimeSformer لـ STAformer، و EgoVideo لـ STAformer++) لاستخراج ميزات ثلاثية الأبعاد مكانية-زمانية من تسلسل الإطارات السابقة.
مكونات الانتباه المبتكرة:
- التجميع الزمني الموجه بالإطار (Frame-Guided Temporal Pooling): آلية تقوم برسم خرائط لرموز (tokens) الفيديو ثلاثية الأبعاد إلى النظام المرجعي المكاني ثنائي الأبعاد لآخر إطار مرصود. وهي تستخدم الانتباه المتقاطع المتبقي (residual cross-attention) حيث يعمل الإطار الأخير كاستعلام (query)، مما يضمن محاذاة الميزات الزمنية مكانياً مع الصورة الحالية.
- الانتباه المزدوج للصورة والفيديو (Dual Image-Video Attention): وحدة انتباه متقاطع مزدوجة تعمل على إثراء رموز الصورة بديناميكيات المشهد (من الفيديو) ورموز الفيديو بالتفاصيل البصرية الدقيقة (من الصورة). وهذا يسمح للنموذج بالتقاط كل من تفاصيل الأشياء الثابتة وسياق الحركة.
رؤوس الكشف (Detection Heads):
- STAformer: يستخدم رأساً يعتمد على Faster R-CNN (مكيف من StillFast) مع شبكة اقتراح المناطق (RPN) ومحاذاة منطقة الاهتمام (RoI Align).
- STAformer++: يستبدل الرأس القائم على الشبكات العصبية الالتفافية (CNN) برأس DETR (Detection Transformer) (تحديداً DINO-DETR). هذا النهج الشامل (end-to-end) يلغي الـ anchors المصنوعة يدوياً والـ NMS، مستخدماً استعلامات الأشياء والانتباه المتشكل (deformable attention) لتحسين دقة الكشف والتقارب.

ب. ربط التنبؤات: الإمكانات وبؤر التفاعل

لتحسين التعميم وتقليل الإيجابيات الكاذبة، يدمج المؤلفون معرفة خارجية حول السلوك البشري.

الإمكانات البيئية (Environment Affordances):
- المفهوم: بناءً على نظرية جيبسون، تمثل الإمكانات (affordances) الأفعال المحتملة التي يوفرها البيئة. يبني المؤلفون ذاكرة مستمرة (قاعدة بيانات) لـ "مناطق الإمكانات" عن طريق تجميع مقاطع الفيديو التدريبية بناءً على التشابه البصري والنصي.
- التنفيذ:
  - ثابت (أثناء الاستدلال): يطابق الفيديو المدخل مع أفضل $K$ من المناطق المماثلة في قاعدة البيانات باستخدام تشابه جيبس (cosine similarity). تُستخدم احتمالات الاسم/الفعل من هذه المناطق لإعادة وزن تنبؤات النموذج عبر الدمج المتأخر (late fusion).
  - متعلم (أثناء التدريب): تتعلم آلية انتباه ربط الفيديو المدخل ديناميكياً بالمناطق ذات الصلة في قاعدة البيانات أثناء التدريب. وهذا يسمح للنموذج بتكييف وتدقيق تنبؤاته بناءً على ذاكرة مرنة للسلوكيات البشرية في بيئات مشابهة.
بؤر التفاعل (Interaction Hotspots):
- تعد هذه الوحدة خريطة احتمالية للمكان الذي يُحتمل وقوع التفاعلات فيه من خلال مراقبة مسارات اليد والأشياء.
- التحسين: يتم إعادة وزن درجات الثقة لتنبؤات STA بناءً على احتمالية بؤرة التفاعل المتوقعة عند مركز المربع المحيط. وهذا يعمل على كبح الإيجابيات الكاذبة في المناطق التي لا يُحتمل فيها حدوث تفاعلات.

3. المساهمات الرئيسية

بنيات STAformer و STAformer++: بنيتان مبتكرتان تعتمدان على الـ Transformer وتعملان بفعالية على دمج وسائط الصورة والفيديو. يحقق STAformer++ أداءً فائقاً من خلال دمج رأس كشف يعتمد على DETR ومستخرجات ميزات متقدمة (Swin-T, EgoVideo).
دمج الإمكانات (Affordance Integration): أول إطار عمل موحد يدمج الإمكانات البيئية في التوقع قصير المدى. اقترحوا استراتيجية دمج متأخر ثابتة وآلية انتباه متعلمة مبتكرة تربط التنبؤات بذاكرة مستمرة للسلوك البشري.
تحسين بؤرة التفاعل (Interaction Hotspot Refinement): طريقة لإعادة وزن الثقة المكانية للتنبؤ بناءً على مسارات اليد ومناطق التفاعل المتوقعة.
معيار جديد وموارد: قام المؤلفون بتنسيق وإصدار مجموعة جديدة من تسميات STA لمجموعة بيانات EPIC-Kitchens، جنباً إلى جنب مع الكود البرمدي، والإمكانات المستخرجة مسبقاً، والتسميات الخاصة بـ Ego4D و EPIC-Kitchens.

4. النتائج

تم تقييم النماذج على معايير STA الخاصة بـ Ego4D (الإصدار 1 و 2) ومعيار EPIC-Kitchens الجديد باستخدام متوسط الدقة المتوسطة (mAP) لأفضل 5 نتائج (Top-5 mAP).

Ego4D v1 Validation:
- حقق STAformer++ مع الإمكانات المتعلمة 4.66 All mAP، بزيادة نسبية قدرها +23.6% عن النسخة السابقة للمؤتمر (STAformer)، وتفوق بشكل كبير على النماذج المرجعية مثل StillFast (2.48) و GANO (3.99).
- لوحظت تحسينات كبيرة في المقاييس الدلالية (Noun mAP: +36.3%، Noun+Verb mAP: +24.5%).
Ego4D v2 Validation:
- حقق STAformer++ نسبة 6.26 All mAP، بزيادة قدرها +10.4% عن ثاني أفضل طريقة.
EPIC-Kitchens:
- أظهر النموذج قدرة قوية على التعميم، حيث حقق 8.67 All mAP، وهو تحسن هائل بنسبة +31.5% عن النموذج المرجعي StillFast (3.28).
دراسات الاستئصال (Ablation Studies):
- وفر استبدال Faster R-CNN بـ DETR (في STAformer++) أكبر دفعة منفردة في جودة الكشف.
- تفوق نهج الإمكانات "المتعلم" على النهج "الثابت"، مما يثبت قيمة الذاكرة التكيفية مقابل مطابقة التشابه الساكن.
- كانت عملية التجميع الزمني الموجه بالإطار والانتباه المتقاطع المزدوج حاسمة في محاذاة الميزات المكانية-الزمانية.

5. الأهمية

يمثل هذا العمل قفزة نوعية في فهم الفيديو من منظور الشخص الأول من خلال الانتقال من مجرد نمذجة التسلسل إلى التوقع الواعي بالسياق.

التقدم المعماري: يثبت أن رؤوس الكشف القائمة على الـ Transformer (مثل DETER) تتفوق على الرؤوس القائمة على الـ CNN في مهام التوقع المعقدة التي تتضمن استدلالاً مكانياً وزمانياً.
الربط السلوكي: من خلال دمج الإمكانات، يتعلم النموذج توقع الأفعال بناءً على أين و كيف يتفاعل البشر عادة مع الأشياء في بيئات محددة، بدلاً من مجرد تعلم الأنماط البصرية. وهذا يحسن المتانة في سيناريوهات الحالات النادرة (long-tail).
الأثر المجتمعي: إن إصدار تسميات EPIC-Kitchens STA المنسقة وقواعد بيانات الإمكانات المحسوبة مسبقاً يوفر مورداً قيماً للأبحاث المستقبلية في التفاعل بين الإنسان والروبوت والذكاء الاصطناعي المساعد.

باختصار، تضع هذه الورقة معياراً جديداً للأداء العالي في توقع التفاعل مع الأشياء في المدى القصير من خلال الجمع بين بنيات الـ Transformer الحديثة والنماذج القائمة على التفاعل بين الإنسان والبيئة من الناحية النفسية.