🤖 AI

Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

تحدد هذه الورقة البحثية الاختصارات القائمة على الأشياء كنمط فشل رئيسي في التعرف على الأفعال التكوينية من نوع "التعلم الصفري"، وتقترح RCORE، وهي طريقة تستخدم تنظيم أولوية التواجد المشترك وتنظيم الترتيب الزمني للتخفيف من الاعتماد على التواجدات المشتركة في التدريب وتحسين التعميم على تركيبات (فعل-اسم) غير المرئية.

المؤلفون الأصليون: Geo Ahn, Inwoong Lee, Taeoh Kim, Minho Shim, Dongyoon Wee, Jinwoo Choi

نُشر 2026-04-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Geo Ahn, Inwoong Lee, Taeoh Kim, Minho Shim, Dongyoon Wee, Jinwoo Choi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

مشكلة "الدرج": لماذا يصبح الذكاء الاصطناعي "كسولاً" في تنفيذ الأفعال

تخيل أنك تعلم روبوتاً كيفية فتح درج. تعرض عليه مئات الفيديوهات: شخص يفتح درجًا خشبيًا، شخص يفتح درجًا معدنيًا، وشخص يفتح درجًا بلاستيكيًا.

يتعلم الروبوت شيئًا واحدًا بسرعة كبيرة: "الدرج = فتح".

الآن، تختبر الروبوت في سيناريو جديد: فيديو لشخص يغلق درجًا. ينظر الروبوت إلى الشيء (الدرج)، ويرى أنه درج، فيخمن فورًا: "فتح!". لقد تجاهل حقيقة أن الشخص يقوم في الواقع بدفع الدرج لإغلاقه. لم يشاهد الحركة؛ بل تعرّف على الشيء فقط وخمن الفعل الأكثر شيوعًا المرتبط به.

هذا هو جوهر المشكلة التي تعالجها ورقة البحث "لماذا لا أستطيع فتح درجي؟" (Why Can't I Open My Drawer?).

التشخيص: "طريقة الغش" الخاصة بالروبوت

اكتشف المؤلفون أن نماذج الذكاء الاصطناعي التي تحاول فهم أفعال الفيديو تأخذ "طريقًا مختصرًا". فبدلاً من القيام بالعمل الشاق المتمثل في مراقبة كيفية تحرك الأشياء عبر الزمن (الاستدلال الزمني)، فإنها تعتمد على خدعة كسولة: الاختصارات القائمة على الأشياء (Object-Driven Shortcuts).

فكر في الأمر كطالب يؤدي اختبارًا:

الطريقة الصعبة (ما نريده): قراءة السؤال بالكامل، وفهم السياق، واستنتاج الإجابة بناءً على القصة.
الطريقة المختصرة (ما يفعله الذكاء الاصطناعي): رؤية كلمة "درج" في السؤال وكتابة "فتح" فورًا لأن هذه هي الإجابة التي رآها في 90% من الحالات أثناء التدريب.

تحدد الورقة سببين يجعل الذكاء الاصطناعي يحب هذه الخدعة:

تحيز "الصديق المتكرر": في بيانات التدريب، تقترن أشياء معينة دائمًا بأفعال محددة (على سبيل المثال: "الدرج" عادة ما يكون "مفتوحًا"). يتعلم الذكاء الاصطناعي أنه إذا رأى درجًا، يمكنه تخمين "فتح" بأمان دون النظر إلى الفيديو.
عدم التوازن بين "السهل والصعب": التعرف على جسم (درج) أمر سهل، ويمكن القيام به من خلال لقطة واحدة ثابتة. أما التعرف على فعل (فتح مقابل إغلاق) فهو أمر صعب؛ إذ يتطلب مشاهدة التسلسل الكامل للإطارات. وبما أن الذكاء الاصطناعي "كسول"، فإنه يختار المسار الأسهل.

الحل: RCORE (المدرب "المناهض للكسل")

لإصلاح ذلك، ابتكر المؤلفون إطار عمل تدريبي جديدًا يسمى RCORE. يستخدمون تقنيتين ذكيتين لإجبار الذكاء الاصطناعي على التوقف عن الغش والبدء في مشاهدة الفيديو بشكل صحيح.

1. CPR: "الضيف المفاجئ" (تنظيم التلازم المسبق - Co-occurrence Prior Regularization)

التشبيه: تخيل أنك تعلم طباخًا. أنت تسمح له فقط بطبخ "سباغيتي مع كرات اللحم" و"سلطة مع التتبيلة". في النهاية، سيفترض الطباخ أن كل أنواع المعكرونة يجب أن تحتوي على كرات لحم.
الإصلاح: تقوم تقنية CPR بإنشاء فيديوهات تدريب "وهمية". تأخذ فيديو لشخص يفتح درجًا وتقوم رقميًا باستبدال الدرج بـ محمصة خبز (توستر). الآن يرى الذكاء الاصطناعي "فتح محمصة خبض".

لماذا ينجح هذا: لم يعد بإمكان الذكاء الاصطناعي الاعتماد على القاعدة القديمة ("الدرج = فتح"). يجب عليه النظر إلى الفعل (سحب اليد) لفهم ما يحدث، لأن الشيء (المحمصة) لم يعد يعطيه الإجابة.
لمسة "السلب الصعب": يخبر النظام الذكاء الاصطناعي أيضًا: "إذا رأيت درجًا، فلا تخمن 'فتح' لمجرد أنه شائع. عليك أن تثبت أنك شاهدت الفيديو". إنه يعاقب الذكاء الاصطناعي لاعتماده على الأنماط الشائعة.

2. TORC: "زر الإرجاع" (تنظيم الترتيب الزمني - Temporal Order Regularization)

التشبيه: تخيل أنك تعرض على طالب فيديو لشخص يمشي للأمام، ثم تعرض عليه نفس الفيديو وهو يعمل بالعكس (يمشي للخلف). إذا قال الطالب "إنه يمشي للأمام" لكليهما، فهو لا ينتبه لـ الاتجاه، بل ينظر فقط إلى الأرجل.
الإصلاح: تأخذ تقنية TORC الفيديو، وتعكس ترتيبه، وتطلب من الذكاء الاصطناعي تحديد الفعل.

الهدف: إذا كان الذكاء الاصطناعي يفهم الفعل حقًا، فإن "الفتح" عند عكسه يجب أن يبدو مثل "الإغلاق".
العقاب: إذا أعطى الذكاء الاصطناعي نفس الإجابة للفيديو الأمامي والفيديو المعكوس، فإنه يتلقى عقوبة. هذا يجبر الذكاء الاصطناعي على تعلم أن الزمن مهم. يجب عليه فهم تسلسل الأحداث، وليس مجرد الصورة الثابتة.

النتائج: من "كسول" إلى "ملاحظ"

اختبر المؤلفون هذا النظام على مجموعتين كبيرتين من بيانات الفيديو (Sth-com و EK100-com).

قبل RCORE: كان الذكاء الاصطناعي بارعًا في التعرف على الأشياء ولكنه سيء جدًا في التمييز بين الأفعال المتضادة (مثل الفتح مقابل الإغلاق) في التركيبات الجديدة غير المرئية سابقًا. كان عالقًا في عادات "الاختصار" الخاصة به.
بعد RCORE: بدأ الذكاء الاصطناعي في مشاهدة الفيديوهات فعليًا. أصبح أفضل بكثير في التعرف على الأفعال التي لم يرها من قبل، مما أثبت أنه لم يعد مجرد يخمن بناءً على الشيء.

الصورة الكبيرة

هذه الورقة هي بمثابة جرس إنذار لباحثي الذكاء الاصطناعي. فهي توضح أنه مجرد حصول الذكاء الاصطناعي على درجات عالية في الاختبار لا يعني أنه "ذكي". قد يكون ببساطة جيدًا في رصد الأنماط واتخاذ الاختصارات.

من خلال إجبار الذكاء الاصطناعي على مواجهة كسله — عبر استبدال الأشياء بـ "مفاجآت" واختبارات "الإرجاع" — علم المؤلفون الذكاء الاصطناعي كيف يفهم حقًا كيفية تحرك الأشياء، وليس فقط ماهية الأشياء. وهذه خطوة حاسمة نحو بناء ذكاء اصطناعي يمكنه التنقل في العالم الحقيقي، حيث تكون الأفعال معقدة والأشياء لا تتصرف دائمًا كما نتوقع.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "لماذا لا أستطيع فتح درجي؟ التخفيف من الاختصارات المدفوعة بالأجسام في التعرف التكويني على الأفعال في حالة الصفر-التعلم (Zero-Shot)."

1. تعريف المشكلة والدوافع

تتناول الورقة البحثية مهمة التعرف التكويني على الأفعال في حالة الصفر-التعلم (Zero-Shot Compositional Action Recognition - ZS-CAR)، وهي مهمة يجب أن يتعرف فيها النموذج على تركيبات جديدة من (فعل-جسم) (مثل "فتح درج") باستخدام مفردات مشتركة من الأفعال والأجسام، حتى لو لم يسبق له رؤية هذا الزوج المحدد أثناء التدريب.

نمط الفشل الجوهري:
حدد المؤلفون نمط فشل حرج حيث تعتمد النماذج على الاختصارات المدفوعة بالأجسام (object-driven shortcuts) بدلاً من الأدلة الزمنية. فبدلاً من تحليل الحركة لتحديد الفعل (على سبيل المثال، التمييز بين "الفتح" و"الإغلاق")، يتنبأ النموذج بالفعل بناءً على فئة الجسم المصنفة والارتباط الإحصائي المتكرر لهذا الجسم مع أفعال معينة في بيانات التدريب.

مثال: إذا رأى النموذج "درجاً" في مجموعة التدريب مقترناً في الغالب بكلمة "فتح"، فسيقوم بالتنبؤ بـ "فتح" لفيديو غير مرئي لعملية "إغلاق درج" لمجرد أنه تعرف على الدرج، متجاهلاً الحركة الزمنية.

الأسباب الجذرية المحددة:

الإشراف التكويني المتناثر والمنحاز: تحتوي مجموعات البيانات على جزء ضئيل فقط من تركيبات (فعل-جسم) الممكنة. وتكون بيانات التدريب منحازة بشدة نحو الأزواج المتكررة، مما يخلق أولويات ارتباط مشترك (co-occurrence priors) قوية.
عدم التماثل في صعوبة التعلم: الأجسام واضحة بصرياً ويمكن التعرف عليها من إطار واحد (إشارات ثابتة)، بينما تتطلب الأفعال استدلالاً زمنياً متعدد الإطارات. تميل النماذج طبيعياً نحو الإشارة "الأسهل" (الجسم) لتقليل الخسارة، مما يؤدي إلى تعلم الاختصارات.

2. المنهجية: RCORE

يقترح المؤلفون إطار عمل RCORE (التمثيلات التكوينية القوية - Robust COmpositional REpresentations)، وهو إطار تشخيصي مصمم للتخفيف من هذه الاختصارات من خلال مكوني تنظيم متكاملين.

أ. تنظيم أولويات الارتباط المشترك (CPR)

يهدف CPR إلى كسر اعتماد النموذج على أزواج التدريب المتكررة عن طريق توسيع الإشراف ليشمل التركيبات غير المرئية.

الإشراف على التركيبات المُخلّقة: تقوم هذه الطريقة بتخليق عينات تدريب جديدة عن طريق حقن إشارات الأجسام الثابتة من فيديو واحد في المناطق ذات الحركة العالية لفيديو آخر. وهذا يخلق أزواج (فعل-جسم) معقولة ولكنها غير مرئية (على سبيل المثال، أخذ فيديو لحركة "رفع" واستبدال الجسم بجسم جديد).
تنظيم السلبيات الصعبة (Hard Negative Regularization): يتم معاقبة النموذج صراحةً على إعطاء درجات عالية للتركيبات الشائعة والمرئية التي تعمل كـ "سلبيات صعبة" للتركيبات المُخلّقة غير المرئية. هذا يجبر النموذج على التمييز بين الهدف المُخلّق وأولويات الارتباط المشترك المهيمنة.
فضاء التصنيف المتكيف مع الدفعة (Batch-Adaptive Label Space): بدلاً من التحسين عبر كامل فضاء (فعل-جسم) (الذي يكون فارغاً في الغالب)، يقوم CPR بتوسيع فضاء التصنيف ديناميكياً لكل دفعة صغيرة ليشمل التركيبات المُخلّقة، مما يضمن استقرار التحسين مع حقن الإشراف للتركيبات غير المرئية.

ب. تنظيم الترتيب الزمني للتركيب (TORC)

يفرض TORC على النموذج تعلم تمثيلات الأفعال المستندة إلى الديناميكيات الزمنية بدلاً من المظهر المكاني الثابت للجسم.

الاضطراب الزمني: يتم تغذية النموذج بمنظرين مضطربين للمدخلات: تسلسل معكوس وتسلسل مبعثر.
خسارة تشابه جيب التمام ( $L_{cos}$ ): يُعاقب النموذج إذا كان تمثيل الميزة للفيديو الأصلي متشابهاً جداً مع الفيديو المعكوس. وبما أن عكس الزمن غالباً ما يقلب معنى الحركة (مثل الفتح مقابل الإغلاق)، فإن التشابه العالي يشير إلى فشل في التقاط الدلالات الزمنية.
خسارة الإنتروبيا ( $L_{ent}$ ): عندما يتم تعطيل الترتيب الزمني (البعثرة)، يتم تشجيع النموذج على إنتاج تنبؤات أفعال ذات إنتروبيا عالية (عدم يقين). هذا يمنع النموذج من التنبؤ بالفعال بثقة بناءً على الإشارات المكانية الثابتة فقط.

3. المقاييس التشخيصية

لقياس المشكلة والحل، قدم المؤلفون مقاييس تشخيصية محددة:

التنبؤ بالمرئي الخاطئ (False Seen Prediction - FSP): نسبة المدخلات غير المرئية التي تم التنبؤ بها خطأً كتركيبة مرئية.
التنبؤ بالارتباط المشترك الخاطئ (False Co-occurrence Prediction - FCP): نسبة المدخلات غير المرئية التي تم التنبؤ بها كتركيبة مرئية متكررة.
الفجوة التكوينية ( $\Delta_{CG}$ ): تقيس فائدة النمذجة المشتركة مقابل التعرف المستقل. تشير الفجوة السالبة إلى أن النموذج يؤدي بشكل أسوأ عند التنبؤ بالتركيبة بشكل مشترك مقارنة بالتنبؤ بالفعل والجسم بشكل منفصل، مما يشير إلى فشل في الاستدلال التكويني.

4. المساهمات الرئيسية

تشخيص الاختصارات المدفوعة بالأجسام: تثبت الورقة تجريبياً أن نماذج ZS-CAR تفشل بسبب عدم التماثل في صعوبة التعلم وانحيازات الارتباط المشترك، مما يؤدي إلى الاعتماد على إشارات الأجسام للتنبؤ بالأفعال.
إطار عمل RCORE: إطار تدريب مبتكر يجمع بين CPR (لقمع انحياز الارتباط المشترك عبر الإشراف المُخلّق) و TORC (لفرض الحساسية الزمنية).
معيار جديد (EK100-com): قام المؤلفون بتنسيق EK100-com من مجموعة بيانات EPIC-KITCHENS-100، وهي مجموعة بيانات ذات ندرة تركيبية شديدة (تغطية تسمية بنسبة 7.5%) مقارنة بـ Sth-com القياسية، مما يوفر بيئة اختبار أكثر صرامة.
بروتوكول تقييم العالم المفتوح: يدعو المؤلفون إلى بروتوكول تقييم عالم مفتوح (الاستدلال عبر كامل فضاء فعل-جسم دون حجب الأزواج غير المرئية) للكشف عن قدرات التعميم الحقيقية، على عكس بروتوكولات العالم المغلق المستخدمة في العمل السابق.

5. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات Sth-com (Something-Something) و EK100-com الجديدة باستخدام نماذج CLIP و InternVideo2 كخلفيات (backbones).

مكاسب الأداء: يتفوق RCORE بشكل كبير على خط الأساس المرجعي (C2C).
- في Sth-com، يحسن دقة التركيبات غير المرئية بمقدار +3.8% (CLIP) و +4.5% (InternVideo2).
- في EK100-com، يحقق تحسناً هائلاً قدره +6.9% (CLIP) و +7.7% (InternVideo2) في دقة غير المرئي.
تقليل الاختصارات:
- يقلل RCORE بشكل كبير من معدلات FSP و FCP أثناء التدريب، مما يشير إلى اعتماد أقل على أنماط الارتباط المشترك المرئية.
- يحقق فجوة تكوينية ( $\Delta_{CG}$ ) موجبة في التركيبات غير المرئية، بينما تظل خطوط الأساس سالبة، مما يثبت الاستدلال التكويني الحقيقي.
الحساسية الزمنية:
- عند اختباره على مدخلات مبعثرة زمنياً، يظهر RCORE انخفاضاً أكبر بك-ثير في الأداء مقارنة بخط الأساس، مما يؤكد اعتماده على الديناميكيات الزمنية بدلاً من الإشارات الثاتبة.
- يظهر تحليل تشابه جيب التمام أن RCORE ينجح في التمييز بين الأفعال المعكوسة (مثل الفتح مقابل الإغلاق)، بينما تفشل النماذج الأخرى في ذلك.

6. الأهمية

يغير هذا العمل بشكل جذري فهم أنماط الفشل في التعرف على الأفعال في الفيديو. فهو يثبت أن مجرد استخدام خلفيات فيديو أقوى (مثل InternVideo2) ليس كافياً لحل مشكلة التعميم التكويني إذا كان هدف التدريب يسمح بالاختصارات المدفوعة بالأجسام.

من خلال التنظيم الصريح ضد أولويات الارتباط المشترك وفرض حساسية الترتيب الزمني، يوفر RCORE حلاً قوياً لـ التعرف التكويني على الأفعال في حالة الصفر-التعلم. تشير النتائج إلى أنه لكي تتمكن النماذج من التعميم في سيناريوهات العالم الحقيقي (حيث تكون التركيبات غير المرئية شائعة)، يجب تدريبها على تجاهل انحيازات الأجسام الثابتة والتركيز على الديناميكيات الزمنية لأفعال البشر. إن تقديم مجموعة بيانات EK100-com وبروتوكول تقييم العالم المفتوح يضع معياراً جديداً للأبحاث المستقبلية في هذا المجال.