💻 computer science

Concepts in Motion: Temporal Concept Bottleneck Model for Interpretable Video Classification

تقدم هذه الورقة MoTIF، وهو إطار عمل قائم على المحولات (transformer) يعزز تصنيف الفيديو القابل للتفسير من خلال الاستفيادة من نموذج لغوي بصري (VLM) مشروط بالفئة لاكتشاف المفاهيم الزمنية تلقائيًا ونمذجة أنماطها الديناميكية عبر آلية الانتباه الذاتي لكل مفهوم، مما يقلص فجوة الأداء بين النماذج القابلة للتفسير والنماذج المرجعية للفيديو ذات الصندوق الأسود.

المؤلفون الأصليون: Patrick Knab, Sascha Marton, Philipp J. Schubert, Drago Guggiana, Christian Bartelt

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Patrick Knab, Sascha Marton, Philipp J. Schubert, Drago Guggiana, Christian Bartelt

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم كمبيوتر التعرف على ما يحدث في مقطع فيديو، مثل شخص يرمي بالقوس والسهم. معظم نماذج الذكاء الاصطناعي الحديثة تشبه المنجمين الأذكياء للغاية ولكن الصامتين. إنهم يحصلون على الإجابة الصحيحة (يقولون "نعم، هذه رياضة الرماية بالقوس!")، ولكن إذا سألتهم لماذا، فإنهم يكتفون بالنظر إليك بصمت كصندوق أسود. لا يمكنك رؤية عملية التفكير الخاصة بهم.

يقدم هذا البحث نظامًا جديدًا يسمى MoTIF (إطار العمل الزمني التفسيري المتحرك). فكر في MoTIF ليس كمنجم، بل كـ محقق منظم جدًا يحل الجرائم من خلال التحقق من قائمة محددة من الأدلة، واحدًا تلو الآخر، مع الاحتفاظ بمذكرات حول متى ظهرت تلك الأدلة.

إليك كيف يعمل، مقسمًا إلى أجزاء بسيطة:

1. "قائمة الأدلة" (المفاهيم)

بدلاً من النظر إلى الفيديو كمجموعة مشوشة من البكسلات، يقوم MoTIF بتفكيك الفيديو إلى قائمة من "المفاهيم" التي يمكن للبشر فهمها.

الطريقة القديمة: ينظر الذكاء الاصطناعي القياسي إلى الفيديو بأكمله دفعة واحدة ويخمن.
طريقة MoTIF: يتساءل: "هل أرى قوسًا؟ هل أرى سهمًا؟ هل أرى شخصًا يعتلي الحصان؟ هل أرى شخصًا يرمي؟"
الخدعة السحرية: يستخدم البحث "مساعدًا ذكيًا" خاصًا (نموذج رؤية ولغة - Vision-Language Model) لإنشاء قائمة الأدلة هذه تلقائيًا من فيديوهات التدريب. هو لا يحتاج إلى إنسان ليكتب القائمة؛ فالذكاء الاصطناعي يستنتج بنفسه أن كلمات مثل "قوس" و"رمي" هي الكلمات المهمة التي يجب البحث عنها.

2. "المذكرات" (الوقت أمر جوهري)

هذا هو الجزء الأهم. في الصورة، القوس هو مجرد قوس. أما في الفيديو، فإن الوقت هو كل شيء.

إذا رأيت قوسًا، ثم شخصًا، ثم حركة رمي، فهذه رياضة رماية بالقوس.
إذا رأيت حركة رمي، ثم قوسًا، ثم شخصًا، فهذا أمر غريب ومن المرجح أنه ليس رماية بالقوس.

معظم نماذج الذكاء الاصطناعي تخلط كل هذه الأدلة معًا في "عصير" كبير، مما يؤدي لفقدان الترتيب. MoTIF مختلف عن ذلك. فهو يحتفظ بـ مذكرات منفصلة لكل دليل.

لديه "مذكرات القوس" التي تتبع متى ظهر القوس.
لديه "مذكرات الرمي" التي تتبع متى حدثت عملية الرمي.
لديه "مذكرات الاعتلاء" للحصان.

إنه يستخدم آلية "انتباه" خاصة (فكر فيها ككشاف ضوئي) تسلط الضوء فقط على مذكرات القوس لتقرير متى يكون القوس مهمًا، ومذكرات الرمي لعملية الرمي. إنه لا يخلط المذكرات أبدًا. هذا يضمن أنه إذا قال الذكاء الاصطناعي "قوس"، فستعرف بالضبط متى رأى القوس.

3. "الحكم" (التنبؤ)

بمجرد ملء المذكرات، يقوم MoTIF بدمج الملاحظات.

ينظر إلى مدخل "القوس": "ظهر في الثانية 2".
ينظر إلى مدخل "الرمي": "ظهر في الثانية 5".
يجمع هذه الملاحظات باستخدام صيغة رياضية (Log-Sum-Exp pooling) لاتخاذ قرار نهائي: "رماية بالقوس".

لأنه احتفظ بالمذكرات منفصلة، يمكنه إخبارك بالضبط لماذا اتخذ هذا القرار. يمكنه القول: "لقد اخترت الرماية بالقوس لأنني رأيت قوسًا في الثانية 2 وحركة رمي في الثانية 5".

4. "اختبار ماذا لو" (التدخل)

يوضح البحث أنه نظرًا لأن النظام شفاف للغاية، يمكنك بالفعل تعديل عقله لإصلاح الأخطاء.

السيناريو: يرى الذكاء الاصطناعي فيديو لشخص يجلس في كرسي حلاق ويعتقد خطأً أنه "يحلق لحيته".
الإصلاح: يمكن للباحثين إيقاف دليل "كرسي الحلاق" يدويًا في النظام.
النتيجة: يغير الذكاء الاصطناعي رأيه فورًا ويقول: "أوه، انتظر، بدون الكرسي، هذا في الواقع 'وضع أحمر شفاه'!"
هذا يثبت أن النظام لا يخمن فحسب؛ بل يعتمد فعليًا على أدلة محددة يمكنك رؤيتها ولمسها.

لماذا يعد هذا أمرًا مهمًا؟

اختبر المؤلفون MoTIF على عدة مجموعات بيانات للفيديو (مثل أشخاص يقومون بمهام الإفطار، أو رياضات، أو حركات عشوائية).

الدقة: إنه يعمل بشكل يقارب النماذج "الصندوق الأسود" التي لا يستطيع أحد فهمها.
القابلية للتفسير: على عكس الصناديق السوداء، يمكن لـ MoTIF أن يريك خريطة توضح متى رأى القوس، أو الحصان، أو السهم.
المقايضة: يعترف البحث بأن إبقاء المذكرات منفصلة بصرامة (لكي نتمكن من الوثوق بالأدلة) يجعل الذكاء الاصطناعي أحيانًا أقل دقة قليلاً مما لو كان مسموحًا له بخلط الأدلة معًا. ومع ذلك، وجدوا أن هذا "الخلط" يجعل الذكاء الاصطناعي أصعب في الفهم، لذا اختاروا إبقاء المذكرات منفصلة لإعطاء الأولوية للثقة.

باختصار

MoTIF يشبه محقق الفيديو الذي يحل الجرائم من خلال التحقق من قائمة أدلة (مفاهيم) بترتيب معين (زمن). هو لا يخمن فحسب؛ بل يحتفظ بسجل يوضح بالضبط متى رأى القوس، والسهم، والحصان، مما يسمح للبشر بالنظر فوق كتفه وفهم كيفية وصوله إلى استنتاجه. إنه يسد الفجوة بين الذكاء الاصطناعي "الذكي والغامض" والذكاء الاصطناعي "الذكي والقابل للتفسير".

ملخص تقني: MoTIF – نموذج عنق زجاجة للمفاهيم الزمنية لتصنيف الفيديو القابل للتفسير

بيان المشكلة

بينما نجحت نماذج عنق الزجاجة للمفاهيم (CBMs) في تمكين التصنيف القابل للتفسير للصور من خلال هيكلة التنبؤات حول مفاهيم مفهومة بشرياً، فإن توسيع هذا النموذج ليشمل الفيديو يظل أمراً صعباً. فخلافاً للصور الثابتة، تحتوي بيانات الفيديو على مكون زمني حيث تتطور المفاهيم بمرور الوقت، كما أن العديد من الأفعال لا يمكن استنتاجها من إطار واحد فقط. وغالباً ما تعاني النهج الحالية من مشكلتين رئيسيتين:

النمذجة الزمنية مقابل القابلية للتفسير: تتفوق المحولات (Transformers) القياسية في التقاط الاعتمادات طويلة المدى، لكنها تستخدم خلطاً زمنياً كثيفاً للميزات يؤدي إلى طمس التبعات على مستوى المفهوم، مما يجعلها غير مناسبة لنمذجة CBM القابلة للتفسير.
استخراج المفاهيم: يعد التوصيف اليدوي للمفاهيم في الفيديو عملية مجهدة وتتطلب جهداً كبيراً. وبينما توفر نماذج الرؤية واللغة (VLMs) مساراً للاكتشاف التلقائي، فإن توسيع ذلك ليشمل التقاط مفاهيم مرتبطة زمنياً ومقيدة بالفئة دون تدخل يدوي هو أمر غير يسير.

يتمثل التحدي الجوهري في تصميم بنية تتعامل مع مدخلات الفيديو ذات الأطوال المتغيرة وتنمذج الديناميكيات الزمنية مع الحفاظ على قابلية التفسير الصارمة على مستوى المفهوم وتجنب طبيعة "الصندوق الأسود" للنماذج العميقة القياسية.

المنهجية: MoTIF

يقدم المؤلفون MoTIF (إطار العمل التفسيري الحركي الزمني)، وهو نموذج CBM قائم على المحولات ومصمم خصيصاً لتصنيف الفيديو. يعمل الإطار على تسلسلات من تنشيطات المفاهيم على مستوى النافذة ويتكون من ثلاثة مكونات رئيسية:

1. خط أنابيب اكتشاف المفاهيم القائم على نماذج الرؤية واللغة (VLM)

بدلاً من الاعتماد على مفردات مفاهيم محددة مسبقاً، يستخدم MoTIF مرحلة اكتشاف غير مرتبطة بمهمة معينة:

العملية: يتم أخذ عينة من مجموعة فرعية صغيرة من فيديوهات التدريب لكل فئة. يقوم نموذج رؤية ولغة (VLM)، مشروط بملصق الفئة، بتوليد مرشحات لغوية طبيعية للأشياء والأفعال داخل كل نافذة زمنية.
التصفية: يتم تضمين هذه المرشحات باستخدام نماذج مستندة إلى CLIP، ويتم إزالة المتكررات القريبة عبر تصفية تشابه جيب التمام (عتبة > 0.9)، مما ينتج عنه بنك مفاهيم عالمي متنوع $C$ .
التنشيط: لكل نافذة فيديو، تتم مقارنة التضمينات البصرية مقابل بنك المفاهيم لتوليد مصفوفة تنشيط المفاهيم $X \in \mathbb{R}^{T \times K}$ ، حيث $T$ هو عدد النوافذ و $K$ هو عدد المفاهيم.

2. الانتباه الذاتي الزمني لكل قناة (الانتباه القطري)

الابتكار المعماري الأساسي هو وحدة زمنية تعزل الاستدلال لكل مفهوم على حدة:

البنية القطرية: خلافاً للمحولات القياسية التي تخلط القنوات عبر عمليات إسقاط خطية كاملة ( $W_Q \in \mathbb{R}^{C \times C}$ )، يستخدم MoTIF عمليات التلافيف (convolutions) بعمق 1×1 لتوليد إسقاطات الاستعلام (Query)، والمفتاح (Key)، والقيمة (Value) لكل قناة مفهوم بشكل مستقل.
الآلية: تحسب كل قناة مفهوم $c$ درجات انتباه خاصة بها $W_{c,t,u}$ عبر التسلسل الزمني. يضمن هذا عدم تدفق الأدلة من مفهوم إلى آخر، مما يحافظ على استقلالية التبعية للمفهوم.
المخرجات: المخرج هو مجموع مرجح للقيم لكل مفهوم، مما يحافظ على استقلالية قنوات المفاهيم مع نمذجة متى وكيف تتكرر المفاهيم بمرور الوقت.

3. التصنيف والتفسير

التحويل الأفيني: تخضع التنشيطات لتحويل أفيني غير سالب ( $\gamma_c X + \delta_c$ ) متبوعاً بدالة عدم خطية (Softplus) لضمان تنشيطات غير سالبة وقابلة للاشتقاق.
التجميع (Pooling): تقوم آلية تجميع Log-Sum-Exp (LSE) بتجميع لوغاريتمات الخطوات الزمنية في تنبؤ على مستوى الفيديو. يعمل هذا كتقريب ناعم لعملية Max-pooling ويوفر ملف تعريف لأهمية الوقت.
تفسير ثلاثي الأنماط: يقوم MoTIF بتفكيك التنبؤات إلى:
1. المفاهيم العالمية: التجميع الكلي للأهمية على طول الفيديو بالكامل.
2. المفاهيم المحلية: الأهمية ضمن نوافذ زمنية محددة ذات وزن عالٍ.
3. الاعتمادات الزمنية: خرائط الانتباه التي توضح كيفية توزيع قناة المفهوم لتركيزها عبر الزمن (مثل تحديد الروابط الزمنية أو الوجود المستمر).

المساهمات الرئيسية

بنية MoTIF: نموذج CBM للفيديو يستخدم الانتباه الذاتي الزمني لكل قناة، والذي ينمذج الديناميكيات الزمنية على مستوى المفهوم الفردي مع الحفاظ على استقلالية المفهوم.
تفسير متعدد المستويات: يوفر الإطار ثلاثة أنماط تفسيرية متكاملة (الأنماط العالمية، المحلية، وخرائط الاعتماد الزمني) لتتبع عملية اتخاذ القرار عبر الزمن.
الاكتشاف القائم على VLM: خط أنابيب يستخرج مفاهيم نصية متمحورة حول الأشياء والأفعال مباشرة من فيديوهات التدريب باستخدام إشراف ضعيف من ملصقات الفئات، مما يلغي الحاجة إلى التوصيف اليدوي ويحسن تغطية المفاهيم.

النتائج التجريبية

قيم المؤلفون MoTIF على أربعة معايير مرجعية: Breakfast Actions، HMDB51، UCF101، و Something-Something V2 (SSv2).

الأداء مقابل Global CBM: يتفوق MoTIF باستمرار على Global CBM (الذي يقوم بعمل متوسط للنوافذ قبل التصنيف). على سبيل المثال، في Breakfast Actions، حسن MoTIF الدقة بمقدار 11-18 نقطة مئوية مقارنة بـ Global CBM، مما يثبت قيمة نمذجة المفاهيم الموضعية زمنياً.
الأداء مقابل نماذج الصندوق الأسود: بينما تظل هناك فجوة مع نماذج الصندوق الأسود المتطورة (مثل VideoMAE V2)، إلا أن MoTIF يقلص هذه الفجوة بشكل كبير مع الحفاظ على القابلية للتفسير. في SSv2، حقق متغير الزمكان (MoTIF-ST) دقة بنسبة 41.9% مقارنة بـ 33.6% لـ Global CBM.
الحساسية الزمنية: أكدت دراسات الاستئصال (Ablation studies) باستخدام معايير اصطناعية وخلط النوافذ أن MoTIF يعتمد على الترتيب الزمني وليس فقط على ميزات المظهر الثابت، خاصة في مجموعات البيانات مثل SSv2 حيث تكون الملصقات العلاقاتية حاسمة.
تحليل التدخل: أدت التدخلات التدميرية (تصفير المفاهيم العليا) إلى تقليل التداخل في التنبؤات بشكل كبير، بينما نجحت التدخلات التصحيحية (تعديل المفاهيم) في إصلاح التصنيفات الخاطئة، مما يؤكد الرابط السببي بين المفاهيم والتنبؤات.
المقايضات: يشير المؤلفون إلى وجود مقايضة يمكن التحكم فيها: فرض الانتباه القطري يحافظ على القابلية للتفسير ولكنه قد يقلل قليلاً من الدقة في مجموعات البيانات شديدة التعقيد مقارنة بمتغيرات الانتباه الكامل. ومع ذلك، فإن الانتباه الكامل يخلط القنوات، مما يقلل من القابلية للتفسير.

الأهمية والادعاءات

يضع البحث MoTIF كإطار عمل مبدئي لتعلم وتفسير التمثيلات المفهومية الزمنية. تكمن أهميته في:

سد الفجوة: يثبت أن الاستدلال الزمني يمكن دمجه في نماذج عنق الزجاجة للمفاهيم دون التخلي عن هيكلية مستوى المفهوم، مما يقدم بديلاً قابلاً للتطبيق للنماذج غير الشفافة (Black-box) لتصنيف الفيديو.
القابلية للتفسير دون تضحية: من خلال عزل الاستدلال الزمني لكل مفهوم، يسمح MoTIF للمستخدمين بتتبع الأخطاء وإرجاعها إلى مفاهيم زمنية مفقودة أو غامضة بدلاً من التفاعلات الغامضة للميزات.
النمطية: الإطار متوافق مع مختلف نماذج التضمين (مثل CLIP، SigLIP، وPerception Encoders) وطرق اكتشاف المفاهيم (النصية أو البصرية)، مما يشير إلى أن التحسينات في جودة المفاهيم وتوسيع البنية المعمارية هي مسارات متكاملة لتحسين الأداء.

يخلص المؤلفون إلى أنه بينما يعتمد الأداء بقوة على جودة المفاهيم، فإن MoTIF يوفر أساساً متيناً وقابلاً للتفسير لفهم الفيديو، يحقق أداءً يضاهي أحدث المعايب بين نماذج CBM مع البقاء منافساً للنماذج غير القابلة للتفسير.