💻 computer science

Exploring Vision-Language Models for Open-Vocabulary Zero-Shot Action Segmentation

تقدم هذه الورقة إطار عمل لتقسيم الأفعال الزمنية بنظام الصفر المعرفة، مفتوح المفردات، وغير معتمد على التدريب، يستفيد من قدرات نماذج الرؤية واللغة المتنوعة لتقسيم أفعال الفيديو دون إشراف خاص بالمهمة، مما يظهر إمكاناتها القوية للفهم الزمني المهيكل.

المؤلفون الأصليون: Asim Unmesh, Kaki Ramesh, Mayank Patel, Rahul Jain, Karthik Ramani

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Asim Unmesh, Kaki Ramesh, Mayank Patel, Rahul Jain, Karthik Ramani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مقطع فيديو منزلياً لشخص يصنع شطيرة. يقوم دماغك بشكل طبيعي بتقسيم هذا التدفق المستمر من الصور إلى "فصول" متميزة: إحضار الخبز، دهن زبدة الفول السوداني، إضافة الهلام، ثم أخذ قضمة.

لفترة طويلة، عانت الحواسيب من صعوبة في القيام بذلك تلقائياً. إنها تشبه طالباً حفظ كتاباً معيناً عن ظهر قلب، لكنه يفشل عندما يُطلب منه وصف موضوع جديد لم يدرسه من قبل. هذه هي مشكلة "تجزئة العمليات الزمنية" (Temporal Action Segmentation - TAS): تعليم الكمبيوتر كيفية تقطيع الفيديو إلى قطع ذات معنى.

إليك تفصيل بسيط لما يفعله هذا البحث، باستخدام بعض التشبيهات من الحياة اليومية.

المشكلة: "المكتبة المغلقة"

نماذج الرؤية الحاسوبية الحالية تشبه الطلاب الذين يمتلكون مكتبة مغلقة. يمكنهم فقط التعرف على الأفعال إذا كانوا قد رأوها من قبل في بيانات تدريبهم.

إذا قمت بتدريب نموذج على "صنع الشاي"، فسيعرف "غلي الماء" و"صب الشاي".
ولكن إذا عرضت عليه "صنع القهوة"، فسيصاب بالارتباك لأن "القهوة" ليست موجودة في مكتبته المغلقة.
علاوة على ذلك، فإن العالم الحقيقي فوضوي. قد يسمي شخص ما خطوة ما "تقطيع البصل"، بينما يسميها آخر "تحضير الخضروات". إن جمع مجموعة بيانات لكل طريقة ممكنة لوصف كل فعل ممكن هو أمر مستح المستحيل.

الحل: "المترجم العالمي" (VLMs)

يقدم المؤلفون نظام OVTAS (التجزئة الزمنية للعمليات مفتوحة المفردات - Open-Vocabulary Zero-Shot Temporal Action Segmentation). فكر في هذا كإعطاء الكمبيوتر مترجماً عالمياً (تحديداً نموذج رؤية-لغة أو VLM) بدلاً من مكتبة مغلقة.

هذه النماذج (مثل CLIP أو SigLep) قد "قرأت" بالفعل مليارات الكتب و"رأت" مليارات الصور. إنها تدرك أن صورة الكلب وكلمة "كلب" مرتبطان ببعضهما، حتى لو لم يروا هذا الكلب المحدد من قبل.

يسأل البحث: هل يمكننا استخدام هذا المترجم العالمي لمشاهدة فيديو وتسمية الأفعال في الوقت الفعلي، دون تدريبه أبداً على بيانات الفيديو؟

كيف يعمل: العملية المكونة من مرحلتين

يقترح المؤلفون مسار عمل "خالٍ من التدريب"، مما يعني أنهم لا يعلمون النموذج أي شيء جديد، بل يستخدمونه كما هو. يستخدمون عملية من خطوتين يسمونها "التجزئة عن طريق التصنيف" (Segmentation-by-Classification).

المرحلة الأولى: "لعبة التخمين" (FAES)

تخيل أنك تشاهد فيديو إطاراً تلو الآخر.

لديك قائمة بالأفعال المحتملة (مثل "الصب"، "التقطيع"، "التحريك").
لكل إطار منفرد من الفيديو، يسأل الكمبيوتر نموذج (VLM): "هل تبدو هذه الصورة أقرب لعملية 'الصب' أم 'التقطيع'؟"
يعطي النموذج درجة لكل فعل.

العقبة: نموذج (VLM) مشتت الذهن قليلاً. فهو ينظر إلى كل إطار بمعزل عن غيره. قد يقول: "الإطار 10 هو صب"، ثم "الإطار 11 هو تقطيع"، ثم "الإطار 12 هو صب" مرة أخرى. في الحياة الواقعية، أنت لا تقطع، ثم تصب، ثم تقطع مجداً في لحظة واحدة. تخمينات الكمبيوتر تكون غير متسقة زمنياً (مبعثرة للغاية).

المرحلة الثانية: "المحرر" (SMTS)

هنا يحدث السحر. يستخدم المؤلفون أداة رياضية تسمى "النقل الأمثل" (Optimal Transport) (فكر فيها كمحرر ذكي للغاية).

ينظر المحرر إلى قائمة التخمينات الفوضوية من المرحلة الأولى.
هو يعلم أن الأفعال عادة ما تتدفق بشكل منطقي. أنت لا تنتقل من "بدء الطبخ" إلى "أكل الحلوى" في ثانية واحدة.
يقوم بإعادة ترتيب التسميات لجعل القصة سلسة ومنطقية. فهو يجبر الكمبيوتر على القول: "حسناً، طوال الـ 5 ثواني القادمة، نحن بالتأكيد في مرحلة 'التقطيع'، وبعد ذلك ننتقل إلى 'التحريك'".

التجارب: اختبار "المترجم العالمي"

لم يكتفِ المؤلفون ببناء أداة واحدة؛ بل اختبروا 14 نسخة مختلفة من هذه المترجمات العالمية (أحجام وعائلات مختلفة مثل CLIP وSigLIP، إلخ) على ثلاث مجموعات بيانات قياسية (صنع الإفطار، صنع السلطات، ومهام الطبخ).

النتائج الرئيسية:

إنه يعمل بدون تدريب: حققوا نتائج مبهرة دون عرض نموذج واحد من الفيديوهات المصنفة عليهم. لقد أعطوا النماذج فقط قائمة بأسماء الأفعال وتركوا الـ VLM يتولى الباقي.
الأكبر ليس دائماً الأفضل: عادةً في الذكاء الاصطنا cut، النماذج الأكبر تكون أذكى. لكن هنا، وجدوا أن النماذح الأكبر لم تكن بالضرورة تؤدي عملاً أفضل في تقطيع الفيديوهات. أحياناً، كان النموذج الأصغر والأسرع يؤدي وظيفة مماثلة.
الفيديوهات القصيرة صعبة: واجه النظام أكبر صعوبة مع الفيديوهات التي تحتوي على أفعال سريعة وصغيرة جداً (مثل مجموعة بيانات GTEA حيث تستمر الأفعال لمدة ثانيتين فقط). الأمر يشبه محاولة تحرير فيلم تتغير فيه المشاهد كل 0.5 ثانية؛ لا يوجد وقت كافٍ لـ "المحرر" ليفهم تسلسل التدفق.

ملخص التشبيه

الطريقة القديمة: روبوت يعرف 50 حركة رقص محددة فقط. إذا طلبت منه أداء رقصة جديدة، فإنه يتجمد.
الطريقة الجديدة (OVTAS): روبوت يتحدث لغة البشر ويفهم المفاهيم. تقول له: "هذا الفيديو عن 'صنع شطيرة'". ينظر إلى الفيديو، ويفهم مفاهيم "الخبز"، "السكين"، و"زبدة الفول السوداني"، ويكتب تلقائياً نصاً يقول: "أولاً، امسك الخبز. ثم، ادهن الزبدة". وهو يفعل ذلك فوراً، دون الحاجة لممارسة الرقصة أولاً.

لماذا هذا مهم؟

هذا البحث يمثل خطوة كبيرة للأمام لأنه يكسر حاجز "المفردات المغلقة". إنه يشير إلى أنه يمكننا بناء أنظمة تفهم الأنشطة البشرية بأي لغة، وبأي مستوى من التفصيل، دون الحاجة لقضاء سنوات وملايين الدولارات في جمع بيانات الفيديو المصنفة. إنه يحول الكمبيوتر من مجرد حافظ جامد إلى مراقب مرن وفهم.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "استكشاف نماذج الرؤية واللغة لتجزئة الأفعال في بيئة مفتوحة المفردات وصفرية التدريب (Zero-Shot)."

1. تعريف المشكلة

تتضمن تجزئة الأفعال الزمنية (TAS) تعيين تسميات للأفعال لكل إطار في الفيديو لتجزئته إلى وحدات ذات معنى.

القصور الحالي: تعتمد طرق (TAS) الحالية على المفردات المغلقة، مما يعني أنها تُدرب وتُقيم على مجموعة ثابتة من فئات الأفعال. وهي تفشل في التعميم على الأفعال أو المجالات غير المرئية لأن جمع مجموعات بيانات شاملة وموسومة للمساحة الشاسعة للأنشطة البشرية الممكنة أمر غير ممكن.
الفجوة: هناك نقص في الأساليب التي يمكنها تنفيذ التجزئة الزمنية للأفعال في بيئة مفتوحة المفردات وصفرية التدريب (OVTAS). يتطلب هذا تجزئة الفيديو إلى أفعال من مجموعة تسميات يحددها المستخدم دون أي تدريب أو ضبط دقيق خاص بالمهمة.
التحدي: بينما تتفوق نماذج الرؤية واللغة (VLMs) مثل CLIP في التصنيف الصفرى للصور، فإن تطبيقها مباشرة على إطارات الفيديو يؤدي إلى عدم اتساق زمني (تتقلب التنبؤات بشكل حاد بين الإطارات المتجاورة) لأن هذه النماذج تعالج الإطارات بشكل مستقل.

2. المنهجية: مسار عمل (OVTAS)

يقترح المؤلفون OVTAS، وهو مسار عمل صفري التدريب (zero-shot) ولا يتطلب تدريباً، يستفيد من نماذج الرؤية واللغة (VLMs) سابقة التدريب. يتبع المسار تصميماً يعتمد على "التجزئة عن طريق التصنيف" ويتكون من مرحلتين:

المرحلة الأولى: تشابه تضمين الإطار والفعل (FAES)

تولد هذه المرحلة مصفوفة تشابه خام بين إطارات الفيديو وتسميات الأفعال المرشحة.

المدخلات: إطارات الفيديو ومجموعة من تسميات الأفعال (مثل: "غلي الماء"، "صب الشاي").
العملية:
1. استخراج التضمين: يستخرج مشفر الرؤية في نموذج (VLM) تضمينات الإطارات ( $X$ )، ويستخرج مشفر النصوص تضمينات تسميات الأفعال ( $A$ ). كلاهما يخضع لعملية التطبيع ( $l_2$ -normalization).
2. حساب التشابه: يتم حساب مصفوفة التشابه $S$ عبر الضرب النقطي: $S = XA^\top$ .
3. المخرجات: مصفوفة تمثل كل مدخل فيها درجة تشابه جيب التمام (cosine similarity) بين إطار محدد وتسمية فعل معينة.
القيد: تفترض الطريقة وجود إشراف على مجموعة الأفعال: النظام يعرف أي الأفعال موجودة في الفيديو، ولكن لا يعرف ترتيبها أو حدودها.

المرحلة الثانية: التجزئة الزمنية لمصفوفة التشابه (SMTS)

تعمل هذه المرحلة على فرض الاتساق الزمني لتحويل تشابهات الإطارات المشوشة إلى مقاطع أفعال مستقرة.

الآلية: تستخدم النقل الأمثل المنظم بالاعتلاج (Entropy-Regularized Optimal Transport) (تحديداً وحدة فك التشفير ASOT).
المكونات:
- التكلفة البصرية ( $C$ ): مشتقة من مصفوفة التشابه ( $C = 1 - S$ ).
- الأولوية الزمنية ( $R$ ): مصفوفة قطرية تشجع المحاذاة الرتيبة (لمنع "السفر عبر الزمن") بناءً على نسبة فهرس الإطار إلى فهرس الفعل.
- التحسين: تقوم الخوارزمية بحل مصفوفة الاقتران $\Pi$ التي تقلل التكلفة مع احترام قيود النقل والاعتلاج (entropy).
المخرجات: تسلسل متسق زمنياً من تسميات الأفعال ( $\hat{y}_t$ ) لكل إطار.

3. المساهمات الرئيسية

مسار عمل OVTAS: تقديم أول إطار عمل صفري التدريب ولا يتطلب تدريباً لتجزئة الأفعال في بيئة مفتوحة المفردات، مما يلغي الحاجة إلى إشراف خاص بالمهمة.
دراسة منهجية لنماذج (VLM): تقييم شامل لـ 14 نموذج (VLM) متنوعاً (عبر عائلات: SigLIP، وCLIP، وOpenCLIP، وPECore) وبأحجام نماذج متفاوتة. هذا هو أول تحليل واسع لمدى ملاءمة نماذج (VLM) لهذه المهمة المحددة.
إتاحة الموارد: أصدر المؤلفون الكود البرمجي والتضمينات المستخرجة مسبقاً لجميع نماذج الـ 14 على ثلاثة مجموعات بيانات رئيسية، مما يقلل العوائق الحسابية للأبحاث المستقبلية.
القياس المرجعي: وضع خطوط أساس قوية (مثل Equal-Splits مع عقوبة عدم التكرار - Non-Repetition Penalty) لتقييم أداء الصفرية بدقة.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات معيارية: Breakfast، و 50 Salads، و GTEA (أنشطة جورجيا تك من منظور الشخص الأول).

الأداء مقابل خطوط الأساس: يتفوق OVTAS بشكل كبير على جميع خطوط الأساس التي لا تتطلب تدريباً. على سبيل المثال، في مجموعة بيانات Breakfast، حقق أفضل نموذج في OVTAS (وهو SigLIP-M1) متوسط درجة قدره 46.4، مقارنة بـ 20.15 لأقوى خط أساس (ES-NRP).
تحليل عائلات (VLM):
- تفوقت عائلة SigLIP باستمرار على العائلات الأخرى (CLIP، OpenCLIP، PECore) عبر جميع مجموعات البيانات.
- مفارقة حجم النموذج: خلافاً للتوقعات، لم تؤدِ النماذج الأكبر حجماً إلى أداء أفضل. في العديد من العائلات، كان أداء النسخ الأصغر أفضل من النسخ الأكبر، مما يشير إلى أن مجرد زيادة عدد المعلمات دون تدريب زمني محدد أو تحسين صياغة الأوامر (prompting) غير كافٍ لهذه المهمة.
دراسات الاستئصال (Ablation Studies):
- أدى حذف أي من المرحلة الأولى (FAES) أو المرحلة الثانية (SMTS) إلى انخفاض كارثي في الأداء، مما يؤكد أن كلتا المرحلتين ضروريتان.
- ثبت أن التطبيع ( $L_2$ Normalization) و الأولوية الزمنية (Temporal Prior) ضروريان لتحقيق دقة عالية.
تحديات مجموعات البيانات:
- كانت GTEA هي الأكثر صعوبة بسبب منظور الشخص الأول (egocentric)، والانتقالات السريعة، ومدة المقاطع القصيرة جداً (متوسط ~1.94 ثانية).
- تدهور الأداء مع زيادة طول الفيديو وزيادة عدد المقاطع الفعلية لكل فيديو (التجزئة الكثيفة أكثر صعوبة).

5. الأهمية والتوجهات المستقبلية

القابلية للتوسع: يثبت OVTAS أنه يمكن تحقيق فهم زمني مهيكل دون الحاجة إلى تسميات مكلفة وخاصة بالمجال، مما يجعله قابلاً للتوسع ليشمل المساحة الشاسعة وغير المنظمة للأنشطة البشرية.
جدوى الصفرية (Zero-Shot): تثبت النتائج أن نماذج (VLM) سابقة التدريب تحتوي على معرفة دلالية كافية لتجزئة الأفعال إذا اقترنت بآلية فك تشفير زمني قوية (النقل الأمثل).
العمل المستقبلي: يقترح المؤلفون أن التحسينات المستقبلية يجب أن تركز على:
- هندسة الأوامر (Prompt Engineering) المتقدمة لمواءمة النص بشكل أفضل مع دلالات الفيديو.
- المعالجة المسبقة لإطارات الفيديو (مثل القص) لتعزيز استخراج الميزات.
- تعزيز قدرات النمذجة الزمنية لفك تشفير النقل الأمثل للتعامل مع المقاطع القصيرة جداً والانتقالات السريعة بشكل أكثر فعالية.

في الختام، تضع هذه الورقة نموذجاً جديداً لتجزئة الأفعال، حيث تنتقل من التعلم الخاضع للإشراف ذي المفردات المغلقة إلى الاستدلال في بيئة مفتوحة المفردات ولا يتطلب تدريباً، مع تقديم تحليل نقدي لكيفية أداء بنيات (VLM) الحالية في هذا المجال.