💻 computer science

E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching

يُعد E.M.Ground نموذج لغة فيديو لغويًا مبتكرًا لتحديد المواقع الزمنية للفيديو، حيث يعمل على تحسين دقة تحديد مواقع الأحداث من خلال تقديم رمز خاص للاستمرارية الدلالية الشمولية، وتنعيم "سافيتزكي-جولاي" للحد من الضوضاء، وتجميع سمات الإطارات متعددة الحبيبات للتغلب على قيود الطرق الحالية المعتمدة على الطوابع الزمنية.

المؤلفون الأصليون: Jiahao Nie, Wenbin An, Gongjie Zhang, Yicheng Xu, Yap-Peng Tan, Alex C. Kot, Shijian Lu

نُشر 2026-02-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiahao Nie, Wenbin An, Gongjie Zhang, Yicheng Xu, Yap-Peng Tan, Alex C. Kot, Shijian Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعد فيديو ذكي جداً (نموذج لغوي كبير للفيديو) يمكنه مشاهدة فيلم والإجابة على أسئلة حوله. ومع ذلك، عندما تسأله: "أرني الجزء الذي يتلقى فيه القط حقنة"، غالباً ما يواجه المساعد صعوبة في تحديد وقت البداية والنهاية بدقة. قد يخمن الوقت الذي يظهر فيه القط، لكنه قد يخطئ في لحظة ملامسة الإبرة، أو قد يتوقف مبكراً جداً.

يقدم هذا البحث نظاماً جديداً يسمى E.M.Ground لحل هذه المشكلة. فكر في الأمر كترقية للمساعد من مجرد "ساعة إيقاف" إلى "راوٍ للقصص".

إليك كيف يعمل E.M.Ground، مشروحاً عبر تشبيهات بسيطة:

1. الطريقة القديمة: ساعتا إيقاف منفصلتان

حاولت الأساليب السابقة (مثل نظام يسمى E.T.Chat) العثور على الإجابة باستخدام رمزين منفصلين (مثل ساعتي إيقاف مختلفتين).

ساعة الإيقاف (أ) تحاول تخمين متى يبدأ الحدث بالضبط.
ساعة الإيقاف (ب) تحاول تخمين متى ينتهي الحدث بالضبط.

المشكلة: هذا يشبه محاولة العثور على مشهد محدد في فيلم من خلال النظر فقط إلى الإطار الأول والإطار الأخير فقط. أنت تفقد كل ما يحدث في المنتصف. إذا كان الفيلم طويلاً، سيصاب المساعد بالارتباك لأنه يتجاهل "جوهر" القصة. وغالباً ما يختار وقت البداية أو النهاية بشكل خاطئ لأنه لا يفهم الحدث بأكمله كقصة واحدة مستمرة.

2. الطريقة الجديدة: "رمز قصة" واحد

يغير E.M.Ground الاستراتيجية. فبدلاً من ساعتي إيقاف، يستخدم رمزاً خاصاً واحداً يسمى <evt> (اختصار لـ "event" أو "حدث").

التشبيه: تخيل أنك تبحث عن فصل محدد في كتاب. بدلاً من السؤال: "أين يبدأ الفصل؟" و "أين ينتهي؟" بشكل منفصل، ترفع علامة مرجعية (فاصل كتاب) مكتوب عليها "الفصل بأكمله".
كيف يعمل: ينظر هذا الرمز الواحد <evt> إلى كل إطار في الفيديو في آن واحد. هو يسأل: "هل هذا الإطار ينتمي لقصة 'تلقي القط للحقنة'؟" إنه يحافظ على تماسك القصة، مما يضمن فهم المساعد للبداية والمنتصف والنهاية كحدث واحد متماسك ومستمر. يساعد هذا في التعامل مع الفيديوهات الطويلة بشكل أفضل بكثير لأنه لا يفقد خيط القصة في المنتصف.

3. تنعيم "الاضطرابات"

حتى مع وجود "رمز القصة" الجديد، يمكن أن يكون ثبات الكمبيوتر "مضطرباً" نوعاً ما. فقد يكون متأكداً بنسبة 90% في ثانية واحدة من أن إطاراً ما جزء من الحدث، ثم تنخفض النسبة في الثانية التالية إلى 40% لمجرد حدوث خلل بصري بسيط، ثم تقفز مرة أخرى.

التشبيه: تخيل يداً ترتجف وهي ترسم خطاً على رسم بياني. الخط يصعد وينزل كثيراً، مما يجعل من الصعب رؤية الشكل الحقيقي.
الحل: يستخدم E.M.Ground تقنية رياضية تسمى تنعيم Savitzky-Golay. فكر في الأمر كاستخدام مكواة دافئة فوق قميص مجعد. إنها تقوم بتنعيم التجاعيد الصغيرة والمزعجة (الاضطرابات) دون تغيير الشكل العام للقميص (الحدث الفعلي). يساعد هذا النظام في اختيار أوقات البداية والنهاية بدقة أكبر من خلال تجاهل الضجيج.

4. إعادة بناء التفاصيل المفقودة

لجعل الفيديوهات أسهل في المعالجة بالنسبة للكمبيوتر، تقوم الأنظمة غالباً بـ "ضغطها"، مما يؤدي للتخلص من بعض التفاصيل البصرية (مثل تحويل صورة عالية الدقة إلى صورة مصغرة). وهذا عادة ما يتسبب في فقدان الكمبيوتر لبعض الأدلة المهمة.

التشبيه: الأمر يشبه محاولة التعرف على وجه من صورة ضبابية ومنخفضة الجودة.
الحل: يستخدم E.M.Ground ميزات متعددة المستويات (multi-grained features). فبدلاً من مجرد النظر إلى صورة مصغرة ضبابية، فإنه ينظر إلى الصورة بمستويات مختلفة من التفاصيل (الحواف الحادة، الألوان، الأنسجة) ويقوم بدمجها. إنه يشبه استخدام عدسة مكبرة، وعدسة واسعة الزاوية، ومرشح ألوان في آن واحد لإعادة بناء التفاصيل المفقودة، مما يضمن عدم تفويت الكمبيوتر لأي شيء مهم.

النتائج

اختبرت ورقة البحث E.M.Ground على العديد من مجموعات بيانات الفيديو.

دقة أفضل: لقد تفوق باستمرار على الأساليب الأفضل السابقة (مثل E.T.Chat) بفارق كبير.
الفيديوهات الطويلة: بينما تضعف الأنظمة القديمة كلما طالت الفيديوهات، ظل E.M.Ground قوياً لأنه فهم القصة بأكملها، وليس فقط البداية والنهاية.
أخطاء أقل: ارتكب أخطاءً أقل بكثير في الحالات التي لا يتداخل فيها الوقت المتوقع مع الحدث الحقيقي، أو حيث وجد منتصف الحدث فقط وفقد البداية/النهاية.

باخت-صار: يتوقف E.M.Ground عن محاولة تخمين أوقات البداية والنهاية بشكل منفصل. بدلاً من ذلك، يعامل الحدث كقصة واحدة مستمرة، ويعمل على تنعيم ارتباك الكمبيوتر، ويستخدم جميع التفاصيل البصرية المتاحة للعثور على اللحظة الدقيقة التي يحدث فيها الحدث.

ملخص تقني: E.M.Ground

بيان المشكلة

لا يزال تحديد المواقع الزمنية للفيديو (Temporal Video Grounding - TVG) يمثل تحديًا كبيرًا لنماذج الفيديو اللغوية الكبيرة (Vid-LLMs). تتطلب هذه المهمة تحديد مقاطع زمنية بدقة تتوافق مع حدث معين في الفيديو. وبينما نجحت الأساليب الحديثة المتطورة مثل E.T.Chat في التحسن عن النهج السابقة باستخدام مطابقة تشابه الرمز إلى الإطار (token-to-frame similarity matching) بدلاً من التوليد الرقمي المباشر، إلا أنها تظهر قيودًا حرجة:

الافتقار إلى الإدراك الشمولي: تعتمد الأساليب الحالية عادةً على رمزين منفصلين لمطابقة حدود البداية والنهاية للحدث. هذا النهج يجبر النموذج على الاعتماد المفرط على إطارات الحدود بينما يهمل الإطارات المتوسطة، مما يؤدي إلى الفشل في التقاط الاستمرارية الدلالية وتكامل الحدث.
الضجيج وعدم الاستقرار: إن اختيار الإطارات ذات درجات التشابه الأعلى مباشرةً عرضة للضجيج والتغيرات المفاجئة في التشابه عبر الطوابع الزمنية المتجاورة، مما يؤدي إلى تحديد مواقع غير دقيق.
فقدان المعلومات: يؤدي الضغط البصري الشديد، المستخدم غالبًا لتلبية القيود الحسابية، إلى فقدان المعلومات الذي يضعف الأداء، لا سيما في الفيديوهات الطويلة حيث تكون معلومات الإطارات المتوسطة حاسمة.

المنهجية

يقترح المؤلفون E.M.Ground، وهو نموذج Vid-LLM لتحديد المواقع الزمنية مصمم لمعالجة هذه القيود من خلال منظور إدراك الحدث الشمولي والمتماسك. تدمج البنية ثلاثة تصميمات مبتكرة:

1. مطابقة الحدث الشمولية والمتماسكة

بدلاً من استخدام رموز منفصلة للطوابع الزمنية للبداية والنهاية، يقدم E.M.Ground رمزًا خاصًا موحدًا، <evt>، لتمثيل حدث الاستعلام بالكامل.

الآلية: يتم تدريب الرمز <evt> لتجميع المعلومات من جميع الإطارات ضمن نطاق الحدث الحقيقي. أثناء الاستدلال، يحسب النموذج تشابه جيب التمام (cosine similarity) بين سمات الرمز <evt> وسمات كل إطار في الفيديو.
التوسيم (Labeling): يتم استخدام استراتيجية تسمية ثنائية سلسة لبناء الحقيقة الأرضية (ground-truth). تُوسم الإطارات داخل الحدث بالقيمة 1، بينما تُعطى الإطارات القريبة من الحدود قيمًا متناقصة لضمان الاستمرارية العددية وتقليل الانتقالات المفاجئة.
التنبؤ: يتم تحديد المقطع المستهدف من خلال إيجاد نطاق مستمر من الإطارات حيث تتجاوز درجة التشابه عتبة $\sigma$ .

2. تجميع السمات البصرية متعددة المستويات

لتعويض فقدان المعلومات الناتج عن الضغط البصري، يقوم النموذج بتجميع السمات من طبقات متعددة للنموذج اللغوي الكبير (LLM).

التنفيذ: يتم استخراج سمات الإطارات من طبقات مختلفة ( $l=1$ إلى $L$ ) من الـ LLM. يتم تجميع هذه السمات (عبر المتوسط) لإنشاء تمثيل غني ومتعدد المستويات ( $f_{vt}$ ) لكل إطار.
الفائدة: يستفيد هذا النهج من أنماط الانتباه المتميزة الملحوظة عبر طبقات الـ LLM المختلفة، مما يوفر إشارات أكثر ثراءً لتحديد المواقع الزمنية.

3. تنعيم ساتزويكي-غولاي (Savitzky–Golay Smoothing)

للتخفيف من الضجيج والتقلبات المفاجئة في درجات التشابه عبر الإطارات المتجاورة، يطبق المؤلفون تنعيم ساتزويكي-غولاي على تسلسل التشابه قبل تحديد الحدود النهائية.

الوظيفة: تعمل تقنية معالجة الإشارات هذه على تصفية الضجيج عالي التردد مع الحفاظ على شكل القمم (وهو أمر بالغ الأهمية للأحداث قصيرة المدة) والاتجاهات المحلية.
النتيجة: تؤدي درجات التشابه المنقحة إلى تنبؤات أكثر استقرارًا ودقة للحدود.

تفاصيل البنية

العمود الفقري (Backbone): يستخدم النموذج Phi-3-Mini-3.8B كعمود فقري للـ LLM، وEVA-CLIP (ViT-G/14) كمشفر رؤية، وQ-Former لدمج تعدد الوسائط وضغط الرموز.
التدريب: يتبع التدريب استراتيجية ثلاث مراحل: (1) محاذاة الفيديو والنص باستخدام بيانات واسعة النطاق غير دقيقة؛ (2) اتباع التعليمات مع فك تجميد Q-Former وLLM؛ (3) ضبط مطابقة الحدث باستخدام بيانات تحديد مواقع محددة.
دوال الخسارة (Loss Functions): يتم تحسين النموذج باستخدام خسارة النفي اللوغاريتمي (NLL) القياسية لتوليد النصوص وخسارة مطابقة مساعدة للإشراف على درجات التشابه مقابل تسميات الحقيقة الأرضية الملساء.

المساهمات الرئيسية

رمز الحدث الموحد: اقتراح رمز <evt> واحد لنمذجة حدث الاستعلام الشمولي، مما يحافظ على الاستمرارية الدلالية والتكامل، وهو ما يتفوق على الأساليب التي تعتمد على رموز البداية/النهاية المنفصلة.
إخماد الضجيج: تقديم تنعيم ساتزويكي-غولاي لتنقية مطابقة الرمز إلى الإطار، مما يخفف بفعالية من الضجيج والتغيرات المفاجئة في درجات التشابه.
المتانة تجاه الطول: يعالج النهج مشكلة فقدان المعلومات في الفيديوهات الطويلة من خلال تجميع السمات متعددة المستويات، مما يؤدي إلى أداء ثابت عبر فيديوهات ذات مدد زمنية متفاوتة.

النتائج التجريبية

أُجريت تقييمات zero-shot واسعة النطاق على عدة معايير مرجعية، بما في ذلك Charades-STA، وE.T.Bench (الذي يغطي المهام الفرعية TVG وEPM وTAL وEVS)، وYouCook2، وQVHighlights، وMVBench.

أداء TVG: يحقق E.M.Ground نتائج هي الأفضل في حالته (state-of-the-art). في Charades-STA، يتفوق على أفضل النتائج السابقة (TRACE) بنسبة 4.5% في R@0.5. وفي E.T.Bench، يتفوق على E.T.Chat بنسبة 13.4% في مهمة TVG و7.4% في مهمة تلخيص الفيديو الاستخراجي (EVS)، رغم استخدامه لنموذج لغوي أصغر (3.8B مقابل نماذج 7B/13B).
التعامل مع الأطوال المتغيرة: على عكس E.T.Chat، الذي يظهر تدهورًا في الأداء في الفيديوهات الأطول، يحافظ E.M.Ground على أداء مستقر عبر جميع مدد الأحداث، مما يؤكد قدرته على التقاط المعلومات الدلالية المتوسطة.
تقليل الأخطاء: يظهر التحليل النوعي انخفاضًا كبيرًا في أنواع الأخطاء مثل "عدم وجود تداخل" (No Overlap) و"الاحتواء الكامل" (Completely Contained) مقارنة بـ E.T.Chat، مما يشير إلى توافق أفضل مع النطاق الدلالي الكامل للأحداث.
التعميم: يظهر النموذج قدرات قوية في مهام ذات صلة مثل وصف الفيديو الكثيف (DVC)، وكشف أبرز أحداث الفيديو (VHD)، وفهم الفيديو العام (MVBench)، مما يشير إلى أن النهج الشمولي يفيد الفهم الزمني الأوسع.

الأهمية والادعاءات

يزعم البحث أن E.M.Ground يمثل تحولًا من المطابقة المتمحورة حول الحدود إلى الإدراك الشمولي للحدث. ومن خلال إعادة صياغة التنبؤ بالطابع الزمني كمهمة مطابقة حدث باستخدام رمز موحد، يتغلب النهج على القيود المتأصلة في الأساليب التقليدية في التقاط الاستمرارية الدلالية وتكامل أحداث الاستعلام.

يؤكد المؤلفون أن نهجهم لا يتطلب معاملات قابلة للتعلم إضافية لآلية المطابقة ويحافظ على تعقيد حسابي خطي ( $O(T)$ ) بالنسبة لعدد الإطارات. وتشير النتائج إلى أن التمثيل الموحد والمتماسك دلاليًا هو الأفضل لتحديد المواقع الزمنية الدقيقة في نماذج Vid-LLM، مما يقدم منظورًا جديدًا للبحوث المستقبلية في فهم الفيديو.