💻 computer science

ST-SimDiff: Balancing Spatiotemporal Similarity and Difference for Efficient Video Understanding with MLLMs

يُعد ST-SimDiff إطار عمل لا يتطلب تدريباً، يعمل على تعزيز الفهم الفعال للفيديو في النماذج اللغوية الكبيرة متعددة الوسائط من خلال بناء رسم بياني مكاني-زماني وتوظيف استراتيجية اختيار ثنائية متوازية توازن بين تقليل الحشو القائم على التشابه وبين الحفاظ على الأحداث الرئيسية القائمة على الاختلاف.

المؤلفون الأصليون: Bingjun Luo, Tony Wang, Chaoqi Chen, Xinpeng Ding

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bingjun Luo, Tony Wang, Chaoqi Chen, Xinpeng Ding

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول شرح فيلم مدته ساعتان لصديق، ولكن ليس لديك سوى 30 ثانية فقط لوصفه. إذا اخترت مشاهد عشوائية فقط، فقد تفوت الحبكة بالكامل. وإذا اخترت فقط المشاهد التي تبدو "أكثر أهمية"، فقد تصف نفس الخلفية المملة خمس مرات وتفوت اللحظة التي يُخرج فيها البطل مسدساً.

هذه هي المشكلة التي يحلها ST-SimDiff للذكاء الاصطناعي الذي يشاهد الفيديوهات.

المشكلة: بيانات كثيرة، وقدرة عقلية محدودة

نماذج الذكاء الاصطناعي الحديثة (التي تُسمى النماذج اللغوية الكبيرة متعددة الوسائط) تشبه الطلاب الأذكياء جداً الذين يمكنهم قراءة ومشاهدة أي شيء. ولكن عندما يشاهدون فيديو، يقومون بتفكيكه إلى آلاف "الرموز البصرية" الصغيرة (مثل قطع الأحجية الفردية).

بالنسبة لفيديو طويل، يخلق هذا كومة هائلة من قطع الأحجية. يتعين على الذكاء الاصطناعي النظر في كل قطعة منها لفهم القصة. وهذا يتطلب قدراً هائلاً من قوة الكمبيوتر، والذاكرة، والوقت. الأمر يشبه محاولة قراءة موسوعة كاملة للإجابة على سؤال بسيط.

الطريقة القديمة: مجرد اختيار القطع "الأفضل"

حاولت الطرق السابقة إصلاح ذلك من خلال البحث عن التكرار (Redundancy). كانوا يسألون: "أي القطع تبدو متشابهة؟" أو "أي القطع هي الأكثر أهمية؟"

العيب: كانوا بارعين جداً في إيجاد أوجه التشابه. إذا أظهر الفيديو سيارة تسير في شارع لمدة 10 ثوانٍ، كان الذكاء الاصطناعي يستمر في اختيار "رمز السيارة الأكثر أهمية" مراراً وتكراراً، متجاهلاً حقيقة أنها تتحرك فحسب.
نقطة العمى: لقد فاتتهم نقاط التحول. إذا تحطمت السيارة فجأة، فهذا تغيير ضخم. الطرق القديمة غالباً ما كانت تمحو هذه التغييرات لأنها كانت تركز على ما يبقى ثابتاً.

الحل الجديد: ST-SimDiff (التشابه + الاختلاف)

يقترح المؤلفون طريقة جديدة للتفكير في ضغط الفيديو باستخدام "استراتيجية مزدوجة". إنهم يعاملون الفيديو كخريطة بها نوعان من الطرق:

1. طريق "التشابه" (ضغط الأشياء المملة)

التشبيه: تخيل حشداً من الناس يقفون بلا حراك في حديقة. يبدون جميعاً متشابهين جداً.

ما يفعله ST-SimDiff: يقوم بتجميع هذه "الرموز" المتشابهة معاً في مجموعة متراصة (مثل مجتمع صغير). بدلاً من الاحتفاظ بصورة لكل شخص، فإنه يختار شخصاً واحداً ممثلاً من المجموعة لينوب عن الجميع.
النتيجة: يقلل بشكل كبير من عدد الرموز اللازمة لوصف المشاهد الثابتة (مثل الخلفية أو جسم يتحرك ببطء) دون فقدان المعنى.

2. طريق "الاختلاف" (رصد الأشياء المثيرة)

التشبيه: الآن، تخيل نفس ذلك الحشد، ولكن فجأة انفجر بالون، وقفز الجميع.

ما يفعله ST-SimDiff: يراقب "الحواف" بين الإطارات. إذا تغيرت الصورة بشكل جذري من ثانية إلى أخرى (انخفاض حاد في التشابه)، فإنه يصرخ: "توقف! هذا حدث رئيسي!"
النتيجة: يجبر الذكاء الاصطناعي على الاحتفاظ بالرموز المحددة التي تلتقط هذه التغييرات المفاجئة (مثل حادث سيارة، أو دخول شخصية جديدة، أو تغير في المشهد). هذه هي "تحولات الحبكة" في الفيديو.

كيف يعملان معاً

يبني النظام رسمًا بيانيًا مكانيًا-زمانيًا (Spatio-Temporal Graph). فكر في هذا كخريطة شبكة اجتماعية حيث كل قطعة بصرية من الفيديو هي شخص.

التشابه يربط الأشخاص الذين يقفون بجانب بعضهم البعض أو يتشابهون في المظهر.
الاختلاف يبحث عن اللحظات التي تنقطع فيها الروابط أو تتغير بعنف.

بعد ذلك، يقوم الذكاء الاصطناعي بتشغيل مرشحين متوازيين:

المرشح الأول: "احتفظ بشخص واحد من كل مجموعة من المتشابهين". (يضغط الأشياء الثابتة).
المرشح الثاني: "احتفظ بالأشخاص الذين فعلوا شيئاً مختلفاً تماماً للتو". (يحافظ على الحركة).

أخيراً، يدمج هذين المجموعتين. والنتيجة هي مجموعة صغيرة وعالية الكفاءة من الرموز التي تحتوي على كل السياق المستقر وكل الحركة الحرجة، ولكنها تتخلص من الضجيج المتكرر.

النتائج

يدعي البحث أن هذه الطريقة لا تحتاج إلى تدريب (فهي لا تحتاج لتعلم أشياء جديدة؛ بل تستخدم الرياضيات فقط لفرز البيانات).

الأداء: في الواقع، تؤدي هذه الطريقة أداءً أفضل من الطرق الرائدة الأخرى في اختبارات فهم الفيديو. وفي بعض الحالات، كان أداؤها يضاهي أداء الذكاء الاصطناعي وهو يشاهد الفيديو بالكامل، رغم أنها لم تشاهد سوى 30% إلى 50% من البيانات.
السرعة والذاكرة: نظرًا لأنها تتخلص من الكثير من البيانات غير الضرورية، فإن الذكاء الاصطناعي يعمل بشكل أسرع بكثير (بنسبة تصل إلى 30%) ويستخدم ذاكرة كمبيوتر أقل بكثير (بنسبة تصل إلى 31%).

باخت تجاهل ST-SimDiff يعلم الذكاء الاصطناعي كيفية تجاهل الأجزاء المملة والمتكررة من الفيديو مع ضمان عدم تفويت أي تحول في الحبكة. إنه يوازن بين "ما يبقى كما هو" و"ما يتغير"، مما يسمح للذكاء الاصطناه بفهم الفيديوهات الطويلة بكفاءة.

ملخص تقني: ST-SimDiff

بيان المشكلة

تواجه النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) اختناقات كبيرة في الحوسبة والتخزين عند معالجة الفيديوهات الطويلة. يعتمد النموذج القياسي على أخذ عينات من الفيديو في شكل تسلسل من الإطارات وتحويل كل إطار إلى مئات أو آلاف الرموز البصرية (visual tokens). ومع زيادة مدة الفيديو ودقة الوضوح، ينمو عدد الرموز بشكل انفجاري، مما يؤدي إلى تكال costs حوسبية باهظة بسبب التعقيد التربيعي ( $O(N^2)$ ) لآلية الانتباه الذاتي (self-attention).

تندرج طرق ضغط الرموز الحالية عمومًا تحت فئتين:

التقليم القائم على الأهمية (Importance-based pruning): إزالة الرموز ذات درجات الانتباه المنخفضة (مثل FastV وFasterVLM).
الدمج أو الاختيار القائم على التشابه (Similarity-based merging/selection): دمج أو اختيار الرموز بناءً على التشابه العالي داخل الإطارات أو بين الإطارات المتجاورة (مثل FrameFusion وVisionZip).

حدد المؤلفون قصورين حرجين في النهج الحالية:

الافتقار إلى النمذجة المشتركة للمكان والزمان (Lack of Joint Spatio-Temporal Modeling): غالبًا ما تعالج الطرق الحالية الارتباطات المكانية والزمانية بشكل منعزل، مما يفشل في التقاط الأحداث الديناميكية المعقدة التي تعتمد على التفاعل بين كلا البعدين.
إهمال "الاختلاف" (Neglect of "Difference"): تركز الطرق الحالية بشدة على القواسم المعلوماتية المشتركة (التشابه والأهمية) لتقليل الحشو. ومع ذلك، فإنها غالبًا ما تغفل التغييرات الحاسمة، ونقاط التحول، والتحولات الديناميكية. وبما أن السرديات المرئية غالبًا ما تُقاد بهذه الأحداث، فإن النموذج الذي يسعى فقط للبحث عن التشابه يخاطر بتنعيم (smoothing over) الحركات المفاجئة، مما يؤدي إلى سوء التفسير.

المنهجية: ST-SimDiff

يقترح البحث إطار عمل ST-SimDiff، وهو إطار عمل لا يتطلب تدريبًا (training-free) يوازن بين التشابه المكاني الزماني (لتحديد الحشو) والاختلاف الزماني (لالتقاط الأحداث الرئيسية). تعمل الطريقة على رسم بياني مكاني زماني (spatio-temporal graph) يتم بناؤه من الرموز البصرية وتستخدم استراتيجية اختيار مزدوجة متوازية.

1. بناء الرسم البياني المكاني الزماني

يتم نمذجة الرموز البصرية $T = \{t_1, \dots, t_N\}$ كعقد في رسم بياني $G=(V, E)$ . مجموعة الحواف $E$ هي اتحاد لـ:

الحواف المكانية ( $E_S$ ): تربط الرموز المتجاورة مكانيًا داخل نفس الإطار.
الحواف الزمانية ( $E_T$ ): تربط الرموز الموجودة في نفس الموقع المكاني عبر الإطارات المتجاورة.
تُحدد أوزان الحواف بواسطة تشابه جيب التمام (cosine similarity) لمتجهات السمات للرموز المتصلة.

2. استراتيجية الاختيار المزدوج

ينفذ إطار العمل عمليتي اختيار متوازيتين:

أ. اختيار الرموز التمثيلية القائم على التشابه (SRTS)

الهدف: ضغط المحتوى الثابت والحشو.
العملية:
1. وضع عتبة للرسم البياني للاحتفاظ فقط بالحواف التي تزيد أوزانها عن عتبة التشابه $\tau_{sim}$ .
2. تطبيق خوارزمية اكتشاف المجتمعات (تحديدًا المكونات المتصلة في التنفيذ) لتحديد مجموعات الرموز شديدة التشابه.
3. داخل كل مجتمع، حساب درجة المركزية (centrality score) لكل رمز بناءً على متوسط تشابهه مع الآخرين في المجموعة.
4. الاحتفاظ بأعلى الرموز التي تمتلك أعلى درجات مركزية من كل مجتمع لتشكيل المجموعة $T_{rep}$ .

ب. اختيار رموز الأحداث القائم على الاختلاف (DETS)

الهدف: الحفاظ على الرموز التي تلتقط التحولات الديناميكية الرئيسية ونقاط التحول.
العملية:
1. تحليل الحواف الزمانية ( $E_T$ ) في الرسم البياني.
2. تحديد أزواج الرموز المتجاورة زمانيًا حيث ينخفض التشابه بشكل حاد (أي أن الوزن يقل عن عتبة الاختلاف $\tau_{diff}$ ).
3. تحديد الرمز التالي في مثل هذا الزوج كرمز حدث حرج، لتشكيل المجموعة $T_{trans}$ .

3. الاختزال النهائي

المجموعة النهائية من الرموز هي اتحاد الرموز التمثيلية ورموز الأحداث ( $T_{candidate} = T_{rep} \cup T_{trans}$ ). إذا تجاوز حجم هذه المجموعة الميزانية المستهدفة (المحددة بنسبة الضغط $r$ )، تقوم خطوة تقليم نهائية بإزالة الرموز ذات درجات الانتباه الأدنى (بناءً على طبقات LLM الضحلة) للالتزام الصارم بقيد عدد الرموز.

المساهمات الرئيسية

منظور جديد: يقترح المؤلفون ضرورة إعطاء التشابه والاختلاف أهمية متساوية في ضغط الرموز المرئية، بحجة أن التشابه يحدد الحشو بينما يلتقط الاختلاف اللحظات الرئيسية.
إطار عمل الرسم البياني المكاني الزماني: نموذج موحد للعلاقات المكانية الزمانية المعقدة يتيح الفحص المتزامن للرموز التمثيلية ورموز الأحداث المحورية.
استراتيجية الاختيار المزدوج: آلية مبتكرة تجمع بين اكتشاف المجتمعات للضغط الثابت وتحليل الاختلاف الزماني للحفاظ على الديناميكية.
كفاءة لا تتطلب تدريبًا: لا تتطلب الطريقة أي تدريب إضافي وتحقق وفورات حوسبية كبيرة مع الحفاظ على الأداء أو تحسينه.

النتائج التجريبية

تم تقييم الطريقة على ثلاثة اختبارات معيارية لفهم الفيديوهات الطويلة: VideoMME و LongVideoBench و EgoSchema، باستخدام LLaVA-Video-7B و NVILA-8B كنماذج أساسية.

الأداء: تفوق ST-SimDiff باستمرار على أفضل النماذج الحالية (بما في ذلك FastV وPruMerge وFasterVLM وVisionZip وFrameFusion) عبر جميع الإعدادات. والجدير بالذكر أنه عند نسبة احتفاظ بالرموز تبلغ 50%، فإن أداء ST-SimDiff في بعض الاختبارات المعيارية طابق أو تجاوز النموذج الأصلي غير المضغوط (100% من الرموز).
دراسات الاستئصال (Ablation Studies):
- إضافة وحدة التشابه (+Sim) حسنت الأداء مقارنة بالنموذج الأساسي.
- كانت النمذجة المكانية الزمانية المشتركة أكثر فعالية من النمذجة المكانية أو الزمانية وحدها.
- إضافة وحدة الاختلاف (++Diff) وفرت قفزة نوعية في الأداء، خاصة عند نسب الضغط العالية (30%)، مما يؤكد دورها كشبكة أمان للحفاظ على الأحداث الحاسمة للسرد.
الكفاءة الحوسبية:
- وقت الاستدلال: قلل ST-Diff من وقت الاستدلال بنسبة تصل إلى 30.2% لفيديوهات مكونة من 128 إطارًا مقارنة بالنموذج الأساسي.
- استخدام الذاكرة: تم تقليل ذروة استخدام ذاكرة وحدة معالجة الرسومات (GPU) بنسبة 31.7% لفيديوهات 128 إطارًا، مما يسمح بمعالجة فيديوهات أطول على أجهزة ذات ذاكرة محدودة.
- التعقيد: تعمل الطريقة بتعقيد خطي $O(Nd)$ ، وهو أقل بكثير من التعقيد التربيعي لآلية الانتباه الذاتي.

الأهمية

يزعم البحث أن ST-SimDiff يعالج نقطة عمياء حرجة في أبحاث فهم الفيديو الحالية: الميل إلى إعطاء الأولوية للتشابه مع إهمال "الاختلاف" الذي يقود السرديات المرئية. من خلال بناء رسم بياني مكاني زماني واستخدام استراتيجية اختيار مزدوجة، تحقق الطة توازنًا قويًا بين ضغط المعلومات الثابتة الحشوية والحفاظ على الأحداث الديناميكية الجوهرية. يقدم هذا النهج حلاً مبدئيًا وتكيفيًا للفهم الفعال للفيديو، مما يثبت أنه يمكن الحفاظ على فهم عالي الجودة للفيديو مع تقليل ميزانية الرموز بشكل كبير.