💻 computer science

CoRDS: Coreset-based Representative and Diverse Selection for Streaming Video Understanding

تقترح الورقة البحثية CoRDS، وهي طريقة تعتمد على المجموعات الجوهرية (coreset) لفهم الفيديو المتدفق، والتي تُحسن من عملية التقليم الاستدلالي القائم على الرموز (token-wise heuristic pruning) عبر اختيار مجموعة فرعية مدمجة ومتنوعة وممثلة من ذاكرة التخزين المؤقت للمفاتيح والقيم (key-value cache) من خلال هدف ثنائي المعايير ومعيار تنوع مدفوع بالتعامد، مما يعزز الأداء عبر نماذج رؤية-لغة متعددة ومعايير قياسية تحت ميزانيات ذاكرة ثابتة.

المؤلفون الأصليون: Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد فيلماً طويلاً جداً، ولكن ليس لديك سوى ورقة ملاحظات صغيرة ولاصقة لكتابة الأجزاء الأكثر أهمية فقط حتى تتمكن من الإجابة على الأسئلة لاحقاً. هذا هو التحدي الذي يواجه نماذج الذكاء الاصطناعي الحديثة (المعروفة بنماذج الرؤية واللغة - Vision-Language Models) عندما تحاول فهم الفيديوهات الطويلة في الوقت الفعلي. فهي لا تستطيع تذكر كل شيء، لذا يتعين عليها "ضغط" الفيديو في ذاكرة أصغر.

يقدم البحث طريقة جديدة تسمى CoRDS (الاختيار القائم على المجموعات الجوهرية الممثلة والمتنوعة) لحل هذه المشكلة. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

المشكلة: فخ "الحداثة"

تستخدم معظم نماذج الذكاء الاصطناعي حالياً استراتيجية "ورقة الملاحظات" التي تعتمد على قواعد بسيطة، مثل:

"احتفظ بأحدث الأشياء": تذكر الثواني الأخيرة فقط.
"احتفظ بأعلى الأشياء صوتاً": تذكر الأجزاء التي تبدو الأكثر وضوحاً أو سطوعاً.

يرى المؤلفون أن هذا يشبه محاولة تلخيص فيلم كامل عبر تذكر المشهد الأخير فقط أو المشهد الذي يحتوي على أكبر انفجار. قد تفوتك الأدلة الهادئة والحاسمة التي حدثت قبل 20 دقيقة، والتي قد تكون ضرورية لحل لغز ما لاحقاً.

الحل: نهج "القيم (المنسق)"

يغير CoRDS قواعد اللعبة. فبدلاً من اختيار الرموز (قطع صغيرة من بيانات الفيديو) واحداً تلو الآخر بناءً على مدى "صخبها" أو حداثتها، فإنه يعمل مثل منسق متحف يحاول بناء معرض صغير يمثل المجموعة بأكملها.

إليك الحيل الثلاث الرئيسية التي يستخدمها CoRDS:

1. الرؤية "بيدين" (تمثيل المفتاح والقيمة المشترك)
تخيل أن لكل قطعة من بيانات الفيديو جانبين:

"المفتاح" (الملصق): يخبر الذكاء الاصطناعي أين ينظر في الماضي. (مثلاً: "هذا هو المشهد الذي فيه سيارة حمراء").
"القيمة" (المحتوى): هي المعلومات الفعلية. (مثلاً: "السيارة الحمراء اصطدمت بشجرة").

كانت الطرق القديمة تنظر إلى الملصق فقط أو المحتوى فقط. أما CoRDS فينظر إلى كليهما في نفس الوقت. فهو يضمن أن الذكاء الاصطناعي يمكنه العثور على الذاكرة الصحيحة و أن الذاكرة تحتوي بالفعل على التفاصيل الصحيحة. الأمر يشبه التأكد من امتلاكك لكل من الخريطة (المفتاح) والصورة (القيمة) للموقع، وليس مجرد أحدهما.

2. استراتيجية "تغطية الغرفة" (اختيار المجموعة الجوهرية - Coreset Selection)
بدلاً من اختيار العنصر "الأفضل" بمفرده، يسأل CoRDS: "أي مجموعة صغيرة من العناصر تغطي أكبر مساحة في الغرفة؟"
إذا كان لديك غرفة مليئة بالأثاث، فأنت لا تختار أغلى كرسي فحسب. بل تختار كرسياً، وطاولة، ومصباحاً، وسجادة، والتي تمثل معاً نمط الغرفة بأكالها. يقوم CoRDS رياضياً باختيار مجموعة صغيرة من إطارات الفيديو التي "تغطي" هندسة تاريخ الفيديو بأكم، مما يضمن عدم ترك أي نمط بصري أو نوع مشهد رئيسي دون تمثيل.

3. قاعدة "الزاوية الجديدة" (التنوع المتعامد - Orthogonal Diversity)
أحياناً، قد تختار عنصرين متشابهين جداً (مثل كرسيين أحمرين متطابقين). هذا يهدر المساحة. لدى CoRDS قاعدة لمنع ذلك: "لا تختر شيئاً يشبه كثيراً ما تملكه بالفعل."
إنه يبحث عن العناصر التي تقدم "زاوية جديدة" أو اتجاهاً جديداً. إذا كان لدى الذكاء الاصطناعي بالفعل ذاكرة لسيارة حمراء، فلن يختار سيارة حمراء أخرى ما لم تكن هي الطريقة الوحيدة لتغطية ذلك الجزء من الفيديو. إنه يبحث بنشاط عن اللحظات الفريدة والمختلفة لجعل الذاكرة متنوعة.

النتائج: ذاكرة أذكى، وليس مجرد ذاكرة أكبر

اختبر البحث CoRDS على أربعة نماذج مختلفة من الذكاء الاصطناعي وخمسة معايير مختلفة للفيديو (بما في ذلك الأفلام الطويلة والبث المباشر).

أفضل من المنافسين: تفوق CoRDS باستمرار على الأساليب الحالية (مثل InfiniPot-V و StreamMem) التي تستخدم قواعد "الحداثة" أو "الصخب".
الصغير جميل: حتى عندما أُجبر الذكاء الاصطناعي على استخدام ذاكرة صغيرة جداً (الاحتفاظ بـ 1/16 فقط من بيانات الفيديو)، كان أداء CoRDS أفضل من النماذج التي أتيحت لها ذاكرة أكبر باستخدام الطرق القديمة.
التفوق على النموذج "الكامل": في بعض الحالات، كان أداء CoRDS أفضل من نموذج الذكاء الاصطناعي الذي يحاول تذكر الفيديو الكامل غير المضغوط. هذا يشير إلى أنه من خلال إزالة الأجزاء "المكررة" أو "الضوضائية" من الفيديو، يركز الذكاء الاصطناعي بشكل أفضل على الأدلة المهمة (حل مشكلة "الإبرة في كومة القش").

ملخص

فكر في CoRDS كأنه محرر ذكي للفيديو. فبدلاً من مجرد قص الأجزاء المملة أو الاحتفاظ بأحدث المقاطع فقط، فإنه يختار بعناية مجموعة متنوعة وممثلة من اللحظات التي تلتقط القصة بأكملها. وهذا يسمح للذكاء الاصطناعي بالإجابة على الأسئلة حول فيديو مدته ساعة واحدة بنفس جودة مشاهدة الفيديو بالكامل، ولكن باستخدام جزء ضئيل من ذاكرة الكمبيوتر.

ملخص تقني: CoRDS

بيان المشكلة

تواجه عملية فهم الفيديو المتدفق (Streaming Video Understanding - SVU) باستخدام نماذج الرؤية واللغة الكبيرة (VLMs) عقبة حرجة: الحاجة إلى الحفاظ على بصمة ذاكرة محدودة أثناء معالجة تدفقات فيديو غير محدودة في الوقت الفعلي. وخلافًا لفهم الفيديو غير المتصل (offline)، حيث تتوفر السياقات الكاملة لأخذ عينات من الإطارات أو الضغط المعتمد على الاستعلام، يتطلب فهم الفيديو المتدفق معالجة سببية وغير معتمدة على الاستعلام (query-agnostic)، حيث تكون الإطارات المستقبلية غير معروفة.

تعتمد الحلول الحالية بشكل أساس أساسي على ضغط ذاكرة المفتاح-القيمة (KV cache) باستخدام استدلالات محلية لكل رمز (token-wise heuristics) (مثل: الحداثة، التكرار الزمني، أو البروز القائم على المعيار). وتجادل الورقة بأن هذه الطرق تعاني من قصور جوهي: فهي لا تعمل صراحةً على تحسين التمثيل العالمي (global representativeness) للذاكرة المحتفظ بها. ونتيجة لذلك، فإن الإشارات التي قد تكون ضعيفة فرديًا ولكنها مهمة جماعيًا (مثل التفاصيل البصرية الثابتة أو الهياكل الموزعة زمنيًا) غالبًا ما يتم التخلص منها لأنها تفتقر إلى البروز المحلي في لحظة الضغط.

المنهجية: CoRDS

يقترح المؤلفون إطار عمل CoRDS (الاختيار المعتمد على النواة الممثلة والمتنوعة - Coreset-based Representative and Diverse Selection)، وهو إطار عمل غير معتمد على التدريب وغير مرتبط بالاستعلام، يعيد صياغة ضغط ذاكرة الـ KV كمسألة اختيار نواة (coreset selection) ممثلة. بدแทนًا من تقييم الرموز بشكل مستقل، يقوم CoRDS باختيار مجموعة فرعية صغيرة تغطي هندسيًا ذاكرة التخزين المؤقت البصرية المتراكمة.

تعمل الطريقة بناءً على ثلاثة مبادئ أساسية:

1. التمثيل المشترك لـ KV والتغطية ثنائية المعايير

يفترض المؤلفون أن الاختيار الفعال يجب أن يأخذ في الاعتبار كلاً من المفاتيح (Keys) (التي تحدد بنية الاسترجاع) والقيم (Values) (التي تحدد المعلومات المستخرجة بواسطة الانتباه).

التمثيل: يتم تمثيل الرموز في فضاء ميزات مشترك $\phi^{(KV)}_i = [k_i; v_i]$ .
الهدف: تم تعريف مقياس مسافة ثنائي المعايير $d_\alpha(i, S)$ لقياس المسافة بين الرمز المرشح $i$ والمجموعة المختارة $S$ ، مما يوازن بين أخطاء التقريب في فضاء المفاتيح وفضاء القيم:
$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$
حيث يتحكم $\alpha \in [0, 1]$ في المقايضة. وتشير النتائج التجريبية إلى أن تفضيل القيم ( $\alpha < 0.5$ ) يحقق أداءً أفضل.
التحسين: يتم اختيار المجموعة الفرعية بشكل جشع (greedily) باستخدام قاعدة أبعد أولاً (farthest-first) من نوع D2، والتي تزرع مراكز العناقيد بما يتناسب مع مسافتها المربعة من المراكز المختارة سابقًا. يوفر هذا ضمان تقريب بمقدار $O(\log k)$ لهدف k-means.

2. التنوع المتعامد لعدم التكرار

قد يؤدي الاختيار القائم على التغطية البحتة إلى نواة (coreset) مكررة حيث تقع رموز متعددة في اتجاهات متشابهة في فضاء الميزات. لمعالجة ذلك، يقدم CoRDS حدًا متعامدًا لمكافحة التكرار.

الآلية: بالنسبة لرمز مرشح، تقوم الطريقة بحساب المتجه المتبقي المتعامد مع الامتداد (span) للمفاتيح (والقيم) المختارة حاليًا.
التقييم: يتم إضافة درجة حداثة (novelty score) تعتمد على المعيار المربع لهذا المتجه المتبقي كحافز ناعم (soft bonus) لدرجة التغطية. هذا مستوحى من اختيار المجموعات بـ لوغاريتم المحدد (log-determinant subset selection)، والذي يضمن تقريبًا بمقدار $(1 - e^{-1})$ للتعظيم تحت المجموعات الجزئية الرتيبة (monotone submodular maximization).
الدرجة النهائية: تجمع درجة الاختيار بين المسافة ثنائية المعايير والحداثة المتعامدة:
$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$

3. الضغط الانتقائي للطبقات وإعادة الاستخدام المتتالي

لتقليل العبء الحسابي:

اختيار الطبقات: يتم تطبيق مُحدد النواة (coreset selector) فقط على الـ 25% السفلية من طبقات فك التشفير (decoder layers)، حيث يكون التكرار البصري في أعلى مستوياته. أما الطبقات اللاحقة، التي تشفر الميزات المشروطة بالمهمة، فتُترك دون ضغط.
التتالي عبر الطبقات (Cross-Layer Cascade): تقوم مجموعة صغيرة من "طبقات المرتكز" (anchor layers) بعملية الاختيار الكاملة. وتقوم "الطبقات التابعة" (follower layers) بإعادة استخدام مؤشرات الرموز المختارة من طبقات المرتكز الخاصة بها دون إعادة حساب الاختيار، مما يقلل زمن التأخير بشكل كبير مع الحفاظ على التمثيلات الخاصة بكل طبقة.

المساهمات الرئيسية

رؤية النواة (Coreset View) للضغط المتدفق: تحول من تقليم الرموز المحلي إلى صياغة موجهة نحو التغطية وغير معتمدة على الاستعلام، والتي تختار ذاكرة تخزين مؤقت مدمجة تمثل سياق الفيديو المتراكم.
التغطية الممثلة المشتركة لـ KV: تقديم تمثيل مشترك للمفتاح والقيمة وهدف ثنائي المعايير يوازن صراحةً بين بنية الاسترجاع (المفاتيح) والمحتوى الناتج (القيم)، مما يثبت أن الاختيار في فضاء واحد فقط هو أمر غير أمثل.
التنوع المتعامد: آلية مكافحة التكرار المستندة إلى اختيار اللوغاريتم المحدد التي تفضل المرشحين الذين يساهمون باتجاهات جديدة في فضاء الميزات، مما يمنع هدر ميزانية الرموز في معلومات مكررة.

النتائج التجريبية

تم تقييم الطريقة على أربعة نماذج VLMs مفتوحة المصدر (Qwen2-VL, Qwen2.5-VL, LLaVA-NeXT-Video) عبر خمسة اختبارات معيارية (EgoSchema, MLVU, VideoMME, OVO-Bench, StreamingBench).

الأداء: في ظل ميزانيات ذاكرة ثابتة (3 آلاف و6 آلاف رمز)، يتفوق CoHS باستمرار على النماذج المرجعية الاستدلالية مثل InfiniPot-V وStreamMem.
- في MLVU، حسن CoRDS الأداء بنسبة +4.2% عن أفضل نموذج مرجعي عند ميزانية 6 آلاف رمز.
- عند نسب ضغط قوية (1/16)، غالبًا ما يضاهي CoRDS أو يتجاوز أداء نموذج Full KV (غير المضغوط)، مما يشير إلى أن أي الرموز يتم الاحتفاظ بها أكثر أهمية من عددها.
كفاءة التدفق: في اختبارات التدفق (OVO-Bench, StreamingBench)، أظهر CoRDS مكاسب في المسارات الخلفية، والوقت الفعلي، والأمامية، خاصة في المهام التي تتطلب أدلة موزعة عبر فترات طويلة (مثل: الاستدلال الاستشرافي، والعد).
تحليل التغطية: يؤكد تحليل دالة التوزيع التراكمي (CDF) للتغطية أن CoRDS يحتفظ بمجموعة فرعية أكثر تمثيلاً من الذاكرة الكاملة مقارنة بالنماذج المرجعية، مع مسافات جيب تمام (cosine distances) أقل للمجموعة الأصلية من الرموز.
الكفاءة: تحافظ استراتيجية التتالي عبر الطبقات على بصمة ذاكرة مسطحة وتحقق إنتاجية (throughput) في مرحلة الـ prefill مماثلة أو أفضل من النماذج المرجعية، حتى للفيديوهات التي تصل مدتها إلى 1000 ثانية.

الأهمية والادعاءات

تدعي الورقة أن اختيار النواة الممثلة (coreset selection) يوفر مبدأً أكثر فعالية من تقليم الرموز (token-wise pruning) للتعامل مع فهم الفيديو المتدفق المقيد بالذاكرة. ومن خلال التحسين الصريح للتغطية الهندسية للسجل المتراكم في فضاء مشترك للمفتاح والقيمة، يخفف CoRDS من مشكلة "الإبرة في كومة القش" المتأصلة في الاستدلال طويل السياق.

يؤكد المؤلفون أن نهجهم غير معتمد على التدريب وغير مرتبط بالاستعلام، مما يجعله قابلاً للتطبيق الفوري على نماذج VLMs الحالية القائمة على الـ Transformer دون الحاجة لإعادة التدريب. وتوضح النتائج أن المكاسب في الأداء في بيئات التدفق لا تأتي مجرد زيادة حجم الذاكرة، بل من الاحتفاظ بمجموعة فرعية أقل تكرارًا وأكثر إخبارية من الرموز البصرية. وتخلص الورقة إلى أن هذا الأساس الهندسي يوفر بديلاً مبدئيًا للضغط القائم على الاستدلال لعملاء الإدراك المستمر.