💻 computer science

LDDR: Linear-DPP-Based Dynamic-Resolution Frame Sampling for Video MLLMs

يُعد LDDR إطار عمل خالٍ من التدريب وقابل للتشغيل المباشر، يعمل على تعزيز فهم الفيديو في النماذج اللغوية الكبيرة متعددة الوسائط من خلال الجمع بين اختيار عملية "لينيير ديتيرمينانتال بوينت بروسيس" (Linear Determinant Point Process) المدركة للاستعلام مع التخصيص الديناميكي للدقة لتحديد وتحديد أولويات الإطارات المعلوماتية بكفاءة ضمن ميزانيات الرموز (tokens).

المؤلفون الأصليون: Jingfeng Chen, Jiawen Qian, Wendi Deng, Yinuo Guo, Jiaqi Yu, Sicong Leng, Raghuveer Thirukovalluru, Bhuwan Dhingra

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jingfeng Chen, Jiawen Qian, Wendi Deng, Yinuo Guo, Jiaqi Yu, Sicong Leng, Raghuveer Thirukovalluru, Bhuwan Dhingra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول شرح فيلم مدته ساعتان لصديق، لكن ليس لديك سوى وقت ضئيل جداً وعدد محدود للغاية من "فتحات الذاكرة" لوصفه. إذا اخترت الإطارات بالتساوي فقط (مثل التقاط لقطة كل 10 ثوانٍ)، فقد تفوت مشهد مطاردة مثير أو دليل حاسم، وقد تضيع وقتك في وصف نفس الممر الممل خمس مرات.

هذه هي المشكلة التي يحلها LDDR لفهم الفيديو لدى الذكاء الاصطناعي. إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: الكثير من الفيديو، وقدرة عقلية قليلة جداً

النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تشبه المحققين الأذكياء جداً الذين يمكنهم قراءة النصوص والنظر إلى الصور. ولكن عندما يشاهدون فيديو طويلاً، يصابون بالإرهاق. الفيديوهات تحتوي على آلاف الإطارات، لكن الذكاء الاصطناعي لا يمكنه "النظر" إلا إلى بضع مئات من "الرموز البصرية" (قطع صغيرة من بيانات الصورة) قبل أن يتعب أو تنفد ذاكرته.

الأساليب الحالية تشبه السائح الكسول:

أخذ العينات المنتظم (Uniform Sampling): التقاط صورة كل 5 ثوانٍ. هذا يفوت الأحداث ويكرر الأجزاء المملة.
الأهمية البسيطة (Simple Relevance): اختيار الإطارات التي تبدو فقط مثل السؤال. هذا غالباً ما يختار 10 صور لنفس الشخص وهو يتحدث، مما يضيع السياق.

2. الحل: LDDR (المنسق الذكي)

يقترح المؤلفون LDDR، وهي أداة "لا تحتاج إلى تدريب". فكر فيها كـ منسق ذكي لا يحتاج إلى تعلم كيفية التنسيق؛ بل يستخدم مجموعة من القواعد الذكية لاختيار أفضل الإطارات وتحديد مقدار التفاصيل التي يجب إظهارها.

يقوم بشيئين رئيسيين:

أ. مرشح "مكافحة التكرار" (Linear DPP)

تخيل أنك تجهز حقيبة سفر لرحلة، لكن يمكنك فقط إحضار 10 قطع.

الطريقة القديمة: تختار الـ 10 قطع التي تبدو أكثر شبهاً بوجهتك. إذا كنت ذاهباً إلى الشاطئ، فقد تحمل 10 درجات مختلفة من ملابس السباحة الزرقاء. ليس لديك تنوع.
طريقة LDDR: يستخدم خدعة رياضية تسمى Linear DPP. فكر في هذا كقاعدة تقول: "إذا اخترت ملابس سباحة زرقاء، فلا يمكنك اختيار ملابس سباحة زرقاء أخرى. يجب أن تختار قبعة، ومنشفة، ونظارات شمسية بدلاً من ذلك".

إنه ينظر إلى الفيديو بأكمله دفعة واحدة (ليس كأجزاء منفصلة) ويختار مجموعة من الإطارات التي تكون مرتبطة بسؤالك ومختلفة عن بعضها البعض في آن واحد.

السحر: عادة ما يكون القيام بهذه الرياضيات بطيئاً وثقيلاً (مثل محاولة حساب التعبئة المثالية للحقائب لأسطول كامل من السفن). ابتكر LDDR اختصاراً (Linear DPP) جعل هذه العملية أسرع بـ 3 مرات، مما سمح له بالتعامل مع الفيديوهات الطويلة دون إبطاء العملية.

ب. ميزانية "الدقة الديناميكية" (Group DPP)

بمجرد أن يختار المنسق أفضل 10 إطارات، يتعين عليه تحديد مقدار "الذاكرة" التي سيخصصها لكل منها.

الطريقة القديمة: إعطاء كل إطار نفس القدر من التفاصيل (مثلاً 100 بكسل للجميع). هذا هدر للوقت. لماذا تنفق 100 بكسل على خلفية ضبابية بينما يمكنك إنفاق 100 بكسل على نص صغير ومهم على لافتة؟
طريقة LDDR: يعمل مثل مصور فوتوغرافي ذكي.
- إذا كان الإطار يحتوي على دليل حاسم (مثل لوحة ترخيص أو وجه)، فإنه يقرب الصورة ويستخدم دقة عالية (الكثير من رموز الذاكرة).
- إذا كان الإطار مجرد خلفية مملة أو مشابه جداً للإطار السابق، فإنه يبتعد أو يجعله ضبابياً (باستخدام رموز أقل).

يتم توجيه هذا بواسطة مقياس يسمى Group DPP Importance. وهو يسأل: "كم من المعلومات الجديدة يضيف هذا الإطار المحدد إلى المجموعة التي اخترناها بالفعل؟" إذا كانت الإجابة "الكثير"، فإنه يحصل على ميزانية عالية. وإذا كانت الإجابة "لا شيء جديد"، فإنه يحصل على ميزانية منخفضة.

3. النتائج: أسرع وأذكى

اختبرت الورقة البحثية هذا الأسلوب على أربعة معايير مختلفة للفيديو (تتراوح من المقاطع القصيرة إلى الفيديوهات التي تبلغ مدتها ساعة) وعلى نماذج ذكاء اصطناعي متنوعة.

السرعة: بسبب الاختصار "الخطي" (Linear)، فإن LDDR أسرع بكثير من الطرق السابقة التي حاولت القيام بنفس العمليات الحسابية.
الدقة: سجل باستمرار درجات أعلى من الطرق الأخرى.
- في المواقف الضيقة (حيث يمتلك الذكاء الاصطنائي ذاكرة محدودة جداً)، حسن النتائج بمقدار 2.5 نقطة.
- في المواقف التي تتوفر فيها موارد سخية، ظل يحسن النتائج بمقدار 1.6 نقطة.
تعدد الاستخدامات: يعمل كأداة "وصل وشغل" (Plug-and-play). لا تحتاج إلى إعادة تدريب نموذج الذكاء الاصطناعي. أنت فقط تمرر الفيديو عبر LDDR أولاً، ثم يشاهد الذكاء الاصطناعي النتيجة. إنه يعمل حتى مع النماذج "الصندوق الأسود" (مثل GPT-5-mini) حيث لا يمكنك رؤية ما بداخل الكود.

ملخص التشبيه

تخيل أنك توظف مرشداً سياحياً لجولة في المدينة مدتها 10 ساعات، لكن لديك ميزانية لمدة ساعة واحدة فقط لكتابة ملاحظات المرشد.

المرشدون القدامى سيكتبون ملاحظة كل 10 دقائق، حتى لو لم يحدث شيء، وسيكتبون نفس الملاحظة 5 مرات عن نفس التمثال.
LDDR هو مرشد يقوم بـ:
1. تخطي الأجزاء المملة تماماً.
2. اختيار اللحظات الأكثر تميزاً وإثارة للاهتمام فقط (لا تكرار للتماثيل).
3. كتابة فقرة مفصلة وكبيرة عن اللحظة التي حدث فيها السحر، ومجرد خربشة صغيرة عن زوايا الشوارع المملة.

النتيجة؟ تحصل على فهم أفضل للجولة بأكملة في نفس القدر من الوقت.

ملخص تقني: LDDR (أخذ عينات الإطارات بالدقة الديناميكية القائم على DPP الخطي لنماذج MLLM للفيديو)

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) عقبة حرجة في فهم الفيديو: ضغط آلاف إطارات الفيديو في مجموعة محدودة من الرموز المرئية (visual tokens) تحت ميزانيات حوسبية صارمة. تعاني النهج الحالية من مشكلتين رئيسيتين:

عدم الكفاءة والتكرار: يتجاهل أخذ العينات المنتظم القياسي صلة الاستعلام، مما يؤدي إلى تضمين إطارات مكررة واحتمالية إغفال الأدلة الحاسمة.
الأعباء الحوسبية: تفرض الأساليب المتقدمة المدفوعة بالاستعلام، مثل الاستكشاف الوكيل (agentic exploration) أو المختارات المتعلمة، تكاليف تدريب واستنتاج كبيرة. علاوة على ذلك، فإن الأساليب الحالية الخالية من التدريب والقائمة على العمليات النقطية المحددّة (DPPs)، مثل MDP3، تعتمد على الاستدلال في فضاء النواة (kernel-space inference) والذي يتوسع تربيعياً ( $O(T^2)$ ) مع طول الفيديو، مما يجعلها غير عملية للفيديوهات الطويلة. بالإضافة إلى ذلك، تفشل هذه الأساليب عادةً في تخصيص ميزانية رموز موحدة لجميع الإطارات المختارة، حيث لا تأخذ في الاعتبار التباين في المعلوماتية والتعقيد البصري لكل إطار.

2. المنهجية: LDDR

يقترح المؤلفون LDDR (الدقة الديناميكية القائمة على DPP الخطي)، وهو إطار عمل يعمل كإضافة جاهزة (plug-and-play) ولا يتطلب تدريباً، يقوم بتحسين اختيار الإطارات وتخصيص الرموز لكل إطار بشكل مشترك.

أ. اختيار DPP في فضاء الميزات الخطي

لمعالجة التعقيد التربيعي لعمليات DPP القياسية، يقوم LDDR بإجراء استدلال "الاحتمال الأقصى اللاحق" (MAP) الجشع مباشرة في فضاء الميزات بدلاً من فضاء النواة.

الآلية: بدلاً من بناء مصفوفة نواة كثيفة $T \times T$ (المشار إليها بـ $L$ )، يستخدم LDDR مصفوفة ميزات مرجحة بالاستعلام $\Phi = \text{diag}(\tilde{r})\hat{F}$ ، حيث تحتوي $\hat{F}$ على تضمينات الإطارات المعيارية و $\tilde{r}$ تشفر صلة الاستعلام. يتم تعريف النواة ضمنياً كـ $L = \Phi\Phi^\top$ .
الخوارزمية: تستخدم الطريقة عملية اختيار جشعة تحافظ على أساس متعامد (orthonormal basis) للإطارات المختارة وتحدث مكاسب المتبقي (residual gains) للإطارات المتبقية. يقلل هذا من التعقيد الحسابي من $O(T^2d + TK^2)$ إلى $O(KTd)$ زمنياً و $O(Td)$ ذاكرة، حيث $T$ هو عدد الإطارات، و $K$ هي الميزانية، و $d$ هو بُعد الميزة.
النتيجة: يتيح ذلك اختيار الإطارات عالمياً عبر فيديوهات طويلة كاملة دون الحاجة إلى تقسيم زمني (temporal chunking)، مما يلتقط بفعالية التبعيات طويلة المدى مع تقليل التكرار.

ب. أهمية DPP المجموعة (GD) والدقة الديناميكية

بمجرد اختيار مجموعة مرشحة متنوعة، يقدم LDDR مقياس أهمية Group DPP (GD) لتوجيه تخصيص الرموز التكيفي.

درجة أهمية GD: بالنسبة لإطار $t$ مختار، تُعرف الأهمية $I_t$ بأنها مساهمتها الهامشية في محدد مصفوفة جرام للمجموعة: $I_t = \exp(\log \det(G_S) - \log \det(G_{S \setminus \{t\}}))$ . هندسياً، يقيس هذا المعيار النورم المتبقي المربع للإطار بعد إسقاطه على الامتداد (span) للإطارات المختارة الأخرى، مما يحدد "التفرد المتبقي" له.
التسجيل الواعي بالكثافة: لمنع التركيز المفرط على القيم المتطرفة الهندسية ذات الارتباط الضعيف بالاستعلام، يتم تعديل الدرجة بواسطة أولوية الكثافة بناءً على مقدار ميزة الإطار: $\tilde{I}_t = I_t \cdot \rho_t^\tau$ .
التخصيص الديناميكي: يتم ترتيب الإطارات حسب درجات GD الواعية بالكثافة. يحدد البحث الثنائي الحجم الأمثل للمجموعة الفرعية $k^*$ وتخصيص الرموز $w_t$ لكل إطار ضمن ميزانية إجمالية $C_{total}$ . تحصل الإطارات الأكثر معلوماتية وغير المكررة على دقة أعلى (رموز أكثر)، بينما يتم تقليل دقة الإطارات الأقل فائدة أو حذفها، كل ذلك مع احترام قيود الميزانية العالمية ( $w_{min} \le w_t \le w_{max}$ ).

3. المساهمات الرئيسية

اختيار DPP الخطي: يوضح المؤلفون أن إجراء استدلال DPP في فضاء الميزات يسمح باختيار إطارات عالمي ومرتبط بالاستعلام مع تعقيد خطي بالنسبة لطول الفيديو، مما يلغي الحاجة إلى بناء النواة المكلف والتقسيم الزمني.
الدقة الديناميكية الموجهة بـ GD: يقدم البحث درجة أهمية Group DPP لقياس المساهمة الهامشية للإطارات، واستخدامها لدفع استراتيجية تخصيص رموز تكيفية خالية من التدريب، مما يعظم كثافة المعلومات تحت ميزانيات ثابتة.
التحقق التجريبي الشامل: تم تقييم LDDR عبر أربعة اختبارات معيارية (Video-MME, LongVideoBench, LVBench, MLVU) وعدة نماذج خلفية لـ MLLM (بما في ذلك Qwen2.5-VL, Qwen3-VL, LLaVA-OneVision, InternVL, و GPT-5-mini).
الكفاءة والقابلية للتوسع: يحقق LDDR تسريعاً زمنياً كبيراً (3 أضعاف مقارنة بنماذج DPP القياسية) مع الحفاظ على الدقة أو تحسينها، مما يجعله مناسباً للنماذج مفتوحة المصدر والمغلقة على حد سواء.

4. النتائج التجريبية

مكاسب الأداء: في ظل ظروف الميزانية المقيدة، يحقق LDDR متوسط تحسن قدره +2.5 نقطة عن أفضل النماذج المرجعية التالية له. وفي سيناريوهات الميزانية العالية، لا يزال يحقق مكاسب قدرها +1.6 نقطة.
تفوق الفيديوهات الطويلة: تظهر التحسينات بشكل أوضح في الفيديوهات الأطول (مثل مجموعات 3600 ثانية)، حيث يلتقط الاختيار العالمي بفعالية التبعيات التي تفقدها طرق التقسيم. على سبيل المثال، في LongVideoBench، حسن LDDR درجة مجموعة الـ 3600 ثانية بهوامش كبيرة مقارنة بأخذ العينات المنتظم وDPP المقسم.
حيادية النموذج (Model Agnosticism): نجح الإطار في تحسين الأداء عبر نماذج خلفية متنوعة، بما في ذلك النماذج مغلقة المصدر مثل GPT-5-mini، دون الحاجة إلى الوصول إلى بارامترات النموذج الداخلية أو تدريب إضافي.
دراسات الاستئصال (Ablation Studies):
- العالمي مقابل المقسم (Global vs. Chunked): يتفوق الاختيار العالمي على الاختيار المقسم، خاصة في الفيديوهات الطويلة، مما يؤكد أن الميزانيات المحلية قد تهدر الموارد في مقاطع منخفضة المعلومات.
- الدقة الديناميكية: يضيف تخصيص الدقة الديناميكية باستمرار حوالي 1.2 نقطة من التحسن مقارنة بمتغيرات الدقة الثابتة، مع ملاحظة أكبر المكاسب عندما تكون ميزانية الإطارات ضيقة.
- المكونات: يؤدي حذف إما مكون الصلة أو مكون التنوع من نواة DPP إلى تدهور الأداء بشكل كبير، مما يؤكد ضرية التوازن بينهما.

5. الأهمية والادعاءات

يضع البحث LDDR كاستراتيجية بناء مدخلات عملية خالية من التدريب تعالج الضرورة الهيكلية لأخذ عينات الإطارات بكفاءة في نماذج MLLM للفيديو. يدعي المؤلفون أنه من خلال الانتقال من أخذ العينات المنتظم أو النقطي إلى إطار عمل عالمي، يحافظ على التنوع، وواعٍ بالميزانية، فإن LDDR يمكّن نماذج MLLM من التفكير بفعالية أكبر عبر الفيديوهات الطويلة دون تحمل أعباء الحلقات الوكيلية أو إعادة التدريب.

تكمن الأهمية في قدرته على:

فك الارتباط بين الاختيار والتدريب: يعمل كوحدة معالجة مسبقة جاهزة (plug-and-play) متوافقة مع أي نموذج MLLM يدعم مدخلات الدقة الديناميكية.
تحسين "ميزانية الرموز": يتعامل مع تخصيص الرموز المرئية كمشكلة تحسين مشتركة، مما يضمن تركيز الموارد الحوسبية على الأدلة البصرية الأكثر معلوماتية وتفرداً.
التوسع للفيديوهات الطويلة: من خلال تقليل تعقيد DPP إلى زمن خطي، جعل الاخت चयन (selection) العالمي الواعي بالتنوع ممكناً للفيديوهات التي تحتوي على آلاف الإطارات، وهي مهمة كانت محدودة سابقاً بالتكاليف الحسابية التربيعية.

يخلص المؤلفون إلى أن LDDR يمثل خطوة قوية نحو فهم الفيديوهات الطويلة بكفاءة، حيث يقدم مكاسب متسقة عبر مختلف بنيات النماذج وأطوال الفيديوهات مع الحفاظ على كفاءة الاستنتاج العالية.