Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

إليك ملخص تقني مفصل لورقة البحث بعنوان "Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding" (التي تُعرف بـ DIG).

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة متعددة الوسائط (LMMs) تحديات كبيرة في فهم الفيديو طويل المدى بسبب:

• قيود طول السياق: تمتلك النماذج اللغوية الكبيرة (LLMs) نوافذ سياق محدودة، مما يجعل من المستحيل معالجة جميع إطارات الفيديو الطويل مباشرة.
• الأعباء الإضافية للرموز (Tokens): الرموز الكثيفة للفيديو مكلفة حوسبياً.
• عدم كفاءة الطرق الحالية:
  • أخذ العينات المنتظم (Uniform Sampling): رغم كفاءته، إلا أنه لا يراعي طبيعة الاستعلام (Query-agnostic). وغالباً ما يختار إطارات مكررة بينما يفتقد اللحظات الحرجة المحددة للاستعلام، مما يؤدي إلى أداء ضعيف في الأسئلة التفصيلية.
  • الاختيار المدرك للاستعلام (Query-Aware Selection): تختار الطرق التكيفية الحالية الإطارات بناءً على صلتها بالاستعلام، لكنها تتكبد أعباء حوسبية باهظة بسبب آليات البحث المعقدة. وهي غالباً ما تطبق هذه الآليات الثقيلة دون تمييز على جميع أنواع الاستعلامات، حتى عندما لا تكون ضرورية.

السؤال الجوهري الذي تعالجه الورقة هو: هل هناك حاجة فعلية لآلية بحث معقدة ومدركة للاستعلام لجميع أنواع استعلامات الفيديو؟

2. الرؤية الجوهرية: تصنيف الاستعلامات (Query Typology)

حدد المؤلفون وتحققوا من وجود تمييز جوهري بين نوعين من الاستعلامات، موضحين أن خصائص أدائهما تختلف بشكل كبير فيما يتعلق بأخذ عينات الإطارات:

• الاستعلامات الشمولية (Global Queries - GQ): تتطلب فهماً شاملاً للفيديو بأكمله (مثل: "ما هو الموضوع الرئيسي؟"، "لخص الفيديو").
  • النتيجة: أخذ العينات المنتظم فعال للغاية وفعال لهذه الاستعلامات، وإضافة آليات اختيار معقدة لا يقدم سوى عوائد متناقصة.
• الاستعلامات الموضعية (Localized Queries - LQ): تستهدف مقاطع زمنية أو تفاصيل محددة (مثل: "كيف يمشي الشخص؟"، "ما لون السيارة عند الدقيقة 2:00؟").
  • النتيجة: يفشل أخذ العينات المنتظم هنا؛ فكلما زاد عدد الإطارات، أدخلت الإطارات غير ذات الصلة ضجيجاً يؤدي إلى تدهور الأداء. تتطلب هذه الاستعلامات بشكل صارم اختياراً مدركاً للاستعلام لعزل المقاطع ذات الصلة.

3. المنهجية: إطار عمل DIG

يقترح المؤلفون إطار عمل DIG (Divide, then Ground)، وهو إطار عمل لا يتطلب تدريباً (training-free) لاختيار الإطارات، يقوم بتكييف استراتيجيته ديناميكياً بناءً على نوع الاستعلام.

الخطوة 1: تحديد نوع الاستعلام

• يقوم نموذج لغوي كبير (مثل Qwen3-Next-80B) بتصنيف الاستعلام المدخل كاستعلام شمولي (Global) أو موضعي (Localized) باستخدام مطالبة "سلسلة الأفكد" (Chain-of-Thought - CoT).
• منطق القرار:
  • إذا كان شمولياً (Global): يتم الانتقال مباشرة إلى أخذ العينات المنتظم (Uniform Sampling) عبر الفيديو بأكمله.
  • إذا كان موضعياً (Localized): يتم تفعيل خط العمل المتخصص متعدد المراحل.

الخطوة 2: خط العمل المتخصص للاستعلامات الموضعية

بالنسبة للاستعلامات الموضعية، يستخدم DIG عملية من ثلاث مراحل لاستخراج وتكرير المحتوى ذي الصلة:

1. اختيار الإطارات المتكيف مع المحتوى (CAFS):

   • بدلاً من أخذ العينات الثابت، يستخدم DIG ميزات DINOv2 لحساب التشابه الزوجي بين الإطارات.
   • يحدد "القمم" (peaks) في تسلسل مسافة الميزات (مما يشير إلى تغير المشاهد أو التحولات الدلالية).
   • يختار الإطارات التمثيلية (r-frames) كنقاط منتصف بين هذه القمم، مما يخلق مجموعة فرعية مدمجة ومتنوعة دلالياً من الفيديو.

2. تعيين المكافأة (التسجيل القائم على LMM):

   • تعتمد الطرق الموجودة غالباً على CLIPScore، الذي يعتمد على مطابقة الميزات السطحية. أما DIG فيستفيد من النموذج نفسه (LMM) لتسجيل (scoring) الإطارات التمثيلية (r-frames).
   • يقوم الـ LMM بتعيين مكافأة صلة (من 0 إلى 100) لكل إطار تمثيلي بناءً على:
     1. الفائدة المباشرة للإجابة على الاستعلام.
     2. ما إذا كان الإطار يشير إلى أن الإطارات المجاورة تحتوي على السياق الضروري.
   • هذا يستغل قدرة الـ LMM المتفوقة على الاستنتاج ومعرفة العالم مقارنة بالتشابه البسيط في التضمينات (embeddings).

3. تكرير الفيديو (Video Refinement):

   • الاختيار التكراري: عملية تكرارية لتحديد عتبة الاختيار تختار الإطارات التمثيلية التي تزيد مكافأتها عن المتوسط، مما يستبعد المرشحين منخفضي الصلة.
   • توسيع المقطع: لكل إطار تمثيلي مختار، تقوم الطريقة باستعادة مقطع الفيديو المحيط به (المحدد بطول نافذة $w_{len}$) لالتقاط التفاصيل الزمنية الدقيقة.
   • أخذ العينات النهائي: يتم أخذ عينات منتظمة من الفيديو المكرر (الذي يحتوي فقط على المقاطع ذات الصلة) لتوليد الإطارات النهائية المدخلة للـ LMM.

4. المساهمات الرئيسية

1. اكتشاف تصنيف الاستعلامات: تثبت الورقة أن فعالية اختيار الإطارات تعتمد على نوع الاستعلام (شمولي مقابل موضعي)، مما يتحدى الافتراض بأن البحث المعقد مطلوب عالمياً.
2. إطار عمل DIG: إطار عمل مبتكر لا يتطلب تدريباً يجمع بين أخذ العينات المنتظم الفعال للاستعلامات الشمولية وبين خط عمل متخصص متعدد المراحل للاستعلامات الموضعية.
3. النموذج اللغوي الكبير كنموذج مكافأة (LMM as Reward Model): يثبت أن استخدام الـ LMM نفسه لتسجيل الصلة يتفوق على المقاييس التقليدية مثل CLIPScore، مما يوفر إشارات أكثر ثراءً دلالياً.
4. القابلية للتوسع (Scalability): تظل الطريقة قوية وفعالة حتى عند رفع عدد الإطارات المدخلة إلى 256 إطاراً (وتم اختبارها حتى 768 في الملاحق)، وهو نطاق تعاني فيه النماذج المرجعية الأخرى من تراجع الأداء.

5. النتائج التجريبية

تم تقييم الطريقة على ثلاثة اختبارات معيارية رئيسية: MLVU، وLongVideoBench، وVideoMME، باستخدام نماذج LMM متنوعة (Qwen2.5-VL-7B/32B، InternVL3، LLaVA-OneVision).

• مكاسب الأداء: يتفوق DIG باستمرار على أخذ العينات المنتظم والأساليب المرجعية الحديثة (AKS، Q-Frame).
  • في اختبار MLVU مع 32 إطاراً، حسن DIG دقة Qwen2.5-VL-7B بنسبة 7.68% مقارلة بأخذ العينات المنتظم.
  • يحافظ على مكاسب الأداء حتى عند عدد إطارات مرتفع (مثلاً 256 إطاراً)، بينما تعاني النماذج المرجعية مثل AKS وQ-Frame غالباً من تدهور الأداء بسبب الضجيج أو القيود الحوسبية.
• تحليل خاص بالاستعلامات:
  • الاستعلامات الشمولية: يؤدي DIG أداءً مقارباً لأخذ العينات المنتظم، مما يثبت كفاءة تخطي عمليات الاختيار المعقدة في هذه الحالات.
  • الاستعلامات الموضعية: يتفوق DIG بشكل كبير على أخذ العينات المنتظم، مما يثبت ضرورة خط العمل المتخصص.
• الكفاءة:
  • من خلال تجاوز عمليات البحث المعقدة للاستعلامات الشمولية، يقلل DIG من الأعباء الحوسبية بشكل كبير مقارنة بتطبيق آليات اختيار ثقيلة بشكل شامل.
  • يحقق توازناً أفضل بين الدقة وعدد العمليات الحسابية (FLOPs)، متجاوزاً سقف أداء أخذ العينات المنتظم عند الميزانيات الحوسبية الأعلى.

6. الأهمية

• تحول في النموذج (Paradigm Shift): ينتقل من مبدأ "الحجم الواحد يناسب الجميع" في اختيار الإطارات إلى استراتيجيات تكيفية بناءً على قصد الاستعلام.
• العملية (Practicality): كحل لا يتطلب تدريباً، يمكن نشر DIG فوراً مع نماذج LMM الحالية دون الحاجة لضبط دقيق (fine-tuning)، مما يجعله سهل الوصول للغاية.
• القابلية للتوسع: يعالج DIG العقبة الحرجة المتمثلة في معالجة الفيديوهات الطويلة من خلال إثبات أن أخذ العينات الذكي المعتمد على الاستعلام يسمح للنماذج بالتعامل مع المدخلات الكثيفة (256+ إطاراً) بفعالية، مما يفتح المجال لقدرات استنتاج أفضل للمحتوى طويل المدى.
• الكفاءة: يحسن تخصيص الموارد عبر دفع "ضريبة الحوسبة" لعمليات البحث المعقدة فقط عندما تكون ضرورية حقاً (أي للاستعلامات الموضعية).