ملخص تقني: سلسلة اللمحات (Chain-of-Glimpse) لفهم الفيديو

بيان المشكلة

يتطلب فهم الفيديو من النماذج تحديد الأجسام المرئية ذات الدلالة الدلالية والاستدلال عليها عبر الزمن. ومع ذلك، تعاني الحلول الحالية التي لا تعتمد على الأجسام من صعوبة في التعامل مع التغيرات الكبيرة في الأجسام بمرور الوقت. تندرج معظم النهج المتطورة الحالية ضمن نموذجين يظهران قيوداً حرجة:

1. الأساليب القائمة على التعلم المعزز التقليدي (Vanilla RL): بينما تستخدم التعلم المعزز (RL) لتحسين القرارات، إلا أنها غالباً ما تعمل تحت نظام إدراك أحادي الخطوة حيث يتم الترميز البصري لمرة واحدة. وهذا يفتقر إلى التفاعل الديناميكي متعدد الخطوات مع الأدلة المرئية.
2. الأساليب القائمة على سلسلة الأفكار (CoT): تتبنى هذه الأساليب الاستدلال خطوة بخطوة، لكنها تظل متمحورة حول اللغة بشكل أساسي. فهي تعتمد على أطر استدلال ثابتة وتفتقر إلى التجذر الصريح في الأدلة المرئية دقيقة التفاصيل أثناء عملية الاستدلال.

وبناءً على ذلك، تميل كلتا المنهجيتين إلى الاعتماد على الإشارات السطحية والبارزة بصرياً (المدفوعة بالبروز/Saliency) بدلاً من إرساء التنبؤات على أدلة مرئية دقيقة ولكنها حاسمة. يؤدي هذا إلى استدلال غير متسق، واستنتاجات متحيزة، وفشل في التقاط التبعيات الزمنية والمستويات الموضوعية المعقدة.

المنهجية: سلسلة اللمحات (Chain-of-Glimpse)

لمعالجة هذه القيود، يقترح المؤلفون "سلسلة اللمحات" (Chain-of-Glimpse)، وهو إطار عمل للبحث الموجه والتقدمي القائم على تجذير الأجسام. الفلسفة الجوهرية هي تمكين النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) من "التفكير بالفيديوهات" من خلال البحث النشط عن الأدلة المرقية والتحقق منها عبر الإطارات. يتكون الإطار من مكونين مترابطين بشكل وثيق:

1. صياغة استدلال الفيديو القائم على تجذير الأجسام (OGVRF)

يقوم هذا المكون بنمذجة استدلال الفيديو كعملية متعددة الخطوات على تمثيلات مستوى الأجسام بدلاً من مجرد رسم خرائط أحادي الخطوة.

• تعريف الحالة: تلخص حالة الاستدلال $h^{(k)}$ في الخطوة $k$ الأدلة المختارة سابقاً والسياق متعدد الوسائط.
• فضاء الإجراءات: تُعرف الإجراءات بأنها اختيار نماذج أجسام محددة $(t_k, m_k)$ من الأجسام المكتشفة في الإطار $t_k$.
• آلية البحث: بدلاً من الالتزام بمسار تلقائي واحد، يستخدم النموذج البحث في شجرة مونت كارلو (MCTS) لاستكشاف مسارات استدلال متعددة قائمة على تجذير الأجسام. يسمح هذا للنموذج بالموازنة بين الاستكشاف والاستغلال، مما يخفف من الالتزام المبكر بالأدلة البارزة بصرياً ولكنها غير ذات صلة بالمهمة.
• القيود الزمنية: يضمن القيد الرتيب ($t_{k+1} \ge t_k$) تقدم الاستدلال للأمام في الزمن، رغم أن شجرة البحث تسمح بإعادة زيارة الأجسام المجذرة سابقاً عبر مسارات بديلة.
• التهيئة الخاضعة للإشراف: يتم نقل المسارات عالية الجودة التي حددها MCTS إلى النموذج عبر الضبط الدقيق الخاضع للإشراف (SFT) لإنشاء سياسة مرجعية ($\pi_{ref}$).

2. تعلم سياسة القرار متعدد الدورات (MTDP)

يعمل هذا المكون على تحسين سياسة الاستدلال تحت مكافآت مستويات المهام الشحيحة لضمان استقرار الاستدلال متعدد الخطوات.

• الخوارزمية: يستخدم المؤلفون تحسين السياسة النسبي للمجموعات (GRPO). لكل عينة تدريب، يتم أخذ مجموعة من مسارات الاستدلال القائمة على تجذير الأجسام.
• تصميم المكافأة: تُستخدم دالة مكافأة مركبة لمواءمة اختيار الأدلة مع صحة المهمة بدلاً من البروز البصري:
  $$R = R_{ans} + \alpha \cdot \frac{1}{K} \sum R_{evid}$$
  حيث أن $R_{ans}$ هي مكافأة صحة الإجابة، و $R_{evid}$ هي مكافأة جودة دليل مستوى الأجسام، و $\alpha$ توازن بينهما. هذا يحفز النموذج على كبح الإشارات البارزة ولكن غير ذات الصلة والتركيز على الأدلة ذات الصلة بالمهمة.
• التحسين: يتم تحديث السياسة باستخدام هدف مرجح بالأهمية مقصوص (Clipped) مع تنظيم KL مقابل السياسة المرجعية، مما يشجع النموذج على استكشاف المسارات عالية المكافأة مع الحفاظ على الاستقرار.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

1. صياغة استدلال الفيديو القائم على تجذير الأجسام (OGVRF): إطار عمل مبدئي ينمذج استدلال الفيديو كعملية متعددة الخطوات عبر تمثيلات مستوى الأجسام. إنه يرسخ صراحةً الأدلة المرئية ذات الصلة بالمهمة عبر الإطارات، مما يخفف من الاعتماد المفرط على الإشارات المدفوعة بالبروز.
2. سياسة القرار متعدد الدورات (MTDP): آلية تعلم تصيغ الاستدلال متعدد الخطوات كمسألة تحسين مسار عشوائي. من خلال تحسين السياسة مع مكافآات واعية بالتجذير، تمكن النماذج اللغوية الكبيرة متعددة الوسائط من استكشاف وتوحيد مسارات الاستدلال عالية المكافأة بشكل متكرر، مما يدعم قرارات قابلة للتفسير والتصحيح الذاتي.
3. التحقق التجريبي الواسع: أظهرت التقييمات الشاملة عبر معايير استدلال الفيديو العامة (NExTQA, Video-Holmes, CG-Bench-Reasoning, VRBench) والمجذرة (NExT-GQA) مكاسب أداء متسقة وتعماً قوياً.

النتائج التجريبية

قيم المؤلفون "سلسلة اللمحات" باستخدام نماذج خلفية Qwen2.5-VL (بمعلمات 3 مليار و7 مليار) مقابل مختلف النماذج المرجعية، بما في ذلك النماذج المملوكة (GPT-4o, OpenAI o4-mini) والنماذج مفتوحة المصدر متعددة الوسائط.

• استدلال الفيديو العام (NExTQA): حققت Chain-of-Glimpse-7B دقة بلغت 83.3%، متفوقة على النموذج المرجعي Qwen2.5-VL-7B (79.7%) والأنظمة المملوكة مثل VideoAgent (71.3%) و LLoVi (66.3%). كانت التحسينات ملحوظة بشكل خاص في فئات الاستدلال السببي (83.7% مقابل 79.8%) والزمني (80.4% مقابل 77.6%).
• معايير الاستدلال المعقدة: في Video-Holmes و CG-Bench-Reasoning و VRBench، أظهرت الطريقة تحسينات متسقة. على سبيل المثال، في Video-Holmes، وصلت Chain-of-Glimpse-7B إلى متوسط دقة 42.5%، متجاوزة النموذج المرجعي Qwen2.5-VL-7B (38.8%) ومقتربة من GPT-4o (42.0%)، ومتفوقة عليه في فئات محددة مثل تسلسل النية والدوافع (IMC) والاستدلال السببي الزمني (TCI).
• دراسات الاستئصال (Ablation Studies):
  • المكونات: أدى حذف MCTS أو SFT أو GRPO بشكل فردي إلى انخفاض في الأداء، مما يؤكد ضرورة المسار الكامل.
  • عمق البحث: أدت عمليات Rollouts متوسطة لـ MCTS (مثل 8) إلى تحسين الأداء دون زيادة كبيرة في التكلفة الحسابية. أدت زيادة الـ Rollouts عن 8 إلى عوائد متناقصة أو زيادة في زمن التأخير.
  • تصميم المكافأة: حققت المكافأة المتوازنة ($\alpha=0.5$) بين صحة الإجابة وجودة الدليل أفضل النتائج؛ حيث أدى التركيز المفرط على الأدلة الوسيطة إلى تدهور الدقة النهائية.
  • طول الفيديو: حسنت الطريقة بشكل كبير الأداء في الفيديوهات الطويلة (≥1,000 إطار)، مما قلل الفجوة في الأداء بين الفيديوهات القصيرة والطويلة التي لوحظت في النماذج المرجعية.

الأهمية والادعاءات

تدعي الورقة أن "سلسلة اللمحات" نجحت في سد الفجوة بين الإدراك البصري منخفض المستوى والاستدلال المنطقي عالي المستوى في فهم الفيديو. من خلال تجذير كل خطوة استدلال صراحةً في مناطق أدلة مرئية محددة، يتيح الإطار اتخاذ قرارات تركيبية ومتعددة الخطوات تتسم بالدقة والقابلية للتفسير.

يؤكد المؤلفون أن نهجهم يتجاوز الإدراك السلبي إلى الاستدلال النشط، محاكياً الإدراك البشري القائم على تجذير الأجسام. تشير النتائج إلى أن نمذجة القرار التدريجي القائمة على تجذير الأجسام تحسن بشكل كبير من القدرة على التعميم خارج النطاق والمتانة عبر مهام استدلال الفيديو المتنوعة، مما يوفر مساراً قابلاً للتطبيق نحو أنظمة ذكاء اصطنا متعددة الوسائط أكثر موثوقية دون الاعتماد فقط على النماذج الضخمة المملوكة.