STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

إليك ملخص تقني مفصل لورقة البحث STRIVE: الاستكشاف المكاني الزماني المهيكل للتعلم المعزز في الإجابة على الأسئلة المرئية (Video Question Answering).

1. بيان المشكلة

تعالج الورقة عقبة حرجة في تطبيق خوارزمية تحسين السياسة النسبي للمجموعة (GRPO) على النماذج اللغوية الكبيرة متعددة الوسائط (LMMs) في مهام الإجابة على الأسئلة المرئية (VQA).

• مشكلة انهيار الميزة (The Advantage Collapse Problem): تعمل خوارزمية GRPO القياسية على تحسين أداء النموذج من خلال أخذ عينات من استجابات نصية متعددة لمدخل ثابت، وحساب المزايا النسبية بناءً على تباين المكافأة داخل تلك المجموعة. ومع ذلك، في مهام الاستدلال بالفيديو، غالبًا ما تُظهر الاستجابات المولدة تباينًا منخفضًا (على سبيل المثال، جميعها صحيحة أو جميعها خاطئة). عندما يقترب تباين المكافأة من الصفر، فإن تقديرات الميزة إما تنفجر (بسبب القسمة على انحراف معياري قريب من الصفر) أو تنهار إلى الصفر، مما يؤدي إلى عدم استقرار التدريب أو توقفه.
• محدودية التنوع النصي فقط: تحاول الطرق الحالية حل ذلك عن طريق زيادة التنوع النصي أو تعديل تشكيل المكافأة. ومع ذلك، فهي تعامل مدخل الفيديو ككيان ثابت وثابت. هذا يتجاهل الطبيعة الجوهرية للفيديو، الذي يمتلك بنية مكانية زمانية غنية. من خلال تغيير النص فقط، لا يتعرض النموذج لأدلة بصرية متنوعة ضمن خطوة تحسين واحدة، مما يحد من قدرته على تعلم استدلال قوي مرتكز في البيانات البصرية.

2. المنهجية: إطار عمل STRIVE

يقترح STRIVE (SpatioTemporal Reinforcement with Importance-aware Variant Exploration) تحولًا في النموذج: نقل التنوع من فضاء المخرجات (النص) إلى فضاء المدخلات (الفيديو).

أ. نموذج التجميع المزدوج (Dual-Grouping Paradigm)

بدلاً من توليد $G$ من الاستجابات النصية لفيديو واحد، يقوم STRIVE بإنشاء مصفوفة استجابات $G \times M$:

1. بناء المتغيرات: بالنسبة لفيديو $v$ وسؤال $q$ معينين، يقوم النظام بتوليد $M$ من المتغيرات المكانية الزمانية المتميزة للفيديو ($\tilde{v}_1, \dots, \tilde{v}_M$).
2. التوليد المشترك: تولد سياسة النموذج $G$ من الاستجابات النصية لكل واحد من متغيرات الفيديو $M$.
3. التطبيع المشترك: يتم حساب الميزة على كامل مجموعة الاستجابات $G \times M$، بدلاً من مجرد $G$ من الاستجابات لفيديو واحد.
   • الصيغة: $A_{i,j} = \frac{r_{i,j} - \text{mean}(\{r_{i,j}\})}{\text{std}(\{r_{i,j}\})}$
   • الفائدة: يضمن هذا وجود تباين مكافأة إيجابي باستمرار ($\text{Var}(r) > 0$) حتى لو كانت الإجابات النصية موحدة، لأن المدخلات البصرية تختلف. يعمل هذا بمثابة منظم اتساق ضمني، مما يجبر النموذج على توليد إجابات تظل صحيحة عبر وجهات نظر بصرية متنوعة وصحيحة.

ب. بناء المتغيرات المدرك للأهمية (Importance-Aware Variant Construction)

لضمان أن تكون المتغيرات البصرية ذات معنى دلالي وليست مجرد ضوضاء عشوائية، يستخدم STRIVE استراتيجية أخذ عينات مدركة للأهمية ومدرجة بمقياس درجة الحرارة:

1. تسجيل الصلة: تقوم دالة تسجيل $S(v_f, q)$ بحساب درجة صلة لكل إطار $f$ بناءً على تشابه التضمين عبر الوسائط بين الإطار والسؤال.
2. أخذ العينات المجزأ: يتم تقسيم الفيديو إلى $K$ من الأجزاء الزمنية.
3. الاختيار الاحتمالي: بدلاً من اختيار الإطار الأعلى درجة بشكل حتمي (مما يقلل التنوع)، يقوم STRIVE بأخذ عينة من إطار ممثل من كل جزء باستخدام توزيع softmax مُدرج بواسطة درجة الحرارة $\tau$.
   • $\tau$ منخفضة: تستغل أكثر الإطارات صلة.
   • $\tau$ مرتفعة: تشجع على استكشاف زمني أوسع.
     هذا يوازن بين التركيز الدلالي (الانتباه إلى الأحداث الحرجة للسؤال) والتغطية الزمنية (منع الإفراط في التخصيص للحظات معزولة).

ج. استراتيجيات التحويل

تستكشف الورقة ثلاثة أنواع من التحويلات لإنشاء المتغيرات:

1. الزمني الحتمي: أخذ عينات بخطوات ثابتة مع إزاحات متدرجة.
2. العشوائي: قص زمني عشوائي مدمج مع تعزيزات مكانية (تغيير لون، تحويلات أفينية).
3. القائم على الأهمية: الطريقة المقترحة التي تستخدم درجات الصلة لتوجيه أخذ العينات.

3. المساهمات الرئيسية

1. الاستكشاف المكاني الزماني المهيكل: أول إطار عمل يدمج الاضطرابات في المدخلات البصرية مباشرة في حلقة تحسين التعلم المعزز القائمة على المجموعات لمهام VQA، مما يحل مشكلة "الميزة الصفرية" دون الاعتماد فقط على التنوع النصي.
2. تنظيم الاتساق الضمني: من خلال التطبيع عبر المتغيرات البصرية، يفرض STRIVE أن يكون استدلال النموذج قوياً تجاه التغيرات المكانية والزمانية، مما يمنع الاعتماد على الأولويات اللغوية الزائفة.
3. أخذ العينات المدرك للأهمية: آلية مبتكرة توجه الاستكشاف البصري نحو الإطارات ذات الصلة بالسؤال مع الحفاظ على العشوائية اللازمة لتقدير التدرج المستقر.
4. التوافق القابل للتركيب (Plug-and-Play): تم تصميم الإطار ليعمل مع خوارزميات تحسين السياسة الحالية (مثل GRPO و Dr.GRPO) كوحدة بناء للمتغيرات.

4. النتائج التجريبية

قيم المؤلفون STRIVE على ستة معايير تحدي: VideoMME، TempCompass، VideoMMMU، MMVU، VSI-Bench، و PerceptionTest.

• النماذج الأساسية: Qwen2.5-VL-7B و Qwen3-VL-8B.
• مكاسب الأداء:
  • Qwen2.5-VL-7B: حقق STRIVE متوسط درجة 59.8، متفوقاً على خط الأساس GRPO القياسي (59.0) والنموذج الذي خضع للضبط الدقيق تحت الإشراف (57.6).
  • Qwen3-VL-8B: حقق STRIVE 65.2، متفوقاً بشكل كبير على خط أساس GRPO (64.3)، والذي أظهر في الواقع انخفاضات في الأداء في معايير محددة مقارنة بالنموذج الأساسي.
• تحليل الاستقرار:
  • تباين المكافأة: حافظ STRIVE على انحراف معياري أعلى باستمرار للمكافأة طوال عملية التدريب مقارنة بـ GRPO، الذي شهد انهيار التباين مع تقدم التدريب.
  • خطوات الميزة الصفرية: قلل STRIVE بشكل كبير من نسبة خطوات التدريب ذات المزايا الصفرية (تجويع التدرج)، بينما واجه GRPO هذه المشكلة بشكل متكرر.
  • معيار التدرج (Gradient Norm): أنتج STRIVE مسارات تدرج أكثر سلاسة واستقراراً، متجنباً الارتفاعات الفوضوية التي شهدها GRPO القياسي.
• دراسات الاستئصال (Ablation Studies):
  • المعتمد على الأهمية مقابل العشوائي: تفوق التجميع المعتمد على الأهمية (باستخدام التشابه عبر الوسائط) على التجميع العشوائي البحت، مما يثبت أن الاستكشاف الموجه أفضل من العشوائية العمياء.
  • المقايضة بين M و G: حققت التشكيلة المتوازنة ($M=2$ متغيرات بصرية، $G=4$ استجابات نصية) أفضل النتائج. التشكيلات التي تحتوي على متغيرات بصرية كثيرة جداً ($M=4, G=2$) قللت من موثوقية خط الأساس للميزة، بينما التشكيلات القليلة جداً ($M=1$) فشلت في منع انهيار الميزة.

5. الأهمية

يمثل STRIVE تقدماً مبدئياً في التعلم المعزز متعدد الوسائط. فهو يثبت أنه بالنسبة للاستدلال بالفيديو، فإن التنوع البصري لا يقل أهمية عن التنوع النصي. من خلال إعادة هيكلة فضاء التحسين ليشمل المتغيرات المكانية والزمانية، يوفر STRIVE إشارة تعلم مستقرة حيث تفشل الطرق التقليدية. لا يحسن هذا النهج الأداء في مهام الاستدلال المعقدة فحسب، بل يقدم أيضاً آلية قابلة للتعميم لتثبيت تدريب التعلم المعزز في أي مجال يمكن فيه تغيير بنية المدخلات بشكل منهجي لإثراء إشارات المكافأة. تشير الورقة إلى أن محاذاة النماذج اللغوية الكبيرة متعددة الوسائط (LMM) يجب أن تستفيد صراحة من الخصائص الهيكلية لوسيط المدخلات (مثل الوقت في الفيديو، أو البنية ثلاثية الأبعاد في المشاهد) بدلاً من معاملة المدخلات كرموز (tokens) ثابتة.