ملخص تقني: تعلم الحساسية الزمكانية في نماذج الفيديو اللغوية الكبيرة عبر التعلم المعزز بالواقع المضاد

1. بيان المشكلة

حققت نماذج الفيديو اللغوية الكبيرة (Video LLMs) أداءً قويًا في المعايك القياسية، ومع ذلك تشير الدراسات الحديثة إلى أن الدقة العالية غالبًا ما تنبع من "طرق مختصرة" (shortcuts) بدلاً من الفهم الزمكاني الحقيقي. تعتمد النماذج بشكل متكرر على إشارات ثابتة (مثل ميزات الإطار الواحد) أو أولويات لغوية للإجابة على الأسئلة، مما يؤدي إلى الفشل في تتبع كيفية تطور الأحداث بمرور الوقت. تتفاقم هذه المشكلة أثناء مرحلة ما بعد التدريب باستخدام التعزيز التعلمي (RL). فأساليب التعزيز القياسية، مثل GRPO، تستخدم عادةً مكافآت تعتمد على الصحة فقط. إذا تمكن النموذج من الإجابة بشكل صحيح باستخدام طريق مختصر ثابت، فإنه يتلقى مكافأة عالية دون أن يتعلم أبدًا معالجة محتوى الفيديو الديناميكي. وبناءً على ذلك، قد يعزز التعلم المعزز القائم على الصحة فقط هذه السياسات المختصرة، مما يحسن درجات المعايك القياسية بينما قد يضعف حساسية النموذج للأدلة الديناميكية.

المحاولات الحالية لمعالجة هذا الأمر، مثل استخدام فيديوهات مضطربة (مثل تبديل ترتيب الإطارات أو عكس الزمن) لتشكيل المكافآت، تعامل الفيديو المضطرب فقط كإشارة تشخيصية للفرع الأصلي. وهي لا تقوم بتدريب السياسة فعليًا على المدخلات المضادة للواقع نفسها، مما يحد من قدرتها على فرض استدلال زمكاني متسق.

2. المنهجية: تحسين السياسة العلاقاتية المضادة للواقع (CRPO)

يقترح المؤلفون تحسين السياسة العلاقاتية المضادة للواقع (CRPO)، وهو إطار عمل للتعلم المعزز ثنائي الفرع مصمم لتحسين الحساسية الزمكانية. الجوهر يكمن في أن النموذج يجب أن يستجيب بشكل يمكن التنبؤ به لعوالم بصرية مضادة للواقع ومتحكم بها: إذا تغير الدليل البصري بينما ظل السؤال ثابتًا، فيجب أن تتغير الإجابة للأسئلة الديناميكية (التكافؤ/equivariance) وتظل كما هي للأسئلة الثابتة (الثبات/invariance).

2.1 بنية الفرع المزدوج

يوسع CRPO إطار عمل GRPO القياسي من خلال الحفاظ على فرعين متوازيين لكل مطالبة تدريبية:

1. الفرع الأصلي: يعالج الفيديو الأصلي $X$ والسؤال $Q$.
2. الفرع المضاد للواقع: يعالج فيديو متحول $X_T$ ونفس السؤال $Q$.

يقوم موجه المهام (Task Router) (المُنفذ كنموذج استدلال نصي فقط) بتصنيف السؤال إلى واحد من أربعة أنواع — مكاني، زمني، زمكاني، أو ثابت — بناءً على اختبارات تحويل افتراضية (على سبيل المثال: "إذا قلبنا العالم أفقيًا، هل ستتغير الإجابة؟"). بناءً على هذا التصنيف، يتم تطبيق تحويل محدد $T$:

• المكاني/الزمني/الزمكاني: قلب أفقي أو عكس زمني.
• الثابت: يتم تطبيق تحويل، ولكن إشارة المكافأة تشجع على الثبات في الإجابة.

2.2 مكافأة العلاقة المضادة للواقع (CRR)

الابتكار الرئيسي هو مكافأة العلاقة المضادة للواقع (CRR)، التي تربط بين الفرعين. على عكس الطرق السابقة التي تستخدم الاضطرابات فقط لتشكيل المكافأة على الفرع الأصلي، يقوم CRPO بتحديث السياسة باستخدام التدرجات من كلا الفرعين.

تجمع دالة المكافأة بين:

• مكافأة الصحة ($R_{correct}$): مكافأة الدقة القياسية للفرع الأصلي.
• مكافأة السلوك ($R_{behave}$): تُطبق على الفرع المضاد للواقع. وهي تكافئ النموذج إذا تغيرت الإجابة للمهام الديناميكية ($o^T \neq o^*$) وظلت صحيحة للمهام الثابتة ($o^T = o^*$).
• الحد العلاقي عبر الفروع ($R_{CRR}$):
  • بالنسبة لـ الفرع الأصلي، تكافئ $R_{CRR}$ السياسة إذا أظهرت إجابات الفرع المضاد للواقع السلوك المتوقع (التغيير للمهام الديناميكية، والبقاء كما هو للمهام الثابتة)، بشرط أن تكون الإجابة الأصلية صحيحة.
  • بالنسبة لـ الفرع المضاد للواقع، تكافئ $R_{CRR}$ السياسة إذا كانت الإجابة في الفرع الأصلي صحيحة، بشرط أن يُظهر الإجابة في الفرع المضاد للواقع السلوك المتوقع.

هذا يخلق هيكل مكافأة متبادل متماثل. يتم تحقيق أعلى مكافأة فقط عندما يجيب النموذج بشكل صحيح على الفيديو الأصلي و يُظهر السلوك العلاقي الصحيح على الفيديو المضاد للواقع. وهذا يجعل من الصعب على سياسات الطرق المختصرة (التي ستعطي نفس الإجابة بغض النظر عن تحويل الفيديو) تحقيق أقصى قدر من المكافآت عبر كلا الفرعين باستمرار.

2.3 التحسين وخيار "لا شيء مما سبق" (Null Option)

يستخدم CRPO استراتيجية تطبيع هجينة للمزايا، حيث يحسب الانحراف المعياري بشكل مشترك عبر كلا الفرعين (قيم 2G) لضمان استقرار التدريب. وللتعامل مع الحالات التي لا تكون فيها الإجابة الصحيحة للفيديو المضاد للواقع موجودة في خيارات التعدد الأصلية (على سبيل المثال، الفيديو المعكوس قد يعني اتجاهًا مختلفًا)، يتم إلحاق خيار "لا شيء مما سبق" (Null Option). اختيار هذا الخيار للمهمة الديناميكية يُعد تغييرًا صالحًا للإجابة، مما يفعل مكافأة التكافؤ دون الحاجة إلى تسميات توضيحية صريحة مضادة للواقع.

3. المساهمات الرئيسية

1. إطار عمل CRPO: توسعة بسيطة للتعلم المعزز ثنائي الفرع تستخدم مكافآت العلاقة المضادة للواقع لفرض الحساسية الزمكانية. تقوم بالتدريب على كل من الفرعين الأصلي والمضاد للواقع، مما يمنع الاعتماد على الطرق المختصرة دون الحاجة إلى تسميات توضيحية زمكانية أو تسميات مضادة للواقع مكلفة.
2. DyBench: معيار جديد مضاد للواقع مكون من 3,014 فيديو (1,507 زوجًا) يغطي ثلاثة مهام فرعية: الديناميكيات القابلة للعكس (مثل التفتح مقابل الإغلاق)، اتجاه الحركة، وتسلسل الأحداث.
3. مقياس تقييم صارم: تقديم دقة الزوج (P-Acc)، والتي تعتبر الزوج صحيحًا فقط إذا تمت الإجابة على كل من الفيديوهين الأصلي والمضاد للواقع بشكل صحيح. يمنع هذا المقياس النماذج من تضخيم درجاتها باستخدام طرق الإجابات الثابتة.

4. النتائج التجريبية

أُجريت التجارب على هياكل Qwen3-VL-4B و Qwen3-VL-8B، مع مقارنة CRPO بكل من GRPO و T-GRPO و ArrowRL.

• الحساسية الزمكانية: يتفوق CRPO بشكل كبير على جميع النماذج المرجعية في المعايك الحساسة للزمان والمكان. على نموذج Qwen3-VL-8B، يحسن CRPO دقة الزوج (P-Acc) في DyBench بمقدار +7.7 و الدقة النوعية (I-Acc) في TimeBlind بمقدار +8.2 عن النموذج الأساسي. وتكون المكاسب في المقاييس المزدوجة (P-Acc) أكبر بشكل غير متناسب من الدقة القياسية، مما يشير إلى تقليل حقيقي في الاعتماد على الطرق المختصرة.
• الأداء العام: يحافظ CRRO على أداء تنافسي في معايك فهم الفيديو العامة (VideoMME, MVBench)، مما يثبت أن فرض الحساسية الزمكانية لا يضعف القدرات العامة.
• دراسات الاستئصال (Ablation Studies):
  • إزالة مكافأة $R_{CRR}$ عبر الفروع أو إزالة الفرع المضاد للواقع نفسه يؤدي إلى انخفاض كبير في P-Acc، مما يؤكد أن الإشارة العلاقية والتحسين ثنائي الفرع ضروريان.
  • لا يمكن عزو مكاسب CRPO ببساطة إلى زيادة البيانات أو الحوسبة (مضاعفة عمليات Rollout)، حيث فشلت الضوابط ذات البيانات/العمليات المضاعفة في مضاهاة أداء CRPO في مقاييس الزوج.
• ديناميكيات التدريب: يُظهر CRPO تقاربًا أبطأ في البداية في مكافآت الصحة مقارنة بالنماذج المرجعية، مما يشير إلى أنه يثبط تعلم الطرق المختصرة المبكرة. ومع ذلك، فإنه يتقارب نحو دقة نهائية مماثلة مع الحفاظ على نسبة أقل من مجموعات الميزة الصفرية، مما يشير إلى إشارات تعلم أغنى.

5. الأهمية والادعاءات

يدعي البحث أن CRPO يوفر إشارة تدريب مباشرة للحساسية الزمكانية يصعب على الطرق المختصرة الثابتة تلبيتها. من خلال مكافأة العلاقة بين إجابات الفيديوهات الواقعية والمضادة للواقع صراحةً، يجبر CRPO النموذج على ربط استدلاله بالمحتوى الديناميكي للفيديو بدلاً من الأولويات الثاتبة.

يضع المؤلفون DyBench ومقياس Pair Accuracy كأداة تشخيصية ضرورية للتمييز بين الفهم الزمكاني الحقيقي والنجاح القائم على الطرق المختصرة. ويخلصون إلى أنه بينما يحسن CRPO الأداء في المهام الديناميكية، فإنه يفعل ذلك دون التضحية بفهم الفيديو العام، مما يقدم خطوة نحو نماذج فيديو لغوية أكثر حساسية لكيفية تغير الحالات البصرية بمرور الوقت. يقر العمل بالقيود، مثل الاقتصار على التحويلات الهندسية/الزمنية البسيطة والتركيز على الفيديوهات القصيرة، تاركًا التناقضات الدلالية الأكثر تعقيدًا للأبحاث المستقبلية.