ملخص تقني: REVISOR

بيان المشكلة

تعتمد آليات التأمل الذاتي الحالية في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل أساساز على عمليات إعادة التفكير النصية البحتة. وبينما تعد هذه الاستراتيجيات النصية فقط فعالة لفهم الصور الثابتة والمهام متعددة الوسائط العامة، إلا أن استراتيجيات التأمل المقتصرة على النصوص تظهر قيوداً كبيرة عند تطبيقها على فهم الفيديو طويل المدى. وقد حدد المؤلفون سببين جوهريين لهذا التدهور في الأداء:

1. عدم كفاية إعادة التفكير النصي فقط: تحتوي الفيديوهات طويلة المدى على مدخلات بصرية أكثر ثراءً وديناميكية من الصور الثابتة. لذا، فإن إعادة التفكير في مسار الاستدلال النصي فقط غير كافٍ لتصحيح الأخطاء دون إعادة تقييم المعلومات البصرية بشكل صريح.
2. الافتقار إلى التفاعل عبر الوسائط: يفتقر التأمل القائم على النصوص البحتة إلى القدرة على التفاعل مع الوسائط البصرية أثناء مرحلة التأمل، مما يمنع النموذج من دمج الإشارات البصرية لصقل استدلاله.

وتُظهر الأدلة التجريبية الواردة في الورقة البحثية أن تطبيق طرق التأمل القياسية القائمة على النصوص (مثل VL-Rethinker) على مهام الفيديو طويلة المدى غالباً ما يؤدي إلى تدهور الأداء بدلاً من تحسينه.

المنهجية

تقترح الورقة البحثية REVISOR (REflective VIsual Segment Oriented Reasoning)، وهو إطار عمل جديد للاستدلال متعدد الوسائط مدعوم بالأدوات ومكون من مرحلتين، مصمم لتعزيز فهم الفيديو طويل المدى دون الحاجة إلى ضبط دقيق إضافي تحت إشراف (SFT) أو نماذج خارجية.

1. التأمل متعدد الوسائط المدعوم بالأدوات

يعمل REVISOR من خلال عملية تعاونية بين نموذج MLLM وصندوق أدوات بصري:

• المرحلة الأولى: الاستدلال الأولي واقتراح المراجعة البصرية: يقوم الـ MLLM بخطوة استدلال أولية على إطارات فيديو مأخوذة بنسب عينات متفرقة. ومن الأهمية بمكان أنه بالإضافة إلى توليد مسار استدلال، يتم توجيه النموذج لتحديد وإخراج مقطع زمني محدد ($S$) يكون الأكثر صلة أو عدم يقين فيما يتعلق بالاستنتاج.
• استدعاء الأداة: عند تحديد المقطع $S$، يستدعي إطار العمل صندوق أدوات بصري (Visual Toolbox) لإجراء إعادة أخذ عينات عالية الكثافة للإطارات داخل ذلك النافذة الزمنية المحددة. يوفر هذا دليلاً بصرياً دقيق التفاصيل ($F_{review}$) دون الحاجة لمعالجة الفيديو بأكل بدقة عالية.
• المرحلة الثانية: الاستدلال التأملي وصقل الإجابة: يتم استدعاء الـ MLLM مجدداً مع السؤال الأصلي، ومسار الاستدلال الأولي، والدليل البصري الجديد عالي الكثافة. يقوم النموذج بدمج هذه المعلومات لتنقيح استدلاله بشكل تكراري، والتحقق من الفرضيات، وتوليد إجابة نهائية أكثر دقة.

2. مكافأة التخصيص المزدوجة المنفصلة (DADR)

لتدريب REVISOR بفعالية باستخدام التعلم التعزيزي (تحديداً خوارزمية GRPO)، قدم المؤلفون آلية مكافأة التخصيص المزدوجة المنفصلة (Dual Attribution Decoupled Reward - DADR). تفشل استراتيجيات التعلم التعزيزي القياسية التي تعتمد فقط على التحقق من الإجابة النهائية في تعليم النموذج كيفية اختيار مقاطع الفيديو الصحيحة للمراجعة. تعالج DADR ذلك من خلال تفكيك إشارة المكافأة إلى مكونين:

• مكافأة التحقق من الإجابة النهائية ($R_{final}$): تتحقق من صحة الإجابة النهائية المنقحة مقابل الحقيقة الأرضية (ground truth).
• مكافأة كفاية المقطع السببي ($R_{causal}$): هذا المكون المبتكر يفرض توافقاً سببياً بين استدلال النموذج والدليل البصري المختار. فهي توفر مكافأة إيجابية فقط إذا تمكن النموذج من استخلاص الإجابة الصحيحة حصرياً من العينات البصرية عالية الكثافة للمقطع المقترح $S$.

إجمالي المكافأة هو مجموع مرجح: $R(\tau) = \lambda_1 R_{final} + \lambda_2 R_{causal}$. تشجع هذه الآلية صراحةً النموذج على التركيز على الإشارات البصرية المعلوماتية وتثبط الاعتماد على المحتوى غير ذي الصلة أو الارتباطات الزائفة.

المساهمات الرئيسية

1. تشخيص قيود التأمل النصي: تشخص الورقة السبب الجذري لضعف أداء التأمل الذاتي التقليدي القائم على النصوص في فهم الفيديو طويل المدى، وتُعزي ذلك إلى عدم القدرة على إعادة تقييم المدخلات البصرية الديناميكية.
2. إطار عمل REVISOR: اقتراح إطار عمل استدلال مكون من مرحلتين يحول التأمل النصي إلى عملية متعددة الوسائط مدعومة بالأدوات، مما يمكّن نماذج MLLM من بناء تأمل استبطاني تعاوني عبر الوسائط النصية والبصرية.
3. آلية DADR: دمج مكافأة التخصيص المزدوجة المنفصلة في استراتيجية تدريب GRPO، مما يمكن نماذج MLLM من تعلم كيفية مراجعة مقاطع الفيديو ذات الصلة بالسؤال بدقة أثناء عملية التعلم التعزيزي.

النتائج التجريبية

قيم المؤلفون REVISOR على أربعة معايير رئيسية لفهم الفيديو طويل المدى: VideoMME، وLongVideoBench، وMLVU، وLVBench.

• مكاسب الأداء: باستخدام Qwen2.5-VL-7B كنموذج أساسي، حقق REVISOR تحسناً مستمراً في متوسط الدقة بنحو 2% عبر هذه المعايير دون SFT إضافي. والجدير بالذكر أنه حقق تحسناً بنسبة 2.8% في مجموعة الفيديوهات الطويلة من VideoMME وتحسناً بنسبة 2.5% في MLVU.
• المقارنة: تفوق REVISOR على كل من النموذج الأساسي وطرق التأمل النصي (بما في ذلك VL-Rethinker ونسخة من التأمل النصي المدرب على بيانات الفيديو). كما تفوق على مناهج الاستدلال النصية الحديثة مثل Video-R1.
• التوطين الزمني: في مهام التوطين الزمني للفيديو (Charades-STA و NExT-GQA)، حقق REVISOR نتائج هي الأفضل في فئته (state-of-the-art)، متفوقاً على الطرق السابقة القائمة على SFT وRL.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن آلية DADR حاسمة؛ حيث أدى إزالة مكافأة كفاية المقطع السببي إلى انخفاض الأداء إلى ما دون النموذج الأساسي. علاوة على ذلك، أظهر التحليل أنه مع تقدم التدريب، تعلم النموذج تقليل طول التأمل النصي مع زيادة دقة مقاطع الفيديو التي يراجعها، مما يؤكد الفرضية القائلة بأن إعادة الفحص البصري أكثر أهمية من إعادة التفكير النصي لمهام الفيديو.

الأهمية والادعاءات

تدعي الورقة أن REVISOR يمثل خطوة مهمة للأمام في الاستدلال متعدد الوسائط من خلال نقل النموذج من "التأمل النصي" إلى "الاستدلال الاستبطاني متعدد الوسائط". ويؤكد المؤلفون أنه بالنسبة لفهم الفيديو طويل المدى، فإن مراجعة وتنقيح المعلومات البصرية أكثر أهمية من إعادة التفكير في عملية الاستدلال النصي.

من خلال دمج آلية DADR، يُمكّن إطار العمل نماذج MLLM من تعلم الاستدعاء الدقيق والاستخدام الفعال للإشارات البصرية البارزة أثناء التعلم التعزيزي. يوضح العمل أن التأمل متعدد الوسائط المدعوم بالأدوات يمكن أن يعزز قدرات الاستدلال بشكل كبير في سيناريوهات الفيديو المعقدة وطويلة المدة دون الحاجة إلى نماذج خارجية أو ضبط دقيق واسع النطاق تحت الإشراف، مما يقدم حلاً قوياً للقيود التي تفرضها استراتيجيات التأمل الحالية المتمحورة حول النصوص.