ملخص تقني: LongVT

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (LMMs) إمكانات واعدة في استنتاج الفيديو باستخدام سلسلة الأفكال النصية (CoT). ومع ذلك، لا تزال هذه النماذج عرضة للهلوسة، لا سيالما عند معالجة مقاطع الفيديو الطويلة (أكثر من 15 دقيقة) حيث تكون الأدلة شحيحة وموزعة زمنياً. تعتمد النهج الحالية، التي غالباً ما ترتكز على نماذج نمط R1 (الضبط الدقيق الخاضع للإشراف متبوعاً بتحسين السياسة النسبي الجماعي)، بشكل أساسي على اللغة؛ فهي تفشل في التقاط الأدلة البصرية الرئيسية بشكل تكيفي، وغالباً ما تخفق في رصد اللحظات الدقيقة أو الحاسمة الضرورية للاستنتاج. علاوة على ذلك، تعاني الاختبارات المرجعية الحالية من تلوث البيانات وتحيز الخيارات، مما يجعلها غير قادرة على اختبار قدرات "قطعة الفيديو في كومة القش" (Video Segment-in-a-Haystack) بصرامة، حيث تكمن الإجابة ضمن نافذة زمنية ضيقة ومحددة داخل ساعات من لقطات الفيديو.

المنهجية

يقدم البحث إطار عمل LongVT، وهو إطار عمل وكيل (agentic) متكامل يهدف إلى تمكين "التفكير باستخدام الفيديوهات الطويلة" عبر سلسلة الأفكار والأدوات متعددة الوسائط المتداخلة (iMCoTT).

الآلية الجوهرية: iMCoTT

مستوحى من عادات المشاهدة البشرية (المسح الشامل يليه الفحص التفصيلي)، يسمح LongVT للنماذج اللغوية الكبيرة متعددة الوسائط بالتداخل طبيعياً بين الاستنتاج والاسترجاع الزمني عند الطلب. بدلاً من مجرد إعادة صياغة النص، يقوم النموذج بما يلي:

1. المسح الشامل (Global Skim): إجراء معاينة أولية للفيديو لصياغة فرضية حول النوافذ الزمنية ذات الصلة.
2. استدعاء الأداة (Tool Invocation): استدعاء أداة أصلية crop_video(start_time, end_time) لإعادة أخذ عينات من إطارات أكثر دقة من الجزء المفترض.
3. التحقق والتصحيح الذاتي (Verification & Self-Correction): تحليل المقطع المسترجع. إذا كانت الأدلة غير كافية أو كان التحديد الزمني غير صحيح، ينخرط النموذج في التأمل الذاتي، ويقوم بتنقيح النافذة الزمنية، ثم يستدعي الأداة مرة أخرى. تستمر هذه الحلقة حتى تصبح الإجابة مستندة إلى دليل بصري مسترجع.

مجموعة البيانات: VideoSIAH

لمعالجة ندرة بيانات الأسئلة والأجوبة دقيقة التفاصيل للاستنتاج في الفيديوهات الطويلة، قام المؤلفون بتنسيق VideoSIAH، وهي مجموعة بيانات واسعة النطاق تتكون من:

• بيانات التدريب: 247.9 ألف عينة للضبط الدقيق الخاضع للإشراف (SFT) للبداية الباردة (بما في ذلك مسارات معززة بالأدوات)، و1.6 ألف عينة للتعلم المعزز الوكيل (RL)، و15.4 ألف عينة للضبط الدقيق المعزز بالتعلم المعزز الوكيل (RFT).
• الاختبار المرجعي (VideoSIAH-Eval): 652 زوجاً من الأسئلة والأجوبة المفتوحة المنسقة بعناية مع التحقق البشري، المصممة خصيصاً لاختبار الاستنتاج في البيئات شحيحة الأدلة في فيديوهات يبلغ متوسط طولها حوالي 1,688 ثانية.

استراتيجية التدريب ثلاثية المراحل

1. الضبط الدقيق (SFT) للبداية الباردة: تعليم النموذج الأساسي (Qwen2.5-VL-7B) كيفية اقتراح النوافذ الزمنية، واستدعاء أداة القص، وتكوين الأدلة متعددة الوسائط. هذه المرحلة حاسمة لمنع انهيار التعلم المعزز بسبب عدم قدرة النموذج الأولية على تحديد النوافذ أو دمج مخرجات الأدوات.
2. التعلم المعزز الوكيل (Agentic RL): تحسين النموذج باستخدام مكافأة مشتركة للإجابة والتحديد الزمني. على عكس الأعمال السابقة التي تكافئ صحة الإجابة أو التوافق الزمني بشكل منفصل، تربط دالة المكافأة هذه بين الاثنين، مما يشجع صراحةً على عمليات الاستكشاف التي تحسن التحديد الزمني مع الحفاظ على صحة الإجابة.
3. الضبط الدقيق المعزز بالتعلم المعزز الوكيل (Agentic RFT): تقطير المسارات عالية الجودة من مرحلة التعلم المعزز (RL) وإعادتها إلى بيانات خاضعة للإشراف. يعمل هذا على تثبيت السلوكيات الوكيلية المتعلمة خلال مرحلة RL ودمج التحديد الزمني دقيق التفاصيل والاستنتاج متعدد الخطوات.

المساهمات الرئيسية

1. نموذج وكيل متكامل (End-to-End Agentic Paradigm): يعد LongVT أول إطار عمل يدمج بشكل طبيعي سلسلة الأفكار (CoT) المدعومة بالأدوات متعددة الوسائط مع فحص المقاطع عند الطلب لفيديوهات تمتد لساعات، مما يمكن النماذج من إجراء استنتاج نشط باحث عن الأدلة بدلاً من الاستهلاك السلبي للإطارات.
2. مجموعة بيانات واختبار مرجعي (VideoSIAH): بناء خط إنتاج بيانات قابل للتوسع ينتج مسارات استنتاج متنوعة وعالية الجودة مدمجة مع الأدوات، بالإضافة إلى اختبار مرجعي مخصص يقلل من تلوث البيانات وتحيز الخيارات الموجود في الاختبارات المرجعية الحالية.
3. التحقق من استراتيجية التدريب: يثبت البحث بشكل منهجي أن خط الإنتاج ثلاثي المراحل (SFT + RL + RFT) مع دالة مكافأة مشتركة يحقق مكاسب ثابتة مقارنة بـ SFT أو RL وحده، مما يضع معياراً جديداً للأداء العالي في استنتاج الفيديو الطويل.

النتائج التجريبية

تم التقييم على أربعة اختبارات مرجعية (VideoMME, VideoMMMU, LVBench, و VideoSIAH-Eval) تحت نظامي أخذ العينات المتفرق (64 إطاراً) والكثيف (512/768 إطاراً):

• الأداء: يحقق LongVT-7B-RFT أداءً رائداً (SOTA) بين النماذج اللغوية الكبيرة مفتوحة المصدر الموجهة للفيديو. وفي الاختبار الصعب VideoSIAH-Eval، حقق درجة 42.0، متفوقاً على ثاني أفضل نموذج مفتوح المصدر بفارق 6 نقاط.
• تقليص الفجوة: قلص أفضل نسخة من LongVT الفجوة مع النماذج المملوكة (مثل GPT-4o) لتصبح في حدود 4 نقاط في المتوسط.
• الكفاءة: رغم التفاعلات متعددة الخطوات مع الأدوات، لا يتسبب LongVT في تأخير إضافي في الاستنتاج مقارنة بالنماذج ذات الخطوة الواحدة؛ بل إنه في بعض الحالات يكون أسرع عبر تجنب التوليد المطول الناتج عن الهلوسة.
• الدراسات الاستقصائية (Ablation Studies): تؤكد النتائج أن بيانات iMCoTT التي تم تنسيقها ذاتياً ضرورية لـ SFT، وأن دالة المكافأة المشتركة تتفوق على المكافآت المنفصلة، وأن خط الإنتاج الكامل ثلاثي المراحل ضروري للأداء الأمثل.

الأهمية والادعاءات

يدعي البحث أن LongVT نجح في تحويل فهم الفيديو الطويل من مهمة سلبية إلى عملية نشطة باحثة عن الأدلة. ومن خلال ربط كل خطوة استنتاج بالأدلة البصرية المسترجعة عبر استدعاء الأدوات الأصيلة، يقلل الإطار بشكل كبير من الهلوسة ويعزز التحديد الزمني. ويرى المؤلفون أن نموذج "التفكير باستخدام الفيديوهات الطويلة"، الذي يحاكي الاستراتيجيات المعرفية البشرية، هو تطور ضروري لاستنتاج موثوق للفيديوهات الطويلة. يثبت العمل أن النماذج مفتوحة المصدر يمكنها تحقيق قدرات استنتاج قوية ومتوافقة مع البشر من خلال تدريب مهيكل مدعوم بالأدوات وبيانات عالية الجودة ودقيقة التفاصيل، دون الاعتماد على مسترجعات خارجية أو نماذج خبيرة مساعدة.