Narrative Aligned Long Form Video Question Answering

إليك ملخص تقني مفصل لورقة البحث بعنوان "الإجابة على الأسئلة حول الفيديوهات الطويلة المتوافقة سردياً" (NA-VQA).

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تقدماً في فهم الفيديوهات طويلة المدى، إلا أن المعاي actually المرجعية والنماذج الحالية تعاني من قيود كبيرة:

• الافتقار إلى الاستدلال السردي: تعتمد معظم المعاي অনেক المرجعية على إشارات موضعية أو فيديوهات قصيرة (≤ ساعة واحدة)، وتفشل في اختبار القدرة على تتبع النوايا، وربط الأحداث المتباعدة، وإعادة بناء السلاسل السببية عبر فيلم كامل (2+ ساعة).
• الأنماط السطحية: تستخدم مجموعات البيانات الحالية غالباً تنسيقات الاختيار من متعدد، مما يسمح للنماذج باستغلال الأولويات الإجابية أو الأنماط السطحية دون فهم حقيقي.
• الانقطاع الزمني: تواجه النماذج المتطورة صعوبة في ربط الأحداث المتباعدة زمنياً (على سبيل المثال، الأحداث التي تفصلها ساعات من الفيديو)، وتفشل في إنشاء روابط سببية أو الحفاظ على التماسك السردي.
• ندرة البيانات: هناك نقص في المعايسات المرجعية ذات الأسئلة المفتوحة القائمة على أدلة موزعة زمنياً عبر أفلام كاملة الطول.

2. المنهجية

تقترح الورقة مكونين رئيسيين: مجموعة بيانات معيارية جديدة (NA-VQA) وإطار عمل مبتكر للاستدلال (Video-NaRA).

أ. مجموعة بيانات NA-VQA

• الحجم والنطاق: تضم 88 فيلماً كاملاً (من أنواع متنوعة) و 4,442 زوجاً من الأسئلة والأجوبة المفتوحة.
• تأسيس الأدلة: كل سؤال يستند إلى عدة نطاقات أدلة مصنفة حسب المسافة الزمنية: قصيرة (Short)، متوسطة (Medium)، وبعيدة (Far). وهذا يجبر النماذج على استرجاع المعلومات المشتتة عبر الجدول الزمني.
• تصنيف الاستدلال: تُصنف الأسئلة إلى 7 أنواع من الاستدلال:
  1. سببي (السبب والنتيجة)
  2. سردي (تطور الحبكة)
  3. متمحور حول الشخصية (الدوافع/السمات)
  4. موضوعي (الموضوعات الضمنية)
  5. قائم على الهدف (أهداف الشخصيات)
  6. اجتماعي (التفاعلات)
  7. افتراضي (السيناريوهات المقابلة للواقع)
• خط إنتاج البناء:
  1. استخراج الأحداث: استخدام النماذج اللغوية الكبيرة (Claude Sonnet 4) لاستخراج أحداث مهيكلة من أوصاف مستوى اللقطة (من فعل ماذا لمن/لماذا/أين).
  2. توليد الأسئلة والأجوبة: توليد أسئلة استدلال متعددة الخطوات بناءً على هذه الأحداث.
  3. التحقق والتحسين: يضمن خط إنتاج آلي (مدقق ومحسن الأسئلة والأجوبة) الاعتماد الصارم على الأدلة المرئية (إزالة أسماء الشخصيات أو المعرفات النصية) ويتحقق من الاكتمال، والحد الأدنى، والأمانة في الأدلة.

ب. إطار عمل Video-NaRA

لمعالجة قيود النماذج اللغبية الكبيرة متعددة الوسائط القياسية، يقترح المؤلفون Video-NaRA (الاستدلال السردي والمواءمة)، وهو بنية مدعومة بالذاكرة تحاكي البناء السردي البشري.

1. بناء الذاكرة السردية:
   • بدلاً من معالجة الإطارات بشكل موحد، يستخدم النموذج نموذجاً لغوياً كبيراً (Qwen2.5-VL) لتحليل المقاطع وتعيينها إلى فتحات سردية (narrative slots) بناءً على التماسك الزمني والتشابه الدلالي (الشخصيات المشتركة، الأهداف، والسياق).
   • يؤدي هذا إلى إنشاء بنك ذاكرة سردية (Narrative Memory Bank) ($M$) حيث يتم تجميع المقاطع في قصص متماسكة بدلاً من تسلسل مسطح.
2. استخراج الميزات المرئية:
   • لضمان الاستقرار، يتم استخراج الميزات المرئية على مستوى الإطار باستخدام مشفر مدرب مسبقاً (CLIP) وتجميعها لتكوين تضمينات المقاطع (clip embeddings).
3. وحدة الاسترجاع:
   • عند وجود استعلام، يحسب النظام درجات الصلة على مستويين:
     • مستوى المقطع: تشابه جيب التمام بين الاستعلام وتضمينات الإطارات.
     • المستوى السردي: تجميع درجات المقاطع داخل الفتحة السردية باستخدام متوسط مرجح مع تعظيم (max-boosted weighted mean).
   • تجمع درجة الصلة النهائية بين صلة المقطع وأهمية الفتحة السردية، مما يسمح للنموذج باسترجاع سلاسل أدلة متماسكة زمنياً بدلاً من إطارات معزولة.
4. الاستدلال:
   • يتم تمرير أفضل $k$ من المقاطع المسترجعة (السلاسل السردية) إلى مستدل مضبوط (fine-tuned reasoner) وهو (Qwen2.5-VL) لتوليد الإجابة النهائية باستخدام سلسلة الأفكار (CoT).

3. المساهمات الرئيسية

1. معيار NA-VQA: مجموعة بيانات شاملة تضم 88 فيلماً كاملاً مع 4.4 ألف زوج من الأسئلة والأجوبة المفتوحة، مصممة خصيصاً لاختبار التبعيات طويلة المدى والاستدلال السردي عبر 7 فئات متميزة.
2. بنية Video-NaRA: إطار عمل جديد قائم على الذاكرة يبني سلاسل أحداث سردية ويخزنها للاسترجاع، متجاوزاً المعالجة الموحدة للإطارات.
3. التقييم المكثف: تقييم صارم للنماذج اللغبية الكبيرة متعددة الوسائط المتطورة (سواء مفتوحة المصدر أو المملوكة لشركات) والتي كشفت عن إخفاقات منهجية في استدلال الأدلة "البعيدة" (Far).
4. الإصدار المفتوح: الالتزام بإصدار مجموعة بيانات NA-VQA الكاملة عند النشر.

4. النتائج

• الأداء المرجعي: تفشل النماذج اللغبية الكبيرة المتطورة باستمرار (بما في ذلك GPT-4 و Claude Sonnet 4.5 ونماذج أخرى) في الأسئلة التي تتطلب أدلة بعيدة (Far evidence).
  • ملاحظة: تعاني النماذج في إنشاء روابط سببية بين الأحداث التي تفصلها فترات زمنية ممتدة.
  • النماذج المملوكة: حقق Claude Sonnet 4.5 أعلى متوسط درجة (~62%)، لكنه لا يزال يظهر فجوات في الاستدلال طويل المدى.
• أداء Video-NaRA:
  • تفوق Video-NaRA على جميع النماذج المرجعية في وضع التعلم الصفري (zero-shot).
  • عند ضبطه بدقة (fine-tuned) على NA-VQA، حقق Video-NaRA أقوى أداء إجمالي، مظهرًا تحسينات نسبية تصل إلى 3% عن النماذج المرجعية.
  • دراسات الاستئصال (Ablation Studies): أدى إزالة بنك الذاكرة السردية إلى انخفاض كبير في الأداء، خاصة في فئة الأدلة "البعيدة" (انخفضت درجة الدليل من 35.20 إلى 32.70)، مما يثبت أن التجميع السردي أمر بالغ الأهمية للتبعيات طويلة المدى.
• فئات الاستدلال: أظهر Video-NaRA أداءً مستقراً عبر جميع أنواع الاستدلال السبعة، بينما أظهرت النماذج المرجعية تبايناً عالياً (على سبيل المثال، أداء جيد في استدلال الشخصيات مقابل أداء ضعيف في الاستدلال السببي).

5. الأهمية

• تحول في النموذج الفكري: تجادل الورقة بأن عنق الزجاجة في فهم الفيديو طويل المدى ليس مجرد طول السياق، بل هو الافتقار إلى النمذجة السردية الصريحة. تحتاج النماذج إلى تنظيم المعلومات في سلاسل سببية بدلاً من معالجة الإطارات بالتتابع.
• معيار التقييم: يضع NA-VQA معياراً جديداً لتقييم الاستدلال الزمني "العميق"، متجاوزاً مجرد استرجاع الحقائق البسيطة إلى إعادة بناء السرد المعقد.
• الاتجاه المستقبلي: يشير نجاح Video-NaRA إلى أن البنى المدعومة بالذاكرة والمتمركزة حول السرد هي المسار الضروري للتعامل مع محتوى الفيديو الطويل والمعقد، مما يمهد الطريق لأنظمة متعددة الوسائط أكثر تطوراً.