ملخص تقني: TORM - النمذجة الداخلية للاستدلال المكاني-الزماني في نماذج اللغة-الفيديو

بيان المشكلة

تتطلب مهام الاستدلال بالفيديو من النماذج تتبع الحركة، والترتيب الزمني، والحالات البصرية المتطورة عبر الإطارات. وبينما نجحت نماذج اللغة-الرؤية الكبيرة (LVLMs) في فهم الصور الثابتة، إلا أن توسيع نطاق ذلك ليشمل الفيديو لا يزال يمثل تحديًا. تعتمد النهج الحالية غالبًا على خارجية الاستدلال (externalizing reasoning) من خلال سلسلة أفكار نصية (CoT)، أو إعادة إدخال الإطارات بشكل متكرر، أو التفكيك الزمني، أو استخدام أدوات خارجية.

يحدد البحث قيودًا حرجة في هذه المسارات الخارجية:

1. عدم الكفاءة: فهي تسبب تأخيرًا كبيرًا في وقت الاستنتاج (inference-time latency) وتعقيدًا هندسيًا.
   بينما يفرض تحويل الأدلة الزمنية-البصرية الغنية والمستمرة إلى رموز نصية منفصلة أو إعادة ترميزها بشكل متكرر فقدانًا للمعلومات الدقيقة والديناميكية.
2. المقايضة: هناك توتر جوهني بين الحفاظ على المعلومات الزمنية-البصرية الوسيطة الغنية (المفيدة للاستدلال) وبين كفاءة الاستنتاج (التي تعيقها عملية توليد أو استرجاع الأدلة الصريحة وقت الاختبار).

المنهجية: TORM

يقترح المؤلفون TORM (الاستدلال المكاني-الزماني عبر النمذجة الداخلية)، وهو إطار عمل مكون من مرحلتين مصمم لتعليم نماذج LVLMs الاستدلال من خلال مسارات كامنة مستمرة ومحدودة (bounded continuous latent trajectories) بدلاً من سلسلة الأفكار النصية الصريحة أو الأدوات الخارجية. المنطق الجوهري هو أن الاستدلال البصري يمكن أن يحدث ضمنيًا داخل الحالات الخفية قبل التعبير اللفظي.

البنية الأساسية

يعمل TORM على تعزيز عملية توليد (فيديو-سؤال-إجابة) القياسية عبر قطعة محاكاة كامنة قصيرة تحتوي على $K$ من الرموز الكامنة (تم ضبطها عند $K=8$ في التجارب).

• الاستنتاج: عندما يولد النموذج رمزًا خاصًا <|latent_start|>، فإنه يدخل في "وضع المحاكاة الكامنة". بدلاً من التنبؤ برموز نصية منفصلة، يقوم فك التشفير (decoder) بتوليد حالات خفية مستمرة (رموز كامنة)، والتي تُغذى مرة أخرى كمدخلات (embeddings) للخطوات اللاحقة. تستمر هذه العملية حتى يتم توليد الرمز <|latent_end|>، وبعد ذلك يستأنف فك التشفيد النصي العادي للإجابة النهائية. هذه العملية محدودة لضمان زمن استجابة ثابت.
• لا توجد أدوات خارجية: على عكس الطرق الأخرى، لا يقوم TORM بإعادة توليد الفيديوهات، أو إعادة إدخال الإطارات، أو استدعاء أدوات خارجية أثناء الاستنتاج.

مسار البيانات (Data Pipeline)

لبناء النموذج لتدريب الاستدلال داخليًا، قام المؤلفون بإنشاء تسلسل تدريبي يحتوي على ثلاث إشارات متوافقة لكل زوج (سؤال-جواب):

1. الإطارات الرئيسية (Keyframes): الإطارات ذات الصلة بالسؤال والمستخرجة من الفيديو المصدر.
2. فيديو الفكرة (Thought Video): فيديو ديناميكي قصير تم توليده يصور الحركة وتغيرات الحالة ذات الصلة بالسؤال (تم توليده باستخدام خطة CoT تعليمية ونموذج توليد فيديو مثل Wan 2.1).
3. الإجابة: تسلسل رموز الإجابة المستهدفة.

استراتيجية التدريب ثنائية المرحلة

تنقسم عملية التدريب إلى مرحلتين لترسيخ الفضاء الكامن أولاً ثم استيعاب الاستدلال:

• المرحلة الأولى: التدريب الخاضع للإشراف المرتكز على الكامن (Latent-Grounded Supervised Training)

  • يتم تدريب النموذج لمواءمة الحالات الكامنة المتوقعة ($z_i$) مع ميزات "فيديو الفكرة" المولد ($g_i$).
  • يتم ترميز فيديو الفكرة، وتجميع ميزاته لتناسب عدد الفتحات الكامنة الثابت ($K$).
  • تجمع دالة الخسارة (loss function) بين خسارة التقاطع المتوقع (cross-entropy) لرموز الإجابة القياسية ($L_{ans}$) وخسارة MSE ($L_{latent}$) لتقليل المسافة بين الحالات الكامنة وميزات فيديو الفكرة.
  • الهدف: ترسيخ الفتحات الكامنة في الأدلة البصرية الديناميكية دون الحاجة إلى إشراف نصي صريح لـ CoT.

• المرحلة الثانية: الدمج القائم على الإجابة فقط (Answer-Only Consolidation)

  • يتم إزالة الإشراف الكامن المباشر (MSE loss).
  • يتم تدريب النموذج فقط على خسارة رموز الإجابة ($L_{ans}$)، بينما تظل الفتحات الكامنة في تسلسل المدخلات.
  • الهدف: تشجيع النموذج على استيعاب سلوك الاستدلال الذي تعلمه في المرحلة الأولى، مما يجعل العملية الكامنة ذاتية التنظيم وقوية للاستنتاج دون أهداف صريحة.

المساهمات الرئيسية

1. إطار عمل TORM: إطار عمل للاستدلال بالفيديو يقوم بمحاكاة ديناميكية داخلية في فضاء كامن مستمر، مما يلغي الحاجة إلى CoT نصي صريح أو عمليات استنتاج ثقيلة تعتمد على الأدوات.
2. استراتيجية التدريب ثنائية المرحلة: نهج مبتكر يجمع بين المواءمة الكامنة مع الإشراف بفيديو الفكرة (المرحلة الأولى) والدمج المرتكز على الإجابة (المرحلة الثانية) لاستيعاب الاستدلال المكاني-الزماني.
3. مسار الإشراف بفيديو الفكرة: طريقة قابلة للتوسع لمواءمة الآثار الديناميكية المولدة، والإطارات الرئيسية، وتوضيحات (QA) لتدريب الاستدلال بالفيديو الكامن.
4. الكفاءة والأداء: إثبات أن الاستدلال الداخلي يمكن أن يحقق دقة عالية مع تقليل زمن الاستنتاج بشكل كبير مقارنة بالمسارات التي تعتمد على الأدوات أو توليد الفيديو.

النتائج التجريبية

قيم المؤلفون TORM على ستة معايير مرجعية: VideoMME، وMVBench، وTempCompass، وVideo-Holmes، وVideoEspresso، وMMVU.

• الأداء: تفوق TORM باستمرار على خطوط الأساس القياسية للضبط الدقيق الخاضع للإشراف (SFT) (مثل Qwen2.5-VL-7B-SFT) عبر جميع المعايير. كما طابق أو تجاوز النماذج المتخصصة التي تعتمد على مسارات حسابية مكلفة وقت الاختبار (مثل LongVT وVideo-Thinker).
  • مثال: في VideoMME، حقق TORM دقة 61.0%، متفوقًا على خط الأساس SFT (55.4%) ومنافسًا للنماذج المملوكة مثل GPT-4o (71.9%) وGemini-1.5-Pro (75.0%) باستخدام نموذج أساس مفتوح المصدر.
  • مثال: في MMVU، حقق TORM نسبة 65.9%، متفوقًا على Video-R1 (64.2%) وQwen2.5-VL-CoT (60.0%).
• زمن الاستج (Latency): أظهر TORM انخفاضًا هائلًا في زمن استنتاج العمليات.
  • تطلب LongVT وVideo-Thinker حوالي 15-17 ثانية لكل عنصر.
  • عالج TORM العناصر في حوالي 0.47 ثانية لكل عنصر (2.14 عنصر/ثانية)، وهو تسريع بنحو 30 ضعفًا، من خلال تجنب استرداد الإطارات المتكرر واستدعاء الأدوات الخارجية.
• دراسات الاستئصال (Ablation Studies):
  • حجم الكامن (Latent Size): وفرت ميزانية قدرها 8 رموز كامنة أفضل توازن. أدت الميزانيات الأكبر (16 أو 256) إلى تدهور الأداء، مما يشير إلى أن المسارات الكامنة المدمجة أكثر فعالية من الاحتفاظ برموز بصرية زائدة.
  • مراحل التدريب: كانت كل من المرحلة الأولى (الترسيخ) والمرحلة الثانية (الدمج) ضروريتين؛ حيث أدى استخدام أي مرحلة بمفردها إلى نتائج أقل أداءً.
  • تحليل الاسترجاع: أظهرت عمليات الفحص أن الحالات الكامنة المتعلمة احتفظت بالمعلومات الزمنية الخاصة بالفيديو بشكل أفضل من التمثيلات النصية، حيث حققت 71% في Hit@1 في استرجاع نفس الفيديو مقارنة بـ 29% للنص.

الأهمية والادعاءات

يدعي البحث أن TORM يمثل خطوة عملية نحو استدلال بصري أصيل وفعال في نماذج اللغة-الفيديو. من خلال نقل عبء الاستدلال الديناميكي من تنسيق الأدوات وقت الاستنتاج إلى عملية كامنة داخلية، يعالج TORM المقايضة بين جودة الاستدلال وكفاءة الحوسبة.

يؤكد المؤلفون أن:

• يتم استخدام الأدلة البصرية الديناميكية فقط أثناء التدريب لتعليم الحالات الكامنة.
• أثناء الاستنتاج، يعيد النموذج استخدام هذا السلوك المتعلم من خلال مسار كامن مدمج وبميزانية ثابتة دون توليد فيديوهات جديدة أو استدعاء أدوات خارجية.
• يسمح هذا النهج لنماذج LVLMs بالتعامل مع مهام الاستدلال المكاني-الزماني المعقدة بكفاءة عملية فك تشفير نموذج واحد، متجنبًا زمن الاستجابة والتعقيد في مسارات الاستدلال الخارجية.

يقر البحث بالقيود، مشيرًا إلى أن جودة الفيديوهات المولدة تؤثر على التدريب، وأن التقييم الحالي يركز على الأسئلة متعددة الخيارات. كما تم اقتراح أعمال مستقبلية للاستدلال مفتوح النهايات والبنى الأخرى.