DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding

بناءً على الورقة البحثية المقدمة، إليك ملخص تقني مفصل لـ DynFrame.

بيان المشكلة

حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) مؤخرًا تقدمًا في فهم الفيديو من خلال الربط بين الاستدلال خطوة بخطوة واسترجاع الأدلة البصرية عند الطلب. ومع ذلك، تعاني أنظمة "التفكير مع الفيديو" الحالية من فجوتين هيكليتين:

1. كثافة أخذ العينات الثابتة: بينما يمكن للنماذج تحديد أين تنظر (النافذة الزمنية)، فإن معدل الإطارات (كثافة أخذ العينات) داخل تلك النافذة يكون عادةً معلمة فائقة ثابتة للنظام (hyperparameter). وبناءً على ذلك، غالبًا ما يتطلب استعادة الأدلة دقيقة التفاصيل عمليات استرجاع متكررة، مما يؤدي إلى تضخم طول سياق الاستدلال وتعقيد عملية التدريب.
2. عدم توازن تخصيص الائتمان (Credit Assignment): غالبًا ما تقوم مناهج التعلم التعزيزي (RL) الحالية بتحسين مسار التوليد بأك its بالكامل باستخدام إشارة ميزة واحدة. وهذا يؤدي إلى تشابك الائتمان الخاص بقرار "أين تنظر" (رموز الاسترجاع/retrieval tokens) مع قرار "كيف تجيب" (رموز الاستدلال/reasoning tokens)، مما يؤدي إلى تعلم غير مثالي عندما يكون أحد المكونين صحيحًا والآخر غير ذلك.

المنهجية

يقترح المؤلفون DynFrame، وهو إطار عمل قابل للتدريب من طرف إلى طرف يوحد بين استرجاع الإطارات التكيفي والاستدلال اللغوي البصري المتداخل ديناميكيًا. المكونات الأساسية هي:

1. واجهة الاسترجاع المرمزة بالرموز (Tokenized Retrieval Interface)
يعامل DynFrame تكيف معدل الإطارات كقرار قابل للتعلم ضمن مسار التوليد التلقائي (autoregressive generation). بدلاً من استدعاء الأدوات الخارجية، يقوم النموذج بإصدار رموز أصلية لتحديد أمر الاسترجاع:

• <span>ts–te</span>: يحدد النافذة الزمنية.
• <fps>f</fps>: يحدد معدل إطارات أخذ العينات.
  يسمح هذا للنموذج بالحصول على أدلة متعددة المستويات (إطارات كثيفة للحركة، وإطارات متفرقة للدلالات) في خطوة استرجاع واحدة.

2. حقن الإطارات الديناميكي (Dynamic Frame Injection)
عند توليد رمز الإغلاق </fps>، يقوم النظام بتفعيل آلية حقن فورية. يستخرج النظام $N$ من الإطارات من النافذة المحددة بالمعدل المتوقع، ويقوم بتشفيرها عبر مشفر بصري مجمد، ثم يلحق رموزًا بصرية مختومة زمنيًا بحاجز التوليد (generation buffer). بعد ذلك، يعيد فك تشفير حالات KV (KV states) للسماح للاستدلال اللاحق للحقن بالانتباه ثنائي الاتجاه إلى الإطارات المسترجعة حديثًا.

3. خوارزمية SD-GRPO (Segment-Decoupled GRPO)
لمعالجة عدم توازن تخصيص الائتمان، قدم المؤلفون SD-GRPO، وهي خوارزمية تعلم تعزيزي تقسم المسار (rollout) عند حدود الاسترجاع ($T_{fps}$):

• قطاع أخذ العينات ($t \le T_{fps}$): يتلقى مكافأة محددة ($R_{samp}$) بناءً على تداخل النطاق الزمني المتوقع مع الحقيقة الأرضية (ground truth) ودقة معدل الإطارات (FPS) المتوقع.
• قطاع الاستدلال ($t > T_{fps}$): يتلقى مكافأة خاصة بالإجابة ($R_{ans}$) بناءً على صحة المهمة (مثل التطابق التام أو تقاطع الاتحاد/IoU).
  يتم حساب الميزات على مستوى الرمز (token-level advantages) بشكل منفصل لهذه القطاعات، مما يضمن مكافأة النموذج صراحةً على اتخاذ قرارات استرجاع جيدة بشكل مستقل عن جودة الإجابة النهائية، والعكس صحيح.

4. تنسيق البيانات (Data Curation)
تم تدريب الإطار على مجموعتين من البيانات المنسقة:

• DM-CoT-74k: مجموعة بيانات للضبط الدقيق الخاضع للإشراف (SFT) تتضمن أوامر استرجاع متداخلة واستدلالًا مؤسسًا.
• DM-RL-45k: مجموعة بيانات للتعلم التعزيزي تتضمن نطاقات زمنية مستهدفة ومعدلات FPS مستهدفة، تُستخدم لحساب المكافآت المنفصلة.

المساهمات الرئيسية

1. التكيف المرمز بالأصل (Native Tokenized Adaptation): يحول DynFrame عملية الحصول على الأدلة الزمنية التكيفية من عملية أداة مجدولة خارجيًا إلى قدرة استدلال أصلية للنموذج عبر إصدار النطاق الزمني وكثافة أخذ العينات كرموز أصلية.
2. التحسين المنفصل للقطاعات (Segment-Decoupled Optimization): يسمح تقديم SD-GRPO بتخصيص ائتمان مستهدف، مما يفصل بين تحسين قرار أخذ العينات وبين استدلال الإجابة، مما يعمل على استقرار التكيف المشترك للاسترجاء والاستدلال.
3. مجموعات البيانات المنسقة: إنشاء DM-CoT-74k و DM-RL-45k لدعم تدريب استرجاع تكيفي قوي ومرمز بالأصل.

النتائج التجريبية

تم تقييم DynFrame على ستة معايير تشمل التأسيس الزمني (temporal grounding)، والأسئلة والأجوبة المرتبطة بالفيديو (grounded VideoQA)، وفهم الفيديو طويل المدى (NExT-GQA, Charades-STA, ActivityNet-MR, Video-MME, MLVU, LVBench).

• الأداء: حقق DynFrame-8B نتائج رائدة (state-of-the-art) في معظم المقاييس، متفوقًا على النماذج المرجعية القوية من فئة 7B–8B (بما في ذلك Video-o3, VITAL, و VideoChat-R1.5). كما كان DynFrame-4B منافسًا لهذه النماذج المرجعية الأكبر رغم امتلاكه نصف عدد المعلمات.
• الكفاءة: على عكس طرق الاسترجاع متعددة الجولات التي تزيد بشكل كبير من طول السياق، يحقق DynFrame دقة عالية في جولة استرجاع واحدة، مما يحافظ على سياق استدلال أكثر قابلية للإدارة.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة الفصل بين القطاعات (باستخدام vanilla GRPO) إلى انخفاض الأداء، مما يؤكد ضرورة الفصل في تخصيص الائتمان.
  • استبدال التنبؤ الديناميكي بـ FPS بمعدل ثابت أدى إلى تدهور الأداء، مما يثبت الحاجة إلى الكثافة التكيفية.
  • أظهر النموذج متانة تجاه أخذ العينات المتفرق الأولي ($f_1$)، حيث نجح في استعادة الأدلة المفقودة من خلال الاسترجاع الديناميكي.

الأهمية

تزعم الورقة أن DynFrame يمثل تحولًا من عمليات بصرية صارمة ومحددة من قبل النظام إلى اكتساب أدلة مرن ومدفوع بالنموذج. من خلال تعلم كيفية تحديد أين ينظر ومدى كثافة أخذ العينات، يمكن للنموذج الحصول على أدلة متعددة المستويات وتكيفية للمهام بكفاءة. توفر خوارزمية SD-GRPO المقترحة آلية لتدريب سلوكيات الاسترجاع والاستدلال المعقدة هذه دون تشابك إشارات التعلم لمراحل مختلفة من عملية التوليد. يتيح هذا النهج للنماذج الأصغر (4B) منافسة النماذج المرجعية الأكبر ويضع معايير أداء جديدة لفهم الفيديو طويل المدى.