StreamReady: Learning What to Answer and When in Long Streaming Videos

ملخص تقني: StreamReady

بيان المشكلة

حققت نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) تقدماً في فهم الفيديو، لا سيالما في المقاطع القصيرة، لكنها تعاني في التعامل مع الفيديوهات الطويلة بسبب الصعوبات في الاستنتاج عبر السياقات الزمنية الممتدة. وبينما سعت الجهود الأخيرة إلى توسيع نطاق هذه النماذج لتشمل فيديوهات أطول، فإن معظمها يعمل في بيئة "غير متصلة" (offline) حيث يكون الفيديو كاملاً متاحاً أثناء الاستنتاج. في المقابل، يُعد "فهم الفيديو المتدفق" (streaming video understanding) نسخة "متصلة" (online) حيث تصل الإطارات بشكل متسلسل، ولا يرى النموذج الفيديو كاملاً أبداً.

توجد فجوة حرجة في الأساليب الحالية للتعامل مع التدفق؛ فهي تركز أساساً على "صحة الإجابة" في السيناريوهات المعتمدة على الماضي (السببية) حيث تكون الأدلة متاحة بالفعل. ومع ذلك، تتطلب العديد من التطبيقات الواقعية (مثل المراقبة، الروبوتات، والأنظمة المساعدة) "استنتاجاً استباقياً" (proactive reasoning) يعتمد على المستقبل، حيث يُطرح السؤال قبل ظهور الدليل البصري الداعم. في مثل هذه الإعدادات، يجب على النماذج تحديد متى تجيب. فالإجابة المبكرة جداً تعتبر تخميناً غير مدعوم (هلوسة)، بينما الإجابة المتأخرة جداً تقلل من الفائدة في الوقت الفعلي. وتفتقر المعايسات والأساليب الحالية إلى آليات لتقييم أو فرض توقيت الإجابات بالنسبة لظهور الأدلة.

المنهجية: إطار عمل StreamReady

يقترح المؤلفون StreamReady، وهو إطار عمل مصمم لتوحيد الاستنتاج الزمني مع التوقيت الصريح للإجابة من خلال صياغة "واعية بالجاهزية" (readiness-aware).

1. الصياغة الواعية بالجاهزية

المساهمة الجوهرية هي مقياس تقييم جديد يسمى درجة جاهزية الإجابة (ARS). بخلاف الدقة القياسية، يقيم ARS كلاً من الصحة والتوقيت باستخدام عقوبات غير متماثلة:

• عقوبة التبكير (EP): عقوبة شديدة للإجابة قبل بدء نافذة الدليل، مما يثبط التخمين.
• عقوبة التأخير (LP): عقوبة أخف للإجابة بعد انتهاء نافذة الدليل، مما يتسامح مع التأخير الطفيف.
• الدقة الفعالة: تُعرف بـ $Acc_e = Acc \times ARS$، ويكافئ هذا المقياس النماذج التي تكون دقيقة وفي الوقت المناسب معاً.

2. بنية إطار العمل

يعمل StreamReady دون الحاجة إلى الوصول إلى الفيديو الكامل أو نماذج مساعدة ثقيلة. ويتكون من ثلاثة مكونات رئيسية:

• تخزين الذاكرة الهرمي:

  • شجرة الذاكرة البصرية ($M_V$): هيكل متعدد المستويات لإدارة التدفقات الطويلة بكفاءة.
    • $M_{V1}$: مخزن مؤقت (FIFO) لتمثيلات الإطارات الخام الحديثة (تفاصيل قصيرة المدى).
    • $M_{V2}$: ملخص متوسط المستوى للمراكز (centroids) المشتقة من $M_{V1}$ عبر تجميع K-means.
    • $M_{V3}$: مجموعة نماذج أولية خشنة مستخلصة من $M_{V2}$، يتم تحديثها عبر المتوسط المتحرك الأسي (EMA) للتعامل مع المشاهد المستقرة والتحولات.
  • بنك السياق الذاكراتي ($M_C$): يخزن تمثيلات الأسئلة السابقة وإجاباتها المقابلة لدعم الاستنتاج متعدد الدورات والاتساق الدلالي.

• الاستنتاج المدرك للاستعلام:

  • عند تلقي سؤال، يقوم النموذج بتنشيط فرع مزدوج من Q-Former.
  • الفرع قصير المدى ($Q_s$): ينتبه للإطارات الخام في $M_{V1}$ للحصول على السياق الفوري.
  • الفرع طويل المدى ($Q_\ell$): يقوم بعملية استرجاع من الخشن إلى الناعم. يبدأ أولاً بتقييم النماذج الأولية في $M_{V3}$ لتحديد المناطق ذات الصلة، ثم يحدد البحث بدقة نحو مراكز محددة في $M_{V2}$.
  • الاستنتاج السياقي: تقوم آلية بوابة ناعمة باسترجاع أزواج (السؤال/الجواب) السابقة ذات الصلة من $M_C$ ودمجها مع الميزات البصرية عبر الانتباه المتقاطع (cross-attention).

• آلية جاهزية خفيفة الوزن:

  • يتم إلحاق رمز تعلمي <RDY> بتمثيل الاستنتاج طويل المدى ($z_\ell$).
  • يقوم رأس الجاهزية (Readiness Head) (وهو عبارة عن MLP خفيف الوزن) بمراقبة هذا الرمز، حيث يخرج درجة جاهزية $R_{pred} \in [0, 1]$.
  • الاستنتاج: يقوم النموذج فقط بتحفيز نموذج اللغة (LLM) لتوليد إجابة عندما تتجاوز $R_{pred}$ عتبة معينة. خلاف ذلك، يستمر في المراقبة.
  • التدريب: بما أن الطوابع الزمنية للأدلة الحقيقية غير متوفرة أثناء التدريب، استخدم المؤلفون الإشراف الزائف الضعيف. لقد حددوا مناطق "إيجابية زيفة" (حيث يكون تمثيل الاستنتاج مشابهاً جداً لمراكز الذاكرة البصرية) ومناطق "سلبية زيفة". وتعمل خسارة التباين الزوجي (pairwise contrastive loss) على تدريب رأس الجاهزية لتعيين درجات أعلى للمناطق الإيجابية، بينما يضمن منظم التماسك الزمني انتقالاً سلساً.

المساهمات الرئيسية

1. صياغة الجاهزية في التدفق: قدمت الورقة صياغة حيث الهدف ليس فقط الإجابة بشكل صحيح، بل الإجابة بدقة عند ظهور دليل كافٍ، ويتم صياغة ذلك عبر درجة جاهزية الإجابة (ARS).
2. إطار عمل StreamReady: بنية مبتكرة تدمج الذاكرة البصرية الهرمية، والاسترجاع من الخشن إلى النافع المدرك للاستعلام، ورمز جاهزية خفيف الوزن يقرر متى يستجيب بناءً على كفاية الدليل الداخلي.
3. معيار ProReady-QA: معيار جديد مصمم خصيصاً لسيناريوهات التدفق الاستباقية. يتميز بـ:
   • 5 آلاف زوج من الأسئلة والأجوبة متعددة الدورات (محلية وعالمية السياق).
   • نوافذ أدلة الإجابة موثقة (طوابع زمنية للبداية والنهاية) لتمكين تقييم ARS.
   • خمسة أنواع من المهام: التعرف على الخطوات المتسلسلة، عد الأحداث المتكررة، الاستجابة لكشف الأدلة، كشف المحفزات السببية، وكشف حالة الهدف.

النتائج التجريبية

قيم المؤلفون StreamReady على ProReady-QA وثمانية معايير أخرى (أربعة للتدفق، وأربعة للفيديوهات الطويلة غير المتصلة).

• أداء ProReady-QA: حقق StreamReady أعلى دقة فعالة و ARS عبر المهام الخمس، متفوقاً على أفضل خط أساس (StreamBridge) بنحو 3% في الدقة و 9% في ARS في المتوسط. وقد أظهر مكاسب قوية بشكل خاص في المهام التي تتطلب توقيتاً دقيقاً (REC, GSD, CTD).
• معايير التدفق: تفوق StreamReady باستمرار على الطرق المتصلة السابقة (مثل Flash-VStream و StreamBridge) في معايير التدفق الاستباقية وغير الاستباقية (StreamingBench, OVOBench)، محققاً مكاسب تصل إلى 5% في المهام الاستباقية.
• معايير الفيديو الطويل (غير المتصلة): رغم تصميمه للتدفق، فقد تعمم StreamReady بشكل جيد على المعايير غير المتصلة (VideoMME, MLVU, MVBench, EgoSchema)، متفوقاً على النماذج غير المتصلة الحالية. وهذا يشير إلى أن ذاكرته الهرمية وآليات الاستنتاج الخاصة به مفيدة حتى عندما لا يتم فرض عقوبة التوقيت صراحة.
• الكفاءة: أظهر التحليل أن StreamReady يحافظ على استقرار زمن الاستجابة واستهلاك الذاكرة مع زيادة طول الفيديو، على عكس النماذج المرجعية التي تعاني من نمو تربيعي في الانتباه أو أعباء إضافية في ضغط الرموز (tokens).

الأهمية والادعاءات

تدعي الورقة أن StreamReady يؤسس لقاعدة موحدة للتقدم في توقيت الإجابة في فهم الفيديو المتدفق. تكمن أهميته في:

• تحويل النموذج من "ماذا تجيب" إلى "ماذا ومتى تجيب"، مما يعالج فجوة حرجة في تطبيقات التدفق الواقعية.
• إثبات إمكانية تعلم التوقيت عبر آلية خفيفة الوزن مقترنة بتتبع الأدلة، دون الاعتماد على نماذج مساعدة غير حتمية أو حسابات ثقيلة.
• توفير ProReady-QA كأول اختبار منهجي لتقييم الملاءمة الزمنية لنماذج التدفق، متجاوزاً مجرد مقاييس الدقة البسيطة.
• إظهار أن آليات الجاهزية لا تحسن الأداء الاستباقي فحسب، بل تحسن أيضاً قدرات فهم الفيديو العامة عبر مختلف المعايير.

خلص المؤلفون إلى أن عملهم ينقل المجال نحو نماذج ليست دقيقة فحسب، بل هي أيضاً مرتكزة على الأدلة وفي الوقت المناسب، وهو شرط أساسي للنشر الفعال في السيناريوهات طويلة الأمد والواقعية.