💻 computer science

StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering

يُعد StreamOV إطار عمل مبتكر للفهم التدفيقي للفيديو الشامل يعالج أوجه القصور في الطرق غير المتصلة (offline) عبر توظيف ذاكرة موجهة بالأدلة لإدارة السياق بكفاءة، ومحفز مدفوع بالحالة الخفية لتوليد استجابات استباقية، وهو ما تم التحقق من صحته بواسطة اختبار SOVBench المستحدث.

المؤلفون الأصليون: Ming Xie, Zizheng Huang, Xudong Tan, Chao Wang, Xiangyu Zeng, Wenxiao Wu, Tao Chen, Limin Wang, Yanwei Fu

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ming Xie, Zizheng Huang, Xudong Tan, Chao Wang, Xiangyu Zeng, Wenxiao Wu, Tao Chen, Limin Wang, Yanwei Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد بثاً إخبارياً مباشراً لا يتوقف على مدار 24 ساعة. تريد الدردشة مع ذكاء اصطناعي ذكي حول ما يحدث الآن، لكن لا يمكنك إيقاف الفيديو مؤقتاً، ولا يمكنك إعادة التشغيل لترى ما حدث قبل ساعة. يجب على الذكاء الاصطناعي أن يشاهد، ويسمع، ويتذكر، ويتحدث رداً عليك في الوقت الفعلي.

هذه هي المشكلة التي يحلها StreamOV.

المشكلة: "أمين المكتبة المنهك"

معظم نماذج الفيديو الحالية للذكاء الاصطناعي تشبه أمناء المكتبات الذين لا يعملون إلا عندما تُغلق المكتبة. إنهم ينتظرون حتى ينتهي الفيلم بأكرا، ويقرؤون السيناريو بالكامل، ثم يجيبون على أسئلتك. هذا الأسلوب لا يصلح للبث المباشر.

إذا حاولت جعل هؤلاء "الأمناء الذين يعملون في وضع عدم الاتصال" يعملون بشكل مباشر، فسيواجهون مشكلتين كبيرتين:

تجاوز سعة الذاكرة: إذا حاولوا تذكر كل إطار وصوت في بث مدته ساعتان، فستنفجر عقولهم. إنهم بحاجة إلى طريقة لنسيان الأجزاء المملة والاحتفاظ بالأشياء المهمة فقط.
مشكلة "الصمت": في الدردشة المباشرة، أحياناً يكون أفضل رد هو "عدم الرد على الإطلاق". إذا سألت: "ماذا يطبخ الطاهي؟" ولم يبدأ الطاهي بعد، فلا ينبغي للذكاء الاصطناعي أن يخمن أو يهلوس بإجابة. يجب أن يظل صامتاً حتى يمسك الطاهي بالسكين بالفعل. تعاني نماذج الذكاء الاصطناعي الحالية من هذه المشكلة؛ فهي إما تتحدث كثيراً (تملأ الصمت بكلمات لا معنى لها) أو تحتاج إلى "مدير" منفصل وخرق ليخبرها متى تتحدث.

الحل: StreamOV

ابتكر المؤلفون StreamOV، وهو نظام مصمم خصيصاً لهذا العالم المباشر و"متعدد الوسائط" (الرؤية والسمع). إليك كيف يعمل، باستخدام بعض الاستعارات البسيطة:

1. "المنخل الذكي" (الذاكرة الموجهة بالأدلة)

تخيل أنك تشاهد بثاً، ولكن لديك فقط مفكرة صغيرة لكتابة الملاحظات. لا يمكنك كتابة كل شيء.

الطريقة القديمة: اكتب كل شيء، ثم حاول حشر كل ذلك لاحقاً.
طريقة StreamOV: لديه "منخل ذكي". بينما يعمل الفيديو، يسأل باستمرار: "هل هذه اللحظة مهمة؟"
- هل تغير المشهد البصري بشكل جذري؟ (الطاهي أسقط المقلاة!) -> احتفظ بها.
- هل أصبح الصوت عالياً أو مفاجئاً؟ (صوت تحطم!) -> احتفظ به.
- هل يتوافق هذا مع ما سألت عنه للتو؟ (المستخدم سأل عن البيض؛ والطاهي للتو كسر بيضة.) -> احتفظ بها.
- هل هو مجرد ضجيج خلفية أو لقطة ثابتة؟ -> تخلص منها.

إنه يبني "ذاكرة قصيرة وطويلة المدى". المدى القصير هو مخزن كثيف لما حدث للتو (اللحظات القليلة الماضية). أما المدى الطويل فهو مجموعة متباعدة من اللحظات الأكثر "ثراءً بالأدلة" من الساعة الماضية. هذا يحافظ على ذاكرة الذكاء الاصطناعي محدودة (صغيرة) ولكنها غنية بالمعلومات بشكل مذههب.

2. "اختبار الحدس الداخلي" (تحفيز الاستجابة)

هذه هي الحيلة الأكثر ذكاءً في الورقة البحثية.

الطريقة القديمة: يقوم الذكاء الاصطناعي بتوليد "رمز صمت" خاص (مثل كتابة "..." أو "انتظر") ليخبر نفسه بأن يصمت، أو يستخدم روبوتاً أصغر ومنفصلاً ليعمل كحارس يقرر متى يتحدث.
طريقة StreamOV: يستخدم الذكاء الاصطناعي "اختبار حدس داخلي".
فكر في عقل الذكاء الاصطناعي وكأن لديه مرحلة "ما قبل التفكير" قبل أن يتحدث فعلياً.
- هل يشعر العقل بالثقة؟ -> تحدث.
- هل يشعر العقل بنقص في المعلومات؟ -> ابقَ صامتاً.

إنه لا يحتاج إلى كتابة "انتظر" أو طلب المساعدة من روبوت منفصل. إنه يقرر داخلياً: "لدي الآن أدلة كافية"، ويبدأ في التحدث. وإذا لم يكن كذلك، فإنه ببساطة يتوقف عن المعالجة في تلك الدورة، مما يوفر الطاقة ويتجنب الهراء.

3. الاختبار الجديد: SOVBench

لإثبات نجاح هذا العمل، لم يستطع المؤلفون استخدام الاختبارات القديمة، لأن الاختبارات القديمة كانت مثل "الاختبارات المفاجئة" للأفلام المنتهية. لذا قاموا ببناء SOVBench، وهو اختبار "نيران حية".

يختبر الفهم في الوقت الفعلي (الإجابة عما يحدث الآن).
يختبر الاسترجاع (تذكر ما حدث قبل 10 دقائق).
يختبر المبادرة (معرفة متى يتحدث ومتى يظل صامتاً).
يتضمن كلاً من الفيديو والصوت، مما يضمن أن الذكاء الاصطناعي لا "يشاهد" فحسب، بل "يسمع" أيضاً.

النتائج

عندما أجروا الاختبارات، لم يكتفِ StreamOV بمجرد المشاركة في اللعبة، بل فاز بها.

تفوق على النماذج الضخمة والقوية التي تعمل في وضع عدم الاتصال (مثل Qwen3-Omni) والتي أُجبرت على العمل في وضع البث.
كان أفضل في معرفة متى يتحدث ومتى يظل صامتاً مقارنة بنماذج البث الأخرى.
أثبت أنه باستخدام "المنخل الذكي" للذاكرة و"اختبار الحدس الداخلي" للتوقيت، يمكن للذكاء الاصطناعي فهم بث الفيديو المباشر بكفاءة دون الحاجة إلى ذاكرة لانهائية أو مديرين خارجيين.

باخت-مختصر: StreamOV هو أول ذكاء اصطناعي يمكنه مشاهدة فيديو مباشر ولا نهائي، وتذكر الأجزاء المهمة فقط، ومعرفة متى يتدخل في المحادثة ومتى يظل صامتاً بالضبط، كل ذلك دون أن يشعر بالارتباك أو الإنهاك.

ملخص تقني: StreamOV

بيان المشكلة

تتناول الورقة البحثية التحدي الناشئ المتمثل في الفهم الشامل للفيديو المتدفق (streaming omni-video understanding)، وهو إعداد يجب على النماذج فيه معالجة إشارات صوتية وبصرية متزامنة في الوقت الفعلي أثناء وصولها، بدلاً من الوصول إلى فيديو كامل في وضع عدم الاتصال (offline). تعاني النماذج الحالية الرائدة في مجال النماذج متعددة الوسائط الشاملة (omni-modal models) المصممة للاستنتاج في وضع عدم الاتصال، من فجوتين جوهريتين في سيناريوهات التدفق (streaming):

إدارة الذاكرة: تفتقر الأساليب الحالية إلى آليات قوية لإدارة السياقات الصوتية والبصرية التي تنمو باستمرار عبر آفاق زمنية طويلة دون تجاوز الميزانيات الحسابية.
التفاعل الاستباقي: لا تستطيع نماذج "عدم الاتصال" تحديد متى تستجيب بشكل مستقل. فهي إما تولد استجابات لكل استعلام (متجاهلة الحاجة إلى الصمت) أو تعتمد على آليات غير فعالة مثل رموز <silence> الصريحة (التي تعطل توزيعات التوليد المدربة مسبقاً) أو موجهات خارجية (تفتقر إلى قدرات الاستدلال العميق متعدد الوسائط).

علاوة على ذلك، يفتقر المجال إلى معيار شامل قادر على تقييم التفاعلات الصوتية البصرية المستمرة، متعددة الأدوار، وعبر الإنترنت، والتي تتضمن الاستجابة الاستباقية والتحفيز المتعمد للصمت.

المنهجية: إطار عمل StreamOV

يقترح المؤلفون StreamOV، وهو إطار عمل مبني على نموذج لغوي كبير متعدد الوسائط (MLLM) مصمم للاستدلال عبر الإنترنت بكفاءة مع ذاكرة محدودة وتحفيز استجابة استباقي.

1. الذاكرة الموجهة بالأدلة متعددة الوسائط

للتعامل مع التدفق اللانهائي ضمن ميزانية ذاكرة ثابتة، يقدم StreamOV آلية تحديث للذاكرة قصيرة وطويلة المدى (Long-Short Term Memory) مدفوعة باستراتيجية بناء أدلة ثنائية المنظور:

ديناميكيات غير مرتبطة بالاستعلام (Query-Agnostic Dynamics): تلتقط ديناميكيات التدفق الجوهرية باستخدام التغير البصري ( $S_v$ )، والبروز الصوتي ( $S_a$ )، والانفجارات المشتركة بين الصوت والبصر ( $S_{cob}$ ).
دلالات مرتبطة بالاستعلام (Query-Aware Semantics): تقيس العلاقة بين الاستعلام الحالي والتدفق باستخدام مشفرات مدربة مسبقاً لدرجات الدلالة البصرية ( $S_{qv}$ ) والصوتية ( $S_{qa}$ ). وتقوم آلية بوابية (gating mechanism) بتنقية الصلة الصوتية لإعطاء الأولوية للمقاطع ذات الصوت البارز فيزيائياً أو الأحداث المتزامنة.
توجيه الأدلة: يبني النظام ثلاثة أنواع منفصلة من الأدلة: بصري فقط، صوتي فقط، وصوتي-بصري متوافق.
تحديث الذاكرة:
- الذاكرة قصيرة المدى ( $M^S_t$ ): تحتفظ بالملاحظات الكثيفة من النافذة الزمنية الحالية.
- الذاكرة طويلة المدى ( $M^L_t$ ): تحافظ على مجموعة من الملاحظات المعلوماتية ذات ميزانية ثابتة ومتباعدة، يتم اختيارها من التاريخ الكامل بناءً على درجات الأدلة.
- الحالة النهائية للذاكرة هي اتحاد هذه المخازن، ويتم تسلسلها زمنياً وتغذيتها إلى النموذج اللغوي الكبير (MLLM) المجمد.

కు 2. محفز الاستجابة المدفوع بالحالة الخفية

بدلاً من الاعتماد على موجهات خارجية أو توليد رموز <silence> غير دلالية، يستخدم StreamOV آلية "النموذج اللغوي الكبير كمحفز" (MLLM-as-a-trigger):

الآلية: يقوم النموذج بفحص الحالات الخفية (hidden states) لخطوات فك التشفير المبكرة (تحديداً الحالة بعد مرحلة التعبئة المسبقة، $h_{t,0}$ ) للتنبؤ بما إذا كان سيقوم بـ الاستجابة (Respond) أو الانتظار (Wait).
التنفيذ: تقوم وحدة تحفيز انتباه متقاطع (Cross-Attention Trigger) خفيفة الوزن بتجميع هذه الحالات الخفية لإخراج لوجيتات (logits) التحفيز الثنائية.
الميزة: يستفيد هذا النهج من الجاهزية المعرفية الجوهرية للنموذج اللغوي الكبير المشفرة في حالاته الخفية، مما يتجنب تعطيل التوزيعات المدربة مسبقاً والقيود الاستدلالية للنماذج المساعدة الصغيرة.

المساهمات الرئيسية

SOVBench: أول معيار شامل للتقييم متعدد الوسائط عبر الإنترنت، ويتكون من مكونين:
- SOVBench-O: يقيم الفهم الصوتي البصري المستمر عبر نماذج التفاعل في الوقت الفعلي، والاستدعاء (Recall)، والتفاعل الاستباقي (بما في ذلك الاستباقية المعرفية حيث يجب على النموذج استنتاج القصد).
- SOVBench-T: معيار تصنيف ثنائي مخصص لـ تحفيز الاستجابة (Response Triggering)، يختبر قدرة النموذج على الاستجابة عند وجود أدلة والبقاء صامتاً عند غيابها.
إطار عمل StreamOV: بنية مبتكرة تدمج توجيه الأدلة متعدد الوسائط، والذاكرة قصيرة وطويلة المدى، والمحفز المدفوع بالحالة الخفية لتمكين الاستدلال الفعال عبر الإنترنت.
التحقق التجريبي: تجارب واسعة النطاق تثبت أن StreamOV يحقق أداءً رائداً (state-of-the-art) عبر معايير التدفق، وعدم الاتصال، والمعايير البصرية فقط.

النتائج التجريبية

قيم المؤلفون StreamOV (المبني على Qwen3-Omni-30B-A3B مع هيكل عظمي مجمد ومحفز بـ 18.9 مليون معلمة) مقابل نماذج أساسية مختلفة، بما في ذلك نماذج Qwen في وضع عدم الاتصال، ونماذج التدفق عبر الإنترنت (مثل ROMA و Flash-VStream)، والنماذج مغلقة المصدر (Gemini).

أداء SOVBench: حقق StreamOV متوسط دقة قدره 81.6% في SOVBench-O (السياق الصوتي البصري) و 83.8% في SOVBench-O (السياق الصوتي البصري وسياق الأسئلة والأجوبة)، متفوقاً على النموذج القوي في وضع عدم الاتصال Qwen3-Omni-30B (73.7% و 79.9% على التوالي).
التحفيز الاستباقي: في SOVBench-T، حقق StreamOV درجة F1 بلغت 90.5، متفوقاً بشكل ملحوظ على نموذج Qwen3-Omni مع محفز (81.4) والنماذج الأخرى عبر الإنترنت.
StreamingBench: حسن StreamOV الأداء بنسبة +7.6% مقارنة بـ Qwen3-Omni و +22.5% مقارنة بـ ROMA في مجموعة الأسئلة والأجوبة الصوتية البصرية.
معايير عدم الاتصال: أظهر StreamOV أداءً تنافسياً أو متفوقاً في معايير عدم الاتصال مثل Video-Holmes و Daily-Omni، مما يشير إلى أن فعاليته تمتد إلى ما وراء سيناريوهات التدفق البحتة.
دراسات الاستئصال (Ablation Studies): أكدت النتائج أن المكونات المرتبطة بالاستعلام (Query-Aware)، وغير المرتبطة بالاستعلام (Query-Agnostic)، والذاكرة الطويلة (Long-Memory) كلها ضرورية، حيث قدمت وحدة الذاكرة الطويلة أكبر دفعة في الأداء.

الأهمية والادعاءات

تدعي الورقة أن StreamOV يسد الفجوة بين الفهم متعدد الوسائط في وضع عدم الاتصال ومتطلات التفاعل الحقيقي عبر الإنترنت. ومن خلال تقديم آلية لـ التحفيز الاستباقي للاستجابة دون الحاجة لموجهات خارجية أو رموز صمت، وتأسيس SOVBench كمعيار لتقييم الاستدلال الصوتي البصري المستمر ومتعدد الأدوار، فإن هذا العمل يوفر خطوة تأسيسية نحو نماذج يمكنها "الاستماع والمشاهدة" باستمرار، واتخاذ القرار بشأن متى تتحدث بناءً على كفاية الأدلة. ويؤكد المؤلفون أن طريقتهم تحقق نتائج رائدة مع الحفاظ على ذاكرة محدودة وكفاءة حسابية، مما يجعلها مناسبة لتطبيقات التدفق طويلة الأمد.