🤖 AI

Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding

يُعد SAVEMem إطار عمل ثنائي المرحلة وخالٍ من التدريب، يعمل على تعزيز فهم الفيديو المتدفق عبر الإنترنت من خلال دمج البروز الدلالي في توليد الذاكرة واستخدام الاسترجاع المتكيف مع الاستعلام، مما يحسن الأداء بشكل كبير في اختبارات مثل OVO-Bench مع تقليل ذروة استخدام ذاكرة وحدة معالجة الرسومات.

المؤلفون الأصليون: Hang Wu, Sherin Mary Mathews, Yujun Cai, Ming-Hsuan Yang, Yiwei Wang

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hang Wu, Sherin Mary Mathews, Yujun Cai, Ming-Hsuan Yang, Yiwei Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول مشاهدة بث إخباري مباشر ولا نهائي على تلفازك، ولكن ليس لديك سوى دفتر ملاحظات صغير للغاية لتدوين أهم التفاصيل. في كل ثانية، تتدفق لقطات جديدة، وفجأة يصرخ أحد المشاهدين بسؤال مثل: "ماذا حدث قبل خمس دقائق؟" أو "ماذا يرتدي المذيع الآن؟"

إذا حاولت تدوين كل شيء في دفتر ملاحظاتك، فسيمتلئ فوراً، وسيتعين عليك التخلص من الملاحظات القديمة لإفساح المجال للملاحظات الجديدة. وإذا تخلصت فقط من الملاحظات الأقدم، فقد تفوتك الإجابة على سؤال حول الماضي. وإذا احتفظت فقط بأحدث الملاحظات، فلن تتمكن من الإجابة على الأسئلة المتعلقة بالتاريخ.

هذه هي المشكلة ذاتها التي يحلها SAVEMem للذكاء الاصطناعي الذي يشاهد مقاطع الفيديو المتدفقة (Streaming Videos). إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

المشكلة: "الفيديو اللانهائي" مقابل "الدماغ الصغير"

نماذج الذاء الاصطناعي الحالية بارعة في مشاهدة الأفلام القصيرة، لكنها تعاني مع مقاطع الفيديو المباشرة واللانهائية.

القيد: لا يمكن للذكاء الاصطناعي رؤية المستقبل (يرى فقط ما حدث حتى الآن).
حد الذاكرة: لا يمكنه تذكر كل إطار (Frame) للأبد لأن "دماغه" (ذاكرة وحدة معالجة الرسومات GPU) صغير جداً.
السؤال غير المتوقع: قد يسأل المستخدم عن الآن أو عن شيء حدث قبل ساعة. يحتاج الذكاء الاصطناعي إلى اتخاذ قرار بشأن ما الذي يحتفظ به وما الذي ينساه قبل أن يعرف ماهية السؤال حتى.

الحل: SAVEMem (أمين المكتبة الذكي)

ابتكر المؤلفون نظاماً يسمى SAVEMem يعمل كأمين مكتبة فائق الذكاء للفيديو. لا يحتاج النظام إلى إعادة تدريب (فهو يعمل "جاهزاً للاستخدام" مع نماذج الذكاء الاصطناعي الموجودة). وهو يستخدم عملية مكونة من مرحلتين لإدارة الذاكرة.

المرحلة الأولى: نظام الأرشفة "الدلالي" (ما الذي يجب الاحتفاظ به؟)

بدلاً من مجرد الاحتفاظ بأحدث الصور أو الصور التي تبدو متشابهة (مثل الاحتفاظ بصورتين لسماء زرقاء لأنهما تبدوان متشابهتين)، يسأل SAVEMem سؤالاً مختلفاً: "هل هذه الصورة مثيرة للاهتمام أو مهمة حقاً؟"

السلاح السري: قبل بدء الفيديو، يجهز النظام قائمة صغيرة من "الأسئلة الوهمية" (Pseudo-question bank) لتكون جاهزة للانطلاق. هذه أسئلة عامة مثل "هل يوجد شخص؟" "هل هناك شيء يتحرك؟" أو "ما هو المشهد؟".
العملية: أثناء تشغيل الفيديو، يفحص النظام كل إطار مقابل هذه الأسئلة الوهمية.
- إذا كان الإطار يجيب على أحد هذه الأسئلة بشكل جيد (على سبيل المثال، إطار يظهر شخصاً يطبخ)، فإنه يحصل على "درجة أهمية" عالية.
- إذا كان الإطار مجرد ضوضاء خلفية مملة، فإنه يحصل على درجة منخفضة.
الأرفف الثلاثة: ينظم النظام الذاكرة في ثلاثة مستويات:
1. المدى القصير: يحتفظ بآخر ثوانٍ معدودة بتفاصيل دقيقة (مثل إجراء محادثة).
2. المدى المتوسط: يحتفظ باللحظات "المثيرة للاهتمام" من الماضي القريب.
3. المدى الطويل: يحتفظ بملخص متباعد وعالي المستوى للماضي البعيد.
النتيجة: حتى لو استمر الفيديو لساعات، يحتفظ الذكاء الاصطناعي فقط بـ "أبرز اللحظات" المهمة دلالياً، وليس فقط تلك التي تبدو متشابهة.

المرحلة الثانية: "البحث الذكي" (كيف تجيب؟)

عندما يطرح المستخدم أخيراً سؤالاً حقيقياً (على سبيل වශයෙන්: "ماذا فعل الشخص قبل تحضير اللحم؟")، فإن النظام لا يخمن فحسب، بل يكيف استراتيجية البحث الخاصة به بناءً على السؤال.

"بوابة الحداثة" (Recency Gate): يتحقق النظام أولاً: "هل هذا السؤال عن الآن؟"
- نعم؟ ينظر فقط إلى رف المدى القصير. يتجاهل بقية التاريخ لتوفير الوقت والطاقة.
- لا؟ (مثلاً: "ماذا حدث قبل 10 دقائق؟") يفتح رفوف المدى المتوسط والمدى الطويل.
"التفاعل المتأخر" (Late Interaction): بمجرد معرفة الرفوف التي يجب فحصها، يقارن النظام سؤال المستخدم المحدد مقابل إطارات "اللقطات البارزة" التي حفظها في المرحلة الأولى. يختار الإطارات المحددة التي تطابق السؤال بأفضل شكل لإنشاء الإجابة.

لماذا يعد هذا أمراً هاماً؟

اختبر المؤلفون هذا النظام على نموذج ذكاء اصطناعي قياسي (Qwen2.5-VL) دون تعليمه أي شيء جديد. وكانت النتائج مبهرة:

إجابات أذكى: حسن النظام قدرة الذكاء الاصطناعي على الإجابة على الأسئلة المتعلقة بالفيديو المتدفق بفارق كبير (سجل 62.69 بدلاً من 52.27 في اختبار رئيسي).
حمل أخف: استخدم 48% أقل من ذاكرة الكمبيوتر من النموذج القياسي عند مشاهدة فيديوهات طويلة. الأمر يشبه الحصول على إجابة أفضل باستخدام حقيبة ظهر أصغر.
لا حاجة للتدريب: لا تحتاج لقضاء أسابيع في تعليم الذكاء الاصطناعي كيفية القيام بذلك؛ فهو يعمل ببساطة باستخدام الأدوات التي يمتلكها بالفعل.

العيوب (المحددات)

المؤلفون صريحون بشأن ما لا يستطيع النظام فعله بعد:

العد صعب: إذا سألت "كم عدد الأشخاص الذين مروا في الساعة الأخيرة؟"، فقد يفتقد النظام بعضهم لأنه اضطر للتخلص من الإطارات "المملة" لتوفير المساحة.
الأسئلة العامة: "الأسئلة الوهمية" المستخدمة لتقييم الأهمية هي أسئلة عامة. قد لا تكون مثالية لأنواع الفيديو المتخصصة جداً (مثل اللقطات الطبية المتخصصة) دون تعديلات مستقبلية.

باختصار

SAVEMem هو بمثابة مساعد فيديو لا يحاول حفظ كل ثانية من البث المباشر. بدلاً من ذلك، يقوم بمسح سريع للفيديو، ويحتفظ بـ "أحداث القصة" (اللحظات المهمة)، ويتخلص من الأجزاء المملة. وعندما تسأل سؤالاً، يعرف بالضبط أين يبحث—سواء كان ذلك في الثواني القليلة الماضية أو في لحظة محددة من ساعة مضت—مما يمنحك إجابة أفضل بجهد أقل.

ملخص تقني: الذاكرة المرئية التكيفية ذات الوعي الدلالي لفهم الفيديو المتدفق

تعريف المشكلة

تتناول الورقة البحثية مهمة الإجابة على الأسئلة حول الفيديو المتدفق عبر الإنترنت (StreamingVQA)، وهي مهمة يجب على النموذج من خلالها معالجة تدفق فيديو مستمر وغير محدود والإجابة على استعلامات اللغة الطبيعية في الوقت الفعلي عند وصولها. بخلاف الإعدادات غير المتصلة بالإنترنت (offline) حيث يكون الفيديو الكامل متاحًا، يفرض التدفق ثلاثة قيود حرجة:

عدم الوصول إلى المستقبل: يمكن للنموذج فقط الوصول إلى الإطارات حتى اللحظة الزمنية الحالية $T$ .
ترميز مستقل عن الاستعلام: يجب أن يتم بناء الذاكرة دون معرفة الاستعلام المحدد، حيث تصل الاستعلامات بشكل غير متوقع.
ذاكرة محدودة: يجب أن يظل إجمالي البصمة الذاكرية ثابتًا بغض النظر عن طول الفيديو.

تعاني الطرق الحالية من هذه القيود. تعتمد معظم الطرق على استدلالات التشابه البصري لضغط الرموز (tokens)، وهو ما يفشل في التقاط الأهمية الدلالية، أو تضيف آليات استرجاع على مستوى ذاكرة التخزين المؤقت (KV-cache) بعد الانتهاء من عملية الضغط. هذا الفصل يجعل من الصعب تنسيق عمليات الاحتفاظ والاسترجاع، مما يؤدي غالبًا إلى فقدان المعلومات ذات الأهمية الدلالية العالية ولكنها زائدة بصريًا.

المنهجية: SAVEMem

يقترح المؤلفون SAVEMem، وهو إطار عمل ثنائي المراحل وخالٍ من التدريب، يقوم بفصل توليد الذاكرة المستقل عن الاستعلام عن الاسترجاع المدرك للاستعلام. يعمل النظام تحت ميزانية ذاكرة ثابتة $B$ ويستخدم "بنك أسئلة وهمية" ثابت لحقن الأولويات الدلالية دون الحاجة إلى ضبط النموذج (fine-tuning).

المرحلة الأولى: توليد الذاكرة الدلالية (مستقل عن الاستعلام)

في هذه المرحلة، يبني النموذج ذاكرة تدفق ثلاثية المستويات ( $M_{short}$ ، $M_{mid}$ ، $M_{long}$ ) عبر الإنترنت مع وصول الإطارات.

الأولوية الدلالية: بدلاً من الاعتماد فقط على التشابه البصري، يقوم SAVEMem بتقييم كل رمز بصري $v$ مقابل بنك ثابت من الأسئلة الوهمية $Q$ (تغطي الأشياء، الأفعال، المشاهد، إلخ) باستخدام آلية التفاعل المتأخر MaxSim: $s(v) = \max_{q \in Q} \cos(v, q)$ . يوفر هذا تقديرًا مستقلًا عن الاستعلام للأهمية الدلالية.
هيكل هرمي ثلاثي المستويات مع النسيان الانتقائي:
- المدى القصير ( $M_{short}$ ): مخزن مؤقت من نوع FIFO يحافظ على أحدث الإطارات بكامل دقتها لتثبيت السياق الحالي.
- المدى المتوسط ( $M_{mid}$ ): عندما يمتلئ $M_{short}$ ، يخضع أقدم إطار لعملية التقليم الدلالي الزمني. يتم حذف الرموز إذا كانت ممثلة جيدًا بالجيران الزمنيّين، إلا إذا كانت تمتلك درجات دلالية عالية ( $s(v)$ ) أو كانت عند حدود المشاهد.
- المدى الطويل ( $M_{long}$ ): عندما يتجاوز $M_{mid}$ سعته، تنتقل الإطارات إلى هنا عبر الاختيار الدلالي المكاني. يعامل هذا المستوى التغطية المكانية كقيد صارم، حيث يصنف الرموز حسب درجاتها الدلالية للاحتفاظ بمجموعة فرعية مشتتة ولكنها مرتبة دلاليًا.
- فرض الميزانية العالمية: تضمن خطوة النسيان الانتقائي عدم تجاوز إجمالي عدد الرموز لـ $B$ أبدًا. إذا تم تجاوزها، يتم طرد الرموز ذات الدرجات الأدنى في $M_{long}$ .

المرحلة الثانية: الاسترجاع التكيفي للذاكرة (مدرك للاستعلام)

عند تلقي استعلام مستخدم $q$ في الوقت $T$ ، يقوم النظام باسترجاع الإطارات ذات الصلة من الذاكرة المجمدة.

بوابة الحداثة المشروطة بالمرساة: يتحقق النظام أولاً مما إذا كان الاستعلام يستهدف الماضي القريب. يحسب التآلف بين $q$ والمرساة قصيرة المدى ( $M_{short}$ ). إذا كان هذا التآلف عاليًا (بالنسبة لمتوسط متحرك)، يعيد النظام $M_{short}$ مباشرة، متجاوزًا الطبقات الأقدم. تتكيف هذه البوابة لكل استعلام بناءً على توزيع التآلف الخاص بالفيديو.
التفاعل المتأخر المدرك للاستعلام: إذا كان الاستعلام يتطلب سياقًا تاريخيًا، يحسب النظام درجة تفاعل متأخر بأسلوب ColBERT بين الاستعلام والرموز في $M_{mid} \cup M_{long}$ . تكون درجة الإطار هي متوسط أقصى تشابه جيب تمام بين رموزه ورموز الاستعلام.
الاسترجاع التكيفي: يتم ترتيب الإطارات حسب هذه الدرجة. يتكيف عدد الإطارات المسترجعة ( $K$ ) مع تشتت الدرجات: تؤدي الدرجات المتجمعة بإحكام (الأدلة المنتشرة) إلى استرجاع المزيد من الإطارات، بينما تؤدي الدرجات المنفصلة جيدًا إلى تصفية قوية. تتضمن المجموعة النهائية دائمًا $M_{short}$ بالإضافة إلى أعلى الإطارات ترتيبًا من التاريخ.

المساهمات الرئيسية

إطار عمل ثنائي المراحل: بنية خالية من التدريب تفصل بين الضغط الدلالي المستقل عن الاستعلام والاسترجاء التكيفي المدرك للاستعلام، مما يسمح بتنسيق المرحلتين عبر آلية تسجيل مشتركة (MaxSim) دون تدريب مشترك.
الضغط المدرك دلاليًا: تقديم بنك أسئلة وهمية لتوجيه الاحتفاظ طويل المدى بناءً على الأهمية الدلالية بدلاً من مجرد التشابه البصري، مما يضمن الحفاظ على الرموز المعلوماتية حتى لو كانت زائدة بصريًا.
نطاق استرجاع تكيفي: بوابة حداثة مشروطة بالمرساة تعدل نطاق الاسترجاع ديناميكيًا (المدى القصير مقابل المدى الطويل) بناءً على ما إذا كان الاستعلام يستهدف الحاضر أو الماضي البعيد.
الكفاءة: يحقق الأسلوب نموًا دون خطي في الرموز واستخدامًا مسطحًا تقريبًا لذروة ذاكرة وحدة معالجة الرسومات بالنسبة لطول الفيديو، محولًا معالجة الفيديو الطويل إلى مشكلة مقيدة بالميزانية.

النتائج التجريبية

تم تقييم SAVEMem على OVO-Bench و StreamingBench و ODV-Bench باستخدام العمود الفقري Qwen2.5-VL (بمعلمتي 3 مليار و7 مليار بارامتر) دون أي تدريب.

OVO-Bench:
- باستخدام العمود الفقري Qwen2.5-VL-7B، حسن SAVEMem الدرجة الإجمالية من 52.27 إلى 62.69، متفوقًا على الطرق الحديثة الخالية من التدريب (مثل FluxMem و HERMES) والأساليب التنافسية القائمة على التدريب (مثل ViSpeak).
- لوحظت مكاسب كبيرة في الإدراك البصري في الوقت الفعلي (+10.41 نقطة) و التتبع الرجعي (+10.41 نقطة).
- أظهر الأسلوب قوة خاصة في المهام التي تتطلب تفاصيل بصرية دقيقة (OCR، STU، ACR) وكشف الهلوسة.
StreamingBench و ODV-Bench:
- لوحظت تحسينات متسقة عبر كلا العمودين الفقريين. في نموذج 7B، تحسنت درجة OD-Bench الثابتة بمقدار 8.7 نقطة (من 48.3 إلى 57.0).
الكفاءة:
- عند 128 إطارًا، قلل SAVEMem من ذروة استخدام ذاكرة وحدة معالجة الرسومات بنسبة 48% مقارنة بالعمود الفقري (18.5 جيجابايت مقابل 35.8 جيجابايت)، مع الحفاظ على نمو دون خطي للرموز.

الأهمية والادعاءات

تدعي الورقة أن فصل الضغط الدلالي المستقل عن الاستعلام عن الاسترجاع التكيفي المدرك للاستعلام هو اتجاه عملي لتوسيع فهم الفيديو المتدفق دون الحاجة إلى التدريب. من خلال حقن إشارات دلالية في مرحلة الضغط وتكييف نطاق الاسترجاع لكل استعلام، يعالج SAVEMem "مقايضة الإدراك والذاكرة" المتأصلة في البث. يؤكد المؤلفون أن نهجهم يسمح للنماذج بالتعامل مع التدفقات غير المحدودة على وحدات معالجة الرسومات العادية من خلال فرض ميزانية ذاكرة ثابتة مع الاحتفاظ بالمعلومات الدلالية الحرجة.

يقر المؤلفون بوجود قيود، مشيرين إلى أن الطريقة حساسة بطبيعتها للمقايضة بين الاسترجاع الانتقائي والتغطية الكاملة للمهام التي تتطلب مسحًا زمنيًا شاملاً (مثل العد). كما يشيرون إلى أن بنك الأسئلة الوهمية حاليًا عام وليس مخصصًا لمجال معين، وأن التصميم الخالي من التدريب يمنع التحسين المشترك للمرحلتين.