💻 computer science

MARC: Memory-Augmented RL Token Compression for Efficient Video Understanding

تقترح الورقة البحثية إطار عمل MARC، وهو إطار تعلم تعزيزي معزز بالذاكرة يحقق دقة تقارب خط الأساس في فهم الفيديو مع تقليل الرموز المرئية بنسبة 95% وذاكرة وحدة معالجة الرسومات بنسبة 72% من خلال استراتيجية مبتكرة تعتمد على "الاسترجاع ثم الضغط" تجمع بين مسترجع الذاكرة المرئية وطريقة تقطير تحسين السياسة النسبي للمجموعات المضغوطة.

المؤلفون الأصليون: Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

نُشر 2026-02-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك ملف فيديو عالي الدقة وضخم الحجم، وتحتاج إلى عرضه على مساعد ذكي جداً ولكنه مشغول (نموذج ذكاء اصطناعي). المشكلة هي أن الملف ضخم جداً لدرجة تجعل المساعد يشعر بالارتباك، وينفد منه حجم الذاكرة، ويستغرق وقتاً طويلاً جداً لإعطائك إجابة. هذا هو الصراع الحالي مع فهم الفيديو في الذكاء الاصطناعي: الفيديوهات كبيرة جداً بحيث يصعب معالجتها بسرعة.

تقدم الورقة البحثية نظاماً جديداً يسمى MARC (ضغط الرموز القائم على تعزيز الذاكرة - Memory-Augmented RL Token Compression) لحل هذه المشكلة. فكر في MARC كـ "محرر ذكي" يتكون من خطوتين، يقوم بتقليص حجم الفيلم إلى حجم صورة واحدة دون فقدان القصة.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: عنق الزجاجة المتمثل في "كثرة المعلومات"

حالياً، لكي يفهم الذكاء الاصطناعي فيديو ما، فإنه غالباً ما يحاول النظر في كل إطار (Frame) على حدة، مثل مشاهدة فيلم بمعدل 60 إطاراً في الثانية. إذا كان الفيديو طويلاً، فإن هذا يخلق جبلاً من البيانات.

التشبيه: تخيل أنك تحاول قراءة كتاب مكون من 500 صفحة للإجابة على سؤال بسيط واحد. هذا أمر غير فعال؛ فأنت لست بحاجة لقراءة كل كلمة في كل صفحة، بل تحتاج فقط إلى الفصول المحددة التي تختبئ فيها الإجابة.

2. الخطوة الأولى: "مسترجع الذاكرة البصرية" (أمين المكتبة الذكي)

قبل أن يحاول الذكاء الاصطناعي ضغط الفيديو، يحتاج أولاً إلى العثور على الأجزاء الصحيحة. تطلق الورقة البحثية على هذه الأداة اسم Visual Memory Retriever (VMR).

كيف يعمل: بدلاً من النظر إلى الفيديو كتدفق مستمر، تعمل هذه الأداة مثل أمين مكتبة بشري يفهم القصص. فهي تقسم الفيديو إلى "أحداث" (مثل المشاهد في الفيلم).
التشبيه: إذا سألت: "ماذا حدث عندما تحطمت السيارة؟"، فإن أمين المكتبة لن يعرض لك الفيلم بأكمله، بل سيخرج لك فوراً المقاطع الثلاثة المحددة التي يحدث فيها الاصطدام واللحظات التي سبقت وتبعته مباشرة. إنه يتجاهل الأجزاء المملة التي لا يحدث فيها شيء.
النتيجة: الآن، يتعين على الذكاء الاصطناعي التعامل مع عدد قليل من المقاطع القصيرة ذات الصلة بدلاً من الفيلم بأكمله.

3. الخطوة الثانية: C-GRPO (تدريب "الأستاذ والمتدرب")

الآن بعد أن أصبح لدى الذكاء الاصطناعي المقاطع الصحيحة، لا تزال لديه الكثير من التفاصيل (الرموز/Tokens) لمعالجتها بكفاءة. تقدم الورقة طريقة تدريب جديدة تسمى C-GRPO.

التشبيه: تخيل رئيس طهاة (المعلم) يطبخ وجبة معقدة مكونة من 64 طبقاً باستخدام مطبخ كامل. ثم لديك متدرب (الطالب) يُسمح له فقط باستخدام موقد تخييم صغير ومكون واحد فقط.
التحدي: عادةً، إذا أجبرت المتدرب على استخدام القليل جداً، فسيكون طعم الطعام سيئاً.
الحل: تستخدم الورقة نظام "مكافأة" خاصاً بـ "التعلم التعزيزي". يحاول المتدرب الطبخ، ثم يتحقق النظام: "هل طعم طبق المتدرب جيد مثل طبق رئيس الطهاة، رغم أنه استخدم مكونات أقل بكلة؟"
- إذا نجح المتدرب، يحصل على مكافأة.
- إذا فشل، يحصل على عقوبة.
النتيجة: من خلال عملية التجربة والخطأ هذه، يتعلم المتدرب استخراج جوهر النكهة (الاستنتاج المنطقي) باستخدام جزء ضئيل فقط من المكونات.

4. النتائج: تقليص حجم الفيل

تزعم الورقة أنه من خلال الجمع بين "أمين المكتبة الذكي" (إيجاد المقاطع الصحيحة) وتدريب "الأستاذ والمتدرب" (ضغط البيانات):

تقليص الحجم: يمكنهم أخذ فيديو يتطلب عادةً 64 إطاراً من البيانات لفهمه وضغطه ليصبح مكافئاً لـ إطار واحد فقط. هذا يمثل تقليلاً في البيانات بنسبة 95%.
الأداء: على الرغم من استخدام بيانات أقل بنسبة 95%، فإن قدرة الذكاء الاصطناعي على الإجابة على الأسئلة تظل مطابقة تقريباً لما كانت عليه لو شاهد الـ 64 إطاراً كاملة.
السرعة والذاكرة:
- الذاكرة: يستخدم ذاكرة وصول عشوائي (RAM) أقل بنسبة 72%.
- السرعة: يولد الإجابات بشكل أسرع بنسبة 23.9%.

لماذا هذا مهم (وفقاً للورقة البحثية)

يذكر المؤلفون أن هذا يجعل من الممكن تشغيل نماذج فيديو الذكاء الاصطناዊ القوية هذه على أجهزة ذات موارد محدودة. وقد ذكروا تحديداً تطبيقات مثل:

الإجابة على الأسئلة حول الفيديو في الوقت الفعلي (طرح أسئلة حول فيديو أثناء حدوثه).
أنظمة المراقبة (مراقبة الكاميرات دون الحاجة إلى حواسيب فائقة).
القيادة الذاتية (السيارات التي تحتاج إلى فهم الفيديو بسرعة وبقدرة معالجة محدودة على متنها).

باختصار، يعلم MARC الذكاء الاصطناعي كيف يكون "قارئاً سريعاً" (Skimmer) بدلاً من "قارئاً متأنياً"، حيث يجد اللحظات الأكثر أهمية ويتعلم فهمها بعمق دون الحاجة إلى معالجة الملف بأكمله.

ملخص تقني: MARC – ضغط الرموز (Tokens) القائم على التعلم المعزز والذاكرة لتعزيز فهم الفيديو بكفاءة

بيان المشكلة

تواجه نماذج اللغة البصرية (VLMs) اختناقات حوسبية كبيرة عند التوسع من فهم الصور إلى فهم الفيديو. إذ تتطلب معدلات الإطارات العالية ومدة الفيديو الطويلة معالجة آلاف الرموز (Tokens)، مما يؤدي إلى زيادة حادة في تكاليف الاستدلال، وزمن الانتقال (Latency)، واستخدام ذاكرة وحدة معالجة الرسومات (GPU). وهذا يعيق النشر في البيئات ذات الموارد المحدودة والحساسة لزمن الانتقال مثل القيادة الذاتية وأنظمة المراقبة.

بينما يعد ضغط الرموز حلاً واعداً، تعتمد الطرق الحالية بشكل أساسي على استراتيجيات خالية من التدريب (مثل دمج الرموز مكانياً أو زمانياً). ويرى المؤلفون أن هذه الأساليب الخالية من التدريب تؤدي حتماً إلى فقدان المعلومات أثناء الضغط، مما ينتج عنه انخفاض كبير في أداء النموذج. ويتمثل التحدي الجوهري في تحقيق تقليص هجومي للرموز (على سبيل المثال، تقليص الفيديو إلى عدد رموز صورة واحدة) دون التضحية بقدرات الاستنتاج لدى النموذج.

المنهجية

يقترح البحث إطار عمل MARC (الضغط القائم على التعلم المعزز والذاكرة المدعومة بالاسترجاع)، وهو إطار مكون من مرحلتين مصمم لاسترجاع المعلومات ذات الصلة قبل ضغطها.

1. مسترجع الذاكرة البصرية (VMR)

مستوحى من العلوم المعرفية ونظرية تقسيم الأحداث، يستبدل VMR النوافذ الزمنية ثابتة الطول بنهج دلالي قائم على الأحداث.

تقسيم الأحداث: تقوم شبكة كشف أحداث عميقة بتقسيم تدفقات الفيديو المستمرة إلى مقاطع قصيرة متماسكة دلالياً (شظايا الذاكرة البصرية) بناءً على تغيرات المشهد، أو تحولات الموضوع، أو بدء الأفعال.
استرجاع الذاكرة: يتم رسم تمثيلات الاستعلام وشظايا الفيديو في مساحة كامنة مشتركة باستخدام التعلم التبايني. وتقوم عملية البحث عن أقرب جار باسترجاع أفضل $k$ من الشظايا الأكثر صلة باستعلام المستخدم.
الوظيفة: تعمل هذه الخطوة كمرشح (Filter)، حيث تقلل مساحة البحث وتضمن أن عملية الضغط اللاحقة تعمل فقط على "الذكريات العرضية" التي تحتوي على الأدلة الأكثر فائدة سببيًا، بدلاً من الإطارات الزائدة عن الحاجة.

2. الضغط الزماني المدرك للذاكرة

قبل عملية استخلاص المعرفة بالتعلم المعزز، يتم تطبيق طبقة ضغط محددة على المقاطع المسترجعة:

التماسك المحلي: داخل كل مقطع حدث مسترجع، يتم دمج الإطارات المتتالية بناءً على تشابه جيب التمام (Cosine Similarity) للحفاظ على الديناميكيات المحلية مع تقليل التكرار.
التوحيد العالمي: إذا ظل عدد الرموز يتجاوز الميزانية المحددة، يتم تطبيق دمج خفيف عبر المقاطع. يضمن ذلك الحفاظ على هيكل الحدث الذي حدده VMR.

3. تحسين السياسة النسبية للمجموعة في الضغط (C-GRPO)

للحفاظ على الأداء تحت الضغط الشديد (تقليص المدخلات إلى ما يعادل إطاراً واحداً من الرموز)، قدم المؤلفون C-GRPO، وهي استراتيجية تعلم معزز لما بعد التدريب.

استخلاص المعرفة بين المعلم والطالب (Teacher-Student Distillation): تعالج شبكة "المعلم" 64 إطاراً، بينما تعالج شبكة "الطالب" مدخلات الإطار الواحد المضغوطة.
مكافأة مواءمة الاستبقاء: بخلاف GRPO القياسي الذي يركز على صحة الإجابة، يقدم C-GRPO مكافأة ضغط ( $r_c$ $r_{c}$ ). تُحسب هذه المكافأة بناءً على نسبة الاستبقاء ( $\eta$ $η$ )، والتي تقيس مقدار أداء "المعلم" الذي يحتفظ به "الطالب".
- $r_c = \alpha \cdot \max(0, \eta - \tau)$ ، حيث $\tau$ هو الحد الأدنى المقبول لنسبة الاستبقاء (المحدد بـ 0.6).
آلية البوابة (Gating Mechanism): يتم التحكم في مكافأة الاستبقاء بواسطة شرط الصحة ( $1[\text{correct}]$ )، مما يضمن أن التوليدات الصحيحة دلالياً فقط هي التي تحصل على المكافأة. هذا يمنع "اختراق المكافأة" (Reward Hacking) حيث قد يخمن النموذج الإجابة بشكل صحيح بالصدفة دون استبقاء قدرة الاستنتاج فعلياً.
الهدف: يتم تحسين السياسة لتعظيم استبقاء قدرة الاستنتاج الخاصة بالمعلم مع الالتزام بميزانية الرموز الصارمة.

المساهمات الرئيسية

إطار عمل MARC: بنية مبتكرة تدمج الاسترجاع البصري المهيكل (VMR) مع ضغط الرموز القائم على التعلم المعزز، مما يتيح فهماً فعالاً للفيديو يحاكي الذاكرة العرضية البشرية.
خوارزمية C-GRPO: أول استراتيجية تعلم معزز لما بعد التدريب مصممة خصيصاً لضغط رموز الفيديو. نجحت في استخلاص قدرات الاستنتاج المعقدة من معلم عالي الرموز إلى طالب منخفض الرموز عبر تحسين استبقاء الأداء بشكل صريح.
التحقق التجريبي: تجارب واسعة عبر ستة معايض (Benchmarks) أظهرت أن الطريقة تحقق أداءً يقارب الأداء المرجعي بتكاليف حوسبية أقل بكثير.

النتائج التجريبية

قيم المؤلفون MARC على ستة معايض: VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass, و VideoMME، باستخدام Qwen2.5-VL-3B كنموذج أساسي.

الأداء: حقق MARC متوسط درجة قدره 42.20، وهو مطابق تقريباً لخط الأساس المكون من 64 إطاراً والذي سجل 42.21.
- تفوق على خط الأساس في MMVU و MVBench و TempCompass.
- تجاوز النماذج الأكبر حجماً (مثل InternVL3.5-4B و Gemma-3-4B) رغم استخدامه لنموذج بـ 3 مليارات معلمة.
تقليص الرموز: قللت الطريقة الرموز البصرية بنسبة 95% (من حوالي 2590 رمزاً إلى حوالي 123 رمزاً)، مما يعني استخدام ما يعادل إطاراً واحداً فقط (4.71% من الرموز الأصلية).
مكاسب الكفاءة:
- ذاكرة GPU: انخفضت بنسبة 72.4% (من 41.63 جيجابايت إلى 11.48 جيجابايت على A6000).
- زمن الانتقال (Latency): انخفض زمن انتقال التوليد بنسبة 23.9%، مع انخفاض بنسبة 11.1% في زمن الانتقال النهائي لمعالجة العينات.
دراسات الاستئصال (Ablation Studies):
- VMR: استخدام VMR وحده رفع دقة خط الأساس (متوسط 45.56 مقابل 42.21)، مما يثبت قيمة الاسترجاع القائم على الأحداث.
- C-GRPO مقابل SFT: تفوق MARC (C-GRPO) على خط الأساس للضبط الدقيق تحت الإشراف (SFT) بنسبة 9.6% في متوسط الدرجات، مما يسلط الض الضوء على تفوق استخلاص المعرفة بالتعلم المعزز لمهام الضغط.
- العتبة ( $\tau$ ): وفرت العتبة 0.6 التوازن الأمثل بين الاستقرار واستبقاء الأداء.

الأهمية والادعاءات

يزعم البحث أن MARC يقدم حلاً قوياً لضغط النماذج واسعة النطاق في مرحلة ما بعد التدريب، مما يسد الفجوة بين الكفاءة والدقة. ومن خلال الجمع بين الاسترجاع المستوحى من الإدراك واستخلاص المعرفة القائم على التعلم المعزز، تتيح الطريقة نشر نماذج اللغة البصرية في سيناريوهات ذات قيود صارمة على الموارد، مثل الإجابة على الأسئلة عبر الفيديو في الوقت الفعلي، والمراقبة، والقيادة الذاتية.

يؤكد المؤلفون أن نهجهم يتجنب تدهور الأداء المعتاد في طرق الضغط الخالية من التدريب. بدلاً من ذلك، من خلال معاملة الضغط كمسألة مواءمة حيث يجب على "الطالب" مطابقة استنتاج "المعلم"، يحافظ MARC على دقة عالية حتى عند تقليص المدخلات إلى ما يعادل إطاراً واحداً. ويُقدم العمل كمسار عملي لجعل فهم الفيديو قابلاً للتوسع والنشر في تطبيقات العالم الحقيقي الحساسة لزمن الانتقال.