💻 computer science

O-MARC: Omni Memory-Augmented Compression Distillation for Efficient Video Understanding

تقدم هذه الورقة O-MARC، وهو إطار عمل للتقطير والضغط لا يتطلب تدريباً مقترناً بمعيار UGC-AVQA، والذي يحسن بشكل كبير من كفاءة ودقة الفهم الشامل للفيديو متعدد الأنماط عن طريق تقليل زمن انتقال الاستدلال واستهلاك الذاكرة مع الحفاظ على الارتباطات السمعية البصرية الجوهرية.

المؤلفون الأصليون: Peiran Wu, Yunze Liu, Chi-Hao Wu, Chen Chen, Junxiao Shen

نُشر 2026-05-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Peiran Wu, Yunze Liu, Chi-Hao Wu, Chen Chen, Junxiao Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث O-MARC، مترجم إلى لغة بسيطة باستخدام تشبيهات من الحياة اليومية.

المشكلة الكبرى: الكثير من الضجيج في دار السينما

تخيل أنك تحاول فهم قصة معقدة في فيلم. يحتوي الفيلم على مسارين رئيسيين للمعلومات: ما تراه (الممثلون، المناظر الطبيعية) وما تسمعه (الحوار، المؤثرات الصوتية، ضوضاء الخلفية).

نماذج الذكاء الاصطناعي الحالية التي تحاول فهم هذه الأفلام تشبه الطلاب في مكتبة تم تسليمهم كومة من 10,000 صفحة نصية و10,000 نص صوتي. لكي يحصل الذكاء الاصطناعي على الإجابة، عليه أن يقرأ كل كلمة ويستمع إلى كل صوت. هذا يجعل العملية:

بطيئة: تستغرق وقتاً طويلاً جداً للمعالجة.
مكلفة: تتطلب كمية هائلة من ذاكرة الكمبيوتر (مثل محاولة حمل مكتبة كاملة في حقيبة ظهرك).
مربكة: في الفيديوهات الواقعية (مثل تلك الموجودة على تيك توك أو يوتيوب)، يوجد الكثير من "الضجيج". غالباً ما يتشتت الذكاء الاصطناعي بالتفاصيل غير المهمة ويفقد الربط بين صوت معين وفعل بصري محدد.

الحل: مجموعة أدوات مكونة من ثلاثة أجزاء

قام مؤلفو هذه الورقة ببناء مجموعة أدوات لإصلاح هذا الأمر. لقد ابتكروا اختباراً جديداً، وطريقة "ضغط" جديدة، وطريقة "تدريب" جديدة.

1. الاختبار الجديد: "تحدي زر كتم الصوت" (UGC-AVQA)

أولاً، أدرك الباحثون أن الاختبارات الحالية لم تكن جيدة بما يكفي. أرادوا معرفة ما إذا كان الذكاء الاصطناعي يربط فعلياً بين الصوت والرؤية، أم أنه مجرد يخمن بناءً على ما يراه.

التشبيه: تخيل اختباراً تشاهد فيه فيديو لشخص يسقط كأساً.
- الاختبار القديم: يرى الذكاء الاصطناعي الكأس ينكسر فيخمن فقط: "لقد انكسر". (هذا سهل، لكنه لا يثبت أنه سمع صوت التحطم).
- الاختبار الجديد (UGC-AVQA): قام الباحثون بإنشاء معيار خاص حيث قاموا بكتم صوت الفيديو أمام ذكاء اصطناعي فائق الذكاء. إذا استطاع الذكاء الاصطناعي الإجابة على السؤال بشكل مثالي بدون صوت، فهذا يعني أن السؤال كان سهلاً للغاية وتم استبعاده.
- النتيجة: احتفظوا فقط بالأسئلة "الصعبة" التي يجب فيها سماع الصوت لفهم الحدث البصري (مثلاً: "لماذا توقف الكلب عن الركض؟" -> يجب أن تسمع صوت المالك وهو يصرخ "توقف!"). هذا يضمن أن الذكاء الاصطناعي يستمع ويشاهد معاً بالفعل.

2. "الملخص الذكي" (OMAC)

بعد ذلك، احتاجوا إلى طريقة لجعل الذكاء الاصطناعي أسرع دون فقدان التفاصيل المهمة. فابتكروا OMAC (الضغط متعدد الأبعاد المعزز بالذاكرة).

التشبيه: تخيل أنك تدون ملاحظات لصديق فاته عرض فيلم.
- الطريقة القديمة (التقليم المباشر): تقوم ببساض بحذف 70% من الصفحات عشوائياً. قد تحذف الصفحة التي يكشف فيها الشرير عن خطته.
- طريقة OMAC: أنت تعمل كمحرر ذكي.
  1. الذاكرة البصرية: تقوم بمسح الفيلم وتقول: "حسناً، مشهد مطاردة السيارات هذا مهم. سأحتفظ بتلك الإطارات. أما مشهد حركة السحب فهو ممل؛ سألخصه في جملة واحدة".
  2. المرتكزات الصوتية: تستمع إلى الصوت. "الصرخات مهمة؛ احتفظ بها. صوت الرياح في الخلفية ممل؛ احذفه".
  3. الرابط السحري: هذا هو الجزء الذكي. إذا قرر المحرر البصري أن مشهداً معيناً مهم جداً، يقول محرر الصوت: "حسناً، سأخصص مساحة أكبر للصوت في ذلك المشهد تحديداً". وإذا كان المشهد البصري مملاً، يتم ضغط الصوت بشكل أكثر قوة.
- النتيجة: يحصل الذكاء الاصطناعي على "أبرز اللقطات" (Highlight Reel) وهي أقصر بكثير ولكنها تحتفظ بكل الأدلة الحاسمة اللازمة لحل اللغز. يعمل أسرع بنسبة 34% ويستخدم ذاكرة أقل بنسبة 34%.

3. "المدرب" (O-MARC)

أخيراً، أدركوا أنه حتى مع وجود "أبرز اللقطات"، قد لا يعرف الذكاء الاصطناعي كيف يدرسها. كان الذكاء الاصطناعي معتاداً على قراءة النص الكامل، وعندما أعطوه الملخص، أصيب بالارتباك.

التشبيه: تخيل طالباً اعتاد على قراءة كتاب مدرسي من 500 صفحة. فجأة، أعطيته ملخصاً من 5 صفحات. قد يفشل لأنه لا يعرف كيفية استخراج النقاط الرئيسية من الملخص.
- الحل (O-MARC): ابتكر الباحثون طريقة تدريب حيث يتدرب الذكاء الاصطناعي على "الملخص" (البيانات المضغوطة) بينما يتم توجيهه بواسطة "معلم" (الذكاء الاصطناعي الذي يقرأ النص الكامل).
- كيف يعمل: يقوم المعلم بحل المشكلة باستخدام النص الكامل. يحاول الطالب حلها باستخدام الملخص المضغوط. إذا أخطأ الطالب بسبب أن الملخص كان قصيراً جداً، يقوم المدرب بمنحه درجات إضافية لمحاولته التعلم من تلك الفجوة المحددة.
- النتيجة: يتعلم الذكاء الاصطناعي أن يكون قوياً (Robust). يصبح جيداً جداً في حل المشكلات حتى عندما تكون المعلومات مضغوطة.

النتائج: صغير ولكن قوي

اختبر الباحثون هذا على نموذج ذكاء اصطناعي صغير وفعال (3 مليار بارامتر، وهو ما يشبه "سيارة مدمجة" مقارنة بـ "الشاحنات الثقيلة" للنماذج الأخرى).

بدون مساعدتهم: سجل النموذج الصغير 44.1.
مع استخدام OMAC (الملخص): سجل 42.8 (انخفاض طفيف، وهو أمر متوقع عند تقليل البيانات).
مع استخدام O-MARC (المدرب): سجل 45.8.

الفوز الكبير: باستخدام طريقة الضغط والتدريب الخاصة بهم، تفوق النموذج الصغير والفعال في الواقع على النموذج الأكبر غير المضغوط (45.8 مقابل 44.1). لقد أثبتوا أنك لست بحاجة إلى كمبيوتر ضخم لفهم الفيديوهات جيداً؛ بل تحتاج فقط إلى طريقة ذكية لتصفية الضجيج وتدريب النموذج على التعامل مع البيانات المصفاة.

الملخص

تقدم الورقة طريقة لجعل فهم الفيديو عبر الذكاء الاصطناعي أسرع، وأرخص، وأذكى من خلال:

إنشاء اختبار أصعب يجبر الذكاء الاصطناعي على الربط بين الصوت والرؤية.
بناء "محرر ذكي" يحتفظ بالدلالات البصرية والصوتية المهمة مع حذف الضجيج.
تدريب الذكاء الاصطناعي ليكون مرتاحاً في العمل مع هذه "الملخصات المعدلة"، مما يسمح للنماذج الصغيرة بالأداء بمستوى النماذج الكبيرة.

ملخص تقني: O-MARC: التقطير الضغطي لتعزيز الذاكرة الشاملة من أجل فهم فعال للفيديو

1. بيان المشكلة

برزت النماذج اللغوية الكبيرة متعددة الأنماط (Omnimodal LLMs) كاتجاه واعد للفهم الموحد للصوت والمرئيات واللغة. ومع ذلك، لا يزال الاستدلال الخاص بها مكلفًا بسبب الطبيعة الكثيفة للرموز (tokens) لكل من نمطي الصوت والفيديو. إن المعالجة المشتركة لإطارات الفيديو وتدفقات الصوت تولد تسلسلات متعددة الأنماط طويلة، مما يؤدي إلى عبء كبير على الذاكرة وبطء في الاستدلال، لا سيما بالنسبة لمقاطع الفيديو الطويلة.

وعلى الرغم من أن ضغط الرموز يعد حلاً طبيعيًا، إلا أن توسيع نطاقه ليشمل المدخلات السمعية والبصرية ليس بالأمر الهين. فخلافًا للضغط المقتصر على المرئيات فقط، يجب أن يتعامل الضغط السمعي البصري مع نمطين مختلفين من التكرار: غالبًا ما تظهر رموز الفيديو تكرارًا مكانيًا وزمنيًا، بينما قد تشفر رموز الصوت إشارات وجيزة ولكنها حاسمة. والأهم من ذلك، أن أهمية كل نمط غالبًا ما تكون مترابطة؛ فالصوت يكتسب معنى عندما يتم ربطه بمشهد مرئي، وقد يظل الحدث المرئي غامضًا بدون الصوت المقابل له. وتعمل طرق الضغط الحالية غالبًا على ضغط الأنماط بشكل منعزل، مما قد يؤدي إلى إزالة الأدلة المتبادلة بين الأنماط الضرورية للاستدلال الدقيق.

علاضوة على ذلك، تفشل الاختبارات المرجعية الحالية في عزل الارتباط السمعي البصري بشكل كامل في المحتوى الذي ينشئه المستخدمون (UGC) المليء بالضجيج. تعتمد العديد من الاختبارات المرجعية الحالية التي تقيم الاستدلال طويل المدى للفيديو بشكل أساسي على نماذج تعتمد على المرئيات، والتي نادرًا ما تستخدم الإشارات الصوتية، أو أنها لا تقوم بتصفية الأسئلة التي يمكن حلها عبر الأولويات المرئية وحدها بشكل صريح.

2. المنهجية

يقترح البحث نهجًا ثلاثي المحاور: اختبار مرجعي جديد، وطريقة ضغط لا تتطلب تدريبًا، وإطار عمل للتقطير الواعي بالضغط.

2.1 اختبار UGC-AVQA المرجعي

لمعالجة فجوة التقييم، قدم المؤلفون UGC-AVQA، وهو اختبار مرجعي عام تم إنشاؤه من 1,000 فيديو قصير من محتوى المستخدمين (UGC) يحتوي على 4,816 زوجًا من الأسئلة والأجوبة.

التركيز: الارتباط السمعي البصري الدقيق عبر الأحداث، والمشاهد، والتغيرات الزمنية.
البناء: تم وصف مقاطع الفيديو بتعليقات توضيحية مفصلة وأسئلة متعددة الخيارات في أربع فئات: تطور الحدث السمعي البصري، الانتقال السمعي البصري للمشهد/الزمني، المحاذاة عبر المشاهد، والتباين الدقيق.
فلتر الصعوبة: لضمان أن الأسئلة تتطلب كلا النمطين، تم تطبيق "اختبار إزالة الصوت". يتم الاحتفاظ بالعينة في الاختبار المرجعي فقط إذا فشل نموذج قوي (Gemini-3.1-Flash) عند إزالة المسار الصوتي. هذا يعمل على تصفية الأسئلة التي يمكن حلها عبر الأولويات المرئية وحدها.
التقسيم: تم تقسيم مجموعة البيانات إلى مجموعة تدريب (794 فيديو، 3,168 زوجًا من الأسئلة والأجوبة) ومجموعة اختبار مرجعي (206 فيديو، 1,648 زوجًا من الأسئلة والأجوبة)، مع مراجعة بشرية لضمان الجودة.

2.2 تقنية OMAC (الضغط المعزز للذاكرة الشاملة)

OMAC هي طريقة ضغط تعمل كإضافة (plug-in) ولا تتطلب تدريبًا، مصممة للحفاظ على الذاكرة المرئية البارزة والمرتكزات الصوتية المترابطة زمنيًا دون تعديل النموذج الأساسي.

الذاكرة المرئية:
- تسجيل الإطارات (Frame Scoring): يتم تلخيص الإطارات وتسجيل درجاتها بناءً على صلتها بالاستعلام. يتم اختيار الإطارات ذات الدرجات العالية كإطارات رئيسية.
- اختيار الرموز: داخل الإطارات المختارة، يتم تسجيل درجات الرموز بناءً على تباينها مع مركز الإطار. يتم الاحتفاظ بالرموز المميزة كذاكرة مرئية صريحة، بينما يتم تشكيل رمز ذاكرة إطار مدمج عبر التجميع الموزون (weighted pooling).
- الهيكل: ينشئ هذا هيكل ذاكرة ثنائي المستويات: ملخصات الإطارات (ذاكرة خشنة/عامة) ورموز محلية مميزة بالإضافة إلى ملخص مدمج (ذاكرة دقيقة).
الذاكرة الصوتية وضبط الميزانية:
- المرتكزات (Anchors): يتم تسجيل درجات أهمية رموز الصوت. تصبح الرموز ذات الدرجات العالية "مرتكزات"، ويتم دمج الرموز المحذوفة القريبة فيها لتشكيل فتحات ذاكرة صوتية مدمجة.
- توزيع الميزانية عبر الأنماط: تستخدم OMAC توزيع الذاكرة المرئية لضبط ميزانية الصوت. إذا احتفظ جزء زمني بذاكرة مرئية كبيرة، تزداد ميزانية الصوت لذلك الجزء. وعلى العكس من ذلك، يتم ضغط الفترات ذات المحتوى المرئي الخفيف بشكل أكثر عدوانية. يضمن ذلك أن التسلسل المضغوط يحافظ على بنية الحدث عبر الأنماط بدلاً من مجرد رموز معزولة.

2.3 تقنية O-MARC (التقطير الضغطي لتعزيز الذاكرة الشاملة)

لجعل النماذج المدمجة قوية تجاه المدخلات المضغوطة، قدم المؤلفون O-MARC، وهو إطار عمل للتقطير يعتمد على تحسين السياسة النسبي المجموعاتي (GRPO).

الآلية: لكل استعلام، تقوم السياسة بأخذ عينتين (rollouts): فرع "المعلم" باستخدام الرموز الكاملة، وفرع "الطالب" باستخدام رموز OMAC المضغوطة.
تشكيل المكافأة (Reward Shaping): يقيس التفاوت بين مكافآت المعلم والطالب ( $\Delta_i$ ) التدهور الناتج عن الضغط. يُستخدم هذا التفاوت لإعادة تشكيل ميزة GRPO.
الهدف: يتم تعديل هدف التدريب ليوجه تحسين السياسة نحو السلوكيات التي تظل قوية تحت ضغط الذاكرة. وتحديدًا، العينات التي تكون مفيدة تحت نظام GRPO ولكنها تتدهور بشدة بسبب الضغط، تتلقى تحديثات إيجابية أكبر. يسمح هذا للنموذج بتعلم الاستدلال بفعالية ضمن ميزانية رموز مخفضة.

3. المساهمات الرئيسية

UGC-AVQA: اختبار مرجعي عام جديد للارتباط السمعي البصري في فيديوهات المحتوى المنشأ من المستخدمين، يتميز بفحص صعوبة إزالة الصوت لضمان أن الأسئلة تتطلب حقًا استدلالًا متعدد الأنماط.
OMAC: طريقة ضغط تعمل كإضافة ولا تتطلب تدريبًا، تحافظ على الذاكرة المرئية البارزة وتستخدم السياق المرئي لتخصيص ميزانيات الذاكرة الصوتية ديناميكيًا.
O-MARC: إطار عمل للتقطير يجعل النماذج متعددة الأنماط قادرة على الاستدلال بقوة تحت سياقات متعددة الأنماط مضغوطة، متفوقة على تقنيات حذف الرموز التقليدية والأساليع المعاصرة القائمة على التدريب.

4. النتائج التجريبية

أُجريت التجارب على نماذج تتراوح من 3 إلى 30 مليار معلمة (سلسلة Qwen2.5-Omni و Qwen3-Omni) عبر أربعة اختبارات مرجعية: DailyOmni، وUGC-AVQA، وOmniVideo، وWorldSense.

أداء OMAC: تتفوق OMAC باستمرار على حذف الرموز المباشر (OmniZip) والاستدلال بالرموز الكاملة من حيث المقايضة بين الكفاءة والدقة.
- في نموذج Qwen2.5-Omni-3B، حسنت OMAC متوسط الدرجة إلى 45.8، متجاوزة الاستدلال بالرموز الكاملة (44.1) وOmniZip (41.0).
- قللت من زمن انتقال الاستدلال بنسبة 34.6% (تسريع بمقدار 1.53 ضعف) ومن استخدام الذاكرة بنسبة 34.7% مقارنة بالاستدلال بالرموز الكاملة.
أداء O-MARC:
- الكفاءة: في نموذج 3B، حقق O-MARC (المدرب بـ 3 آلاف عينة فقط) متوسط درجة قدره 45.8، متفوقًا على خط الأساس للرموز الكاملة (44.1) وعلى OMAC وحدها (42.8).
- القابلية للتوسع: عند التوسع إلى نموذج 7B مع أكثر من 100 ألف عينة تدريب، حقق O-MARC متوسط درجة 51.1، متفوقًا على النموذج المرجعي المعاصر OmniSIFT (48.7)، وحسن بشكل كبير دقة UGC-AVQA (64.6 مقابل 56.4).
دراسات الاستئصال (Ablation Studies):
- نسبة الضغط: حافظت OMAC على أداء عالٍ حتى عند ضغط بنسبة 70%، بينما انخفض أداء OmniZip بشكل كبير.
- التوجيه: تفوق تصميم OMAC الكامل (المرئيات $\leftarrow$ ضبط الميزانية الصوتية) على المتغيرات التي كان فيها الصوت يوجه الضغط المرئي أو حيث يتم ضغط الأنماط بشكل مستقل.

5. الأهمية والادعاءات

يدعي البحث أن الاستدلال الفعال متعدد الأنماط لا ينبغي النظر إليه فقط كتقنية لتسريع الاستدلال، بل كشرط قابل للتدريب.

الترابط: تثبت النتائج أن الضغط السمعي والبصري لا يمكن معاملتهما بمعزل عن بعضهما؛ فالحفاظ على الأدلة المتبادلة بين الأنماط (مثل استخدام الذاكرة المرئية لتوجيه ميزانية الصوت) أمر بالغ الأهمية للحفاظ على قدرات الاستدلال.
القوة (Robustness): من خلال O-MARC، يوضح المؤلفون أن النماذج المدمجة يمكن تدريبها للاستدلال بفعالية تحت ميزانيات رموز مخفضة، وغالبًا ما تتفوق على النماذج الأكبر أو الاستدلال بالرموز الكاملة في البيئات المقيدة بالكفاءة.
التقييم: يسلط تقديم UGC-AVQA الضوء على فجوة في الاختبارات المرجعية الحالية، موضحًا أن الاستدلال السمعي البصري الموثوق في محتوى UGC يتطلب أكثر من مجرد التعرف المرئي العام أو الأولويات أحادية النمط، مما يستلزم تقييمًا صريحًا للارتباط السمعي البصي.

يخلص المؤلفون إلى أن دراستهم الموحدة لبناء الاختبارات المرجعية، وضغط الذاكرة، والتدريب الواعي بالضغط، توفر مسارًا نحو استدلال سمعي بصري قوي وفعال لمحتوى الفيديو الواقعي المليء بالضجيج.