🤖 AI

OmniVideo-R1: Reinforcing Audio-visual Reasoning with Query Intention and Modality Attention

يُعد OmniVideo-R1 إطار عمل تعزيزي مبتكر يعزز الاستدلال السمعي البصري في نماذج الفيديو الشاملة عبر توظيف التأسيس كثيف الاستعلام والدمج المنتبه للنماط، محققاً أداءً فائقاً وتعميماً قوياً عبر معايير قياسية متعددة.

المؤلفون الأصليون: Zhangquan Chen, Jiale Tao, Ruihuang Li, Yihao Hu, Ruitao Chen, Zhantao Yang, Xinlei Yu, Haodong Jing, Manyuan Zhang, Shuai Shao, Biao Wang, Qinglin Lu, Ruqi Huang

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhangquan Chen, Jiale Tao, Ruihuang Li, Yihao Hu, Ruitao Chen, Zhantao Yang, Xinlei Yu, Haodong Jing, Manyuan Zhang, Shuai Shao, Biao Wang, Qinglin Lu, Ruqi Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز في غرفة ما. قد ينظر الذكاء الاصطناعي العادي إلى الأدلة (الفيديو) ويخمن الإجابة. لكن أحياناً، يكون أهم دليل هو الصوت — صرير لوح خشبي، أو همس، أو أغنية محددة تعمل في الخلفية.

النماذج الحالية "متعددة الوسائط" (Omnimodal) (وهي النماذج التي يمكنها الرؤية والسمع) تشبه المحققين الذين تم تدريبهم على النظر إلى الصور، ولكن عندما تقدم لهم مقطع فيديو مع صوت، يصابون بالارتباك. غالباً ما يتجاهلون الصوت، أو والأسوأ من ذلك، يجعلهم الصوت ينسون ما رأوه. وينتهي بهم الأمر بالتخمين بشكل خاطئ لأنهم لا يستخدمون آذانهم وعيونهم معاً بفعالية.

OmniVideo-R1 هو أسلوب تدريب جديد مصمم لإصلاح هذا الأمر. إنه يعلم الذكاء الاصطناعي كيف يصبح "محققاً" حقيقياً يستخدم كلاً من عينيه وأذنيه لحل المشكلات. إليك كيف يعمل ذلك، مقسماً إلى مفاهاهيم بسيطة:

1. المشكلة: "المحقق المشتت"

تخيل محققاً اعتاد كثيراً على النظر إلى صور مسرح الجريمة، لذا عندما تشغل له تسجيلاً للجريمة، يتشتت انتباهه. قد يقول: "أرى سيارة حمراء"، لكنه يغفل عن حقيقة أن محرك السيارة كان يصدر صوتاً معيناً (طقطقة) يحدد طراز السيارة بدقة.

تظهر الورقة البحثية أن حتى أذكى نماذج الذكاء الاصطناعي الحالية (مثل Qwen3-Omni) غالباً ما يكون أداؤها أسوأ عندما تحاول استخدام الصوت والفيديو معاً مقارنة باستخدام الفيديو وحده. لديها "تحيز" حيث تتجاهل الصوت.

2. الحل: تدريب من خطوتين

ابتكر المؤلفون معسكراً تدريبياً من خطوتين لتعليم الذكاء الاصطناعي كيف يفكر بشكل صحيح.

الخطوة 1: لعبة "التظليل" (الربط القائم على الاستعلام)

التشبيه: تخيل أنك تقرأ كتاباً طويلاً ومملاً ثم سألك شخص ما سؤالاً محدداً. قبل أن تجيب، عليك تظليل الجمل الدقيقة في الكتاب التي تثبت إجابتك.

كيف يتعلم الذكاء الاصطناعي:
بدلاً من مجرد إعطاء الإجابة للذكاء الاصطناعي، علم الباحثون النموذج أن يتوقف ويقول: "انتظر، دعني أجد الجزء من الفيديو حيث يختبئ الجواب".

يتعلم الذكاء الاصطناعي الإشارة إلى لحظات محددة في الفيديو (مثلاً: "بين الدقيقة 0:10 و0:15، يسقط الشخص الكوب").
ثم يكتب وصفاً قصيراً لتلك اللحظة.
الخدعة: لم يحتاجوا إلى بشر للقيام بهذا التظليل. استخدموا نظام "التحقق الذاتي". إذا قام الذكاء الاصطناعي بتظليل جزء من الفيديو وكان الوصف الذي كتبه يطابق ما حدث بالفعل في ذلك المقطع، فإنه يحصل على مكافأة. وإذا ظلل الجزء الخطأ، فإنه يتعلم أن يحاول مرة أخرى. هذا يعلم الذكاء الاصطناعي البحث عن الأدلة قبل التخمين.

الخطوة 2: "اختبار عصب العينين" (الدمج المنتبه للوسائط)

التشبيه: تخيل طباخاً يتذوق الحساء. إذا تذوقه وعيناه مغمضتان فقط (بالشم فقط)، فسيكون الأمر جيداً. إذا تذوقه وأنفُه مغطى فقط (بالتذوق فقط)، فسيكون الأمر جيداً أيضاً. لكن أفضل حساء هو الذي يتم تذوقه بكل الحواس وهي تعمل معاً.

كيف يتعلم الذكاء الاصطناعي:
لعب الباحثون لعبة مع الذكاء الاصطناعي:

السيناريو (أ): عرض الفيديو على الذكاء الاصطناعي مع الصوت.
السيناريو (ب): عرض الفيديو على الذكاء الاصطناعي بدون صوت (صامت).
السيناريو (ج): عرض الصوت فقط على الذكاء الاصطناعي (بدون فيديو).

يحصل الذكاء الاصطناعي على نقطة إضافية خاصة فقط إذا حل اللغز بشكل أفضل في السيناريو (أ) (فيديو + صوت) مقارنة بالسيناريو (ب) أو (ج). هذا يجبر الذكاء الاصطناعي على الإدراك: "مهلاً، لا يمكنني حل هذا بمجرد النظر! أحتاج للاستماع إلى الصوت للحصول على الصورة الكاملة". هذا يجبر الحاستين على العمل كفريق بدلاً من أن تتصارعا.

3. النتيجة: "محقق خارق"

بعد هذا التدريب، أصبح الذكاء الاصطناعي (OmniVideo-R1) أفضل بكثير في:

إيجاد الأدلة الصحيحة: يعرف تماماً متى ينظر ومتى يستمع.
الدمج بين الحواس: يفهم أن "الصرخة" في الصوت تغير معنى "الشخص الذي يركض" في الفيديو.
عدم نسيان كيفية الرؤية: على الرغم من أنه تعلم الاستماع، إلا أنه لم ينسَ كيفية المشاهدة. بل في الواقع، أصبح أفضل في مشاهدة الفيديوهات أيضاً، لأنه تعلم التركيز على الأجزاء الأكثر أهمية.

لماذا يهم هذا؟

فكر في العالم كفيلم سينمائي، وليس فيلماً صامتاً. الحياة الواقعية تحتوي على صوت وصورة يحدثان في نفس الوقت. يعد OmniVideo-R1 طفرة لأنه يعلم الذكاء الاصطناعي التوقف عن معاملة الصوت كـ "إضافة" والبدء في معاملته كـ شريك حيوي في فهم ما يحدث.

باختختصار: يعلم OmniVideo-R1 الذكاء الاصطناعي التوقف عن التخمين والبدء في التحقيق، مستخدماً عينيه وأذنيه معاً للعثور على الحقيقة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "OmniVideo-R1: تعزيز الاستدلال السمعي-البصري من خلال نية الاستعلام وانتباه الأنماط".

1. بيان المشكلة

تواجه نماذج الـ Omnivideo الحالية (وهي نماذج لغوية كبيرة متعددة الوسائط قادرة على معالجة الصوت والفيديو) مفارقة كبيرة: فبينما يدمج البشر بشكل طبيعي الإشارات السمعية والبصرية لفهم شامل، فإن إضافة النمط الصوتي إلى النماذج الموجودة غالبًا ما يؤدي إلى تدهور أداء الاستدلال البصري لديها.

انحياز النمط (Modality Bias): يؤدي التدريب المسبق على مهام غير متجانسة إلى خلق انحياز يجعل النموذج يعتمد على اختصارات أحادية النمط (مثل تجاهل الإشارات الصوتية) أو انحيازات مجموعات البيانات للإجابة على الأسئلة، بدلاً من إجراء دمج تآزري حقيقي.
نقص الإشراف الوسيط: تركز طرق ما بعد التدريب الحالية (الضبط الدقيق الخاضع للإشراف أو التعلم المعزز القياسي مثل GRPO) على الإجابة النهائية فقط. وهي تفشل في تدريب النموذج صراحةً على سلوكيات الاستدلال الوسيطة، مثل تحديد أدلة سمعية-بصرية محددة أو تركيب الأدلة عبر الأنماط.
ندرة البيانات: تُعد البيانات عالية الجودة ذات الوسائط المختلطة والتي تحتوي على توصيفات كثيفة لمستوى العملية (مثل الطوابع الزمنية الدقيقة للأدلة ذات الصلة) مكلفة وصعبة التوسع.

2. المنهجية: OmniVideo-R1

إن OmniVideo-R1 هو إطار عمل للتعلم المعزز (RL) مصمم لغرس سلوكيات استدلال قوية متعددة الأنماط دون الاعتماد على توصيفات مكلفة لمستوى العملية. يستخدم إطار العمل خوارزمية تحسين تسلسل المجموعة (GSPO) لتحسين تسلسل الاستدلال بأكره. يعمل الإطار في مرحلتين متميزتين:

أ. إعداد البيانات

قام المؤلفون ببناء مجموعة بيانات عالية الجودة تضم أكثر من 80,000 عينة سمعية-بصرية باستخدام خط معالجة يتكون من ثلاث مراحل:

تقييم الجودة: استخدام نماذج لغوية كبيرة (Gemini-2.5-Pro) لتسجيل العينات بناءً على اعتماد الفيديو، واعتماد الصوت، ومنطق السؤال، ودقة الإجابة.
التصفية الاستدلالية: إزالة العينات منخفضة الجودة أو غير المتوافقة.
الموازنة الفئوية: تقليم الفئات النادرة لمنع انحياز "الذيل الطويل".

بيانات المرحلة الأولى (QI): 88,173 عينة لعملية التأسيس (Grounding).
بيانات المرحلة الثانية (MA): مجموعة فرعية مكونة من 12,887 عينة عالية الاعتماد (تتطلب كل من الإشارات الصوتية والبصرية).

ب. المرحلة الأولى: التأسيس المكثف للاستعلام (QI)

تعلم هذه المرحلة النموذج كيفية "التفكير باستخدام الإشارات الشاملة للأنماط" من خلال تحديد المقاطع ذات الصلة صراحةً قبل الإجابة.

الآلية: يتم تدريب النموذج على إخراج أزواج مهيكلة من <time>...</time><caption>...</caption> متبوعة بالاستدلال والإجابة.
التعلم الخاضع للإشراف الذاتي: بدلاً من استخدام الحقيقة الأرضية (Ground Truth) الموصوفة بشرياً للطوابع الزمنية، يقوم النموذج بتوليد فرضيات. ثم يقوم نموذج "حَكَم" (Qwen3-VL) بتقييم الاتساق بين النطاق الزمني المولد والوصف المصاحب له.
دالة المكافأة ( $R_{QI}$ ):
- مكافأة التنسيق ( $r_{format}$ ): تضمن الالتزام الصارم بقالب المخرجات.
- مكافأة الاتساق ( $r_{cons}$ ): تقيم ما إذا كان الوصف المولد يتوافق مع المقطع السمعي-البصري في الوقت المتوقع.
- مكافأة الاكتمال ( $r_{comp}$ ): تضمن أن اتحاد جميع المقاطع المتوقعة يغطي جميع الإشارات الضرورية للإجابة دون تكرار.
- مكافأة النتيجة ( $r_{ans}$ ): تقيم جودة الإجابة النهائية.

ج. المرحلة الثانية: الدمج المنتبه للأنماط (MA)

تضمن هذه المرحلة عدم تجاهل النموذج للإشارات الصوتية وتعلمه دمج الأنماط بشكل تآزري.

استراتيجية التباين: بالنسبة لاستعلام معين، يولد النموذج استجابات تحت ثلاثة ظروف: (1) مدخلات سمعية-بصرية كاملة، (2) فيديو فقط (صامت)، (3) صوت فقط.
دالة المكافأة ( $R_{MA}$ ):
- مكافأة الانتباه ( $r_{attn}$ ): يتم تطبيق مكافأة تباينية فقط إذا كان تقييم المدخلات السمعية-البصرية الكاملة أعلى صراحةً من تقييم الفيديو فقط والصوت فقط. هذا يجبر النموذج على اكتشاف أن المدخلات المدمجة تقدم إجابة متفوقة، مما يمنع الاعتماد على نمط واحد.
- تحتفظ هذه المرحلة بمكافآت التنسيق والنتيجة من المرحلة الأولى.

3. المساهمات الرئيسية

أول إطار عمل قائم على التعلم المعزز للاستدلال متعدد الأنماط: يقدم OmniVideo-R1، وهو أول إطار عمل لما بعد التدريب مصمم خصيصاً لتحسين الاستدلال السمعي-البصري عبر التعلم المعزز.
التأسيس الخاضع للإشراف الذاتي: يقترح طريقة مبتكرة لتعلم التأسيس المكثف للاستعلام (تحديد الإطارات/الطوابع الزمنية الرئيسية) دون الحاجة إلى توصيفات بشرية كثيفة، وذلك باستخدام فحوصات الاتساق الخاضعة للإشراف الذاتي.
دمج الأنماط التبايني: طور استراتيجية تدريب تعاقب النماذج صراحةً التي لا تستفيد من دمج المدخلات السمعية والبصرية، مما يضمن فهماً تآزرياً.
مجموعة بيانات عالية الجودة: تم تنسيق مجموعة بيانات سمعية-بصرية متخصصة تضم أكثر من 80 ألف عينة لمهام الاستدلال المعقدة.

4. النتائج التجريبية

تم تقييم OmniVideo-R1 في عدة اختبارات مرجعية، مما أظهر أداءً رائدًا (SOTA):

الاختبارات المرجعية السمعية-البصرية:
- Daily-Omni: حقق دقة بنسبة 82.8%، متفوقاً على أفضل نموذج مفتوح المصدر السابق (Video-SALMONN 2+-72B) بنسبة 4.3% وعلى النموذج المغلق Gemini-3-Pro بنسبة 2.1%.
- IntentBench: حقق 74.2%، متجاوزاً Gemini-3-Pro بنسبة 3.8%.
- OmniVideoBench: تجاوز النموذج الأساسي (Qwen3-Omni-30B-A3B) بنسبة 21.1% (44.8 مقابل 37.0)، كاسراً حاجز "التخمين العشوائي" الذي شهدته الطرق السابقة.
الاختبارات المرجعية البصرية فقط:
- الأهم من ذلك، لم يعانِ النموذج من تدهور الأداء في مهام الفيديو الصامت (Video-MME, MLVU, LVBench). بل أظهر تحسينات طفيفة (على سبيل المثال، +4.4% في Video-MME)، مما يثبت أن التدريب الصوتي يعزز الاستدلال البصري ولا يشتته.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة مرحلة QI (التأسيس) أو مرحلة MA (الدمج التبايني) إلى انخفاض كبير في الأداء، مما يؤكد أن كلا المكونين ضروريان.
- تفوقت نماذج OmniVideo-R1 باستمرار على الخطوط المرجعية القياسية (QA SFT, CoT SFT, Vanilla RL).

5. الأهمية

حل "لعنة النمط" (Modality Curse): تعالج الورقة المشكلة الحرجة حيث يؤدي إضافة الصوت إلى نماذج الفيديو غالباً إلى إضعاف الأداء. يثبت OmniVideo-R1 أنه مع التدريب الصحيح على الاستدلال، يمكن للدمج متعدد الأنماط أن يكون متفوقاً بشكل صارم على النهج أحادي النمط.
الاستدلال القابل للتوسع: من خلال إلغاء الحاجة إلى بيانات عملية مكلفة وموصوفة بشرياً (الطوابع الزمنية/الإشارات)، يوفر هذا النهج مساراً قابلاً للتوسع لتدريب نماذج متعددة الأنماط ذات قدرة استدلال عالية.
المتانة: يُظهر النموذج "لحظات إدراك" (aha moments) من خلال اختيار ودمج الإشارات بنشاط، مما يؤدي إلى عمليات استدلال أكثر موثوقية وقابلية للتفسير في السيناريوهات المعقدة والواقعية.

باختصار، يمثل OmniVideo-R1 تحولاً نوعياً من مجرد الإدراك متعدد الأنماط إلى الاستدلال المدفوع بالنية والقائم على الأدلة، واضعاً معياراً جديداً للفهم السمعي-البصري في النماذج اللغوية الكبيرة.