🤖 AI

VidPrism: Heterogeneous Mixture of Experts for Image-to-Video Transfer

يُعد VidPrism إطار عمل مبتكر لخليط الخبراء غير المتجانس يتغلب على تجانس الخبراء في التعلم بنقل الصور إلى الفيديو عبر نشر خبراء متخصصين وظيفياً يتم تغذيتهم بتدفقات متعددة المعدلات، ديناميكية ومدركة للمحتوى، ويتم دمجها عبر آلية ثنائية الاتجاه لتحقيق أداء رائد في التعرف على الفيديو.

المؤلفون الأصليون: Rui Lin, Chuanming Wang, Huadong Ma

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rui Lin, Chuanming Wang, Huadong Ma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب فنون عبقري (نموذج ذكاء اصطناعي ضخم) كيفية فهم فيلم. هذا الطالب خبير بالفعل في تحليل اللوحات الثابتة (الصور)؛ فهو يعرف كيف يتعرف على وجه، أو شجرة، أو سيارة فور رؤيتها. لكن الأفلام ليست مجرد كومة من اللوحات؛ إنها قصة حيث تتحرك الأشياء، وتتغير، وتحدث عبر الزمن.

المشكلة هي أنه عندما تحاول تعليم هذا الطالب مشاهدة فيلم، فإنه يميل إلى النظر إلى كل إطار (Frame) بنفس الطريقة تمامًا. إنه يعامل مشهدًا طبيعيًا هادئًا وبطيئًا بنفس الطريقة التي يعامل بها حركة سريعة ومضطربة للاعب كرة سلة يسجل "دنك". إنه يفتقد "ذروة" الحدث لأنه يحاول أن يكون عامًا في كل شيء في آن واحد.

هنا يأتي دور VidPrism. إنه طريقة جديدة لتنظيم عقل الذكاء الاصطعي لجعله مشاهداً أفضل للأفلام. إليك كيف يعمل، مقسمًا إلى مفاهيم بسيطة:

١. المشكلة: فريق "النمط الواحد للجميع"

فكر في الطريقة القديمة لتعليم الذكاء الاصطناعي مشاهدة الفيديو كأنك توظف فريقًا واحدًا من المقاولين العامين. إذا طلبت منهم بناء منزل، فسيحاول الجميع القيام بكل شيء: وضع الطوب، طلاء الجدران، وتركيب السباكة. سينتهي بهم الأمر بفعل كل شيء بشكل "جيد"، ولكن لا شيء بشكل مثالي. في عالم الذكاء الاصطناعي، يُسمى هذا تجانس الخبراء (Expert Homogenization). كل جزء من الذكاء الاصطناعي يحاول تعلم الشيء نفسه من نفس تدفق الفيديو، مما يؤدي إلى الارتباك حول ما هو مهم حقًا.

٢. الحل: "فريق الأحلام" المتخصص

يغير VidPrism هذه الاستراتيجية. بدلًا من فريق واحد من العاميين، يقوم بتوظيف فريق من الخبراء المتخصصين، لكل منهم وظيفة محددة.

خبراء "البطء": هؤلاء يشبهون مؤرخي الفن. ينظرون إلى الفيديو ببطء، مع التركيز على الصورة الكبيرة، والإطار العام، والقصة (الفهم المكاني - Spatial Understanding).
خبراء "السرعة": هؤلاء يشبهون المعلقين الرياضيين. يركزون على الحركات السريعة، والقفزات، والتغيرات الخاطفة (النمذجة الزمنية - Temporal Modeling).

من خلال تقسيم العمل، لا يهدر الذكاء الاصطناعي طاقته في محاولة أن يكون كل شيء في وقت واحد.

٣. كيف يغذي الفريق: "الكاميرا الذكية"

لا يمكنك تقديم نفس بث الفيديو الخام للجميع. فمؤرخ الفن لا يحتاج إلى ضبابية الحركة، والمعلق الرياضي لا يحتاج إلى لقطة ثابتة وبطيئة.

يستخدم VidPrism وحدة "أخذ عينات متعددة المعدلات واعية بالمحتوى" (Content-Aware Multi-Rate Sampling). فكر في هذا كعامل كاميرا ذكي يعرف بالضبط ما يجب أن يظهره لكل خبير:

بالنسبة لـ الخبراء البطيئين، تختار الكاميرا الإطارات الأكثر أهمية ووضوحًا (مثل بداية المشهد) وتتجاهل الأجزاء المملة بينها.
بالنسبة لـ الخبراء السريعين، تركز الكاميرا على الحركة عالية السرعة، وتلتقط التغيرات السريعة التي تحدث في أجزاء من الثانية.

يضمن هذا حصول كل خبير على نوع "الوقود" المحدد الذي يحتاه لأداء مهمته.

٤. "المصافحة": التحدث مع بعضهم البعض

وجود خبراء منفصلين أمر رائع، لكنهم بحاجة للتحدث مع بعضهم البعض لسرد القصة الكاملة. إذا رأى "الخبير البطيء" لاعب كرة سلة يستعد للقفز، ورأى "الخبير السريع" الكرة وهي تطير في الهواء، فعليهما مشاركة هذه المعلومات.

يستخدم VidPrisM آلية "الدمج ثنائي الاتجاه الديناميكي" (Dynamic Bidirectional Fusion). تخيل مكالمة جماعية عالية السرعة حيث:

يرسل الخبراء البطيئون السياق إلى الخبراء السريعين ("مهلاً، هذه مباراة كرة سلة").
يرسل الخبراء السريعون التفاصيل إلى الخبراء البطيئين ("انظر، لقد قفز اللاعب للتو!").

هم لا يتحدثون في اتجاه واحد فقط؛ بل يتبادلون المعلومات باستمرار ذهابًا وإيابًا، ولكن فقط عندما يكون ذلك مفيدًا حقًا. هذا يخلق فهمًا كاملًا وموحدًا للفيديو.

٥. الحكم النهائي: "القاضي"

بمجرد أن ينتهي جميع الخبراء من عملهم ويتبادلوا ملاحظاتهم، ينظر "قاضٍ" نهائي (آلية الدمج - Combination Mechanism) إلى جميع تقاريرهم. هو لا يكتفي بمجرد حساب المتوسط لآرائهم؛ بل يستمع إلى الخبير الذي يمتلك المعلومات الأكثر صلة باللحظة المحددة. ثم يتخذ القرار النهائي: "هذا الفيديو هو حركة 'دنك' لكرة السلة".

لماذا يهم هذا؟

تظهر الورقة البحثية أن هذا النهج يعمل بشكل أفضل من الطرق السابقة:

إنه أذكى: يمكنه رصد اللحظة الدقيقة لحدوث الـ "دنك" في الفيديو، بينما كانت الطرق القديمة ترى مجرد ضباب من الإطارات.
إنه أكثر كفاءة: لا يحتاج إلى معالجة كل إطار واحد بأقصى شدة. فهو يعرف متى يبطئ ومتى يسرع.
يتعلم بشكل أفضل: لأن الخبراء متخصصون، فإنهم لا يصابون بالارتباك. لقد تعلموا التركيز على نقاط قوتهم المحددة (سواء كانت "ماهية" الفيديو أو "كيفية" حدوثه).

باختصة القول، يمنع VidPrism الذكاء الاصطناعي من محاولة أن يكون "صاحب مهارات متعددة لكنه ليس بارعًا في أي منها". بدلاً من ذلك، يبني أوركسترا متخصصة حيث تعزف كل آلة دورها الخاص بدقة، مما ينتج فهمًا أوضح بكثير لمحتوى الفيديو.

ملخص تقني: VidPrism

بيان المشكلة

أدى التقدم السريع في نماذج الرؤية واللغة (VLMs) إلى ترسيخ نقل التعلم من الصورة إلى الفيديو (I2V) كنموذج مهيمن لفهم الفيديو. ومع ذلك، فإن تكييف النماذج المدربة مسبقاً على الصور الثابتة مع بيانات الفيديو الديناميكية يفرض تحدياً كبيراً: وهو الافتقار إلى قدرات النمذجة الزمنية المتأصلة. وبينما حاولت النهج الحديثة معالجة ذلك من خلال دمج بنيات "خليط الخبراء" (Mixture-of-Experts - MoE) لتعزيز النمذجة الزمنية، تعاني تصميمات MoE التقليدية من تجانس الخبراء. ففي أطر عمل MoE القياسية، تتلقى جميع الخبراء تدفقات مدخلات متطابقة وغير متمايزة، مما يجبرها على العمل كمتخصصين عامين مكررين بدلاً من وكلاء متخصصين. ويمنع هذا القصور النموذج من التمييز بفعالية بين المحتوى المكاني الساكن والتطور الزمني الديناميكي، مما يؤدي إلى توزيعات انتباه مسطحة تفشل في تحديد لحظات الحركة الحرجة.

المنهجية: VidPrism

للتغلب على تجانس الخبراء، يقترح المؤلفون VidPrism، وهو إطار عمل جديد لخليط الخبراء الزمني غير المتجانس. مستلهماً من "فرضية المسارين" في علم الأعصاب (التي تفصل بين مساري "ماذا" و"كيف")، ينفذ VidPrism تقسيماً وظيفياً لتقسيم العمل بين الخبراء. تتكون البنية من أربعة مكونات أساسية:

1. أخذ العينات متعدد المعدلات المدرك للمحتوى (RgSTA)

بدلاً من تغذية جميع الخبراء بإطارات متطابقة، يستخدم VidPrisum وحدة التجميع المكاني الزماني الموجه بالمعدل (RgSTA). تقوم هذه الوحدة بتقسيم الفيديو المدخل ديناميكياً إلى مسارات متوازية متعددة ذات دقة مكانية زمانية متميزة:

المسارات ذات المعدل البطيء: تلتقط الإطارات الرئيسية ذات السياق الدلالي الغني، وتُوجه إلى الخبراء المسؤولين عن الاستدلال المكاني.
المسارات ذات المعدل السريع: تركز على التغيرات الزمنية عالية التردد، وتُوجه إلى الخبراء المسؤولين عن نمذجة الحركة.
الآلية: تستخدم الوحدة آلية تسجيل هجينة تجمع بين درجات الأهمية القابلة للتعلم ومعايير الميزات الجوهرية (L2 norm) لاختيار الإطارات الحرجة. ومن الأهمية بمكان أنها لا تستبعد الإطارات غير المختارة؛ بل تدمج معلوماتها في الإطارات الرئيسية المختارة عبر انتباه مرجح بالتشابه، مما يضمن عدم فقدان أي معلومات قيمة مع الحفاظ على الكفاءة.

2. التفاعل ثنائي الاتجاه الديناميكي (DBI)

لمنع المعالجة المعزولة، يقدم VidPrism وحدة التفاعل ثنائي الاتجاه الديناميكي (DBI). تسهل هذه الوحدة التبادل التآزري للمعلومات بين المسارات الزمنية المختلفة:

من البطيء إلى السريع: يتم رفع مستوى السياق الدلالي عالي المستوى من المسارات البطيئة وحقنه في المسارات السريعة لتوفير سياق عالمي.
من السريع إلى البطيء: يتم خفض مستوى ديناميكيات الحركة التفصيلية من المسارات السريعة وحقنها في المسارات البطيئة لتحسين الفهم الهيكلي.
البوابة: تنشئ شبكة تصفية خفيفة الوزن درجات تفاعل ديناميكية بناءً على السياق العالمي، حيث تعمل كبوابة لتنظيم تدفق المعلومات وتعزيز الاتصال المتفرق.

3. خليط الخبراء غير المتجانس (HMoE)

يكمن الابتكار الجوهري في تصميم خليط الخبماء غير المتجانس. يتم معالجة كل مسار متخصص بواسطة شبكة خبير مخصصة (طبقة Transformer قياسية) مدربة حصرياً على معدل زمني محدد. يضمن هذا التجانس الوظيفي، حيث يتعلم الخبراء تبعيات زمنية داخلية فريدة للمقياس المخصص لهم.

آلية الجمع: ينتقل متجه استعلام عالمي قابل للتعلم عبر مخرجات جميع الخبراء باستخدام الانتباه المتقاطع متعدد الرؤوس لاستخراج المعلومات الأكثر صلة بالمهمة، وتجميع الميزات المتنوعة في تمثيل موحد على مستوى الفيديو.

4. أهداف التدريب

يتم تحسين النموذج باستخدام دالة خسارة مركبة:

خسارة التصنيف ( $L_{cls}$ ): الإنتروبيا المتقاطعة القياسية للتنبؤ النهائي.
خسارة الترتيب ( $L_{rank}$ ): خسارة مساعدة لتوجيه وحدة RgSTA في تعلم ترتيبات أهمية الإطارات الموثوقة.
خسارة التنوع ( $L_{div}$ ): تشجع الخبراء على تعلم ميزات متكاملة من خلال تعظيم المسافة بين توزيعات ميزات مخرجاتهم.
خسارة توازن البوابة ( $L_{gate}$ ): تمنع وحدة القراءة من الاعتماد المفرط على عدد قليل من الخبراء، مما يضمن الاستخدام المتوازن عبر الدفعة.

المساهمات الرئيسية

بنية خليط الخبراء غير المتجانس: أول اقتراح لإطار عمل خليط خبراء غير متجانس لنقل التعلم من الصورة إلى الفيديو، حيث يربط صراحةً شبكات الخبراء المتخصصة بمقاييس زمنية مختلفة للقضاء على تجانس الخبراء.
توليد متعدد المعدلات مدرك للمحتوى: وحدة مبتكرة تولد ديناميكياً مسارات ذات معدل بطيء غنية دلالياً ومسارات ذات معدل سريع كثيفة الحركة، مما يوفر مدخلات متخصصة مصممة لوظائف خبراء محددة.
آلية الدمج ثنائية الاتجاه: مخطط تفاعل ديناميكي يسمح بتبادل معلومات تآزري بين المسارات المكانية والزمانية، مما يخلق تمثيلاً شاملاً للفيديو.

النتائج التجريبية

أُجريت تجارب مكثفة على أربعة معايير مرجعية: Kinetics-400، وUCF-101، وHMDB-51، وSomethingSomething V2 (SSv2)، باستخدام CLIP (ViT-B/16 وViT-L/14) وVideoMAEv2 كركائز أساسية.

الأداء الرائد (SOTA): حقق VidPrism أداءً فائقاً عبر جميع مجموعات البيانات. في Kinetics-400، تفوق على نموذج MoTE الأساسي بنسبة 1.0% (ViT-B/16) و0.6% (ViT-L/14) مع تكاليف حوسبة مماثلة.
الكفاءة: أظهر VidPrism توازناً قوياً بين الأداء والكفاءة، حيث حقق دقة 84.0% (Top-1) في K400 بـ 162 GFLOPs فقط، وهو أقل بكثير من الطرق المنافسة مثل FocusVideo (204 GFLOPs).
التعلم بلقطات قليلة (Few-Shot Learning): أظهر الإطار قدرة استثنائية على التكيف في سيناريوهات اللقطات القليلة. في UCF-101، حقق متغير VidPrism-M (باستخدام VideoMAEv2) مستوى جديداً من الأداء الرائد بنسبة دقة 96.6% مع 16 لقطة.
دراسات الاستئصال (Ablation Studies): أكدت التجارب أن الجمع بين أربعة خبراء (معدلات 2، 4، 8، 16)، والتفاعل ثنائي الاتجاه، ودمج الانتباه العالمي، حقق أفضل النتائج. كشفت عملية تصور استخدام الخبراء عن تقسيمات وظيفية متميزة للعمل، حيث قامت فئات حركة مختلفة بتنشيط خبراء محددين، مما أثبت تجانس التصميم.

الأهمية

يزعم البحث أن VidPrism يعالج قصوراً جوهرياً في نماذج فهم الفيديو الحالية: وهو عدم كفاءة التعامل مع جميع المعلومات الزمنية بشكل موحد. من خلال ريادة التقسيم الوظيفي للعمل بين الخبراء غير المتجانسين، يمكّن VidPrism النماذج من التركيز على لحظات الحركة الحرجة والتقاط كل من الدلالات الساكنة والحركة الديناميكية بفعالية. يثبت هذا العمل أن الانتقال من تصميمات MoE المتجانسة نحو بنيات متخصصة متعددة المعدلات ومدركة للمحتوى هو استراتيجية قابلة للتطبيق وفعالة لتقدم نقل التعلم من الصورة إلى الفيديو، محققاً نتائج رائدة مع تعزيز التخصص الحقيقي للخبراء.