💻 computer science

Uni-ViGU: Towards Unified Video Generation and Understanding via A Diffusion-Based Video Generator

يقترح Uni-ViGU إطار عمل يرتكز على التوليد يوحد بين توليد الفيديو وفهمه من خلال توسيع مولد فيديو قائم على الانتشار باستخدام طريقة مطابقة تدفق موحدة وآلية تدريب ثنائية الاتجاه، مما يتغلب بفعالية على عدم التوازن الحسابي بين هاتين المهمتين لتحقيق أداء تنافسي في كلا المجالين.

المؤلفون الأصليون: Luozheng Qin, Jia Gong, Qian Qiao, Tianjiao Li, Li Xu, Haoyu Pan, Chao Qu, Zhiyu Tan, Hao Li

نُشر 2026-04-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Luozheng Qin, Jia Gong, Qian Qiao, Tianjiao Li, Li Xu, Haoyu Pan, Chao Qu, Zhiyu Tan, Hao Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء روبوت يكون في آن واحد رساماً بارعاً وناقداً فنياً حاد الذكاء.

تقليدياً، حاول العلماء بناء هذا الروبوت عبر البدء بناقد فني عبقري (نموذج يفهم الصور) ثم محاولة تعليمه كيفية الرسم. لكن هناك مشكلة ضخمة: الرسم مجهد للغاية. لإنشاء فيديو واحد عالي الجودة، يتعين على الروبوت إجراء الملايين من الحسابات الصغيرة والمتكررة (مثل محاولة نحت تمثال من الرمل، حبة تلو الأخرى). تعليم الناقد القيام بهذا العمل الشاق بطيء، ومكلف، وغالباً ما ينتج عنه لوحات فوضوية.

لكن Uni-ViGU يقلب هذه الآية. فبدلاً من تعليم الناقد كيف يرسم، بدأ الباحثون بـ رسام بارع (مولد فيديو قوي) وعلموه كيف يكون ناقداً.

إليك كيف فعلوا ذلك، باستخدام بعض التشبيهات البسيية:

1. نظام القطارات "المسار المزدوج" (التدفق الموحد)

تخيل محطة قطار تصل إليها نوعان مختلفان من القطارات:

قطارات الفيديو: هي عبارة عن تدفقات مستمرة وناعمة من المياه (مثل النهر). يجب أن تتدفق بلطف لتشكيل صورة.
قطارات النصوص: مصنوعة من قطع "ليجو" (Lego) منفصلة وضخمة. وهي تترابط قطعة تلو الأخرى.

عادةً، تحتاج إلى محطتين مختلفتين للتعامل مع كل منهما. لكن Uni-ViGU بنى محطة فائقة تتعامل مع كليهما في وقت واحد.

يعامل الفيديو كأنه نهر يحتاج إلى التنعيم (التدفق المستمر - Continuous Flow).
ويعامل النص كأنه قطع ليجو تحتاج إلى التركيب في مكانها (التدفق المنفصل - Discrete Flow).
السحر: تعمل المحطة على تشغيل كلا القطارين على نفس المسار في نفس الوقت. ومع زيادة وضوح الفيديو، يصبح النص أكثر دقة، ويساعد كل منهما الآخر في التقدم.

2. "عقل مشترك، وأيدٍ متخصصة" (بنية MoE)

فكر في نموذج الذكاء الاصطناعي كأنه مصنع يحتوي على عقل مركزي وأيدٍ متعددة.

العقل (طبقات الانتباه - Attention Layers): هذا الجزء يفهم كيف ترتبط الأشياء ببعضها البعض. "الكلب يطارد الكرة". هذا المنطق هو نفسه سواء كنت تتحدث عن كلب أو عن فيديو. حافظ Uni-ViGU على هذا العقل مشتركاً لكلتا المهمتين.
الأيدي (طبقات FFN): هنا يحدث العمل الفعلي.
- أيدي الفيديو: هي قوية بالفعل لأن النموذج قد تم تدريبه مسبقاً على الرسم. لقد احتفظت بعضلاتها الأصلية القوية.
- أيدي النصوص: جديدة وضعيفة. لذا، منح الباحثون النموذج زوجاً ثانياً من الأيدي مخصصاً للكتابة.

النتيجة: يستخدم النموذج عقله المشترك لفهم العلاقة بين الكلمات والصور، لكنه يستخدم أيديه المتخصصة للقيام بالعمل الشاق لكل مهمة. إنه لا يحتاج لإعادة تعلم كيفية الرسم؛ بل يتعلم فقط كيفية وصف ما يرسمه.

3. "الهندسة العكسية" للتدريب (التعلم ثنائي الاتجاه)

كيف تعلم رساماً كيف يكون ناقداً؟ تستخدم معسكراً تدريبياً من خطوتين:

الخطوة 1: لعبة الذاكرة (استدعاء المعرفة)
يُعرض على النموذج فيديو ونصاً قصيراً غامضاً (مثلاً: "قطة"). ويُطلب منه إعادة إنشاء النص بناءً على الفيديو فقط.
لماذا؟ بما أن النموذج يعرف بالفعل كيف يحول "قطة" إلى فيديو، فبإمكانه بسهولة عكس العملية: تحويل الفيديو مرة أخرى إلى كلمة "قطة". هذا يوقظ ذاكرته حول كيفية اتصال الكلمات بالصور.
الخطوة 2: عمل المحقق (صقل القدرات)
الآن، يُعرض على النموذج فيديو ونصاً قصيراً، لكن يُطلب منه كتابة قصة طويلة ومفصلة عن الفيديو (مثلاً: "قطة برتقالية ذات فراء كثيف وطوق أزرق تطارد كرة حمراء عبر عشب أخضر...").
لماذا؟ النص القصير ليس كافياً لكتابة قصة طويلة. لذا يُجبر النموذج على النظر بدقة في تفاصيل الفيديو (الفراء، اللون، الحركة) لملء الفراغات. هذا يجبره على أن يصبح مراقباً حاداً.

لماذا يهم هذا؟

الطريقة القديمة كانت تشبه محاولة تعليم إنسان الطيران عبر جعله يركض بشكل أسرع وأسرع على الأرض. إنه أمر غير فعال.
Uni-ViGU يقول: "لنبدأ بطائر يعرف بالفعل كيف يطير، ونعلمه كيف يغرد".

من خلال البدء بمولد فيديو (الطائر)، يمتلك النموذج بالفعل فهماً عميقاً وفطرياً لكيفية عمل العالم المرئي. ومن خلال إضافة بعض "الأيدي النصية" وتدريبه على الهندسة العكسية لإبداعاته، أنشأوا نظاماً يتميز بـ:

أقل تكلفة: لا يحتاج لإعادة تعلم أساسيات الفيديو.
أكثر ذكاءً: يفهم الرابط بين الكلمات والصور بشكل أفضل لأنه تعلمه من الداخل إلى الخارج.
موحد: يمكنه إنشاء فيديو من نص، أو وصف فيديو بنص، أو حتى إنشاء كليهما في آن واحد، وكل ذلك في حزمة واحدة.

باختاً، يثبت Uni-ViGU أن أفضل طريقة لفهم الفيديو قد تكون بتعلم كيفية صنعه أولاً.

إليك ملخص تقني مفصل لورقة البحث "Uni-ViGU: نحو توحيد توليد وفهم الفيديو عبر مولد فيديو قائم على الانتشار (Diffusion)."

1. بيان المشكلة

تتبع النماذج متعددة الوسائط الموحدة الحالية (MLLMs) عادةً نموذجاً متمحوراً حول الفهم، حيث يتم توسيع نموذج لغوي مدرب مسبقاً لدعم التوليد البصري. ومع ذلك، يواجه هذا النهج عقبة أساسية في القابلية للتوسع:

عدم التوازن الحسابي: يعد التوليد البصري (خاصة الفيديو) أكثر تكلفة من الناحية الحسابية بشكل كبير من الفهم البصري. يتطلب توليد الفيديو القائم على الانتشار عمليات إزالة ضجيج تكرارية عبر ملايين الرموز (على سبيل المثال، حوالي 74 ألف رمز لفيديو مدته 5 ثوانٍ)، بينما يتضمن توليد النصوص عدداً أقل بكثير من الرموز.
عدم التوافق الهيكلي: غالباً ما يؤدي توسيع نماذج MLLMs لتوليد الفيديو إلى دقة بصرية محدودة أو يتطلب تدريباً منفصلاً (مثل تجميد MLLM وإضافة مولد)، مما يمنع أهداف التوليد من الاستفادة مباشرة من قدرات الفهم.
السؤال الجوهري: بدلاً من إجبار نماذج الفهم على التوليد، هل يمكن للنماذج المتمحورة حول التوليد أن تعمل كأساس للذكاء الموحد؟ يجادل المؤلفون بأن المعرفة المسبقة القوية للتوليد البصري التي يتم تعلمها أثناء التدريب المسبق لـ "نص-إلى-فيديو" يمكن إعادة توظيفها لأغراض الفهم.

2. المنهجية

يقترح Uni-ViGU إطار عمل يوسع مولد فيديو متطوراً (يعتمد على WAN2.1) لدعم كل من توليد وفهم الفيديو ضمن نموذج واحد. تتكون المنهجية من ثلاثة مكونات أساسية:

أ. مطابقة التدفق الموحدة (Uni-Flow)

لسد الفجوة بين بيانات الفيديو المستمرة ورموز النص المنفصلة، قدم المؤلفون عملية Uni-Flow تتعامل مع كلا الوسيطين في عملية توليد واحدة:

الفيديو (مستمر): يستخدم مطابقة التدخل المستمر (Continuous Flow Matching) القياسية في الفضاء الكامن لمشفر التباين التلقائي (VAE). يتعلم نقل الضجيح الغاوسي إلى توزيع البيانات عبر الاستيفاء الخطي.
النص (منفصل): يستخدم مطابقة التدفق المنفصل (Discrete Flow Matching). بدلاً من التنبؤ بالتسلسل الذاتي، يتم تعيين رموز النص إلى تضمينات مستمرة. يتعلم النموذج نقل الضجيج إلى "متعدد (manifold)" تضمينات الرموز الصالحة.
التحسين المشترك: يقوم النموذج ببناء مسارات تدفق لكلا الوسيطين في آن واحد. ومن الأهمية بمكان أن مستويات الضجيج ( $\tau_v$ للفيديو، $\tau_t$ للنص) يتم أخذ عينات منها بشكل مستقل. يسمح هذا للنموذج بتعلم الاعتمادات المتبادلة بين الوسائط في جميع مراحل عملية إزالة الضجيج (على سبيل المثال، توليد نص من فيديو مشوش، أو فيديو من نص مشوش).

ب. بنية خليط الخبراء (MoE) المدفوعة بالوسائط

للحفاظ على المعرفة المسبقة عالية الجودة لتوليد الفيديو مع تمكين توليد النصوص، صمم المؤلفون بنية متخصصة:

الانتباه المشترك: طبقات الانتباه الذاتي والانتباه المتقاطع مشتركة عبر رموز الفيديو والنص. يحافظ هذا على المحاذاة الغنية بين المرئي والدلالي التي تم تعلمها أثناء التدريب المسبق ويسمح بالتفاعل الثنائي.
شبكات التغذية الأمامية المنفصلة (الخبراء): يتم تقسيم شبكات التغذية الأمامية (FFNs) إلى خبراء متخصصين لكل وسيط ( $FFN_v$ $F F N_{v}$ للفيديو، $FFN_t$ $F F N_{t}$ للنص).
- $FFN_v$ : يحتفظ بالأوزان المدربة مسبقاً للحفاظ على المعرفة المسبقة لتوليد الفيديو.
- $FFN_t$ : يتم تهيئته حديثاً لتعلم أنماط توليد النصوص.
الفائدة: يقلل هذا التصميم من العبء الإضافي للمعلمات مع ضمان أن المعرفة الخاصة بكل وسيط (الأنماط النطاقية) لا تتداخل مع الاستدلال العلاقاتي المشترك.

ج. التدريب ثنائي المرحلة المتجه (Bidirectional Two-Stage Training)

تم تصميم عملية التدريب لنقل المعرفة من التوليد إلى الفهم ثم صقلها:

المرحلة الأولى: استدعاء المعرفة (التمهيد):
- الهدف: إنشاء محاذاة أساسية بين الوسائط.
- الآلية: يتم تدريب النموذج على إعادة بناء المطالبة النصية ( $c$ ) بناءً على الفيديو. لمنع النموذج من مجرد نسخ المطالبة، يتم تطبيق إسقاط الشرط (condition dropout) (حذف $c$ عشوائياً). هذا يجبر النموذج على الاعتماد على الكمون (latent) الخاص بالفيديو لاستعادة النص، مما يؤدي فعلياً إلى تعلم الخريطة العكسية (فيديو $\leftarrow$ نص) باستخدام معرفة "نص-إلى-فيديو" المدربة مسبقاً.
- موازنة الخسارة: نظراً لأن رموز الفيديو تفوق عدد رموز النص بكثير، يتم تطبيق عامل تطبيع ( $\lambda_t = |z_v|/|z_t|$ ) على خسارة النص لضمان توازن التحسين.
المرحلة الثانية: صقل القدرات:
- الهدف: تطوير فهم دقيق للفيديو.
- الآلية: يتم استبدال النص المستهدف بأوصاف فيديو تفصيلية (أوصاف دلالية غنية) بدلاً من المطالبة المدخلة البسيطة.
- الأثر: لم يعد بإمكان النموذج الاعتماد على المطالبة وحدها؛ بل يجب عليه الانتباه بنشاط إلى كمون الفيديو عبر الانتباه الذاتي المشترك لاستخراج التفاصيل الدقيقة (الأجسام، السمات، الديناميكيات) لتوليد الوصف التفصيلي. هذا يفرض تطوير تمثيلات تمييزية حقيقية.

3. المساهمات الرئيسية

قلب النموذج (Paradigm Inversion): يقترح إطار عمل موحداً متمحوراً حول التوليد، مجادلاً بأن توسيع مولدات الفيديو أكثر قابلية للتوسع ومنطقية من توسيع نماذج MLLMs لتوليد الفيديو عالي الدقة.
صياغة التدفق الموحد: يقدم طريقة مبتكرة لإجراء مطابقة التدخل المستمر للفيديو ومطابقة التدخل المنفصل للنص في آن واحد داخل هيكل Transformer واحد، مما يحل مشكلة عدم توافق الوسائط.
بنية فعالة: يصمم بنية MoE مدفوعة بالوسائط تشارك طبقات الانتباه (للمحاذاة) ولكن تفصل طبقات FFN (للخصوصية النطاقية)، مما يسمح بإعادة استخدام المعرفة التوليدية المدربة مسبقاً بأقل تكلفة في المعلمات.
استراتيجية تدريب ثنائية الاتجاه: يطور آلية تدريب من مرحلتين (استدعاء المعرفة + صقل القدرات) تعمل بفعالية على إعادة توظيف المعارف التوليدية لأغراض الفهم وصقلها من أجل الاستيعاب الدلالي التفصيلي.

4. النتائج

الأداء: تُظهر التجارب أن Uni-ViGU يحقق أداءً تنافسياً في كل من توليد الفيديو (مع الحفاظ على جودة نموذج WAN2.1 الأساسي) وفهم الفيديو (توليد أوصاف دقيقة وتفصيلية).
التوليد المشترك: يمكن للنموذج القيام بـ توليد مشترك للفيديو والنص من الضجيج، حيث يتطور الوسيطان معاً. يوفر النص توجيهاً دلالياً للفيديو، بينما يوفر الفيديو سياقاً بصرياً للنص، مما ينتج أزواجاً متسقة ومتوافقة للغاية.
الأدلة النوعية: تُظهر النتائج المرئية أن النموذج يمكنه توليد فيديوهات مع أوصاف دقيقة وأمينة تلتقط المشاهد المعقدة، والعلاقات المكانية، والديناميكيات الزمنية، متفوقاً على النماذج المرجعية التي تعتمد على التدريب المنفصل أو التوليد بالتسلسل الذاتي.

5. الأهمية

القابلية للتوسع: من خلال اعتبار مولد الفيديو هو الأساس، يقدم Uni-ViGU مساراً قابلاً للتوسع نحو ذكاء متعدد الوسائط موحد، متجنباً التكاليف الحسابية الباهظة لتدريب نماذج متمحورة حول الفهم لتوليد فيديو عالي الدقة.
إعادة توظيف المعرفة: يثبت النموذج فرضية أن المعارف المسبقة التوليدية هي مصدر غني للفهم. فإذا كان النموذج يعرف كيفية توليد فيديو من نص، فإنه يمتلك بطبيعته المعرفة لفهم الفيديو وإعادة بناء النص.
بنية موحدة: يلغي الحاجة إلى بنى "البرجين" (dual-tower) أو التدريب المنفصل، مما يوفر إطار عمل واحداً متماسكًا لكلا المهمتين يستفيد من نقاط قوة نماذج الانتشار لكل من البيانات المستمرة (الفيديو) والمنفصلة (النص).

باختيد، يمثل Uni-ViGU خطوة مهمة للأمام في مجال الذكاء الاصطيبي متعدد الوسائط من خلال إثبات أن نهج "التوليد أولاً"، المدعوم بمطابقة التدفق الموحدة والتصميم الهيكلي الفعال، يمكنه توحيد فهم الفيديو وتوليده بفعالية.