💻 computer science

SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model

يُعد SkyReels V4 نموذجاً تأسيسياً موحداً متعدد الوسائط يستفيد من بنية MMDiT ثنائية المسار واتباع التعليمات القائم على نماذج اللغات الكبيرة متعددة الوسائط (MLLM) لتوليد، وترميم، وتحرير فيديوهات عالية الدقة بدقة 1080p ومدة 15 ثانية مع صوت متزامن من مدخلات متنوعة في آن واحد، وذلك باستخدام استراتيجية فعالة ثنائية المراحل لإنتاج مخرقات سينمائية طويلة الأمد.

المؤلفون الأصليون: Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao Zhang, Xiaopeng Sun, Jingtao Xu, Yuqiang Xie, Jiahua Wang, Zhiheng Xu, Weiming Xiong, Yuzhe Jin, Baoxuan Gu, Binjie Mao, Yunjie Yu, Jujie He, Yuhao Feng, Shiwen Tu, Chaojie Wang, Rui Yan, Wei Shen, Jingchen Wu, Peng Zhao, Xuanyue Zhong, Zhuangzhuang Liu, Kaifei Wang, Fuxiang Zhang, Weikai Xu, Wenyan Liu, Binglu Zhang, Yu Shen, Tianhui Xiong, Bin Peng, Liang Zeng, Xuchen Song, Haoxiang Guo, Peiyu Wang, Max W. Y. Lam, Chien-Hung Liu, Yahui Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مخرج أفلام. في الأيام الخوالي، كان عليك استئجار مصور لتصوير المشهد، ومهندس صوت لتسجيل الحوار، ومؤلف موسيقي لكتابة الموسيقى، وفريق مؤثرات خاصة لإصلاح الأخطاء أو إضافة شخصيات جديدة لاحقاً. لقد كانت عملية ضخمة، مكلفة، وغير مترابطة.

SkyReels-V4 يشبه "استوديو أفلام خارق الشخص الواحد" يتسع داخل حاسوبك. هو لا يصنع مجرد فيديو فحسب؛ بل يصنع الفيديو والصوت في نفس الوقت، ويفهم تعليماتك المحددة، ويمكنه حتى تحرير الفيلم أثناء عملية صناعته.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. بنية "الدماغ التوأم" (Dual-Stream MMDiT)

فكر في النموذج كأنه يمتلك عقلين يعملان بتناغم تام، متصلين بـ "مترجم" مشترك.

الدماغ (أ) (البصريات): هذا الدماغ يرسم إطارات الفيلم.
الدماغ (ب) (الصوت): هذا الدماغ يؤلف الموسيقى، والحوار، والمؤثرات الصوتية.
المترجم (MLLM): يتشارك كلا الدماغين مركز لغة ضخم وذكي (يعتمد على نموذج لغوي كبير). عندما تقول: "قط يقاتل كلباً في مدينة سايبربانك مع موسيقى جاز"، يفهم هذا المترجم معنى "الجاز" و"السايبربانك" ويخبر كلا الدماغين بالضبط بما يجب فعله ليتطابق الصوت مع الصورة تماماً.

السحر: في السابق، إذا طلبت فيديو، فقد يُضاف الصوت لاحقاً ويبدو غير متزامن (مثل الدبلجة السيئة)، أما SkyReels-V4 فيقوم بتوليد الاثنين معاً، لذا ستتصاعد موسيقى "الجاز" تماماً عند تحرك الكاميرا، وستتطابق أصوات "القتال" مع الضربات.

2. "فرشاة الرسم السحرية" (التلوين الموحد والتحرير)

تخيل أن لديك لوحة، ولكنك تريد تغيير السماء، أو إضافة طائر، أو توسيع اللوحة لتصبح أعرض. عادةً، ستحتاج إلى أدوات مختلفة لكل مهمة.

يستخدم SkyReels-V4 "فرشاة رسم سحرية واحدة" تتعامل مع كل شيء عبر اعتبار كل مهمة بمثابة "ملء للفراغات".

تحويل النص إلى فيديو: تعطي النموذج لوحة فارغة ووصفاً، فيقوم برسم الفيلم بأك completo.
تحويل الصورة إلى فيديو: تعطي النموذج الإطار الأول (اللوحة نصف ممتلئة)، فيقوم برسم بقية الفيلم.
تحرير الفيديو: تعطي النموذج فيلماً و"قناعاً" (Stencil) فوق الجزء الذي تريد تغييره (على سبيل المثال، تغطية الخلفية). يقوم بمسح ما تحت القناع ويرسم شيئاً جديداً، مع الحفاظ على بقية الفيلم كما هو.
المرجع: يمكنك عرض صورة لقميص محدد عليه وتقول: "ضع هذا الققميص على الشخصية". ينظر النموذج إلى صورتك ويقوم بـ "تلوين" ذلك القميص بدقة فوق الشخصية في الفيديو.

3. استراتيجية "الرسم التخطيطي الذكي" (الكفاءة)

إنشاء فيلم بدقة 1080p وبمعدل 32 إطاراً في الثانية لمدة 15 ثانية يشبه محاولة رسم جدارية ضخمة في الوقت الفعلي. هذا يتطلب عادةً حاسوباً فائق القدرة ويستغرق وقتاً طويلاً جداً.

يستخدم SkyReels-V4 خدعة ذكية تسمى "التخطيط ثم الصقل":

التخطيط: أولاً، يقوم بتوليد الفيلم بأكمله بسرعة بدقة منخفضة (مثل رسم قلم رصاص أولي) لضبط الحركة والتوقيت بشكل صحيح.
الإطارات الرئيسية: في الوقت نفسه، يقوم برسم بعض "الإطارات الرئيسية" (اللحظات الهامة) بدقة عالية.
المُصقّل (Refiner): أخيراً، يأخذ نموذج "المُصقّل" المتخصص ذلك الرسم الأولي والإطارات عالية الجودة ويملأ الفجوات، محولاً إياها إلى تحفة سينمائية واضحة المعالم.

هذا يشبه فناناً يرسم بسرعة وضعية الجسم لضبط التشريح، ثم يقضي وقتاً في التفاصيل، بدلاً من محاولة رسم كل شعرة بدقة من الثانية الأولى.

4. ماذا يمكنه أن يفعل فعلياً؟

صنع أفلام من الصفر: اكتب "تنين يطير فوق بركان"، وسيعطيك مقطعاً مدته 15 ثانية مع أصوات زئير النار والرياح.
إصلاح الأخطاء: إذا كان الفيديو يحتوي على خلل غريب أو أردت إزالة شخص من الخلفية، يمكنه "معالجة" ذلك الجزء من الفيديو.
تغيير القصة: يمكنك أخذ فيديو لشخص يمشي وتغيير الخلفية لتصبح شاطئاً، أو تغيير ملابسه، كل ذلك مع الحفاظ على سلاسة الحركة.
مزامنة الصوت: يمكنه جعل الشخصية تنطق جملة حوار محددة، وستتحرك شفتاها بدقة لتتطابق مع الكلمات.

لماذا يعد هذا أمراً مهماً؟

قبل هذا، كنت بحاجة إلى أدوات ذكاء اصطناعي مختلفة لصنع الفيديوهات، وإضافة الصوت، والتحرير. ولم تكن هذه الأدوات تتواصل مع بعضها البعض بشكل جيد. SkyReels-V4 هو أول "استوديو شامل" يمكنه القيام بكل هذه المهام الثلاث بجودة احترافية وسينمائية (دقة 1080p) في خطوة واحدة. إنه يشبه الانتقال من بناء سيارة باستخدام مطرقة ومنشار إلى قيادة مصنع مؤتمت بالكامل يبني السيارة، ويطليها، ويثبت محركها في آن واحد.

إليك ملخص تقني مفصل لورقة SkyReels-V4 البحثية.

1. بيان المشكلة

تواجه نماذج توليد الفيديو الحالية ثلاث عيوب رئيسية:

التجزئة (Fragmentation): تتعامل الأنظمة الحالية عادةً مع توليد الفيديو، وتوليد الصوت، والترميم (inpainting)، والتحرير كمهام أو مسارات عمل منفصلة. وتفتقر معظم النماذج إلى توحيد هذه القدرات ضمن بنية واحدة.
عدم التزامن بين الوسائط (Modality Asynchrony): بينما تقوم بعض النماذج بتوليد الفيديو والصوت، إلا أنها غالباً ما تعاني من عدم التزامن بين الصوت والمرئي (عدم تطابق حركة الشفاه، وعدم المحاذاة الزمنية) وتفتقر إلى المحاذاة الدلالية العميقة بين هذين الوسيطين.
جمود المدخلات (Input Rigidity): تعتمد معظم النماذج الرائدة (SOTA) بشكل كبير على الأوامر النصية. وهي تواجه صعوبة في قبول مدخلات شرطية متعددة الوسائط غنية (مثل الصور المرجعية، مقاطع الفيديو، الأقنعة/الماسكات، والمراجع الصوتية) في آن واحد لتوجيه عملية التوليد أو التحرير بدقة.
القابلية للتوسع الحسابي (Computational Scalability): يعد توليد فيديو عالي الدقة (1080p)، طويل المدة (15 ثانية)، وبمعدل إطارات مرتفع (32 إطاراً في الثانية) مع صوت متزامن أمراً مكلفاً حسابياً بالنسبة لنماذج الـ Diffusion Transformers القياسية بسبب قيود الذاكرة والوقت.

2. المنهجية

يعالج SkyReels-V4 هذه التحديات من خلال بنية Dual-Stream Multimodal Diffusion Transformer (MMDiT) موحدة واستراتيجية كفاءة مبتكرة.

أ. البنية: Dual-Stream MMDiT

يتكون النموذج من فرعين متوازيين (الفيديو والصوت) يتشاركان في عمود فقري دلالي مشترك:

مشفر نصي مشترك (Shared Text Encoder): يعمل نموذج لغوي كبير متعدد الوسائط (MLLM) كمشفر نصي مشترك. يقوم بمعالجة الأوامر المدمجة (النصوص، أوصاف الصور، أوصاف الفيديو، وأوصاف الصوت) لإنشاء سياق دلالي موحد.
كتل ترانسفورمر هجينة (Hybrid Transformer Blocks):
- ثنائية المسار (الطبقات الأولى): تمتلك رموز (tokens) الفيديو/الصوت والنصوص بارامترات منفصلة لـ LayerNorm، وإسقاطات QKV، وMLPs، لكنها تتفاعل عبر آلية "الاهتمام الذاتي المشترك" (joint self-attention). يضمن ذلك محاذاة قوية بين الوسائط في المراحل المبكرة.
- أحادية المسار (الطبقات اللاحقة): يتم دمج الرموز ومعالجتها ببارامترات مشتركة لتحقيق الكفاءة الحسابية.
- الاشتراط النصي المعزز (Reinforced Text Conditioning): تسمح طبقات "الاهتمام المتقاطع" (cross-attention) الإضافية لمسار الفيديو بالاستعلام عن التضمينات النصية، مما يحافظ على التحكم الدلالي الدقيق.
الاهتمام المتقاطع ثنائي الاتجاه (Bidirectional Cross-Attention): لضمان التزامن الزمني، يقوم مسار الصوت بالاهتمام بميزات الفيديو والعكس صحيح عند كل طبقة، مما يسمح بتبادل إشارات التزامن طوال عمق الشبكة.
المحاذاة الزمنية (Temporal Alignment): يتم تغيير مقياس تضمينات الموضع الدوارة (RoPE) (حيث يتم تغيير مقياس ترددات الصوت بنحو 0.096) لمحاذاة الدقات الزمنية المختلفة للفيديو (21 إطاراً) والصوت (218 رمزاً).

ب. إطار عمل موحد للترميم والتحرير (Unified Inpainting & Editing Framework)

يوحد SkyReels-V4 عمليات التوليد، والترميم، والتحرير باستخدام صيغة "دمج القنوات" (Channel Concatenation) على فرع الفيديو:

صيغة المدخلات: المدخل لـ MMDiT الخاص بالفيديو هو دمج لثلاثة تنسورات (tensors): فيديو ضوضائي ( $V$ )، إطارات شرطية ( $I$ )، وقناع ثنائي ( $M$ ).
توحيد المهام:
- النص إلى فيديو (Text-to-Video): يكون القناع كله أصفاراً.
- الصورة إلى فيديو (Image-to-Video): يتم قناع الإطار الأول كشرط ( $M=1$ ).
- توسيع الفيديو/التحرير (Video Extension/Editing): يتم قناع مناطق زمنية-مكانية محددة كشروط أو أهداف.
التعلم داخل السياق (In-Context Learning): يتم تشفير الصور ومقاطع الفيديو المرجعية وإلحاقها بتسلسل الـ latent باستخدام Offset 3D RoPE (مؤشرات زمنية سالبة) لتمييزها عن المحتوى المولد، مما يسمح للنموذج بتعلم الأنماط البصرية الدقيقة (الهوية، الملمس) مباشرة.

ج. استراتيجية الكفاءة: التوليد والتحسين المشترك

لتحقيق توليد بدقة 1080p/32FPS/15s دون تكاليف باهظة:

النموذج الأساسي (Base Model): يولد تسلسلاً كاملاً منخفض الدقة وإطارات رئيسية عالية الدقة في وقت واحد.
وحدة التحسين (Refiner Module): يأخذ نموذج متخصص في "الترقية الفائقة للفيديو" (VSR) و"استكمال الإطارات" (Frame Interpolation) المخرجات الأساسية. يستخدم هذا النموذج "الاهتمام المتفرق للفيديو" (Video Sparse Attention - VSA) لتقليل التكلفة الحسابية بنحو 3 أضعاف مع إعادة بناء فيديو عالي الدقة ومتسق زمنياً.

د. مسار التدريب (Training Pipeline)

يخضع النموذج لاستراتيجية تدريب تدريجية متعددة المراحل:

التدريب المسبق للفيديو: (نص إلى صورة $\leftarrow$ نص إلى فيديو $\leftarrow$ ترميم/تحرير $\leftarrow$ اشتراط متعدد الوسائط مثل مرجع صورة/فيديو).
التدريب المسبق للصوت: تم التدريب من الصفر على مئات الآلاف من الساعات من الكلام والصوت.
التدريب المشترك: تدريب متزامن على مهام T2V (نص إلى فيديو)، T2A (نص إلى صوت)، وT2AV (نص إلى فيديو وصوت) لفرض التزامن.
الضبط الدقيق الخاضع للإشراف (SFT): استخدام بيانات منسقة عالية الجودة مع مدخلات متعددة الوسائط لتحسين اتباع التعليمات والمحاذاة.

3. المساهمات الرئيسية

أول نموذج تأسيسي موحد: يعد SkyReels-V4 أول نموذج يدعم في آن واحد مدخلات غنية متعددة الوسائط (نص، صور، فيديو، أقنعة، صوت)، وتوليد فيديو وصوت مشترك، وإطار عمل موحد للتوليد والترميم والتحرير.
Dual-Stream MMDiT: قدم بنية توأمية متناظرة مع اهتمام متقاطع ثنائي الاتجاه ومشفرات MLLM مشتركة، مما حقق محاذاة فائقة بين الصوت والمرئي.
ترميم دمج القنوات (Channel-Concatenation Inpainting): صيغة مبتكرة تعامل مهام معالجة الفيديو المتنوعة (I2V، التوسيع، التحرير) كمشكلة ترميم واحدة تحت واجهة موحدة.
توليد عالي الدقة وقابل للتوسع: اقترح استراتيجية توليد مشتركة (منخفضة الدقة/إطارات رئيسية عالية الدقة) مع محسن يعتمد على VSA، مما يتيح توليد فيديوهات بجودة سينمائية (1080p، 32 إطاراً في الثانية، 15 ثانية) مع صوت متزامن.

4. النتائج

ساحة التحليل الاصطناعي (Artificial Analysis Arena):
- المركز الأول (#1) في "النص إلى فيديو مع صوت" (متفوقاً على Kling 3.0 و Veo 3.1).
- المركز الثاني (#2) في "النص إلى فيديو بدون صوت".
- المركز الرابع (#4) في "الصورة إلى فيديو مع صوت".
اختبار SkyReels-VABench (التقييم البشري):
- تم التقييم مقابل نماذج SOTA (مثل Veo 3.1, Kling 2.6, Seedance 1.5 Pro, Wan 2.6).
- حقق أعلى متوسط درجة إجمالية على مقياس ليكرت (Likert) المكون من 5 نقاط.
- أظهر قوة خاصة في اتباع التعليمات (Instruction Following) وجودة الحركة (Motion Quality).
- تفوق باستمرار على النماذج المرجعية في مقارنات (جيد-نفس-سيئ / GSB) عبر جميع الأبعاد الخمسة (اتباع التعليمات، التزامن بين الصوت والمرئي، الجودة البصرية، جودة الحركة، وجودة الصوت).

5. الأهمية

يمثل SkyReels-V4 تحولاً جذرياً في مجال توليد الفيديو عبر الانتقال من مسارات العمل المجزأة أو أحادية الوسيط أو أحادية المهمة إلى نموذج تأسيسي شامل متعدد الوسائط.

سير العمل الإبداعي: يتيح سرد قصص معقدة بمستوى سينمائي حيث يمكن للمستخدمين توليد وتحرير وتوسيع مقاطع الفيديو مع صوت متزامن باستخدام اللغة الطبيعية، المراجع البصرية، والإشارات الصوتية في خطوة واحدة.
المعيار التقني: يضع معياراً جديداً للكفاءة والجودة في توليد فيديو عالي الدقة وطويل المدة، مما يثبت أن التوليد المشترك للصوت والفيديو بدقة 1080p هو أمر ممكن حسابياً.
التأثير المستقبلي: من خلال توحيد التوليد والترميم والتحرير، فإنه يمهد الطريق للجيل القادم من الأدوات الإبداعية التي تدمج بسلاسة بين السرد القصصي المرئي والسمعي، معالجةً الفجوة التاريخية بين "الأفلام الصامتة" و"الأفلام الناطقة" في عصر الذكاء الاصطناعي.