💻 computer science

Pusa V1.0: Unlocking Temporal Control in Pretrained Video Diffusion Models via Vectorized Timestep Adaptation

يقدم Pusa V1.0 طريقة غير تدميرية للتكيف مع الخطوات الزمنية المتجهة (VTA) تتيح تحكماً زمنياً دقيقاً وصفرياً (zero-shot)—بما في ذلك تحويل الصور إلى فيديو، وتكييف إطارات البداية والنهاية، وتمديد الفيديو—في نماذج انتشار الفيديو مسبقة التدريب مع الحفاظ الكامل على القدرات التوليدية الأصلية للنموذج الأساسي.

المؤلفون الأصليون: Yaofang Liu, Yumeng Ren, Aitor Artola, Yuxuan Hu, Xiaodong Cun, Xiaotong Zhao, Alan Zhao, Raymond H. Chan, Suiyun Zhang, Rui Liu, Dandan Tu, Jean-Michel Morel

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yaofang Liu, Yumeng Ren, Aitor Artola, Yuxuan Hu, Xiaodong Cun, Xiaotong Zhao, Alan Zhao, Raymond H. Chan, Suiyun Zhang, Rui Liu, Dandan Tu, Jean-Michel Morel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً ماهراً بارعاً جداً في طهي نوع معين من الأطباء وهو: تحويل النص إلى فيديو (Text-to-Video). تعطيه وصفة (مطالبة نصية)، فيقوم هو بإعداد فيديو لذيذ. هذا الطباخ هو "النموذج الأساسي" (وتحديداً نموذج يسمى Wan-T2V).

ومع ذلك، هناك مشكلة. إذا أردت إعطاء الطباخ مكوناً أولياً محدداً (مثل صورة قطة) وقلت له: "اصنع فيديو يبدأ بهذه القطة"، فإنه يصاب بالارتباك. في الطريقة القديمة المتبعة، كان على الطباخ تعلم طريقة جديدة تماماً للطهي من الصفر، وغالباً ما كان ينسى كيفية طهي الأطباق الأصلية في هذه العملية. هذا يشبه إجبار الطباخ على نسيان تدريبه الطهوي بالكامل لمجرد تعلم خدعة واحدة جديدة.

إليك Pusa V1.0.

المشكلة: "الساعة الجامدة"

تعمل نماذج الفيديو الحالية مثل ساعة متزامنة وجامدة. تخيل أن الفيديو عبارة عن صف من قطع الدومينو المتساقطة. في هذه النماذج القديمة، يجب أن تسقط كل قطعة دومينو (إطار) بنفس السرعة والوقت تماماً.

إذا أردت أن تظل القطعة الأولى واقفة (صورتك الابتدائية) بينما تسقط بقية القطع، فإن الساعة ستتعطل.
لإصلاح ذلك، تحاول النماذج الأخرى "إعادة تدريب" الطباخ، وهو أمر مكلف وبطيء، وغالباً ما يؤدي إلى تدمير قدرته على طهي الأطباق الأصلية.

الحل: "أجهزة التحكم عن بعد الفردية"

يقدم Pusa مفهوماً يسمى تكييف الخطوات الزمنية المتجهية (Vectorized Timestep Adaptation - VTA).

بدلاً من وجود ساعة رئيسية واحدة للفيديو بأكم، يمنح Pusa كل إطار جهاز تحكم عن بعد خاص به.

الإطار الأول (صورتك الابتدائية) يحصل على جهاز تحكم مضبوط على وضع "إيقاف مؤقت".
الإطار الثاني يحصل على جهاز تحكم مضبوط على "تحرك ببطء".
الإطار الثالث يحصل على جهاز تحكم مضبوط على "تحرك بسرعة".

هذا يسمح للذكاء الاصطناعي بتطوير كل إطار بشكل مستقل. الإطار الأول يبقى تماماً كما وضعته، بينما يتدفق باقي الفيديو بشكل طبيعي حوله.

الخدعة السحرية: الجراحة "غير المدمرة"

الجزء الأكثر إثارة للإعجاب في Pusa هو كيفية تعلمه لهذا الأمر.

الطريقة القديمة: لتعلم خدعة "البدء بصورة"، كان على النماذج القديمة (مثل Wan-I2V) الخضوع لعملية إصلاح شاملة ومدمرة. كان عليهم إعادة التدريب على ملايين الأمثلة، مما يعني عملياً إعادة بناء دماغ الطباخ. كان ذلك يكلف ثروة من قدرات الحوسبة وغالباً ما يجعلهم ينسون مهمة تحويل النص إلى فيديو الأصلية.
طريقة Pusa: يقوم Pusa بإجراء تعديلات "جراحية". هو لا يعيد بناء دماغ الطباخ؛ بل يضيف فقط أداة صغيرة متخصصة (الخطوة الزمنية المتجهية) إلى الدماغ الموجود بالفعل.
- تشبيه: تخيل أن الطباخ يعرف بالفعل كيف يطهي بشكل مثالي. بدلاً من طرده وتوظيف طباخ جديد، أنت فقط تعطيه مؤقتاً (Timer) محدداً يخبره بالضبط متى يتوقف عن تحريك الوعاء الأول. مهارات الطباخ الأساسية تظل سليمة بنسبة 100%.

النتائج: رخيصة، سريعة، ومتعددة الاستخدامات

لأن Pusa لا يحتاج إلى إعادة تعلم كل شيء من الصفر، فإن النتائج مذهلة:

كفاءة فائقة: بينما احتاجت النماذج الأخرى إلى ملايين الأمثلة وميزانيات حوسبة ضخمة (تكلف أكثر من 100,000 دولار من قدرة الحوسبة)، حقق Pusa نتائج رفيعة المستوى باستخدام 4,000 مثال فقط وجزء ضئيل من التكلفة (حوالي 500 دولار).
قدرات خارقة بدون تدريب مسبق (Zero-Shot): لأن دماغ الطباخ لم يتم مسحه أو الكتابة فوقه، لم يتعلم Pusa فقط كيفية البدء بصورة، بل اكتسب فوراً القدرة على القيام بخدع معقدة أخرى دون أي تدريب إضافي، مثل:
- إطارات البداية والنهاية: إعطاء الذكاء الاصطناعي صورة للبداية وصورة للنهاية، وجعله يملأ المنتصف.
- توسيع الفيديو: أخذ فيديو قصير وجعل امتداده سلساً وطويلاً.
- تحويل النص إلى فيديو: احتفظ بقدرته الأصلية على صنع فيديوهات من المطالبات النصية بشكل مثالي.

الملخص

Pusa V1.0 يشبه ترقية محرك سيارة دون تفكيك السيارة. من خلال منح كل إطار "قرص ضبط الوقت" الخاص به بدلاً من إجبارهم على السير في خطوة واحدة متزامنة، يمكن للنموذج التعامل مع مهام الفيديو المعقدة (مثل البدء بصورة محددة) بكفاءة مذهلة. إنه يحافظ على ذكاء النموذج الأصلي مع فتح قدرات جديدة ومرنة، مما يجعل توليد الفيديو عالي الجودة أرخص بكثير وأكثر سهولة في الوصول إليه.

ملخص تقني: PUSA V1.0

بيان المشكلة

تعتمد نماذج انتشار الفيديو (VDMs) الحالية بشكل أساسي على متغير زمن خطي (scalar timestep) للتحكم في مستوى الضجيج ومسار التطور بشكل موحد عبر جميع إطارات مقطع الفيديو. وبينما يعد هذا الأسلوب فعالاً لتوليد النص إلى فيديو (T2V)، إلا أن هذا التزامن الصارم يفرض قيوداً جوهرية على النمذجة الزمنية. وتحديداً، يعاني هذا النهج في التعامل مع المهام الدقيقة المعتمدة على الزمن، مثل تحويل الصورة إلى فيديو (I2V)، وتمديد الفيديو، والتحكم في الإطارات البداية والنهاية. وغالباً ما تتضمن الحلول الحالية لهذه التحديات ما يلي:

التكيف المدمر (Destructive Adaptation): ضبط النماذج الأساسية باستخدام موارد ضخمة وبنيات مخصصة لمهام معينة (مثل آليات القناع)، مما يؤدي إلى خطر نسيان المعرفة المسبقة (generative priors) للنموذج الأساسي.
النهج التكراري المتسلسل (Autoregressive Approaches): وهي نماذج تولد الإطارات بشكل متسلسل لتجنب التزامن الصارم. ومع ذلك، غالباً ما تكون هذه النماذج مقيدة بعدم الكفاءة الحسابية، وتراكم الأخطاء عبر التسلسلات الطويلة، وعدم القدرة على إجراء الاستنتاج ثنائي الاتجاه (على سبيل المثال، التكييف بناءً على كل من إطارات البداية والنهاية).

المنهجية

يقدم البحث نموذج PUSA V1.0، وهو نموذج متعدد الاستخدامات يستفيد من التكيف الزمني المتجهي (Vectorized Timestep Adaptation - VTA) لتمكين التحكم الزمني الدقيق ضمن إطار عمل موحد لانتشار الفيديو. الابتكار الجوهري هو استراتيجية تكيف غير مدمرة تعدل التكييف الزمني للنموذج الأساسي دون تغيير بنيته أو تدمير قدراته المدربة مسبقاً.

1. التكيف الزمني المتجهي (VTA)

بدلاً من زمن خطي واحد $t$ ، يستخدم PUSA زمناً خطياً متجهياً $\tau \in [0, 1]^N$ ، حيث $N$ هو عدد الإطارات. يمثل كل مكون $\tau^i$ معلم تقدم فردي للإطار رقم $i$ على طول مساره الاحتمالي.

التعديل المعماري: التعديل ضئيل وغير مدمر. تمت إعادة هندسة وحدة تضمين الزمن لمعالجة المتجه المدخل $\tau$ ، مما يولد تضمينات خاصة بكل إطار. يتم إسقاط هذه التضمينات لإنتاج معاملات تعديل لكل إطار (المقياس، الإزاحة، البوابة) داخل كتل محول الانتشار (DiT).
الحفاظ على المعرفة المسبقة: نظراً لأن التعديل غير مدمر، فإن تعيين جميع الأزمان الخطية للإطارات على نفس القيمة يسمح للنموذج بتوليد نتائج مطابقة لنموذج T2V الأساسي، مما يحافظ تماماً على قدراته الأصلية.

2. مطابقة التدفق الواعية بالإطار (Frame-Aware Flow Matching - FAFM)

يتم تدريب النموذج باستخدام هدف مطابقة التدفق الموسع للأزمان الخطية المتجهية.

استراتيجية التدريب: يستخدم التدريب استراتيجية الزمن الخطي المتجهي العشوائي بالكامل ( $p_{async} = 1$ )، حيث يتم أخذ عينة من كل مكون $\tau^i$ بشكل مستقل من توزيع منتظم $U[0, 1]$ . هذا يجبر النموذج على تعلم التحكم الزمني الدقيق من توزيع متنوع للغاية من الحالات الزمنية.
الكفاءة: على عكس الطرق السابقة التي تتطلب جداول أخذ عينات معقدة أو مجموعات بيانات ضخمة، يسمح هذا النهج بضبط النموذج بدقة باستخدام بيانات وحوسبة محدودة للغاية.

3. الاستنتاج للمهام الصفرية (Zero-Shot Tasks)

يحقق PUSA قدرات "التعلم الصفري" من خلال التلاعب الاستراتيجي بالزمن الخطي المتجهي $\tau$ أثناء عملية أخذ العينات:

تحويل الصورة إلى فيديو (I2V): يتم تثبيت مكون الزمن الخاص بالصورة الشرطية (مثل الإطار الأول) عند الصفر ( $\tau^1 = 0$ ) طوال عملية الاستنتاج، مما يجعلها شرطاً نظيفاً بينما تتطور الإطارات الأخرى.
إطارات البداية والنهاية والتمديد: من خلال تثبيت الأزمان الخطية لمجموعات فرعية محددة من الإطارات (مثل الإطارات الأولى والأخيرة) عند الصفر أو مستويات ضجيج محددة، يمكن للنموذج توليد فيديوهات متماسكة مشروطة بتكوينات إطارات عشوائية دون الحاجة لإعادة تدريب مخصص للمهمة.

المساهمات الرئيسية

كفاءة غير مسبوقة: يحقق PUSA أداءً رائدًا (SOTA) في مهام I2V باستخدام 4,000 عينة فقط وتكلفة حوسبة تبلغ 0.5 ألف (حوالي 500 دولار)، مقارنة بأكثر من 10 ملايين عينة وتكلفة تزيد عن 100 ألف المتوقعة للنماذج المرجعية مثل Wan-I2V.
تعميم متعدد المهام موحد: يحتفظ النموذج بقدرات T2V للنموذج الأساسي مع التعميم في الوقت نفسه على مهام I2V، وإطارات البداية والنهاية، وتمديد الفيديو، والإكمال بطريقة صفرية (zero-shot).
رؤية ميكانيكية: تكشف التحليلات أن النهج يحقن الديناميكيات الزمنية جراحياً في آليات الانتباه الذاتي للنموذج مع الحفاظ على المعرفة المسبقة التوليدية للنموذج الأساسي. وهذا يتجنب "الانفجار التوافقي" المتأصل في الأزمان الخطية المتجهية من خلال الاستفاف من قوة النموذج الأساسي تجاه التطور غير المتزامن.

النتائج

الأداء الكمي: في اختبار VBench-I2V، يحقق PUSA درجة إجمالية قدرها 87.32، متفوقاً على Wan-I2V (86.86) والنماذج مفتوحة المصدر الأخرى. كما يظهر أداءً فائقاً في اتساق موضوع I2V (97.64 مقابل 96.95) واتساق الخلفية (99.24 مقابل 96.44).
كفاءة التدريب: تظهر دراسات الاستبعاد أن PUSA يتقارب بسرعة (خلال 900 تكرار) ويتفوق بشكل كبير على النماذج المرجعية المدربة بنفس الميزانية. وقد أثبت نهج الضبط الدقيق القائم على LoRA فعالية خاصة، حيث حقق درجات أعلى من الضبط الدقيق الكامل عند نفس عدد التكرارات.
التحليل النوعي: تظهر تصورات خرائط الانتباه أنه بينما يظهر نموذج T2V الأساسي انتباهاً قطرياً (استقلال الإطارات) ويظهر Wan-I2V انتباهاً عابراً للإطار الأول، يحافظ PUSA على انتباه قوي ومتسق للإطار الشرطي عبر جميع خطوات الاستنتاج. كما يؤكد تحليل تباعد المعلمات أن PUSA يحدث تغييرات طفيفة (معظمها في كتل الانتباه الذاتي) مقارنة بالانحراف الكبير الملاحظ في Wan-I2V.

الأهمية والادعاءات

يضع البحث PUSA كتحول حاسم في نماذج توليد الفيديو. فمن خلال الجمع بين النمذجة الزمنية المبدئية (الأزمان الخطية المتجهية) والتكيف غير المدمر والكفء، يعيد PUSA تعريف المقايضة بين الكفاءة والجودة.

الديمقراطية: تجعل هذه الطريقة توليد الفيديو عالي الدقة متاحاً بموارد حوسبة ضئيلة، مما يساهم في "ديمقراطية" الوصول إلى التقنية.
تعدد الاستخدامات: يضع إطاراً قابلاً للتوسع يوحد مهام T2V وI2V ومهام التحرير الزمني المعقدة ضمن إطار عمل واحد، متجاوزاً قيود نماذج الزمن الخطي الصارمة والنهج التكراري المتسلسل المليئة بالأخطاء.
الطبيعة غير المدمرة: يثبت العمل أنه يمكن فتح آفاق التحكم الزمني المتقدم دون التضحية بالقدرات التأسيسية للنماذج الضخمة المدربة مسبقاً، وتجنب مخاطر النسيان الكارثي.