💻 computer science

PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models

يقدم "PropFly" مسار تدريب للتحرير القائم على الانتشار يلغي الحاجة إلى مجموعات البيانات المقترنة المكلفة من خلال الاستفادة من الإشراف الفوري من نماذج انتشار الفيديو سابقة التدريب لتخليق أزواج كامنة متنوعة (مصدر-محرر) عبر تغيير مقاييس الـ CFG، مما يمكن محولاً (adapter) من تعلم تحريات عالية الجودة ومتسقة زمنياً من خلال مطابقة التدفق المعدلة بالتوجيه (Guidance-Modulated Flow Matching).

المؤلفون الأصليون: Wonyong Seo, Jaeho Moon, Jaehyup Lee, Soo Ye Kim, Munchurl Kim

نُشر 2026-02-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wonyong Seo, Jaeho Moon, Jaehyup Lee, Soo Ye Kim, Munchurl Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مقطع فيديو منزلياً لكلبك وهو يركض في حديقة. تريد تعديل الفيديو بحيث يبدو الكلب وكأنه تنين، لكنك تريد أن يركض التنين تماماً بنفس الطريقة التي ركض بها الكلب، مع نفس الخلفية ونفس الرياح التي تهب عبر الأشجار.

القيام بذلك يدوياً هو كابوس. أما القيام به باستخدام الذكاء الاصطناعي الحالي، فهو يشبه محاولة وصف التنين لرسام ينسى باستمرار ما قلته له، أو يرسم التنين ولكنه ينسى جعله يركض.

PropFly هي طريقة جديدة تحل هذه المشكلة. إليك كيف تعمل، مشروحة بتبسيطات تشبيهية:

1. المشكلة: معضلة "الزوج"

لتعليم الذكاء الاصطناعي كيفية تعديل الفيديوهات، تحتاج عادةً إلى مكتبة ضخمة من أزواج "قبل وبعد". أنت بحاجة إلى آلاف الفيديوهات التي تعرض "سيارة عادية" ونفس الفيديو تماماً يظهر "سيارة سايبربانك".

المشكلة: صنع هذه الأزواج مكلف للغاية وبطيء. الأمر يشبه توظيف جيش من الفنانين لإعادة رسم كل إطار من كل فيلم لإنشاء مجموعة بيانات تدريبية.

2. الحل: "المعلم الفوري" (الإشراف أثناء التشغيل)

بدلاً من توظيف جيش من الفنانين لصنع بيانات التدريب مسبقاً، يستخدم PropFly ذكاءً اصطناعياً مدرباً مسبقاً (نموذج انتشار فيديو - Video Diffusion Model) ليكون بمثابة معلم حي.

فكر في هذا الذكاء الاصطناعي المدرب مسبقاً كشيف (طباخ) ماهر يعرف كيف يطبخ أي طبق بإتقان.

الطريقة القديمة: تطلب من الشيف أن يطبخ 10,000 وجبة، ثم تحفظها، وبعد ذلك تحاول التعلم منها.
طريقة PropFly: تطلب من الشيف أن يطبخ وجبة الآن، ولكنك تطلب منه نسختين منها فوراً:
1. النسخة (أ) (المصدر): طبق عادي بسيط (مثل برجر سادة).
2. النسخة (ب) (الهدف): نسخة فاخرة وحارة من نفس الطبق تماماً (مثل برجر حار).

السحر يكمن في أن الشيف يصنع كلتا النسختين من نفس المكونات في اللحظة ذاتها. ولأن كلتيهما تنبعان من "مصدر" واحد، فإن شكل الخبز واللحم والخبز يكون متطابقاً. الاختلاف الوحيد هو مستوى التوابل (التغيير في الأسلوب أو الشيء).

3. السر: "مقبض التحكم في الصوت" (CFG)

كيف يصنع الشيف طبقين مختلفين فوراً؟
يستخدم PropFly إعداداً يسمى التوجيه الخالي من التصنيف (Classifier-Free Guidance - CFG)، والذي يعمل مثل مقبض التحكم في مستوى الصوت للإبداع.

صوت منخفض (CFG منخفض): يتبع الذكاء الاصطناعي التعليمات بدقة ولكنه يظل قريباً جداً من الفيديو الأصلي. هذه هي "المصدر".
صوت مرتفع (CFG مرتفع): يقوم الذكاء الاصطناعي برفع مستوى الإبداع. يأخذ نفس الفيديو ويطبق عليه "فلتر أسلوب" ثقيل (مثل تحويله إلى لوحة زيتية، أو تغيير الطقس، أو استبدال الشيء). هذا هو "الهدف".

ولأن الذكاء الاصطناعي يولد كليهما من نفس نقطة البداية "المشوشة"، فإن الحركة (ركض الكلب) تظل متزامنة تماماً، لكن المظهر (الكلب مقابل التنين) يتغير.

4. الطالب: "المحول" (Adapter)

لا يقوم PropFly بإعادة تدريب الشيف الماهر بأكمله (نموذج الذكاء الاصطناعي الكبير). بدلاً من ذلك، يقوم بإرفاق محول صغير قابل للتدريب (يسمى "الطالب") بالشيف.

الطالب يشاهد المصدر (الفيديو العادي) والهدف (الفيديو الحار).
يتعلم الطالب: "آه، عندما أرى برجر سادة والمستخدم يريد برجراً حاراً، يجب عليّ إضافة هذه التوابل المحددة إلى الفيديو بأكمله، وليس فقط إلى الإطار الأول."
يتعلم الطالب كيفية نشر (propagate) التغيير. يتعلم كيف يأخذ المظهر "الحار" من الإطار الأول ويطبقه على كل إطار يليه، مما يحافظ على سلاسة الحركة.

5. النتيجة: تعديل قوي

لأن الطالب تعلم من هذه الأزواج "المولدة فورياً"، فقد أصبح بارعاً في التعديل.

طرق التوجيه بالنص (الطريقة القديمة): تخبر الذكاء الاصطناعي "اجعله تنيناً"، وقد يصنع تنيناً يمشي مثل البشر أو ينسى الخلفية.
PropFly: تظهر له إطاراً واحداً لتنين، فيقول لك: "فهمت! أعرف تماماً كيف أحول الفيديو بأكمله إلى تنين مع الحفاظ على حركة ركض الكلب بدقة تامة."

ملخص التشبيه

تخيل أنك تتعلم رسم سيارة متحركة.

الطريقة القديمة: تُعطى صورة لسيارة حمراء وصورة لسيارة زرقاء، لكنهما بزوايا مختلفة قليلاً. عليك أن تخمن كيف ترسم السيارة الزرقاء وهي تتحرك.
PropFly: لديك كاميرا سحرية. تلتقط صورة لسيارة حمراء. تقوم بتدوير قرص، وفوراً، تظهر لك الكاميرا نفس السيارة، في نفس الوضعية تماماً، ولكنها مطلية باللون الأزرق. تتدرب على هذا آلاف المرات على التوالي. الآن، يمكنك النظر إلى أي فيديو لسيارة حمراء ومعرفة كيفية طلاءها باللون الأزرق فوراً مع الحفاظ على دوران العجلات بشكل مثالي.

باختصار: يعلم PropFly الذكاء الاصطناعي كيفية تعديل الفيديوهات من خلال السماح له بالتدرب على أمثلة "مولدة فورياً"، حتى لا يحتاج إلى مكتبة ضخمة ومكلفة من الأمثلة المعدة مسبقاً ليتعلم كيف يكون مبدعاً ومتسقاً.

إليك ملخص تقني مفصل لورقة البحث: "PropFly: التعلم عبر الانتشار من خلال الإشراف الفوري من نماذج انتشار الفيديو سابقة التدريب."

1. بيان المشكلة

يتطلب تحرير الفيديو تحكماً دقيقاً في المحتوى البصري مع الحفاظ على الاتساق الزمني (الحركة والهيكل). هناك نموذجان مهيمنان:

التحرير الموجه بالنص: يستخدم المطالبات النصية لتعديل الفيديوهات. ورغم كونه بديهياً، إلا أنه غالباً ما يواجه صعوبة في عكس النوايا الدقيقة للمستخدم أو الحفاظ على حركة وهيكل الفيديو الأصلي بشكل مثالي.
التحرير القائم على الانتشار (Propagation-based): يتضمن تحرير إطار واحد ونشر هذا التغيير إلى بقية الفيديو. يوفر هذا النهج تحكماً دقيقاً، ولكنه يواجه عقبة حرجة وهي: ندرة البيانات. يتطلب تدريب مثل هذه النماذج عادةً مجموعات بيانات ضخمة ومزدوجة (فيديو مصدر + فيديو معدل)، والتي يصعب الحصول عليها وتكلفتها عالية ومعقدة، وغالباً ما تكون محدودة النطاق (على سبيل المثال، تدعم فقط استبدال الكائنات المحلية، وليس نقل الأنماط العالمية).

الحلول الموجودة لتوليد بيانات التدريب (مثل استخدام أقنعة التجزئة أو الاستدلال التكراري للانتشار) إما أنها ضيقة النطاق جداً أو مكلفة حوسبياً بشكل مفرط.

2. المنهجية: PropFly

يقترح المؤلفون PropFly، وهو مسار تدريب مبتكر يلغي الحاجة إلى مجموعات البيانات المزدوجة المحسوبة مسبقاً. بدلاً من ذلك، يقوم بتوليد إشارات الإشراف فورياً (on-the-fly) باستخدام نموذج انتشار فيديو (VDM) مجمد وسابق التدريب.

الرؤية الجوهرية

تستفيد الطريقة من التوجيه الخالي من المصنف (Classifier-Free Guidance - CFG) في نماذج الانتشار. لاحظ المؤلفون أن تغيير مقياس CFG ( $\omega$ ) أثناء أخذ العينات من نفس الحالة الضوضائية الكامنة ينتج مخرجات تكون:

متوافقة هيكلياً: تشترك في نفس الحركة والهيكل المكاني.
متمايزة دلالياً: تفرض مقاييس CFG الأعلى التزاماً أقوى بالمطالبة النصية (مثل تغيير النمط، اللون، أو الكائن)، بينما تحتفظ المقاييس الأقل بمزيد من السياق الأصلي.

مكونات المسار

توليد أزواج البيانات فورياً:
- بدلاً من تشغيل عملية إزالة ضجيج كاملة وتكرارية (وهي بطيئة وتراكم الأخطاء)، يستخدم PropFly تقديراً خطوة واحدة للكمون النظيف.
- من حالة كامنة ضوضائية وسيطة واحدة $x_t$ ، يتنبأ النموذج بالكمون النظيف $\hat{x}_{0|t}$ باستخدام مقياسين مختلفين لـ CFG: مقياس منخفض ( $\omega_L$ ، مثلاً 1.0) لـ المصدر (Source)، ومقياس مرتفع ( $\omega_H$ ، مثلاً 7.0) لـ الهدف (Target).
- هذا يخلق زوجاً متوافقاً تماماً $(\hat{x}^{low}_{0|t}, \hat{x}^{high}_{0|t})$ حيث يوفر المصدر السياق الهيكلي، بينما يوفر الهدف التحول المطلوب.
دمج مطالبات النمط العشوائي (RSPF):
- لضمان تعلم النموذج لتحولات متنوعة، يتم تعزيز المطالبة النصية عن طريق دمج واصفات نمط عشوائية (مثل "في الثلج"، "نمط سايبربانك") مع وصف الفيديو الأصلي، مما يثري توزيع التدريب.
بنية النموذج:
- يستخدم النظام عمود فقري (backbone) لنموذج VDM مجمد وسابق التدريب (مثل Wan2.1).
- يتم إرفاق مهايئ (adapter) خفيف الوزن وقابل للتدريب بالعمود الفقري.
- المدخلات: يتلقى المهايئ كامل الكمون الخاص بفيديو المصدر (للهيكل) والكمون الخاص بالإطار الأول من الهدف (المعدل) (للتوجيه بالنمط)، جنباً إلى جنب مع المطالبة النصية.
خسارة مطابقة التدفق المعدلة بالتوجيه (GMFM Loss):
- يتم تدريب المهايئ على التنبؤ بحقل متجه السرعة الذي يحول كمون المصدر إلى كمون الهدف.
- تعمل دالة الخسارة على تقليل الفرق بين متجه السرعة الذي يتنبأ به المهايئ وسرعة الـ CFG العالية التي يتنبأ بها الـ VDM المجمد.
- من الضروري أن تعمل سرعة الـ CFG العالية كـ "معلم"، حيث توجه المهايئ لمحاكاة التحول الدلالي مع الحفاظ على هيكل الحركة للمصدر.

3. المساهمات الرئيسية

مسار تدريب مبتكر: يعد PropFly أول طريقة لتدريب نماذج تحرير الفيديو القائمة على الانتشار دون الحاجة إلى مجموعات بيانات مزدوجة محسوبة مسبقاً أو إشارات توجيه مساعدة (مثل التدفق البصري أو خرائط العمق).
إشراف فعال فوري: من خلال استخدام تقدير الخطوة الواحدة للكمون وتعديل CFG، تولد الطريقة أزواج تدريب متنوعة وغير متناهية بكفاءة حوسبية عالية، متجنبة تكلفة أخذ العينات التكراري الكامل.
خسارة GMFM: دالة خسارة متخصصة توجه المهايئ بفعالية لتعلم التحول بين كمونات المصدر والهدف، مما يضمن تعلم النموذج لنشر التعديلات بدلاً من مجرد إعادة بناء الفيديو.
التعميم: تدعم الطريقة مجموعة واسعة من التعديلات، من استبدال الكائنات المحلية إلى التحولات العالمية المعقدة (الطقس، النمط، الإضاءة)، دون الحاجة لضبط دقيق خاص بالمهمة.

4. النتائج التجريبية

قيم المؤلفون PropFly على معايير قياسية (EditVerseBench-Appearance و TGVE) مقابل أحدث الطرق (SOTA) الموجهة بالنص والقائمة على الانتشار.

الأداء الكمي:
- حقق PropFly (بنسختيه 1.3B و 14B بارامتر) أداءً هو الأفضل في فئته (SOTA) عبر جميع المقاييس، بما في ذلك جودة الفيديو (PickScore)، والمواءمة النصية (CLIP/ViCrip)، والاتساق الزمني (DINO/CLIP).
- تفوق بشكل كبير على النماذج المرجعية القائمة على الانتشار مثل AnyV2V و Señorita-2M، وكذلك الطرق الموجهة بالنص مثل STDF و TokenFlow.
الأداء النوعي:
- الاتساق الزمني: نجح PropFyl في الحفاظ على ديناميكيات الحركة الأصلية مع تطبيق التعديلات، بينما غالباً ما أدخلت النماذج المرجعية عيوباً في الحركة أو فشلت في نشر التغييرات على الكائنات المتحركة.
- التعديلات المعقدة: تعامل مع سيناريوهات معقدة (مثل تغيير شخص إلى روبوت في مدينة سايبربانك، أو تغيير الظروف الجوية) بدقة عالية، بينما فشلت النماذج المرجعية غالباً في الحفاظ على هوية الكائن أو تماسك الخلفية.
دراسات الاستئصال (Ablation Studies):
- الخطوة الواحدة مقابل أخذ العينات الكامل: أثبت التقدير بخطوة واحدة تفوقه على أخذ العينات التكراري الكامل، الذي تسبب في عدم محاذاة الحركة بسبب تراكم الأخطاء العددية في مسارات أخذ العينات المستقلة.
- GMFM مقابل FM القياسي: كانت خسارة GMFM ضرورية؛ حيث فشلت خسارة مطابقة التدفق (Flow Matching) القياسية في نشر التعديلات، مما تسبب في عودة النموذج إلى محتوى الفيديو الأصلي.
- RSPF: أدى حذف دمج النمط العشوائي إلى ضعف التعميم والفشل في تطبيق أنماط متسقة عبر الإطارات.

5. الأهمية

يمثل PropFly تحولاً جذرياً في تدريب نماذج تحرير الفيديو. من خلال فصل الحاجة إلى مجموعات بيانات مزدوجة مكلفة ومنظمة، والاستفادة بدلاً من ذلك من القدرات التوليدية المتأصلة لنماذج VDM سابقة التدريب عبر تعديل CFG، فإنه يقدم حلاً قابلاً للتوسع، ومنخفض التكلفة، وعالي التعميم.

سهولة الوصول: يقلل من حاجز الدخول لتدريب نماذج تحرير فيديو عالية الجودة، حيث لا يتطلب مجموعات بيانات ضخمة مصنفة بشرياً.
المرونة: تسمح الطبيعة "الفورية" للإشراف بالتكيف مع أي مطالبة نصية أو نمط، مما يمكّن النموذج من تعلم توزيع واسع من التعديلات.
التأثير المستقبلي: يشير هذا الإطار إلى اتجاه جديد لتدريب النماذج التوليدية حيث يعمل النموذج نفسه كـ "مشرف"، وهو أمر قد يكون قابلاً للتطبيق في مجالات أخرى تتطلب توليد بيانات مهيكلة.