💻 computer science

Improving Motion in Image-to-Video Models via Adaptive Low-Pass Guidance

تقدم هذه الورقة البحثية طريقة التوجيه التكيفي للترددات المنخفضة (ALG)، وهي طريقة لا تتطلب تدريباً تعمل على تعزيز ديناميكيات الحركة في توليد الفيديو من الصور عبر تصفية التفاصيل عالية التردد من الصورة الشرطية خلال مراحل إزالة الضجيج المبكرة، مما يمنع النموذج من الإفراط في التكيف مع المظاهر الساكنة مع الحفاظ على جودة الصورة والمواءمة مع النص.

المؤلفون الأصليون: June Suk Choi, Kyungmin Lee, Sihyun Yu, Yisol Choi, Jinwoo Shin, Kimin Lee

نُشر 2026-02-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: June Suk Choi, Kyungmin Lee, Sihyun Yu, Yisol Choi, Jinwoo Shin, Kimin Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "تحسين الحركة في نماذج تحويل الصور إلى فيديو عبر التوجيه التكيفي للترددات المنخفضة (Adaptive Low-Pass Guidance)"، مترجمة إلى لغة بسيطة وسهلة مع استخدام تشبيهات إبداعية.

المشكلة: تأثير "الإطار المجمد"

تخيل أن لديك إطار صور سحري (نموذج ذكاء اصطناعي لتحويل الصورة إلى فيديو). تضع صورة لقطة في هذا الإطار، وتطلب من الإطار أن "يجعل القطة تركض".

من الناحية المثالية، يجب أن تنطلق القطة عبر الشاشة. لكن في الواقع، غالبًا ما تتعثر هذه النماذج. القطة بالكاد تتحرك؛ تبدو وكأنها صورة عالية الجودة تهتز قليلاً فقط، بدلاً من كونها فيديو مفعم بالحيوية.

لقد اكتشف الباحثون سبب حدوث ذلك. الأمر يشبه كون الذكاء الاصطناعي مهووساً أكثر من اللازم بتفاصيل الصورة الأصلية.

التشبيه: تخيل رساماً أُعطي صورة لقطة وطُلب منه رسم فيديو لها وهي تركض. إذا نظر الرسام بدقة شديدة إلى تفاصيل الصورة الصغيرة (مثل شكل الشوارب الدقيق أو ملمس الفراء في تلك اللحظة)، فسيصبح "عالقاً". سيقضي وقتاً طويلاً في محاولة مطابقة تلك التفاصيل الدقيقة تماماً لدرجة أنه ينسى رسم الحركة. والنتيجة هي لوحة جميلة وثابتة لا تتحرك أبداً.

من الناحية التقنية، يعاني الذكاء الاصطناعي من "الإفراط في التكييف" (over-conditioned) مع التفاصيل عالية التردد (الحواف الحادة، الملامس) للصورة المدخلة. إنه يتخذ "طريقاً مختصراً" لنسخ مظهر الصورة فوراً، مضحياً بالحركة في سبيل ذلك.

الحل البسيط (ولكن مع عقبة)

جرب الباحثون أولاً حيلة بسيطة: تغبيش (Blur) الصورة قبل عرضها على الذكاء الاصطناعي.

التشبيه: إذا أعطيت الرسام صورة ضبابية ومنخفضة الدقة للقطة، فلن يستطيع التركيز على الشوارب الصغيرة. سيضطر للتركيز على الصورة الكبيرة: "حسناً، القطة هنا، وعليها أن تركض". ولأن التفاصيل غير واضحة، سيُجبر الرسام على خلق حركة ديناميكية وانسيابية.
العقبة: رغم أن الحركة ستكون رائعة، إلا أن الفيديو النهائي سيبدو ضبابياً ومنخفض الجودة لأن الذكاء الاصطناعي بدأ بصورة ضبابية. ستحصل على فيديو ديناميكي، لكنه لن يشبه القطة الأصلية.

الحل: "التوجيه التكيفي للترددات المنخفضة" (ALG)

ابتكر الفريق استراتيجية ذكية مكونة من خطوتين تسمى ALG. فكر فيها كأنها مخرج يعرف متى يكون صارماً ومتى يكون مرناً.

إليك كيف يعمل نظام ALG، خطوة بخطوة:

"البداية الضبابية" (الخطوات الأولى):
في بداية عملية توليد الفيديو (الثواني الأولى من "الرسم")، يُعرض على الذكاء الاصطناعي نسخة ضبابية من الصورة المدخلة.
- لماذا؟ هذا يمنع الذكاء الاصطناعي من الهوس بالتفاصيل الصغيرة، ويجبره على التركيز على الحركة الكبيرة: "القطة تركض!". هذا يبني هيكلاً ديناميكياً وانسيابياً للفيديو.
"النهاية الحادة" (الخطوات اللاحقة):
بمجرد استقرار الحركة وبدء تدفق الفيديو، يتم عرض الصورة الأصلية الحادة وعالية الجودة فجأة على الذكاء الاصطناعي.
- لماذا؟ الآن وقد بدأت حركة "الركض" بالفعل، يمكن للذكاء الاصطناعي إضافة كل التفاصيل الحادة بأمان (الفراء، الشوارب، العينين) دون أن يعلق. إنه يقوم بتنقية الحركة الضبابية وتحويلها إلى فيديو عالي الدقة وواضح.

المجاز:
تخيل بناء منزل.

الطريقة القديمة (الذكاء الاصطناعي القياسي): تحاول وضع كل طوبة بدقة متناهية بينما لا تزال الأساسات رطبة. ينتهي الأمر بالمنزل وهو واقف، لكن الجدران مائلة لأنك كنت تركز بشدة على الطوب.
طريقة "التغبيش": تبني المنزل بالكامل من الطين. الحركة والتدفق فيه رائعان، لكنه يتحول إلى كتلة طينية فوضوية.
طريقة ALG: تبني أولاً هيكلاً طينياً خشناً وسريع الحركة لضبط الشكل والانسيابية (الحركة). ثم، بمجرد أن يصبح الشكل متيناً، تستبدل الطين بطوب مثالي وحاد (التفاصيل). ستحصل على منزل ديناميكي وجميل في آن واحد.

النتائج

اختبر الباحثون هذا النظام على عدة نماذج ذكاء اصطناعي شهيرة للفيديو (مثل Wan 2.1، وWan 2.2، وLTX-Video).

تعزيز الحركة: أصبحت الفيديوهات أكثر ديناميكية بنسبة 33%. الحيوانات ركضت بشكل أسرع، السيارات قادت بشكل طبيعي أكثر، والمشاهد بدت نابضة بالحياة.
الحفاظ على الجودة: على عكس طريقة "البداية الضبابية"، كانت الفيديوهات النهائية حادة وعالية الجودة تماماً مثل الأصلية.
لا حاجة لإعادة التدريب: الجزء الأفضل؟ لم يضطروا لإعادة تعليم الذكاء الاصطناعي كيفية التعلم. لقد قاموا فقط بتغيير "القواعد" الخاصة بكيفية نظر الذكاء الاصطناعي إلى الصورة أثناء عملية الإنشاء. إنها ترقية مجانية!

الملخص

تحل هذه الورقة مشكلة كون فيديوهات الذكاء الاصطناعي ثابتة للغاية عن طريق تعليم الذكاء الاصطناعي تجاهل التفاصيل الصغيرة في البداية (لتشجيع الحركة) وإعادتها في النهاية (لضمان الجودة). الأمر يشبه إخبار الراقص: "أولاً، ركز فقط على الإيقاع والحركات الكبيرة، ولا تقلق بشأن حذائك الآن. بمجرد أن تبدأ في التحرك، سنقوم بتلميع الحذاء".

إليك ملخص تقني مفصل لورقة البحث بعنوان "تحسين الحركة في نماذج تحويل الصورة إلى فيديو عبر التوجيه التكيفي للترددات المنخفضة (Adaptive Low-Pass Guidance)".

1. بيان المشكلة

تعاني نماذج تحويل الصورة إلى فيديو (I2V) الحديثة، والتي تُشتق عادةً من خلال الضبط الدقيق لنماذج تحويل النص إلى فيديو (T2V) مسبقة التدريب، من تثبيط كبير في ديناميكيات الحركة. وبينما تتفوق هذه النماذج في الحفاظ على المظهر الساكن والدقة العالية للصورة المرجعية المدخلة، إلا أنها غالباً ما تنتج فيديوهات شديدة السكون مقارنة بنظيراتها من نماذج (T2V).

الظاهرة: تميل نماذج (I2V) إلى "الارتباط" بالتفاصيل الدقيقة عالية التردد للصورة المدخلة فور بدء عملية التوليد.
النتيجة: يؤدي هذا التثبيت المبكر إلى جعل مسار التوليد يتقارب نحو "حل مختصر" (shortcut solution)، حيث يلتزم الفيديو بصرامة بالإطار المرجعي، مما يمنع تطور الحركات الكبيرة والواسعة.
المقايضة: المحاولات السابقة لإصلاح ذلك عبر تطبيق مرشح تمرير منخفض (تغبيش/Blurring) على الصورة المدخلة نجحت في زيادة الحركة، لكنها أدت إلى تدهور شديد في دقة الصورة وجودة الإطارات.

2. المنهجية: التوجيه التكيفي للترددات المنخفضة (ALG)

يقترح المؤلفون تقنية التوجيه التكيفي للترددات المنخفضة (ALG)، وهي تقنية استدلال لا تتطلب إعادة تدريب، تعالج المقايضة بين ديناميكيات الحركة ودقة الصورة.

الفرضية الجوهرية

يحدث تثبيط الحركة بسبب التعرض المفرط للإشارات عالية التردد في الصورة الشرطية خلال المراحل الأولى من عملية إزالة الضجيج (denoising). وهذا يجبر النموذج على حل التفاصيل الدقيقة في وقت مبكر جداً، مما يقيد مرونة المسار لتوليد حركات معقدة.

الخوارزمية

تقوم تقنية (ALG) بتعديل إجراء أخذ العينات القياسي لـ (Classifier-Free Guidance - CFG) عن طريق تغيير الصورة الشرطية بشكل تكيفي بناءً على خطوة الزمن $t$ :

المراحل المبكرة ( $t \approx 0$ ): يتم توجيه النموذج باستخدام نسخة مفلترة بالترددات المنخفضة من الصورة المدخلة (على سبيل المثال، عبر تقليل العينات ثنائي الخطية - bilinear downsampling ثم إعادة رفعها). هذا يزيل التفاصيل عالية التردد، مما يمنع تأثير "المسار المختصر" ويسمح للنموذج بإنشاء مسار حركة خشن وديناميكي.
المراحل المتأخرة ( $t \approx 1$ ): يعود النموذج إلى الصورة الأصلية غير المفلترة، مما يعيد إدخال التفاصيل عالية التردد، ويضمن احتفاظ الفيديو النهائي بدقة عالية تجاه الصورة المرجعية.

الصيغة الرياضية

يتم حساب مجال السرعة $v_{ALG}$ كالتالي:
$v_{ALG}(x_t, t) = v_\theta(x_t, x_{init}, t, \emptyset) + w \left( v_\theta(x_t, x^{(t)}_{init}, t, c) - v_\theta(x_t, x^{(t)}_{init}, t, \emptyset) \right)$

حيث أن:

$x^{(t)}_{init} = F_{LP}(x_{init}, \kappa(t))$ هو الـ latent المفلتر بالترددات المنخفضة، حيث تقل قوة المرشح $\kappa(t)$ مع زيادة $t$ .
الخيار التصميمي الحاسم: يستخدم الحد غير المشروط $v_\theta(x_t, x_{init}, t, \emptyset)$ الصورة الأصلية غير المفلترة $x_{init}$ . يعمل هذا كحد "تصحيح الدقة"، حيث يوجه عملية أخذ العينات للعودة نحو التفاصيل عالية التردد للصورة الأصلية، مما يمنع التشوه الذي يحدث إذا كان الحد غير المشروط مفلترًا أيضاً.

تفاصيل التنفيذ

نوع المرشح: تقليل العينات ثنائي الخطية (Bilinear downsampling) متبوعاً بإعادة رفع العينات (Upsampling) (يعمل كمرشح تمرير منخفض).
الجدولة (Schedule): تُستخدم دالة خطوة (Step function) حيث يتم تطبيق تصفية قوية خلال أول $t_{trans}$ (مثلاً 10%) من خطوات إزالة الضوضاء، ثم يتم الانتقال إلى الصورة الأصلية.
بدون إعادة تدريب (Training-Free): لا يتطلب الأمر إعادة تدريب النموذج الأساسي؛ بل هو تعديل على حلقة أخذ العينات (sampling loop).

3. المساهمات الرئيسية

تشخيص تثبيط الحركة: حدد المؤلفون وكمّموا أن نماذج (I2V) تعاني من "تأثير المسار المختصر" حيث تقيد التفاصيل عالية التردد في الصورة المدخلة مسار التوليد قبل أوانه، مما يؤدي إلى فيديوهات ساكنة.
تقنية (ALG): قدموا طريقة بسيطة لا تتطلب إعادة تدريب، تقوم بتصفية الصورة الشرطية تكيفياً فقط خلال مراحل إزالة الضجيال المبكرة، مما يشجع على تشكيل حركة ديناميكية مع الحفاظ على دقة الصورة في المراحل اللاحقة.
التحقق الشامل: تم التحقق من صحة الطريقة عبر عدة نماذج مفتوحة المصدر رائدة (Wan 2.1, Wan 2.2, LTX-Video) ومجموعات بيانات متنوعة (VBench, PVD, VidProM).

4. النتائج التجريبية

تُظهر الورقة نتائج كمية ونوعية واسعة النطاق تثبت فعالية (ALG):

تحسين درجة الديناميكية: في مجموعة اختبار VBench، حققت (ALG) تحسناً متوسطاً بنسبة 33% في "درجة الديناميكية" (Dynamic Degree) عبر نماذج مختلفة مقارنة بـ (CFG) الأساسي.
- مثال: ارتفعت درجة الديناميكية في Wan 2.1 من 28.9 إلى 39.4.
- مثال: ارتفعت درجة الديناميكية في Wan 2.2 من 31.7 إلى 39.0.
الحفاظ على الجودة: على عكس التصفية البسيطة للترددات المنخفضة، تحافظ (ALG) على مقاييس الجودة الأخرى أو حتى تحسنها قليلاً:
- ظلت الجودة الجمالية (Aesthetic Quality) وجودة التصوير (Imaging Quality) قابلة للمقارنة مع النموذج الأساسي.
- تم الحفاظ على اتساق الموضوع في (I2V) (الدقة تجاه الصورة المدخلة).
- لم تتأثر الومضات الزمنية (Temporal Flicker) أو سلاسة الحركة (Motion Smoothness) سلباً.
التعميم: تعمل الطريقة بفعالية عبر بنيات نماذج مختلفة (Diffusion Transformers) ومجموعات بيانات تشمل إطارات فيديو من العالم الحقيقي (PVD) وصوراً اصطناعية (VidProM).
التكلفة الحسابية: التكلفة الإضافية ضئيلة (زيادة بنسبة 11% تقريباً في وقت الاستدلال لنموذج Wan 2.1) لأن الحسابات الإضافية (التصفية) تُطبق فقط على جزء صغير من إجمالي الخطوات الزمنية.

5. الأهمية

يعالج هذا العمل عائقاً حرجاً في توليد الفيديو الحالي: عدم قدرة نماذج (I2V) على توليد حركة ديناميكية دون التضحية بالجودة البصرية للصورة المرجعية.

الأثر العملي: توفر (ALG) حلاً جاهزاً للاستخدام المباشر للمطورين والباحثين الذين يستخدمون نماذج (I2V) الحالية لتوليد فيديوهات أكثر واقعية ونشاطاً دون الحاجة إلى إعادة تدريب مكلفة أو تغييرات معقدة في البنية.
الرؤية النظرية: تقدم فهماً أعمق لعملية التوليد في نماذج الانتشار/مطابقة التدفق (diffusion/flow-matching)، وتسلط الضوء على أهمية التدرج من "الخشن إلى الناعم" وكيف يمكن للشرطية عالية التردد أن تعطل هذا التدفق الطبيعي.
الاتجاه المستقبلي: يشير نجاح (ALG) إلى أن استراتيجيات الشرطية التكيفية القائمة على تحليل التردد يمكن تطبيقها على مهام توليدية أخرى حيث يتطلب الأمر التحكم في سمات محددة (مثل الحركة مقابل الملمس).

باختصار، نجحت تقنية ALG في فك الارتباط بين المقايضة بين الحركة والدقة، مما مكن نماذج (I2V) من إنتاج فيديوهات تتسم بالديناميكية العالية والأمانة البصرية للمصدر في آن واحد.