🤖 AI

Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models

تقدم هذه الورقة بحث DyMoS، وهو أسلوب لا يتطلب تدريباً ومستقل عن النموذج يعمل على تعزيز ديناميكيات الحركة في توليد الصور إلى فيديوهات من خلال إعادة توازن هيمنة الإطار المرجعي في آلية الانتباه، مما يتغلب على كبح الحركة دون المساس بالدقة البصرية أو الحاجة إلى تدريب إضافي.

المؤلفون الأصليون: Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "إعادة توازن هيمنة الإطار المرجعي لتحسين الحركة في نماذج تحويل الصور إلى فيديو" (DyMoS)، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: الفيديو "المتجمد"

تخيل أن لديك صورة لحصان، وطلبت من الكمبيوتر تحويلها إلى فيديو لحصان يركض. من المتوقع أن يركض الحصان، لكن غالبًا ما تكون نماذج الذكاء الاصطناعي الحالية "مهذبة" للغاية تجاه الصورة الأصلية. فهي تبقي الحصان متجمداً في مكانه، ربما يحرك أذنيه قليًا فقط، لأنها تخشى بشدة تغيير الصورة التي أعطيتها إياها.

تسمي الورقة البحثية هذا الأمر بـ "تحيز الحركة الساكنة" (Static Motion Bias). فالذكاء الاصطناعي يركز بشدة على جعل الإطار الأول (الصورة المرجعية) مثاليًا لدرجة أنه ينسى جعل بقية الفيديو يتحرك.

الاكتشاف: الطالب "شديد التركيز"

نظر الباحثون تحت غطاء طريقة عمل هذه النماذج. واكتشفوا سلوكًا محددًا يسمونه "هيمنة الإطار المرجعي" (Reference-Frame Dominance).

تخيل نموذج الذكاء الاصطناعي كطالب يؤدي اختبارًا.

النص الوصفي (Prompt) هو السؤال: "اجعل الحصان يركض".
الصورة المرجعية هي صورة الحصان الموجودة على المكتب.

في نموذج "نص إلى فيديو" عادي، ينظر الطالب إلى السؤال ويتخيل الحصان وهو يركض.
أما في نموذج "صورة إلى فيديو"، فإن الطالب يحدق بشدة مبالغ فيها في الصورة الموجودة على المكتب. في كل مرة يحاول فيها الطالب رسم الإطار التالي من الفيديو، ينظر إلى الصورة ويقول: "حسناً، يجب أن أجعل هذا الإطار التالي يشبه الصورة تماماً".

ولأن الطالب مهووس بنسخ الصورة، فإنه لا يرسم الحصان وهو يتحرك فعليًا. "الصورة" تهيمن على "الخيال".

الحل: DyMoS (مُنحدر الحركة الديناميكي)

ابتكر الباحثون أداة تسمى DyMoS (Dynamic Motion Slider). هي لا تتطلب إعادة تدريب الذكاء الاصطناعي أو تغيير الصورة الأصلية. بدلاً من ذلك، تعمل كصمام تحكم في "هوس" الطالب.

كيف تعمل:

التدخل: خلال اللحظات الأولى من إنشاء الفيديو (خطوات إزالة الضجيج/denoising)، يقوم DyMoS بنقر كتف الطالب بلطف. يقول له: "هيا، توقف عن التحديق بشدة في الصورة المرجعية. عليك أن تتخيل الحركة الآن".
الآلية: تقنيًا، تقوم الأداة بتعديل رقم محدد ("انحياز/bias") في نظام الانتباه الخاص بالذكاء الاصطناعي. فهي تخفض قليًا الدرجة التي يعطيها الذكاء الاصطناعي لرموز (tokens) الصورة المرجعية عندما يحاول تحديد شكل الإطار التالي.
النتيجة: لا يزال مسموحًا للذكاء الاصطناعي برؤية الصورة (لذا يظل الحصان يبدو كحصان)، لكنه لم يعد مجبورًا على نسخها بدقة تامة. هذا يحرر الذكاء الاصطناعي ليجعل الحصان يركض، أو السيارة تقود، أو الماء يتدفق.

ميزة "المُنحدر" (The Slider)

الجزء الأروع في DyMoS هو أنه مُنحدر (Slider)، وليس مجرد مفتاح تشغيل/إيقاف. لدى المستخدم رقم واحد يمكنه تحريكه:

خفضه (أرقام سالبة): يصبح الذكاء الاصطناعي أكثر هوسًا بالصورة. يصبح الفيديو أكثر سكونًا (مفيد إذا كنت تريد صورة ثابتة تتحرك حركة طفيفة جدًا).
رفعه (أرقام موجبة): يتم إخبار الذكاء الاصطناعي بتجاهل الطبيعة "المتجمدة" للصورة بشكل أكبر. يصبح الفيديو ديناميكيًا ومليئًا بالطاقة.
المنطقة الوسطى: يمكنك إيجاد التوازن المثالي حيث يتحرك الفيديو بشكل طبيعي ولكن يظل الشخص أو الشيء يبدو تمامًا مثل الصورة التي بدأت بها.

لماذا هو أفضل من الطرق السابقة؟

كانت المحاولات السابقة لإصلاح مشكلة "الفيديو المتجمد" تشبه محاولة إصلاح سيارة عن طريق تحطيم المحرك أو طلاء العجلات.

بعض الطرق تطلبت إعادة تدريب الذكاء الاصطناعي بالكامل (وهو أمر مكلف وبطيء).
طرق أخرى حاولت تغبيش أو تشويه الصورة المدخلة لإجبارها على الحركة، مما جعل الفيديو يبدو قبيحًا أو مشوهًا.

DyMoS مختلف لأنه:

لا يتطلب تدريبًا (Training-Free): لا تحتاج لتعليم الذكبة الاصطناعي أي شيء جديد. أنت فقط تستخدم الأداة أثناء عمل الذكاء الاصطناعي.
مستقل عن النموذج (Model-Agnostic): يعمل على أي نموذج ذكاء اصطناعي حديث تقريبًا (مثل Wan 2.2، HunyuanVideo، CogVideoX).
يحافظ على الجودة: يجعل الفيديو يتحرك دون جعل الصورة تبدو ضبابية أو غريبة.

الملخص

تحدد الورقة البحثية أن نماذج "صورة إلى فيديو" مهذبة للغاية تجاه صور المدخلات، مما يجعل الفيديوهات مملة وساكنة. لقد أصلحوا ذلك باستخدام DyMoS، وهي أداة بسيطة تعمل كمقبض تحكم في مستوى الصوت، حيث تخفض هوس الذكاء الاصطناعي بالصورة الأصلية بمقدار يكفي للسماح بالحركة، كل ذلك دون تغيير النموذج أو الصورة الأصلية.

ملخص تقني: إعادة توازن هيمنة الإطار المرجعي لتحسين الحركة في نماذج تحويل الصور إلى فيديو

بيان المشكلة

تعاني نماذج تحويل الصورة إلى فيديو (I2V)، رغم قدرتها على الحفاظ على مظهر الصورة المرجعية، من مشكلة "انحياز الحركة الساكنة" بشكل متكرر. فمقارنة بنظيراتها في تحويل النص إلى فيديو (T2V)، غالبًا ما تنتج نماذج I2V فيديوهات ذات حركة محدودة للغاية أو ضعيفة، حتى عندما يصف الوصف النصي (prompt) حركة ديناميكية صريحة. وتتضمن الأساليب الحالية للتخفيف من هذه المشكلة عادةً تعديل مسار التكييف مع الصورة (مثل إضافة ضجيج أو إعادة تصميم مطابقة التدفق) أو إضعاف إشارة التكييف. ومع ذلك، تتطلب هذه الأساليب تدريبًا إضافيًا أو تؤدي إلى مقايضة حيث يأتي تحسين الحركة على حساب الدقة في الالتزام بالصورة المرجعية.

المنهجية: DyMoS (منزلق الحركة الديناميكية)

يقترح المؤلفون DyMoS، وهو أسلوب لا يتطلب تدريبًا ومستقل عن النموذج، يعالج انحياز الحركة الساكنة من خلال التدخل مباشرة في آلية الانتباه الذاتي (self-attention) أثناء الاستدلال، دون تغيير أوزان النموذج أو الصورة المدخلة.

الرؤية الجوهرية: هيمنة الإطار المرجعي

من خلال تحليل خرائط الانتباه الذاتي في عمليات توليد T2V وI2V المقترنة، حدد المؤلفون ظاهرة أطلقوا عليها اسم "هيمنة الإطار المرجعي". في نماذج I2V، تخصص رموز الاستعلام (query tokens) في الإطارات غير المرجعية اهتمامًا أكبر بكثير لرموز المفتاح (key tokens) الخاصة بالإطار المرجعي (الإطار الأول) مقارنة بنظيراتها في نماذج T2V. هذا الاهتمام المفرط ينقل معلومات المرجع عبر المحور الزمني، مما يثبط الديناميكيات بين الإطارات ويؤدي إلى مخرجات ساكنة.

التنفيذ التقني

يعمل DyMoS على التخفيف من هذه الهيمنة عن طريق إعادة توازن لوغاريتمات الانتباه (attention logits) خلال خطوات إزالة الضجيج الأولية. تقدم الطريقة إزاحة قياسية (scalar bias shift) للوغاريتمات الانتباه المرتبطة برموز المفتاح للإطار المرجعي.

يتم تطبيق التعديل كما يلي:

تعديل اللوغاريتم: بالنسبة لرموز الاستعلام غير المرجعية ( $i \notin I_{f0}$ ) التي تهتم برموز المفتاح المرجعية ( $j \in I_{f0}$ )، يتم طرح قيمة قياسية موجبة $\gamma$ من لوغاريتمات الانتباه $L[i, j]$ قبل عملية الـ softmax:
$\tilde{L}[i, j] = L[i, j] - \gamma \cdot \phi(f(i)) \cdot \mathbb{1}[j \in I_{f0}] \cdot \mathbb{1}[i \notin I_{f0}]$
هنا، تتحكم $\gamma$ في قوة التدخل، و $\phi(\cdot)$ هو جدول زمني لكل إطار (الافتراضي هو موحد).
النطاق الزمني: يتم تطبيق التعديل فقط خلال الجزء $\lambda$ الأول من خطوات إزالة الضجيج. يستهدف هذا المرحلة المبكرة حيث يتم تحديد الحركة العالمية، بينما يسمح للخطوات اللاحقة بصقل المظهر والتماسك الزمني باستخدام الانتباه القياسي.
توجيه المصنف المجاني (CFG): يتم تطبيق التعديل حصريًا على فرع التكييف النصي لمعادلة CFG، مع ترك فرع النص الفارغ (null-text branch) دون تغيير. هذا يوجه التحديث الموجه بعيدًا عن هيمنة الإطار المرجعي مع الحفاظ على السلامة الهيكلية لعملية التوليد.

المساهمات الرئيسية

تحديد الآلية: حددت الورقة "هيمنة الإطار المرجعي" في الانتباه الذاتي كمحرك رئيسي للحركة الساكنة في نماذج I2V، مما يميزها عن مجرد مشكلات التكييف مع المدخلات.
تدخل لا يتطلب تدريبًا: يقدم DyMoS حلاً بسيطًا ومستقلاً عن النموذج لا يتطلب ضبطًا دقيقًا (fine-tuning)، أو إعادة تدريب، أو تعديل الصورة المدخلة. إنه يعمل فقط من خلال تعديل لوغاريتمات الانتباه أثناء الاستدلال.
تحكم مستمر: تقدم الطة معلمة قياسية واحدة ( $\gamma$ ) تسمح للمستخدمين بالتحكم المستمر في الطيف الممتد من الالتزام الصارم بالصورة المرجعية (ساكن) إلى الحركة عالية الديناميكية، مما يسد الفجوة بفعالية بين ديناميكيات الحركة في I2V وT2V.
الحفاظ على الدقة: على عكس الأساليب السابقة التي تضحي بالجودة البصرية أو الاتساق المرجعي لتعزيز الحركة، يحسن DyMoS ديناميكيات الحركة مع الحفاظ على دقة عالية للصورة المرجعية والجودة البصرية.

النتائج التجريبية

تحقق المؤلفون من صحة DyMoS عبر عدة نماذج أساسية (backbones) متطورة لـ I2V، بما في ذلك Wan 2.2، وWan 2.1، وHunyuanVideo-1.5، وCogVideoX-5B.

ديناميكيات الحركة: عبر جميع النماذج الأساسية، حقق DyMoS باستمرار درجات أعلى في درجة الديناميكية (Dynamic Degree) (المقاسة بواسطة VBench وVideoScore) مقارنة بكل من النموذج الأساسي وطريقة ALG المتطورة. على سبيل المثال، في Wan 2.2، ارتفعت درجة الديناميكية من 51.7 (الأساس) إلى 64.8 (DyMoS)، وهو تحسن كبير عن 55.3 لـ ALG.
الجودة البصرية: من المهم ملاحظة أن DyMoS حافظ على درجات جودة الفيديو (Video Quality) مقاربة للنموذج الأساسي وALG، مما يثبت أن تعزيز الحركة لا يقلل من الدقة البصرية.
المواءمة مع النص: حققت الطريقة أعلى درجات ViCLIP بين الطرق المقارنة، مما يشير إلى أن تقليل هيمنة الإطار المرجعي يسم يسمح للنموذج باتباع أوصاف الحركة في المطالبات النصية بشكل أفضل.
التفضيل البشري: في دراسة مستخدمين، تم اختيار DyMoS كأفضل فيديو عبر جميع المعايير (ديناميكية الحركة، دقة الإطار المرجعي، المواءمة مع النص، والتفضيل العام) بشكل متكرر أكثر من النموذج الأساسي أو ALG.
الكفاءة: لا تسبب الطريقة سوى عبء ضئيل جدًا في وقت الاستدلال (على سبيل المثال، 1.2% في Wan 2.2)، لأنها تتضمن عمليات خفيفة الوزن عنصرًا بعنصر على لوغاريتمات الانتباه بدلاً من عمليات تمرير أمامي إضافية.

الأهمية والادعاءات

تزعم الورقة أن انحياز الحركة الساكنة في توليد I2V ليس قيدًا متأصلًا في آلية التكييف نفسها، بل هو نتيجة لكيفية توجيه المعلومات المرجعية عبر الانتباه الذاتي. ومن خلال التدخل عند مستوى لوغاريتم الانتباه، يقوم DyMoS بفعالية بإعادة توازن تركيز النموذج، مما يسمح بحركة ديناميكية دون المساس بنقاط القوة الجوهرية لنماذج I2V (الدقة المرجعية).

يضع المؤلفون DyMoS كأداة عملية للمستخدمين والمطورين، حيث يوفر "مقياس انزلاق" للتحكم في الحركة عبر معلمة واحدة. ويشيرون إلى أنه بينما تعد الطريقة فعالة، فإن قوة التعديل المفرطة قد تقلل من اتساق المظهر، وأن العمل المستقبلي يمكن أن يستكشف التكيف التلقائي لقوة التعديل بناءً على مطالبات محددة أو أنواع حركة معينة. يوضح العمل أن التدخلات البسيطة والمستهدفة في آلية الانتباه يمكن أن تحقق تحسينات جوهرية في جودة الفيديو المولّد دون التكلفة الحسابية لإعادة التدريب.