💻 computer science

SteadyDancer: Harmonized and Coherent Human Image Animation with First-Frame Preservation

يُعد SteadyDancer إطار عمل مبتكر لتحويل الصور إلى فيديو يحقق رسوماً متحركة متناغمة ومتماسكة للصور البشرية مع حفاظ قوي على الإطار الأول من خلال تقديم آلية مصالحة الشروط، ونماذج تعديل الوضعية التآزرية، ومسار تدريب مرحلي بـأهداف منفصلة للتغلب على مشكلات انحراف الهوية وعدم المحاذاة السائدة في نماذج المرجع إلى الفيديو الحالية.

المؤلفون الأصليون: Jiaming Zhang, Shengming Cao, Rui Li, Xiaotong Zhao, Yutao Cui, Xinglin Hou, Gangshan Wu, Haolan Chen, Yu Xu, Limin Wang, Kai Ma

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaming Zhang, Shengming Cao, Rui Li, Xiaotong Zhao, Yutao Cui, Xinglin Hou, Gangshan Wu, Haolan Chen, Yu Xu, Limin Wang, Kai Ma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة واحدة مثالية لصديق لك. تريد جعل هذا الصديق يرقص في مقطع فيديو، ولكنك تريد تحقيق أمرين في آن واحد:

يجب أن يظل "المظهر" ثابتاً: يجب أن يبدو صديقك في الفيديو تماماً مثل الشخص الموجود في الصورة. لا تبديل وجوه غريب، ولا تشويش، ولا تحول إلى شخص آخر في منتصف الفيديو.
يجب أن تكون "الحركة" مثالية: يجب أن يتبع حركات الرقص التي تمنحه إياها بدقة، حتى لو بدأت الرقصة بقفزة أو دوران لا يتطابق مع وضعية الوقوف في الصورة.

تعاني معظم أدوات الذكاء الاصطناعي الحالية من هذه المشكلة. فهي إما تجعل الشخص يبدو كأنه شخص مختلف عند بدء الحركة، أو تجعل الحركة تبدو متقطعة وغير طبيعية لأن الذكاء الاصطناعي يرتبك بشأن كيفية ربط الصورة بالحركة.

SteadyDancer هو نظام ذكاء اصطناعي جديد صُمم لحل هذه المشكلة تحديداً. فكر فيه كـ "راقص متناغم" يحافظ على وجه صديقك وجسده سليماً تماماً بينما يؤدي حركات معقدة.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "القفزة" و"الانجراف"

يشرح البحث أن الأساليب القديمة (المسماة "المرجع إلى الفيديو" Reference-to-Video) تعامل الصورة وحركات الرقص كشيئين منفصلين يحتاجان فقط إلى لصقهما معاً.

"القفزة": إذا كانت صورتك تظهر صديقك واقفاً ساكناً، ولكن فيديو الرقص يبدأ بقفزة عالية، فإن أنظمة الذكاء الاصطناعي القديمة غالباً ما تقوم فقط بـ "نقل" صديقك إلى القفزة. يبدو الأمر وكأنه شخصية في لعبة فيديو تعاني من خلل تقني وتنتقل آنياً.
"الانجراف": مع استمرار الرقص، قد ينسى الذكاء الاصطناعي تدريجياً شكل صديقك، مما يجعل ملابسه يتغير لونها أو وجهه يتشوه.

يستخدم SteadyDancer نهجاً مختلفاً يسمى "الصورة إلى الفيديو" (I2V). فبدلاً من مجرد لصق الصورة بالحركة، فإنه يعامل الصورة كأنها "الإطار الأول" للفيلم. يجب أن ينمو الفيديو بشكل طبيعي من تلك الصورة، مما يضمن أن يكون الإطار الأول مطابقاً بنسبة 100% للأصل.

2. الحل: ثلاثة مكونات سرية

لتحقيق ذلك، بنى الباحثون ثلاث "أدوات" خاصة داخل الذكاء الاصطناعي:

أ. "صانع السلام" (آلية التوفيق بين الشروط - Condition-Reconciliation Mechanism)

التشبيه: تخيل أنك تحاول خلط مكونين مختلفين تماماً: تمثال صلب ومتجمد (الصورة) ونهر هائج ومتدفق (حركات الرقص). إذا قمت برمي الاثنين في الخلاط فحسب، ستحصل على فوضى.
ما يفعله SteadyDatic: بدلاً من سحقهم معاً، فإنه يبقي كل منهما في حاويات منفصلة وواضحة لكنه يسمح لهما بالتواصل مع بعضهما البعض. إنه يضمن بقاء جزء "التمثال المتجمد" صلباً (للحفاظ على الوجه والملابس مثالية) بينما يتدفق جزء "النهر" بحرية (للتحكم في الحركة). هذا يمنع الذكاء الاصطناعي من الارتباك وفقدان هوية الشخص.

ب. "مصمم الرقصات" (وحدات تعديل الوضعية التآزرية - Synergistic Pose Modulation Modules)

التشبيه: أحياناً تكون حركات الرقص التي تعطيها للذكاء الاصطناعي غير دقيقة. ربما يكون الراقص في الفيديو ضبابياً، أو ذراعه مخفية خلف شجرة. إذا حاول الذكاء الاصطناعي تقليد ذراع ضبابية، فستكون النتيجة غريبة.
ما يفعله SteadyDancer: يعمل كمصمم رقصات ذكي ينظر إلى حركات الرقص الفوضوية ويقول: "حسناً، هذه الذراع مخفية، لكنني أعرف كيف يبدو ذراع صديقك عادةً بناءً على الصورة". إنه يقوم بتنقية تعليمات الرقص ويعدلها لتناسب الشخص الموجود في الصورة تماماً. إنه يصلح "الارتجاف" ويجعل الحركة سلسة، حتى لو كان فيديو الرقص الأصلي مهتزاً.

ج. "نص البروفة" (التدريب المرحلي المنفصل للأهداف - Staged Decoupled-Objective Training)

التشبيه: تخيل أنك تعلم ممثلاً جديداً مسرحية. لن تطلب منه حفظ النص كاملاً، وتعلم المؤثرات الخاصة، وإتقان النبرة العاطفية في يوم واحد. سيشعر بالارتباك.
ما يفعله SteadyDancer: يتم تدريب الذكاء الاصطناعي في ثلاث "مراحل" أو "بروفات" متميزة:
1. المرحلة الأولى (تعلم الحركات): يتعلم كيفية اتباع خطوات الرقص.
2. المرحلة الثانية (صقل المظهر): يتعلم كيف يجعل الفيديو عالي الجودة وحاداً، دون أن ينسى الحركات.
3. المرحلة الثالثة (تنعيم الانتقالات): يتدرب خصيصاً على اللحظات الصعبة حيث يبدأ الفيديو، لضمان عدم حدوث "انتقال آني" أو قفزات متقطعة من الصورة إلى الحركة الأولى.

3. النتيجة: اختبار "X-Dance"

لم يختبر الباحثون هذا النظام على فيديوهات مثالية بجودة الاستوديو فحسب، بل أنشأوا تحدياً جديداً يسمى X-Dance.

السيناريو: تخيل أخذ صورة لشخصية كرتونية أو صورة لشخص من نصف الجسم، ثم طلب من الذكاء الاصطناعي جعلها ترقص على فيديو لشخص حقيقي يقوم برقصة معقدة وضبابية.
النتيجة: فشلت أنظمة الذكاء الاصطناعي الأخرى فشلاً ذريعاً، حيث أنتجت وجوهاً مشوهة أو حركات متقطعة. ومع ذلك، حافظ SteadyDancer على مظهر الشخصية ثابتاً واتبع الرقص بسلاسة، حتى عندما لم تكن وضعيات البداية متطابقة تماماً.

الملخص

SteadyDancer يشبه محرك الدمى الماهر الذي يمكنه جعل الصورة الثابتة تنبض بالحياة. فهو يضمن أن "الدمية" (الشخص في الفيديو) لا تفقد وجهها أو ملابسها أبداً، مهما كانت الرقصة جامحة. يحقق ذلك من خلال إبقاء الصورة والحركة منفصلتين ولكن متصلتين، وتنقية تعليمات الرقص، وممارسة لحظات البداية والتوقف الصعبة في روتين تدريبي خاص.

يزعم البحث أن هذه الطريقة ليست فقط أفضل في الحفاظ على واقعية الشخص، بل تتطلب أيضاً قدرة حوسبة وبيانات أقل بكثير للتدريب مقارنة بالطرق السابقة، مما يجعلها طريقة أكثر كفاءة لإنشاء فيديوهات متحركة عالية الجودة.

ملخص تقني: SteadyDancer

بيان المشكلة

يهدف تحريك الصور البشرية إلى توليد فيديو قابل للتحكم من صورة ثابتة واحدة. وبينما حققت نماذج الانتشار (diffusion models) تقدماً في هذا المجال، لا يزال هناك تحدٍ جوهري قائم: الحفاظ على هوية ومظهر الإطار الأول مع ضمان التحكم الدقيق في الحركة.

يعامل نموذج المرجع-إلى-الفيديو (R2V) المهيمن عملية التحريك كعملية ربط صورة مرجعية بتسلسل وضعيات (pose) موجه. وهذا النهج يؤدي بطبيعته إلى تخفيف قيود المحاذاة بين الصورة المدخلة والوضعية الموجهة. وفي التطبيقات الواقعية، يؤدي هذا إلى مشكلات حرجة:

عدم المحاذاة المكانية-الزمانية: تسبب التناقضات في بنية الأطراف، والنسب، وأنواع الحركة بين الصورة المصدر والوضعية الموجهة في انحراف الهوية، والتشوهات البصرية، وعدم الاتساق الزمني.
فشل الإطار الأول: بسبب عدم المحاذاة الزمنية، غالباً ما تفشل أساليب R2V في البدء تماماً من الإطار المرجعي، مما يؤدي إلى قفزات مفاجئة أو "فجوات بداية" غير مقبولة في تطبيقات مثل ما بعد الإنتاج في المؤثرات البصرية (VFX) وتنشيط البشر الرقميين.

بينما يضمن نموذج الصورة-إلى-الفيديو (I2V) بطبيعته الحفاظ على الإطار الأول، إلا أن تنفيذه تقنياً صعب لأنه يتطلب محاذاة صارمة بين الصورة المرجعية والوضعية الموجهة. وتعتبر أبحاث تحريك الصور القائمة على I2V شحيحة، وغالباً ما تعاني التنفيذات الساذجة في موازنة التحكم في الحركة مع دقة المظهر.

المنهجية

يقترح المؤلفون SteadyDancer، وهو إطار عمل قائم على نموذج I2V، مصمم لتحقيق تحريك متناغم ومتسق مع حفظ قوي للإطار الأول. تم بناء البنية التحتية على نموذج Wan-2.1 I2V 14B مدرب مسبقاً، ويقدم ثلاثة مكونات تقنية أساسية:

1. آلية التوفيق بين الشروط (Condition-Reconciliation Mechanism)

لحل الصراع بين الحفاظ على تفاصيل الصورة الثابتة والتحكم في الوضعية الديناميكية، استبدل المؤلفون عملية الجمع البسيطة بين العناصر (المستخدمة في النماذج المرجعية) باستراتيجية ثلاثية الأجزاء:

دمج الشروط: بدلاً من جمع لافات (latents) الوضعية والصورة، استخدموا الربط عبر القنوات (channel-wise concatenation). يحافظ هذا على إشارات المظهر الثابت ( $z_c$ ) وإشارات الوضعية الديناميكية ( $z_p$ ) متميزة، مما يمنع التداخل المتبادل وفقدان المعلومات.
حقن الشروط: يتم حقن لافات الوضعية جنباً إلى جنب مع شروط الصورة باستخدام ضبط LoRA الدقيق. يعزز هذا التحكم في الحركة دون زيادة كبيرة في المعلمات القابلة للتدريب أو التدخل في قدرة المولد المدرب مسبقاً.
تعزيز الشروط: لتعزيز الحفاظ على الإطار الأول، يتلقى النموذج مراجع صريحة على المستوى الزمني. يتم ربط اللافات المدمجة عبر القنوات زمنياً مع لافات صورة الإطار الأول ( $z_{c0}$ ) ولافات وضعية الإطار الأول ( $z_{p0}$ ). بالإضافة إلى ذلك، يتم تعزيز السياق العالمي بميزة CLIP لإطار الوضع الأول.

2. وحدات تعديل الوضعية التآزرية (Synergistic Pose Modulation Modules)

لمعالجة عدم المحاذاة المكانية-الزمانية بين الصورة المرجعية والوضعية الموجهة، يستخرج الإطار تمثيلات للوضعية متكيفة خصيصاً مع المرجع:

المُحسِّن التكيفي للهيكل المكاني (PSSAE): يستخدم التلافيف الديناميكية لتوليد بارامترات تعتمد على الوضعية لضبط التمثيلات اللافية، مما يقلل من تداخل الدمج ويحافظ على التفاصيل الدقيقة.
وحدة اتساق الحركة الزمنية (PTMCM): تنمذج الديناميكيات المستمرة من تسلسلات الوضعية المنفصلة باستخدام كتل مجزأة (تلافيف مكانية بعمق ونقاط زمنية) لقمع الارتجاف وضمان سلاسة الديناميكيات بين الإطارات.
وحدة محاذاة الانتباه لكل إطار (PFAU): وحدة انتباه تقاطعي خفيفة الوزن حيث ينتبه اللاف الخاضع لعملية إزالة الضجيج (denoising latent) إلى لاف الوضعية، مما ينتج ميزات وضعية معايرة بالمظهر.
يتم تجميع هذه الوحدات هرمياً لإنتاج تمثيل وضعية عالي الجودة ومتسق مكانياً وزمانياً ( $z_p^*$ ) يعمل كشرط تحكم منقح.

3. مسار تدريب الأهداف المنفصلة على مراحل (Staged Decoupled-Objective Training Pipeline)

يتم تدريب النموذج في ثلاث مراحل متميزة لتحسين التحكم في الحركة، والجودة، والاستمرارية بكفاءة:

المرحلة 1 (الإشراف على الحركة): غرس قدرات التحكم في الحركة باستخدام ضبط LoRA الدقيق على بيانات الفيديو حيث يكون الإطار الأول هو المرجع.
المرحلة 2 (التقطير المنفصل للشروط): تهدف إلى استعادة الجودة البصرية المفقودة أثناء تعلم الحركة. يعمل نموذج I2V غير المشروط المدرب مسبقاً كـ "معلم"، بينما يكون نموذج المرحلة الأولى هو "الطالب". يتم تفكيك توقع السرعة إلى مكونات غير مشروطة ومشروطة؛ حيث يتم تقطير المكون غير المشروط من المعلم للحفاظ على مجال التوليد الأساسي، بينما يقوم المكون المشروط بالانحدار ضد الحقيقة الأرضية (ground truth). يمنع هذا حدوث انزياح في التوزيع ويحافظ على دقة الفيديو.
المرحلة 3 (تخفيف عدم استمرارية الحركة): تعالج "فجوة البداية" حيث تختلف الصورة المرجعية والوضعية الموجهة الأولى. يقترح المؤلفون محاكاة الوضعية (Pose Simulation)، وهي استراتيجية قائمة على البيانات، حيث يتم استبدال الوضعية الثانية في التسلسل عشوائياً بوضعية مستنتجة (interpolated) من الأولى وإطار لاحق. يعرض هذا النموذج لانقطاعات واقعية أثناء التدريب، مما يمكنه من توليد انتقالات سلسة دون تغييرات هيكلية أو معالجة لاحقة.

المساهمات الرئيسية

إطار عمل SteadyDancer: إطار عمل جديد للتحريك عالي الدقة يضمن بقوة الحفاظ على الإطار الأول ضمن نموذج I2V، محققاً كفاءة كبيرة في موارد التدريب مقارنة بالأساليب الحالية.
آليات مبتكرة:
- آلية التوفيق بين الشروط: توفق بين شروط المظهر والحركة المتعارضة عبر الربط عبر القنوات، وحقن LoRA، والتعزيز الزمني.
- وحدات تعديل الوضعية التماثلية: مجموعة من الوحدات (PSSAE، PTMCM، PFAU) التي تكيف تمثيلات الوضعية مع الصورة المرجعية، مما يحل عدم المحاذاة المكانية-الزمانية.
- مسار تدريب الأهداف المنفصلة على مراحل: عملية ثلاثية المراحل تفصل التحكم في الحركة، وتقطير الجودة، وتخفيف عدم الاستمرارية لتحسين الأداء ببيانات محدودة.
معيار X-Dance: تقديم أول معيار غير متجانس (X-Dance) لتقييم أداء النموذج عندما تكون الصور المرجعية ومصادر الحركة غير متسقة (مثل اختلاف الأنماط، أو أنواع الأجسام، أو فجوات البداية)، مما يعالج الفجوة في المعايير المتجانسة الحالية مثل TikTok.

النتائج التجريبية

قيم المؤلفون SteadyDancer على عدة معايير، بما في ذلك TikTok وRealisDance-Val، ومعيار X-Dance المقترح.

الأداء الكمي: يحقق SteadyDancer أداءً رائداً (state-of-the-art) في دقة المظهر (SSIM, PSNR, LPIPS, FID) ودقة الفيديو (FVD). وفي معيار X-Dance، يتفوق بشكل كبير على المنافسين في اتساق الموضوع، واتساق الخلفية، وسلاسة الحركة، مما يثبت قوته ضد عدم المحاذاة في العالم الحقيقي.
كفاءة الموارد: يتطلب النموذج موارد تدريب أقل بكثير؛ حيث حقق نتائجه بـ 14,500 خطوة تدريب فقط على مجموعة بيانات مكونة من 7,338 مقطع فيديو (10.2 ساعة). في المقابل، تتطلب طرق DiT المماثلة غالباً مئات الآلاف من الخطوات ومجموعات بيانات أكبر بكثير.
الأداء النوعي: تظهر المقارنات البصرية أن SteadyDancer يحافظ على هوية الإطار الأول ويولد حركة متسقة حتى في الظروف الصعبة (مثل الانسداد، الضبابية، والقيادة عبر الجنسين). كما نجح في توليد تفاعلات منطقية فيزيائياً مع الأشياء، وعمم قدراته على سيناريوهات متعددة الأشخاص والحيوانات بطريقة Zero-shot.
توليد الفيديو الطويل: يدعم الإطار توليد فيديوهات تصل مدتها إلى دقيقة بدون تدريب إضافي باستخدام نوافذ سياق متداخلة ودمج خطي، مع الحفاظ على الهوية والاتساق لفترات ممتدة.

الأهمية والادعاءات

يزعم البحث أن SteadyDancer يمثل تحولاً كبيراً من نموذج R2V إلى نهج I2V أكثر قوة لتحريك البشر. ومن خلال حل المقايضة بين الحفاظ على المظهر والتحكم في الحركة، يتيح الإطار تطبيقات تتطلب دقة بصرية وزمنية عالية، مثل إنتاج الأفلام، والإعلانات، وتنشيط البشر الرقميين.

يؤكد المؤلفون أن نهجهم فعال وسهل الوصول، حيث يحقق نتائج متفوقة بجزء بسيط من بيانات التدريب وموارد الحوسبة المطلوبة للأساليب الحديثة. إن تقديم معيار X-Dance واستراتيجية محاكاة الوضعية يسلط الضوء على التركيز على القابلية للتطبيق في العالم الحقيقي، ومعالجة مشكلة عدم محاذاة المدخلات التي أعاقت سابقاً نشر نماذج تحريك البشر في السيناريوهات العملية. ويخلص العمل إلى أن هذه الابتكارات توفر أساساً متيناً وفعالاً لأنظمة تحريك البشر القوية في المستقبل.