Sketch2Motion: Text-driven 2D Sketch to 3D Animation via Diffusion-guided Skeleton Optimization
يُعد Sketch2Motion إطار عمل موجَّهًا بالانتشار يقوم بتحويل الرسومات ثنائية الأبعاد الموجهة بالنصوص إلى رسوم متحركة ثلاثية الأبعاد واقعية لشخصيات متنوعة من خلال تحسين حركة الهيكل العظمي عبر أخذ عينات تشتت الانتباه المدركة للحركة والقيود الفيزيائية دون الحاجة إلى بيانات حركة مقترنة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك رسمًا تخطيطيًا بسيطًا مرسومًا يدويًا لشخصية على ورقة. ربما يكون كلبًا، أو روبوتًا، أو وحشًا. في هذه اللحظة، هذا الرسم عالق في بُعد ثنائي (2D)؛ ليس له عمق ولا يمكنه الحركة. تقدم ورقة "Sketch2Motion" نظامًا ذكيًا يأخذ ذلك الرسم المسطح ويحوله إلى شخصية ثلاثية الأبعاد (3D) يمكنها المشي، أو الجري، أو القفز بناءً على أمر نصي بسيط تكتبه، مثل "الكلب يطارد كرة".
إليك كيف يفعلون ذلك، مقسمًا إلى مفاهيم وتشبيهات بسيطة:
1. المشكلة: فخ "التسطح" و"الغموض"
رسم كائن ثلاثي الأبعاد على ورق ثنائي الأبعاد أمر صعب. إذا رسمت رجل عصا، فمن الصد الصعب معرفة ما إذا كانت الذراع أمام الجسم أم خلفه. أيضًا، الرسم لا يخبرك كيف يجب أن تنثني المفاصل.
- التشبيه: فكر في محاولة بناء روبوت حقيقي متحرك باستخدام مخطط ثنائي أبعاد مسطح فقط. أنت تعرف كيف يبدو، لكنك لا تعرف أين توجد المفصلات أو مدى ثقل الأجزاء. إذا خمنت فقط، فقد يتفكك الروبوت أو يتحرك بطريقة تشبه ألعاب الفيديو المليئة بالأخطاء التقنية (glitches).
2. الحل: فريق مكون من ثلاثة أجزاء
بنى المؤلفون نظامًا يعمل كفريق من ثلاثة متخصصين يعملون معًا لبث الحياة في الرسم.
المتخصص (أ): "المنفخ" (إعادة البناء ثلاثي الأبعاد)
أولاً، يأخذ النظام رسمك الثنائي الأبعاد و"ينفخه" ليصبح شكلًا يشبه البالون ثلاثي الأبعاد. ثم يحدد تلقائيًا أين يجب أن توضع العظام (الهيكل العظمي) داخل هذا الشكل.
- التشبيه: تخيل نفخ رسم ثنائي الأبعاد لسمكة ليصبح بالونًا حقيقيًا على شكل سمكة ثلاثية الأبعاد. ثم تقوم بتمرير هيكل من الأسلاك داخلها حتى تتمكن من تحريك ذيلها وزعانفها.
المتخصص (ب): "المخرج" (نموذج الانتشار - Diffusion Model)
هذا هو عقل العملية. يستخدم النظام ذكاءً اصطناعيًا قويًا شاهد ملايين الفيديوهات (نموذج "نص-إلى-فيديو"). تخبره، "اجعل الشخصية ترقص"، وهذا الذكاء الاصطناعي يعرف معنى الرقص.
- التحول: عادةً، تقوم هذه الأنواع من الذكاء الاصطناعي بإنشاء فيديوهات جديدة من الصفر. لكن هنا، استخدم المؤلفون الذكاء الاصطناعي كـ ناقد، وليس كمبدع. هم لا يدعون الذكاء الاصطناعي لرسم الفيديو؛ بل يسألونه أن ينظر إلى شخصيتك ثلاثية الأبعاد ويقول: "لا، هذا لا يبدو كالرقص. حرك الساق أكثر".
- التشبيه: تخيل أنك تحاول تعلم حركة رقص. ليس لديك معلم، ولكن لديك فيديو لمحترف يرقص في الخلفية. أنت تحاول التحرك، والفيديو يعمل كمرآة، يوجه حركاتك باستمرار لتطابق أسلوب الراقص المحترف. تطلق الورقة على هذا اسم "تقطير الحركة الواعية" (Motion-Aware Score Distillation).
المتخصص (ج): "مدرب الفيزياء" (القواعد)
المخرج (الذكاء الاصطناعي) بارع في معرفة كيف تبدو الحركة، لكنه سيء في معرفة قواعد الفيزياء. قد يجعل الشخصية تطفو في الهواء، أو تمشي بأقدام تنزلق على الأرض، أو تثني ركبتيها للخلف.
- الإصلاح: يضيف النظام مجموعة من "قواعد الفيزياء" الصارمة:
- الجاذبية: يجب أن تظل الشخصية على الأرض.
- حدود المفاصل: لا يمكن للركبتين أن تنثنيا للخلف.
- النعومة: يجب ألا تكون الحركات متقطعة أو مهتزة.
- التماثل: إذا كان للشخصية ساقان، فيجب أن تتحركا بطريقة متوازنة.
- التشبيه: هذا يشبه مدرب رقص صارم يوقفك فورًا إذا حاولت الطفو في الهواء أو كسر ركبتيك. إنهم يضمنون أن تبدو الرقصة ممكنة فيزيائيًا.
3. عامل "الاهتزاز" (الحركة الثانوية)
الأشياء الحقيقية ليست مجرد عظام صلبة؛ بل لها أجزاء متمايلة مثل الشعر، أو الذيول، أو الملابس الفضفاضة.
- الابتكار: يضيف النظام "محاكي كتلة ونوابض" (Spring-Mass Simulator). هذا محرك فيزياء مصغر يربط نوابض بالأجزاء الفضفاضة للشخصية. عندما تركض الشخصية، يتأخر الذيل أو الشعر ويتأرجح بشكل طبيعي، تمامًا كما يحدث في الحياة الواقعية.
- التشبيه: فكر في كلب يركض. جسمه يتحرك للأمام، لكن أذنيه وذيله يرفرفان ويتأرجحان بسبب الزخم. هذا النظام يضيف ذلك "الرفرفة والتأرجح" تلقائيًا.
4. كيف يعمل كل ذلك معًا (العملية)
- البداية: ترفع رسمًا وتكتب أمرًا (مثل: "الروبوت يقفز").
- الإعداد: يبني النظام شبكة ثلاثية الأبعاد وهيكلًا عظميًا من الرسم.
- التخمين: يبدأ بتخمين أولي للحركة (مثل دورة مشي أساسية).
- التحسين: يقوم بتشغيل حلقة حيث:
- يتحقق المخرج (الذكاء الاصطناعي) مما إذا كانت الحركة تطابق النص.
- يتحقق المدرب (الفيزياء) مما إذا كانت الحركة تكسر قوانين الطبيعة.
- يقوم النظام بتعديل زوايا الهيكل العظمي قليًا لإرضاء كلا الطرفين.
- النتيجة: رسوم متحركة ثلاثية الأبعاد سلسة وواقعية تتبع تعليماتك النصية، وتحترم شكل الشخصية، وتتضمن اهتزازات طبيعية.
ما يدعون أنهم حققوه
- لا حاجة لبيانات تدريب: على عكس الطرق الأخرى التي تحتاج لآلاف الفيديوهات لشخصيات محددة لتعلم كيفية الحركة، يعمل هذا النظام على أي رسم (سواء كانت كائنات ثنائية الأرجل، أو رباعية الأرجل، أو حتى أشياء غير حية) دون الحاجة لإعادة التدريب.
- أفضل من الأساسيات: اختبروا النظام مقابل طرق رائدة أخرى ووجدوا أن نهجهم أنتج حركات أكثر سلاسة وواقعية ولم تكن مشوهة أو "مليئة بالأخطاء".
- مفتوح المصدر: يخططون لمشاركة الكود الخاص بهم ومجموعة بيانات تضم 100 رسم يدوي مختلف لتمكين الآخرين من استخدامه واختباره.
باخت-الاختصار، Sketch2Motion هو أداة تحول مجرد خربشة ثابتة إلى شخصية ثلاثية الأبعاد حية ونابضة بالحياة، تلتزم بقوانين الفيزياء وتتبع أوامرك اللفظية، وكل ذلك دون الحاجة إلى قاعدة بيانات ضخمة من الرسوم المتحركة المسجلة مسبقًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.