DuoMo: Dual Motion Diffusion for World-Space Human Reconstruction
تُعد DuoMo طريقة توليدية متطورة تعيد بناء حركة بشرية متسقة عالمياً وفي فضاء العالم من فيديوهات غير مقيدة ومشوشة، وذلك عبر توظيف إطار عمل انتشار ثنائي يقوم أولاً بتقدير الحركة في فضاء الكاميرا ثم صقلها إلى مسار متماسك في فضاء العالم دون الاعتماد على النماذج البارامترية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فيديو منزلي مهتز وفوضوي لصديق يرقص في حديقة. الكاميرا تتحرك بجنون، وصديقك يختفي أحياناً خلف شجرة، والإضاءة تتغير. ومع ذلك، فإن عقلك يعمل كآلة سحرية: فهو يدرك فوراً مكان صديقك بالضبط في العالم الحقيقي، وكيف يتحرك، وحتى ماذا يفعل أثناء اختفائه خلف الشجرة.
DuoMo هو ذكاء اصطناعي صُمم ليفعل تماماً ما يفعله عقلك، لكنه يحاول حل مسألة رياضية معقدة للغاية.
إليك قصة كيفية عمل DuoMo، مشروحة دون المصطلحات التقنية الثقيلة.
المشكلة: معضلة "الكاميرا المهتزة"
معظم أنظمة الذكاء الاصطناعي التي تحاول تتبع الأشخاص في الفيديوهات ترتبك بسبب أمرين:
- الكاميرا تتحرك: هل الشخص يمشي للأمام، أم أن الكاميرا هي التي تقترب منه (Zoom)?
- "العالم" مفقود: إذا اختفى الشخص خلف شجرة، يصاب الذكاء الاصطناعي عادةً بالذعر وينسى أين كان من المفترض أن يتجه.
حاولت الطرق القديمة حل هذه المشكلة بقفزة واحدة عملاقة: "تخمين موقع الشخص في العالم الحقيقي مباشرة من الفيديو". لكن هذا يشبه محاولة خبز كعكة مثالية عبر رمي جميع المكونات في وعاء واحد دفعة واحدة والأمل في الحصول على نتيجة جيدة. غالباً ما ينتهي الأمر بفوضى حيث يبدو الشخص وكأنه يطفو في الهواء أو يمشي عبر الجدران.
حل DuoMo: رقصة الخطوتين
بدلاً من التخمين الواحد الكبير، يستخدم DuoMo خبيرين متخصصين يعملان كفريق. فكر في الأمر كـ مخرج و منسق مشاهد خطيرة (Stunt Coordinator).
الخطوة 1: نموذج فضاء الكاميرا (منسق المشاهد الخطيرة)
أولاً، ينظر DuoMo إلى الفيديو ويسأل: "ماذا يحدث بالنسبة للكاميرا؟"
- التشبيه: تخيل أنك تجلس في سيارة تراقب عداءً. يبدو العداء وكأنه يتحرك يميناً ويساراً، وأعلى وأسفل، بناءً على كيفية انحراف سيارتك.
- ماذا يفعل: هذا النموذج بارع في النظر إلى الفيديو الخام وقول: "حسناً، ذراع العداء تتحرك بهذا الاتجاه بالنسبة للعدسة". هو لا يهتم بالعالم الحقيقي بعد؛ هو يهتم فقط بما يراه على الشاشة.
- العقبة: لأن الكاميرا مهتزة، فإن هذه الرؤية تكون "مشوشة" ومشوهة. إذا تحركت الكاميرا، سيبدو العداء وكأنه ينتقل آنياً من مكان لآخر.
الخطوة 2: نموذج فضاء العالم (المخرج)
بعد ذلك، يأخذ DuoMo تلك الرؤية المهتزة والمتعلقة بالكاميرا ويسأل: "حسناً، ولكن أين يقف هو فعلياً في الحديقة؟"
- التشبيه: ينظر المخرج إلى ملاحظات منسق المشاهد ويقول: "انتظر، الكاميرا كانت تدور لليسار بالفعل، لذا لم ينتقل العداء آنياً، بل كان يمشي في خط مستقيم فحسب".
- ماذا يفعل: هذا النموذج يأخذ التخمين "المشوش" من الخطوة الأولى وينقحه. هو يستخدم قواعد الفيزياء والمنطق ليقول: "البشر لا يطفون في الهواء، ولا يمشون عبر الأشجار".
- السحر: إذا اختفى العداء خلف شجرة، لا يصاب المخرج بالذعر. بل يقول: "أعلم أنه كان يمشي لليسار، لذا لا بد أنه لا يزال يمشي لليسار خلف تلك الشجرة". إنه يملأ الفجوات المفقودة باستخدام معرفته بكيفية حركة البشر.
السر الخفي: "أخذ العينات الموجه" (Guided Sampling)
أحياناً، حتى المخرج قد يفقد بوصلته قليلاً على المدى الطويل (مثل إذا كان الفيديو مدته 20 ثانية). قد ينحرف الذكاء الاصطناعي ببطء، مما يجعل الشخص ينتهي به المطاف في مكان خاطئ.
لحل هذه المشكلة، يستخدم DuoMo أخذ العينات الموجه.
- التشبيه: تخيل أن المخرج يمشي مع كلب مربوط بمقود. قد يبتعد الكلب (تخمين الذكاء الاصطناعي) قليلاً، ولكن كل بضع ثوانٍ، يسحب المخرج المقود للتحقق من الخريطة (الفيديو الأصلي).
- كيف يعمل: يقوم الذكاء الاصطناعي باستمرار بفحص عمله مقابل الفيديو الأصلي. "مهلاً، قلت إن الشخص هنا، لكن الفيديو يظهر أن قدميه في الواقع هناك. دعني أعدل تخميني". هذا يبقي الشخص ثابتاً في الواقع، ويمنعه من الانجراف بعيداً في الفضاء.
لماذا يعد هذا أمراً مهماً؟
- لا حاجة لـ "بدلة جسم": معظم أنظمة الذكاء الاصطناعي تحاول مطابقة نموذج جسم ثلاثي الأبعاد جاهز (مثل مانيكان رقمي) على الفيديو. أما DuoMo فهو مختلف؛ فهو يبني الشكل ثلاثي الأبعاد رأس برأس (Vertex by Vertex) (مثل نحت الصلصال). وهذا يعني أنه يمكنه التعامل مع الوضعيات الغريبة أو أشكال الأجسام التي لا تستطيع "المانيكانات" القياسية ملاءمتها.
- يتعامل مع الواقع الصاخب: يعمل بشكل رائع على الفيديوهات المهتزة وغير الاحترافية من العالم الحقيقي، وليس فقط على التسجيلات المثالية في الاستوديوهات.
- يملأ الفراغات: إذا كان الشخص مختفياً لفترة طويلة، يمكن لـ DuoMo "تخيّل" (التنبؤ بـ) حركته بطريقة منطقية فيزيائياً، بدلاً من مجرد تجميده في مكانه.
باختصار
DuoMo يشبه محرر أفلام فائق الذكاء يشاهد فيديو فوضوياً ومهتزاً، ويعيد بناء فيلم ثلاثي الأبعاد مثالي ومستقر لما حدث بالفعل في العالم الحقيقي. يفعل ذلك من خلال فهم ما رأته الكاميرا أولاً، ثم استخدام "عقل" ثانٍ لتصحيح أخطاء الكاميرا وملء الأجزاء المفقودة، مما يضمن بقاء الشخص ثابتاً، واقعياً، ومتسقاً طوال المشهد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.