DISPLAY: Directable Human-Object Interaction Video Generation via Sparse Motion Guidance and Multi-Task Auxiliary
تقدم الورقة البحثية إطار عمل DISPLAY، وهو إطار لتوليد فيديوهات تفاعل بين الإنسان والأشياء قابلة للتحكم ومتسقة فيزيائياً من خلال استخدام توجيه حركة متفرق (إحداثيات المعصم وصناديق الإحاطة للأشياء)، وآلية انتباه تركز على الأشياء، واستراتيجية تدريب مساعدة متعددة المهام للتغلب على القيود في المرونة والتعميم وندرة البيانات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج سينمائي. لديك نص (مطالبة نصية) وتريد تصوير مشهد حيث يلتقط ممثل أداة معينة، مثل كوب قهوة، ويأخذ رشفة منه.
في الماضي، كان طلب القيام بذلك من الكمبيوتر يشبه إعطاء تعليمات غامضة لمتدرب فوضوي: "اصنع فيديو لرجل يشرب القهوة". قد يعطيك الكمبيوتر رجلاً يشرب صودا عملاقة، أو رجلاً يطفو في الفضاء، أو رجلاً تمر يده عبر الكوب وكأنها شبح. كان من الصعب التحكم بدقة فيما يحدث.
حاولت طرق أخرى إصلاح ذلك عبر إعطاء الكمبيوتر "قالب" فيديو (فيديو مرجعي) وطلب نسخ الحركات منه. لكن هذا كان يشبه محاولة رسم لوحة جديدة من خلال السماح لك فقط بالتتبع فوق لوحة قديمة؛ لم يكن بإمكانك بسهولة استبدال كوب القهوة بمحمصة خبز، أو تغيير حركات الممثل دون كسر الفيديو بأكل.
إليك DISPLAY.
تقدم هذه الورقة البحثية DISPLAY، وهو نظام ذكاء اصطناعي جديد يعمل كمساعد مخرج ذكي ومطيع للغاية. إنه يحل مشكلة صنع فيديوهات يتفاعل فيها البشر مع الأشياء بطريقة تبدو واقعية، وتشعر بالفيزيائية، وتتبع تعليماتك بدقة.
إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
1. "التوجيه الحركي المتفرق" (المخطط التبسيطي)
حاولت معظم الأنظمة السابقة التحكم في الفيديو عبر رسم هيكل عظمي معقد للجسم بأكمله وخريطة ثلاثية الأبعاد للكائن. كان الأمر يشبه محاولة إخراج مسرحية عبر كتابة نص من 50 صفحة لكل حركة عضلة.
تتبع DISPLAY نهجاً مختلفاً. فهي تستخدم التوجيه الحركي المتفرق (Sparse Motion Guidance).
- التشبيه: تخيل أنك تخرج عرض دمى. بدلاً من إخبار محرك الدمى بكيفية تحريك كل إصبع بدقة، تكتفي بإعطائه تعليمين بسيطين:
- أين تذهب المعصم: ترسم خطاً بسيطاً على الشاشة يوضح أين يجب أن تتحرك يد الممثل (ابدأ هنا، انتهِ هناك).
- أين يوجد الشيء: ترسم صندوقاً بسيطاً حول مكان الشيء (مثل الكوب).
- لماذا هو رائع: هذا النهج "غير مرتبط بالشكل". لا يهم إذا كان الشيء كوباً مستديراً، أو جهاز iPad مسطحاً، أو موزة غريبة الشكل. الذكاء الاصطناعي يعرف فقط: "اليد تذهب إلى الصندوق". وهو يتولى ملء بقية التفاصيل (كيف تنثني الأصابع، كيف يسقط الضوء على الشيء) من تلقاء نفسه. هذا يمنحك حرية كاملة لاستبدال الأشياء دون الحاجة لإعادة تدريب الذكاء الاصطناعي.
2. "انتباه التركيز على الشيء" (الحارس الشخصي للشيء)
عندما تطلب من الذكاء الاصطناعي إنشاء فيديو، فإنه غالباً ما يتشتت. قد يركز كثيراً على وجه الإنسان أو الخلفية، مما يجعل الشيء الذي يحمله يبدو غريباً، أو يذوب، أو يختفي.
تقدم DISPLAY آلية تسمى انتباه التركيز على الشيء (Object-Stressed Attention).
- التشبيه: تخيل أن الذكاء الاصطناعي طالب يؤدي امتحاناً. عادةً ما يتجاهل الطالب الأسئلة الصعبة المتعلقة بـ "الشيء" ويقوم بالتخمين فقط. انتباه التركيز على الشيء هو بمثابة معلم صارم يربت على كتف الطالب ويقول له: "هيا، انظر إلى الشيء! تأكد من أنه يبدو صلباً، ويشبه الصورة المرجعية، ولا يمر عبر اليد".
- النتيجة: يولي الذكاء الاصطناعي اهتماماً إضافياً للشيء، مما يضمن ظهوره بشكل واقعي وتفاعله الفيزيائي الصحيح مع يد الإنسان.
3. "التدريب المساعد متعدد المهام" (تدريب المتدرب)
المشكلة الأكبر في تعليم الذكاء الاصطناعي كيفية القيام بالتفاعل بين الإنسان والشيء (HOI) هي عدم وجود فيديوهات عالية الجودة لأشخاص يمسكون أشياء محددة. الأمر يشبه محاولة تعليم طباخ وصفة نادرة ومحددة، بينما لا تملك سوى 10 أمثلة فقط لتلك الوصفة في العالم كله.
تحل DISPLAY هذه المشكلة عبر التدريب المساعد متعدد المهام (Multi-Task Auxiliary Training).
- التشبيه: بدلاً من دراسة الـ 10 أطبة النادرة فقط، يذهب الذكاء الاصطناعي إلى مدرسة طهي ضخمة يتعلم فيها طبخ كل شيء. يتعلم تقطيع الخضروקות، وغلي الماء، وتنسيق الأطباق (الحركة البشرية العامة).
- الاستراتيجية: يتم تدريب النظام على مزيج من:
- الفيديوهات المثالية والنادرة لأشخاص يمسكون أشياء (المهمة المحددة).
- آلاف الفيديوهات لأشخاص يتحركون فحسب، دون أشياء محددة (المهمة العامة).
- النتيجة: من خلال تعلم قواعد الحركة العامة من مجموعة بيانات ضخمة، يصبح الذكاء الاصطناعي أفضل بكثير في المهمة المحددة المتمثلة في الإمساك بالأشياء، حتى عندما لم يرَ ذلك الشيء بعينه من قبل.
ما الذي يمكنك فعله حقاً باستخدامه؟
تظهر الورقة البحثية ثلاث قدرات خارقة رئيسية:
- استبدال الشيء: لديك فيديو لرجل يمسك بجهاز iPad. تريد منه أن يمسك بمحمصة خبز بدلاً من ذلك. تقوم برفع صورة لمحمصة الخبض، وتقوم DISPLAY باستبدال الـ iPad بالمحمصة، مما يجعل اليدين تمسكان بها بشكل طبيعي.
- إدراج الشيء: لديك فيديو لرجل يجلس عند طاولة فارغة. تريد منه أن يلتقط كوباً لم يكن موجوداً من قبل. ترسم صندوقاً حيث يجب أن يكون الكوب، وخطاً لمسار يده للوصول إليه. سيقوم الذكاء الاصطناعي بابتكار الكوب والتفاعل معه من الصفر.
- التفاعل مع البيئة: لديك فيديو لرجل يمشي بجانب كرسي. تريد منه أن يتوقف ويجلس. ترسم مساراً ليده لتلمس الكرسي، وسيقوم الذكاء الاصطناعي بتحريك حركة الجلوس بأكملها.
الخلاصة
DISPLAY تشبه منح المخرج عصا سحرية. بدلاً من الحاجة إلى نص كامل، ونموذج ثلاثي الأبعاد، وفيديو مرجعي، تحتاج فقط إلى رسم تخطيطي بسيط لمكان ذهاب اليد وصورة للشيء. يقوم الذكاء الاصطناعي بملء الفيزياء، والإضاءة، والتفاصيل الواقعية، مما يسمح لك بإنشاء فيديوهات عالية الجودة وقابلة للتحكم لأشخاص يتفاعلون مع العالم من حولهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.