AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors
تُعد AHOY طريقة مبتكرة تعيد بناء نماذج ثلاثية الأبعاد كاملة وقابلة للتحريك من نوع "Gaussian" لأفاتار، وذلك من فيديوهات أحادية العدسة في بيئات طبيعية تعاني من حجب شديد، عبر الاستفادة من نماذج الانتشار التي تم ضبطها بدقة لتناسب الهوية لتخيل مناطق الجسم غير المرئية، واستخدام بنية متخصصة لمعالجة التناقضات بين المشاهد المتعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد إنشاء توأم رقمي لشخص ما لاستخدامه في لعبة فيديو أو فيلم. عادةً، ستحتاج إلى استوديو خاص به عشرات الكاميرات، وأضواء ساطعة، وأن يقف الشخص بلا حراك تماماً حتى لا يحجب أي شيء الرؤية.
AHOY هي طريقة جديدة تقول: "لا مشكلة! يمكننا القيام بذلك باستخدام مجرد فيديو عادي من يوتيوب، حتى لو كان الشخص مختبئاً خلف طاولة، أو شجرة، أو شخص آخر".
إليك كيف تعمل هذه الطريقة، مقسمة إلى خطوات بسيطة مع بعض التشبيهات الإبداعية:
المشكلة الكبيرة: "النقطة العمياء"
معظم أدوات إعادة البناء ثلاثية الأبعاد تشبه المصور الذي لا يلتقط الصور إلا عندما يكون الموضوع واقفاً في غرفة فارغة. إذا كان الشخص جالساً على أريكة، فلن يستطيع المصور رؤية ساقيه. إذا كان يمسك كوب قهوة، فلن يستطيع المصور رؤية يده.
في العالم الحقيقي (مثل فيديوهات يوتيوب)، غالباً ما يتم حجب الأشخاص بواسطة أشياء أخرى. الأدوات التقليدية ترتبك وتترك فجوات كبيرة في النموذج ثلاثي الأبعاد، أو ببساطة تتوقف عن العمل.
الحل: خط إنتاج "الخيال السحري" لـ AHOY
يحل AHOY هذه المشكلة باستخدام مزيج من المسح ثلاثي الأبعاد والخيال الذكي للذكاء الاصطناعي (تحديداً نموذج انتشار الفيديو - Video Diffusion model). فكر في الأمر كأنه وصفة طبخ من أربع خطوات:
الخطوة 1: المسودة الأولية (الأفاتار الخشن - Coarse Avatar)
أولاً، ينظر AHOY إلى الفيديو ويبني نموذجاً ثلاثي الأبعاد خشناً وغير دقيق للشخص باستخدام الأجزاء التي يمكنه رؤيتها فقط.
- تشبيه: تخيل نحاتاً يحاول صنع تمثال لشخص يجلس على كرسي. يمكنه فقط نحت الأجزاء المرئية (الرأس، والكتفين). أما الساقان والظهر فهما مجرد مساحة فارغة لأن الكرسي يعترض الطريق. هذا هو "الأفاتار الخشن".
الخطوة 2: "الهلوسة" (الفنان الذكي)
هذا هو السر الحقيقي. يأخذ AHOY ذلك التمثال الخشن وغير الدقيق ويطلب من مولد فيديو ذكاء اصطناعي فائق الذكاء (مدرب على وجه الشخص وملابسه تحديداً) أن "يتخيل" كيف تبدو الأجزاء المفقودة.
- تشبيه: يسلم النحات التمثال الخشن إلى رسام سحري. ينظر الرسام إلى المساحة الفارغة حيث يجب أن تكون الساقان ويقول: "بناءً على نمط القميص وهُوية الشخص، سأقوم برسم الساقين، والظهر، والأيدي المخفية".
- الخدعة: الذكاء الاصطناعي لا يخمن عشوائياً؛ بل يستخدم تقنية "الانتشار العكسي" (Diffusion Inversion). فهو يأخذ النموذج ثلاثي الأبعاد الخشن، ويحوله إلى فيديو، ثم يطلب من الذكاء الاصطناعي "إعادة تخيل" ذلك الفيديو ولكن مع ملء التفاصيل المفقودة بأنسجة واقعية عالية الجودة. الأمر يشبه طلب من فنان أن يعيد رسم مسودة، ولكن هذه المرة، يقوم بملء جميع المساحات الفارغة بتفاصيل مثالية.
الخطوة 3: "رقصة الوضعيتين" (إصلاح العيوب)
هنا يكمن الجزء الصعب. "خيال" الذكاء الاصطناعي ليس مثالياً. إذا قام الذكاء الاصطناعي بإنشاء فيديو لشخص يستدير، فقد يبدو الجانب الأيسى مختلفاً قليلاً عن الجانب الأيمن لأن الذكاء الاصطناعي أنشأهما بشكل منفصل. الأمر يشبه فريقاً من الرسامين يعملون على أجزاء مختلفة من لوحة جدارية دون التواصل مع بعضهم البعض—قد لا تتطابق الفواصل بين الأجزاء.
يحل AHOY هذه المشكلة بنظام "الوضعية المزدوجة" الذكي:
- وضعية الخريطة (Map Pose): وهي بمثابة "المخطط الأساسي". تظل ثابتة طوال الحركة، وهي تخبر النظام: "هذا هو شكل الشخص عندما تكون ذراعاه مرفوعتين".
- وضعية LBS (LBS Pose): وهي "الحركة". تتغير في كل إطار لتطابق الفيديو.
- تشبيه: فكر في عرض العرائس (الدمى). وضعية الخريطة هي شكل جسم الدمية (الذي يظل ثابتاً). أما وضعية LBS فهي أيدي محرك الدمى التي تحرك الخيوط. إذا بدا فيديو الذكاء الاصطناعي متذبذباً أو غير متناسق، فإن "محرك الدمى" (وضعية LBS) يقوم بتعديل الخيوப் إطاراً تلو الآخر لتنعيم العيوب، بينما يظل "شكل الجسم" (الخريطة) وفياً لهوية الشخص.
الخطوة 4: "واقي الوجه" (الحفاظ على الهوية)
مولدات فيديو الذكاء الاصطناعي بارعة في الأجساد لكنها سيئة في الوجوه—غالباً ما تغير هوية الشخص (تجعل الشخص يبدو كشخص آخر).
- تشبيه: يضع AHOY "واقي وجه" على العملية. إنه يفصل الرأس عن الجسم، ويستخدم ذكاءً اصطناعياً أكثر صرامة وتخصصاً للوجه فقط لضمان أن يبدو التوأم الرقمي مطابقاً تماماً للشخص الحقيقي، بينما يترك "ذكاء الخيال" يتولى التعامل مع الجسم.
النتيجة
في نهاية العملية، تحصل على إنسان كامل، ثلاثي الأبعاد، وقابل للتحريك.
- يمكنك أخذ هذا الشخص الرقمي وتجعله يرقص، أو يجلس، أو يقفز.
- يمكنك وضع هذا الشخص في مشهد ثلاثي الأبعاد (مثل غرفة معيشة) تم تصويره أيضاً بهاتف محمول.
- على الرغم من أن الفيديو الأصلي كان فيه الشخص مختبئاً خلف أريكة، إلا أن النموذج ثلاثي الأبعاد النهائي سيكون قد ملأ شكل الأريكة بشكل مثالي، ويمكن تحريك الشخص في أي مكان.
لماذا هذا مهم؟
قبل AHOY، إذا كنت تريد نموذجاً ثلاثي الأبعاد لشخص ما، كنت بحاجة إلى استوديو هوليوودي. الآن، يمكنك أخذ أي فيديو عشوائي من يوتيوب حيث يقوم شخص ما بالطهي، أو الرقص، أو اللعب مع كلبه (ويتم حجبه بواسطة الأثاث)، وتحويله إلى شخصية ثلاثية الأبعاد عالية الجودة ومتحركة. هذا يفتح الإنترنت بأكمله كمصدر للشخصيات ثلاثية الأبعاد!
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.