Forge4D: Feed-Forward 4D Human Reconstruction and Interpolation from Uncalibrated Sparse-view Videos
تُعد Forge4D نموذجاً للتغذية الأمامية يتيح إعادة بناء واستكمالاً فورياً وفعالاً للبشر ثلاثي الأبعاد الديناميكيين من فيديوهات غير معايرة ذات مشاهد محدودة، وذلك عبر التحسين المشترك لإعادة بناء غاوس ثلاثي الأبعاد التدفيقي مع التنبؤ بالكثافة ذاتي الإشراف والدمج الواعي بالانسداد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل محاولة التقاط شخص يتحرك عبر غرفة، ثم إعادة تجسيد تلك الحركة فوراً من أي زاوية، حتى تلك التي لم ترها أي كاميرا، أو في لحظة زمنية لم تُسجل أبداً. هذا هو حلم إعادة البناء رباعي الأبعاد: بناء توأم رقمي حي يتنفس، لا يوجد في الفضاء فحسب، بل في الزمان أيضاً. لسنوات، تطلب تحقيق ذلك إما استوديو مليئاً بالكاميرات المتزامنة أو ساعات من المعالجة الحاسوبية البطيئة والمجهدة التي تجعل التفاعل في الوقت الفعلي مستحيلاً. كان الهدف دائماً هو تحويل بضع مقاطع فيديو مبعثرة إلى عالم ثلاثي الأبعاد كامل وانسيابي، حيث يمكن رؤية الشخص من أي مكان، وفي أي لحظة، دون أن ينهار النموذج الرقمي أو يبدو ككتلة ضبابية مشوشة.
لقد قطع فريق من الباحثين الآن خطوة كبيرة نحو جعل هذا الحلم حقيقة مع نظام جديد يسمى Forge4D. فبدلاً من محاولة حل مشكلة الأشكال ثلاثية الأبعاد المتحركة دفعة واحدة، وهو ما يؤدي غالباً إلى الارتباك والأخطاء، قاموا بتفكيك المهمة إلى وظيفتين بسيطتين ومتصلتين. أولاً، يبني النظام نموذجاً ثلاثي الأبعاد ثابتاً للشخص ومحيطه من خلال بضعة تدفقات فيديو غير معايرة. فكر في الأمر كإنشاء منحوتة عالية الجودة وثابتة للمشهد. ثانياً، يتنبأ النظام بدقة بكيفية تحرك كل جزء صغير من تلك المنحوتة من ثانية إلى أخرى. ومن خلال فصل الشكل عن الحركة، وجد الباحثون طريقة تجعل العملية سريعة بما يكفي لتكون مفيدة في الوقت الفعلي، حتى عندما لا تكون الكاميرات التي تسجل المشهد متوافقة أو معايرة بشكل مثالي.
يكمن جوهر اكتشافهم في كيفية تعاملهم مع البيانات. كانت الطرق السابقة تحاول غالباً معالجة تسلسل فيديو كامل في وقت واحد، مما كان يثقل ذاكرة الكمبيوتر ويبطئ كل شيء. يتخذ Forge4D نهجاً مختلفاً من خلال معاملة الفيديو كتدفق؛ حيث يعالج الإطارات واحداً تلو الآخر، مستخدماً أداة ذاكرة خاصة لتذكر ما حدث في اللحظات السابقة دون الحاجة إلى إعادة تحميل التاريخ بأكم له. وهذا يسمح للنظام بالحفاظ على إحساس ثابت بالحجم والموقع أثناء تحرك الشخص، مما يضمن عدم تقلص النموذج الرقمي أو نموه أو ابتعاده عن مكانه أثناء تشغيل الفيديو. إنها طريقة تحافظ على استقرار عملية إعادة البناء وكفاءتها، حتى عندما تكون البيانات المدخلة شحيحة وغير كاملة.
بمجرد أن يمتلك النظام نموذجاً ثلاثي الأبعاد مستقراً، يواجه تحدي التنبؤ بالحركة. وبما أنه لا توجد خريطة مثالية لكيفية تحرك كل نقطة في جسم الإنسان في العالم الحقيقي لاستخدامها كمعلم، فقد ابتكر الباحثون طريقة جديدة لتعليم الكمبيوتر. لقد طلبوا من النظام تخمين الحركة، ثم حاولوا "لوي" (warp) النموذج ثلاثي الأبعاد للأمام في الزمن بناءً على ذلك التخمين. إذا بدا النموذج الملتوي مشابهاً للإطار التالي الفعلي للفيديو، فقد كان التخمين جيداً. وإذا بدا خاطئاً، يقوم النظام بتعديل فهمه للحركة. هذه الحلقة ذاتية التصحيح، جنباً إلى جنب مع التحقق من كيفية سلوك الضوء والظل عادةً، سمحت للكمبيوتر بتعلم الرقص المعقد للحركة البشرية دون الحاجة إلى نص مكتوب مسبقاً. كما طور النظام طريقة للتعامل مع أجزاء الجسم المخفية عن الأنظار، مما يضمن بقاء النموذج الرقمي متماسكاً وعدم تعرضه للوميض أو التقطع عندما يستدير الشخص أو يحجب جسم ما الرؤية.
النتائج الناتجة عن هذا النهج مذهلة. فعند اختبار النظام على مجموعات بيانات متنوعة، بما في ذلك مشاهد معقدة لأشخاص يتفاعلون مع أشياء، أنتج النظام صوراً أكثر حدة وواقعية مما أنتجته الطرق السابقة. لقد تمكن من إنشاء زوايا رؤية جديدة للمشهد من زوايا لم يتم تصويرها أبداً، كما استطاع توليد حركة سلسة وطبيعية للحظات زمنية لم تُسجل قط. وفي الاختبارات، تمكن النظام من إنتاج هذه الصور عالية الجودة في أقل من ربع ثانية لكل إطار، وهي سرعة تفتح الباب أمام التطبيقات التفاعلية مثل الواقع الافتراضي، والبث المباشر، والاتصالات الغامرة. وأشار الباحثون إلى أنه بينما يعمل النظام بشكل استثنائي مع الحركات العادية، فإنه قد يواجه صعوبة إذا كانت الحركة سريعة للغاية أو إذا كانت الفجوة الزمنية بين الإطارات كبيرة جداً، مما يشير إلى أن افتراض الحركة السلسة والمستمرة له حدود.
في النهاية، يثبت هذا العمل أنه من الممكن إعادة بناء المشاهد البشرية الديناميكية من فيديوهات بسيطة وغير معايرة بسرعة وجودة كان الوصول إليهاما بعيد المنال سابقاً. ومن خلال تبسيط المشكلة إلى خطوات يمكن إدارتها وتعليم الكمبيوتر التعلم من توقعاته الخاصة، أنشأ الباحثون أداة تقربنا من مستقبل يمكن فيه إنشاء صور رمزية (avatars) رقمية فوراً والتفاعل معها في الوقت الفعلي. إن النظام لا يلتقط مجرد لحظة؛ بل يفهم تدفق الزمن داخل تلك اللحظة، مما يسمح لنا بالدخول إلى الفيديو والنظر حولنا كما لو كنا هناك حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.