Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control
تقدم هذه الورقة نموذج عالم فيديو متمحور حول الإنسان يتيح بيئات افتراضية ذات منظور شخصي تفاعلية من خلال ربط توليد الفيديو بوضعيات الرأس واليد المتتبعة، مما يحسن بشكل كبير أداء المهام والتحكم المدرك مقارنة بالنماذج المرجعية الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تُبنى فيه البيئات الرقمية التي تراها من خلال سماعة الرأس بواسطة فرق من الفنانين الذين يقضون شهوراً في نمذجة كل شجرة وصخرة وأداة. بدلاً من ذلك، تظهر هذه العوالم فوراً، مشكلةً بالكامل بناءً على حركاتك ونواياك. هذا هو الوعد الذي يقدمه مجال جديد يسمى "الواقع الممتد"، والذي يمزج بين الواقع الفيزيائي والرقمي لخلق تجارب غامرة للتدريب والتعليم والترفيه. لسنوات طويلة، كان إنشاء هذه البيئات أمراً صعباً ومكلفاً، يتطلب برمجيات متخصصة وعملاً تصميمياً كثيف الجهد. ومع ذلك، ظهر جيل جديد من الذكاء الاصطناعي يمكنه توليد الفيديو في الوقت الفعلي، استجابةً لأوامر بسيطة مثل الأوصاف النصية أو مدخلات لوحة المفاتيح الأساسية. وبينما يمكن لهذه الأنظمة إنشاء مرئيات مذهلة، إلا أنها عانت في فهم الحركات الدقيقة والمعقدة لجسم الإنسان، وخاصة اليدين. وبدون هذا الفهم، قد يلوح المستخدم بيده للإمساك بشيء ما، فيتجاهل الكمبيوتر الإيماءة ببساطة أو يحرك الشيء في المكان الخاطئ، مما يكسر إيهام الحضور.
لقد اتخذ فريق من الباحثين في جامعة ستانفورد، وجامعة نيويورك شنغهاي، وجامعة كارولينا الشمالية في تشابل، خطوة كبيرة نحو حل هذه المشكلة. فقد طوروا نظاماً أطلقوا عليه اسم "الواقع المُوَلَّد" (Generated Reality)، والذي يسمح للذكاء الاصطناعي بمراقبة رأس الشخص ويديه في الوقت الفعلي وتوليد عالم فيديو يستجيب فوراً لتلك الحركات المحددة. كان التحدي الجوهري الذي واجهوه هو تعليم الذكاء الاصطناعي فهم الهندسة ثلاثية الأبعاد المعقدة ليد الإنسان. فخلافاً لمؤشر بسيط على الشاشة، تمتلك اليد عشرين مفصلاً متحركاً لكل إصبع، وغالباً ما تخفي أجزاءً منها عن الأنظى. ووجد الباحثون أن الطرق السابقة، التي حاولت التحكم في الفيديو باستخدام المطالبات النصية فقط أو الخطوط العريضة للجسم، فشلت في التقاط هذه البراعة. ولإصلاح ذلك، اختبروا طرقاً متنوعة لتغذية بيانات حركة اليد في مولد الفيديو. واكتشفوا أن الطريقة الأكثر فعالية كانت نهجاً هجيناً: يجمع بين رسم ثنائي الأبعاد لهيكل اليد ومجموعة من القياسات ثلاثية الأبعاد التي تصف الزاوية الدقيقة لكل مفصل من مفاصل الأصابع. سمح هذا المزيج للذكاء الاصطناعي بحل الارتباك الناتج عن "الانسداد الذاتي"، حيث يحجب جزء من اليد جزءاً آخر، مما يضمن أن تبدو الأيدي المولدة صحيحة تشريحياً حتى عندما تكون مخفية جزئياً أو قريبة من حافة الإطار.
قام الباحثون ببناء نموذج "معلم" باستخدام هذه الاستراتيجية الهجينة، والذي يمكنه توليد فيديو عالي الجودة ولكنه كان بطيئاً جداً للاستخدام في الوقت الفعلي. ولجعل النظام تفاعلياً، قاموا بتبسيط هذا النموذج المعقد إلى نسخة "طالب" أسرع تعمل بطريقة خطوة بخطوة، حيث تولد إطارات جديدة بناءً على الإطارات السابقة. سمح هذا للنظام بالعمل بسرعة أحد عشر إطاراً في الثانية على وحدة معالجة رسومية من نوع H100 يتم بثها عن بُعد، مع تأخير قدره 1.4 ثانية فقط بين حركة المستخدم واستجابة الفيديو. في هذا الإعداد، يرتدي المستخدم سماعة واقع افتراضي تجارية تتبع موضع رأسه ووضعيات يديه. ومع تحريك المستخدم لرأسه، تتغير زاوية الرؤية في الفيديو تبعاً لذلك. ومع تحريك يديه، تحاكي الأيدي الافتراضية في الفيديو تلك الحركات بدقة، مما يسمح لها بالتفاعل مع الأشياء في المشهد. لا يعتمد النظام على أصول ثلاثية الأبعاد جاهزة؛ بل ينشئ البيئة والتفاعلات من الصفر، مسترشداً بالكامل ببيانات التتبع الخاصة بالمستخدم.
وللتأكد من أن هذا النظام يعمل بالفعل، أجرى الباحثون دراسة مع متطوعين بشريين. طلبوا من المشاركين أداء ثلاث مهام محددة في البيئة الافتراضية: الضغط على زر أخضر، وفتح مرطبان، وتدوير عجلة قيادة. وقارنوا بين حالتين: حالة يعرف فيها النظام موضع رأس المستخدم فقط ويعتمد على التعليمات النصية لتخمين ما يريد المستخدم فعله، وحالة أخرى يتتبع فيها النظام يديه أيضاً. كانت النتائج صارخة؛ فعندما اعتمد النظام على التعليمات النصية فقط، نجح في إكمال المهام بنسبة تقل عن ثلاثة بالمائة، حيث كان غالباً ما يمد يده نحو الشيء الخطأ أو يفشل في التفاعل مع الآلية تماماً. وعندما استخدم النظام بيانات تتبع اليد، قفزت نسبة النجاح إلى أكثر من واحد وسبعين بالمائة. وبعيداً عن الأرقام، أفاد المشاركون بشعور أقوى بالتحكم؛ ففي مقياس من واحد إلى سبعة، قيموا شعورهم بالتحكم بـ 4.21 عندما تم تتبع أيديهم، مقارنة بـ 1.74 فقط عندما اعتمد النظام على النص وحده. يشير هذا إلى أن رؤية أيديهم تتحرك بالتزامن مع العالم الافتراضي أمر بالغ الأهمية للشعور بالحضور والقدرة الحقيقية داخل ذلك الفضاء.
وبينما يمثل هذا النظام قفزة نوعية كبرى، يدرك الباحثون بوضوح حدوده الحالية. فجودة الفيديو والسرعة لا تضاهي بعد تجربة الواقع الافتراضي التجارية الحديثة ذات الدقة العالية والسلاسة، كما يمكن لجودة الصورة أن تتدهور قليلاً إذا استمر توليد الفيديو لفترة طويلة دون إعادة ضبط. ومع ذلك، فإن القدرة على توليد عالم تفاعلي مستجيب بطريقة "الصفر المعرفي" (zero-shot) — أي دون الحاجة لبناء نموذج ثلاثي الأبعاد محدد لكل سيناريو أولاً — هي قدرة قوية. يفتح هذا التكنولوجيا الباب أمام التعلم والتدريب الغامر حيث يمكن للمستخدمين ممارسة مهام بدنية معقدة في بيئة آمنة ومولدة تتكيف مع كل حركة من حركاتهم. ومن خلال سد الفجوة بين الحركة البشرية والتوليد الآلي، تقربنا هذه الدراسة من مستقبل يستجيب فيه العالم الرقمي لنا ليس بالكلمات فحسب، بل بالبراعة الكاملة لأجسادنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.