Stream4D: 4D-Consistency for Streaming Autoregressive Diffusion Video Models
يعزز Stream4D نماذج فيديو الانتشار ذات التوليد الذاتي المتسلسل عبر تقديم مكافأة إعادة بناء رباعية الأبعاد أمامية (feed-forward) ومسبق للحركة لاستبدال النقاد الساكنين، مما يمنع الانجراف الهندسي ويحافظ على حركة متماسكة وطبيعية في توليد الفيديو طويل الأمد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم حاسوب أن يحلم بفيلم يعرض في الوقت الفعلي، إطاراً تلو الآخر، كما لو كان عالماً حياً. لسنوات، عمل الباحثون على بناء نماذج ذكاء اصطناعي يمكنها توليد الفيديو من أوصاف نصية بسيطة. تعمل هذه الأنظمة من خلال التنبؤ باللحظة التالية في تسلسل ما، تماماً مثل قاصٍّ يخمن الجملة التالية في حكاية. وعندما تُصمم هذه النماذج لبث الفيديو بلا نهاية، فإنها تواجه تحدياً فريداً: فكلما طالت القصة، بدأت الشخصيات والأشياء غالباً في التباعد عن بعضها، أو تفقد شكلها، أو تتجمد في سكون غير طبيعي. يواجه الحاسوب صعوبة في الحفاظ على اتساق هندسة العالم، مما يتسبب في تمدد سيارة فجأة لتصبح شريطاً طويلاً أو اختفاء شخص تماماً. وتكون هذه المشكلة حادة بشكل خاص عندما يُطلب من الذكاء الاصطناعي توليد مشاهد طويلة ومستمرة، حيث تتراكم الأخطاء الصغيرة في لحظة ما لتفسد الخيال بأكمله.
ولحل هذه المعضلة، طور فريق من الباحثين من جامعة كاليفورنيا في لوس أنجلوس (UCLA) وجامعة تسينغ هوا منهجية جديدة تسمى Stream4D. يعالج عملهم خللاً محدداً في كيفية تدريب نماذج الذكاء الاصطناعي الحالية. فقد اعتمدت المحاولات السابقة لإصلاح مشكلة الانجراف على تقنية تعامل الفيديو ككائن ثلاثي الأبعاد صلب وثابت؛ حيث يحاول الحاسوب إعادة بناء الفيديو كمنحوتة ساكنة، وإذا تحرك الفيديو، فإن النظام يعتبر تلك الحركة خطأً. خلق هذا حافزاً عكسياً: تعلم الذكاء الاصطناعي أن الطريقة الأكثر أماناً للحصول على درجة عالية هي التوقف عن الحركة تماماً. وكانت النتيجة فيديوهات قد تتحرك فيها الكاميرا، لكن الأشخاص والأشياء بداخلها تظل ثابتة في مكانها، مثل تماثيل في متحف. أدرك الباحثون أنه لإنشاء عالم يمكن تصديقه، يحتاج الذكاء الاصطناعي إلى فهم أن الأشياء يمكن أن تتحرك وتتغير مع بقائها هي نفسها.
قدم الفريق نهج تدريب جديد يستبدل الرؤية ثلاثية الأبعاد الصلبة بمنظور رباعي الأبعاد ديناميكي. فبدلاً من مطالبة الذكاء الاصطناعي ببناء منحوتة ساكنة، يطلبون منه بناء مشهد حي يتطور بمرور الوقت. يستخدمون أداة متخصصة يمكنها إعادة بناء الفيديو كسحابة من النقاط المتحركة، مما يسمح للحاسوب برؤية كيف يركض شخص أو تقود سيارة مع الحفاظ على شكلها وهويتها. يكافئ هذا النظام الجديد الذكاء الاصطناعي على إنشاء حركة متماسكة، بدلاً من معاقبته على الحركة. ولضمان أن تبدو الحركة طبيعية وليست مضطربة أو فوضوية، أضافوا طبقة ثانية من التوجيه تشجع على القدر المناسب من الحركة، مما يمنع الفيديو من أن يصبح إما ساكناً جداً أو عشوائياً للغاية. ويعمل مكون ثالث كمرساة بصرية، تضمن بقاء الصور المولدة جميلة وصادقة للأسلوب الأصلي.
وعند اختبار هذا النهج على نماذج مختلفة لتوليد الفيديو، حقق نتائج أفضل بشكل ملحوظ. وفي التجارب التي شملت فيديوهات تصل مدتها إلى عشر ثوانٍ، أدى النهج الجديد إلى تحسين وضوح واتساق إعادة البناء ثلاثي الأبعاد بفارق كبير، حيث أظهرت بعض النماذج تحسناً يقترب من سبعة ديسيبل في مقاييس الجودة. والأهم من ذلك، فضل المقيمون البشر والحكام الآليون هذه الفيديوهات لأن الموضوعات ظلت سليمة وتحركت بشكل طبيعي. وخلافاً للطرق القديمة التي غالباً ما أسفرت عن مشاهد مجمدة أو شخصيات مشوهة، حافظت تقنية Stream4D على استمرار الشخصيات في الركض والقفز والتفاعل مع بيئتها دون فقدان شكلها. ووجد الباحثون أن هذه التقنية تعمل عبر أنواع مختلفة من بنيات الذكاء الاصطناعي، مما يشير إلى أنها حل قوي لمشكلة الاتساق طويل الأمد في الفيديو.
تستبعد الدراسة صراحةً فكرة أن إعادة البناء ثلاثية الأبعاد الساكنة كافية لتدريب نماذج الفيديو، وتثبت بدلاً من ذلك أن مثل هذا النهج يضر فعلياً بجودة الحركة. وأظهر المؤلفون أنه عندما يعاقب نظام التدريب الحركة، يتعلم الذكاء الاصطناعي تجميد المشهد لتعظيم درجته. ومن خلال الانتقال إلى نظام يفهم التغيير الديناميكي، تمكنوا من عكس هذا الاتجاه. تم قياس النتائج عبر مئات المطالبات وعدة بنيات للنماذج، مما قدم دليلاً قوياً على نجاح الطريقة. وبينما يشير الباحثون إلى أن نظامهم لا يزال يعتمد على افتراضات معينة حول كيفية تحرك الكاميرات، فإن التحسن في الحفاظ على هوية الأشياء وحركتها واضح. يقدم هذا العمل مساراً عملياً نحو إنشاء ذكاء اصطناعي يمكنه توليد بث فيديو طويل وتفاعلي حيث يبدو العالم حقيقياً، ومتسقاً، وحياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.